20.000.000 E-Mails im Monat

Postfix, QMail, Sendmail, Dovecot, Cyrus, Courier, Anti-Spam
poodle
Posts: 4
Joined: 2006-03-22 12:16

20.000.000 E-Mails im Monat

Post by poodle » 2006-03-22 13:09

Hallo,

habe mal eine rein informative Frage. Welches System könnte ca. 20 Millionen eingehende E-Mails verarbeiten. Denke mir das das ein Server alleine nicht schaffen kann oder doch?
Kann man einen Mailserver wie eine Datenbank als Cluster aufbauen?
Skalierbarkeit?
Wenn ja, welche Software wäre dafür notwendig.

Meine Erfahrung dazu ist leider sehr beschränkt bis nicht vorhanden, da ich höchstens mal nur mit einem rootie experimentiert habe.

Wäre schön wenn ich ein paar interessante Anregungen oder Richtungen bekomme.

Falls ich hier komplett verkehrt bin, dann sorry ;-)

Gruß
Poodle

duergner
RSAC
Posts: 976
Joined: 2003-08-20 11:30
Location: Pittsburgh, PA, USA

Re: 20.000.000 E-Mails im Monat

Post by duergner » 2006-03-22 13:59

Wieviel er wirklich schafft hängt i.d.R. stark davon ab, was du auf dem Server alles machen willst, sprich ob er nur Emails annehmen und dann weiterleiten soll oder auch nach Spam und Viren scannen und Postfächer zur Verfügung stellen. Und viel wichtiger als der monatliche Durchschnitt sind eigentlich noch die Lastspitzen.

poodle
Posts: 4
Joined: 2006-03-22 12:16

Re: 20.000.000 E-Mails im Monat

Post by poodle » 2006-03-22 14:42

Er soll nur für E-Mails verantwortlich sein.
Kein Spam und auch kein Virenfilter.
Es müssen Postfächer zur Verfügung stehen, allerdings wird nur empfangen und nichts versendet.

Das mit den Lastspitzen habe ich mir auch schon überlegt, aber mangels Erfahrungswerte kann ich mir halt kein Urteil bilden.

alexander newald
Posts: 1117
Joined: 2002-09-27 00:54
Location: Hannover

Re: 20.000.000 E-Mails im Monat

Post by alexander newald » 2006-03-22 16:00

Das sind 185 Mails pro Sekunde bei gleichbleibender Auslastung...

poodle
Posts: 4
Joined: 2006-03-22 12:16

Re: 20.000.000 E-Mails im Monat

Post by poodle » 2006-03-22 16:06

Alexander Newald wrote:Das sind 185 Mails pro Sekunde bei gleichbleibender Auslastung...
Meinst du damit die Lastspitzen oder den Schnitt bei 20 mio pro Monat?

Ich komme auf einen Schnitt von ca. 7,72 pro Sekunde (30 Tage a 86400 sek.)

User avatar
isotopp
RSAC
Posts: 482
Joined: 2003-08-21 10:21
Location: Berlin

Re: 20.000.000 E-Mails im Monat

Post by isotopp » 2006-03-22 17:10

Poodle wrote:habe mal eine rein informative Frage. Welches System könnte ca. 20 Millionen eingehende E-Mails verarbeiten.
web.de verarbeitet ca. 45 Millionen eingehende Mails am Tag. Dazu liegen etwa 35 Mailer auf einem Loadbalancer für eingehende Mail. Diese sprechen nach hinten raus mit einer Userdatenbank mit diversen Datenbank-Replikas, mit einem Spamfilter-Cluster, und mit ca. 35 Userdatenbanken.

Alles in allem betreibt web.de ca. 1200 Systeme in deren Rechenzentrum, aber da hängen noch einige Dienste mehr dran als nur Freemail - Freemail sind in etwa 300 Maschinen.

Das sollte Dir genug Daten für die Skalierung und Einnorden der Größenordnung geben.

alexander newald
Posts: 1117
Joined: 2002-09-27 00:54
Location: Hannover

Re: 20.000.000 E-Mails im Monat

Post by alexander newald » 2006-03-22 17:33

Poodle wrote:
Alexander Newald wrote:Das sind 185 Mails pro Sekunde bei gleichbleibender Auslastung...
Meinst du damit die Lastspitzen oder den Schnitt bei 20 mio pro Monat?

Ich komme auf einen Schnitt von ca. 7,72 pro Sekunde (30 Tage a 86400 sek.)
Ups, da habe ich doch glatt die 24 Stunden pro Tag vergessen :oops:

Na ja, dann sollte das sich ja vielleicht machen lassen

vevelt
Posts: 122
Joined: 2003-08-01 12:18
Location: Itzehoe

Ich würde...

Post by vevelt » 2006-03-22 18:38

...nicht vernachlässigen, welche Datenvolumen da zusammenkommen. Das braucht auch entsprechenden Festplattenplatz, zudem ist es ganz und gar nicht unerheblich, wieviele lesende und schreibende Zugriffe auf den Festplattenspeicher erfolgen müssen...
Zudem gibt die rechnerische Theorie keinen Maßstab dafür, was im reellen Betrieb wirklich passiert. Die Mail werden zum Beispiel ja nicht vollkommen gleichmäßig über die Minuten einen Tages verteilt ankommen, sondern sich sicher auf ungefähr ein Drittel des Tages konzentrieren, oder?

Ich würde als absolutes Minimum ansehen:
- schneller Dual-DualCore-Server mit mind. 4GB RAM, auf dem Postfix und 'ne Datenbank für die Benutzerverwaltung läuft
- über 2 Wege Fibre-Channel angeschlossenes Plattensystem mit entsprechend großer Kapazität, auf dem nur die Postfächer und somit die Mails liegen
- aus Datensicherheitsgründen und Performancegründen die Festplattensysteme natürlich im Raid-Verbund (z.B. RAID 10)

Und das ist denke ich als absolutes Minimum anzusehen... :wink:

Gruß, Vevelt.

User avatar
isotopp
RSAC
Posts: 482
Joined: 2003-08-21 10:21
Location: Berlin

Re: Ich würde...

Post by isotopp » 2006-03-22 20:21

Vevelt wrote:Ich würde als absolutes Minimum ansehen:
- schneller Dual-DualCore-Server mit mind. 4GB RAM, auf dem Postfix und 'ne Datenbank für die Benutzerverwaltung läuft
- über 2 Wege Fibre-Channel angeschlossenes Plattensystem mit entsprechend großer Kapazität, auf dem nur die Postfächer und somit die Mails liegen
- aus Datensicherheitsgründen und Performancegründen die Festplattensysteme natürlich im Raid-Verbund (z.B. RAID 10)
http://kris.koehntopp.de/artikel/linuxtag/img9.html

rootsvr
Posts: 538
Joined: 2005-09-02 11:12

Re: 20.000.000 E-Mails im Monat

Post by rootsvr » 2006-03-23 11:00

Bei 20 Mio Mails und entsprechenden DB Lookups für: User existiert, Alias ist vorhanden usw. kann die DB recht fix der Engpaß werden, da wäre dann nen Proxy oder genieriete map Dateien sicherlich performanter..

Ansonsten: 20 Mio Mails :eek:

aquajo
RSAC
Posts: 167
Joined: 2003-02-25 21:07

Re: 20.000.000 E-Mails im Monat

Post by aquajo » 2006-03-23 11:23

Poodle wrote:Wäre schön wenn ich ein paar interessante Anregungen oder Richtungen bekomme.
http://www.vergenet.net/linux/mail_farm/html/

Also, du wirst schon ein recht verteiltes System aufbauen 'dürfen' (schöne Aufgabe IMHO)

poodle
Posts: 4
Joined: 2006-03-22 12:16

Re: 20.000.000 E-Mails im Monat

Post by poodle » 2006-03-23 14:27

Erstmal ein großes Dankeschön an alle die mir geantwortet haben.

Ich werde zu den angegebenen Informationen und Anregungen ein wenig googlen und mir soweit ich es kann Infos verschaffen.

Denke danach werde ich wieder auf die Community zukommen. :-)