Gedanken zum Greylisting

Postfix, QMail, Sendmail, Dovecot, Cyrus, Courier, Anti-Spam
mattiass
Userprojekt
Userprojekt
Posts: 608
Joined: 2005-12-16 17:57

Gedanken zum Greylisting

Post by mattiass » 2006-08-10 23:28

Ich hatte bislang auf keinem Kundenjail Spamfilterlösungen. Probleme waren immer das Vorenthalten von Mail beim automatischen Aussortieren, so dass bislang jeder gut mit dem clientseitigen Filtern in Thunderbird gefahren ist.

Nun wollen einige User den IMAP-Server zusammen mit mobilen Endgeräten nutzen, wo die clientseitige Filterung schon an den übertragenen Datenmengen scheitert.

Erste Stufe eines effizienten Konzeptes soll Greylisting sein. Ich teste gerade ein recht striktes Greylisting und stoße auf das Problem, dass Mails, die aus SMTP-Clustern stammen, manchmal nicht durchkommen.

Ein manuelles Whitelisting einiger Cluster ist natürlich zu bewerkstelligen, es mag dennoch vorkommen, dass ein Kunde oder Lieferant vom Kunden es eilig hat und nicht die extrem unterschiedlichen Verzögerungsintervalle -- zwischen 20 Minuten und 180 Minuten abwarten möchte.

Was haltet Ihr von täglich produzierten Wegwerfadressen wie

otto-20060810@domain.xyz

wird sofort am Greylisting vorbei weitergeleitet auf

otto@domain.xyz

aber eben nur gestern, heute und morgen. Ich denke, dass Harvester zu blöde sind, das Schema zu erkennen, aber Menschen sollten es eigentlich hinbekommen. Zudem ist das erforderliche Scripting extrem simpel.

Was denkt Ihr? Mir geht es vor allem um einen leicht verständlichen "schnellen" Kanal am Greylisting vorbei, der von Bots nicht zu erkennen ist...

Folgende Methoden diskutieren wir später...

duergner
RSAC
Posts: 976
Joined: 2003-08-20 11:30
Location: Pittsburgh, PA, USA

Re: Gedanken zum Greylisting

Post by duergner » 2006-08-11 03:43

Meine ganz persoenliche Meinung zu Greylisting ist, dass ich es hasse. Es veruracht bei den einliefernden Mailservern eine hoehere Last, mehr Speicherbedarf, mehr Leistung, etc. Damit verlagert man seine eigenen Probleme nur auf die Schultern anderer Personen.

Und gerade fuer den geschaeftlichen Bereich halte ich die sich taeglich aendernden Adressen fuer absolut nicht tragbar, da die meisten Menschen in diesem Umfeld Email an Adresse aus Adressbuechern schreiben. Und das geht dann nicht.

Ich fahre bei mit derzeit nur einen Amavis mit Spamassassin und Pyzor. Das erkennt nach etwas Training > 97% des Spams bei meinen Postfaechern. Dazu noch ein paar Einschraenkungen im SMTP Dialog bei nicht RFC konformen Sachen und man faehrt IMHO eigentlich ganz gut.

mattiass
Userprojekt
Userprojekt
Posts: 608
Joined: 2005-12-16 17:57

Re: Gedanken zum Greylisting

Post by mattiass » 2006-08-11 08:11

duergner wrote: Und gerade fuer den geschaeftlichen Bereich halte ich die sich taeglich aendernden Adressen fuer absolut nicht tragbar, da die meisten Menschen in diesem Umfeld Email an Adresse aus Adressbuechern schreiben. Und das geht dann nicht.
Die täglich ändernde Adresse soll nur einen "Bypass" am Greylisting vorbei für eine erste Kontaktaufnahme bieten.

Personen, mit denen man sich häufiger per Mail austauscht, landen eh nach dem ersten Versuch auf der Whitelist, wo sie 30 Tage nach ihrer letzten Mail bleiben. In diesem Fall ist die verursachte Last auf dem gegnerischen Server minimal, weil er vom Greylisting nur einmal etwas bemerkt und dann die nächsten paar Dutzend Mails einfach passieren dürfen. Verzögerungen kommen so auch nur bei der ersten Mail vor.

Absolut Recht gebe ich Dir in Fällen, in denen der größte Teil der Mails "Erstkontakte" sind. Wenn 90% der Mails zuerst zurückgewiesen werden und mit den Autoren dieser Mails selten mehr als drei Mails ausgetauscht werden, verursacht Greylisting in der Summe tatsächlich eine höhere Last.

Ich werde wohl von Fall zu Fall unterscheiden, welche Filterverfahren in welcher Reihenfolge eingesetzt werden. Jetzt läuft erst einmal auf drei Jails mit nicht so hohem Mailaufkommen ein Greylisting und ab übernächster Woche wird dann ausgewertet, welcher Prozentsatz legitimer Mails verzögert wurde.

User avatar
nyxus
RSAC
Posts: 697
Joined: 2002-09-13 08:41
Location: Lübeck

Re: Gedanken zum Greylisting

Post by nyxus » 2006-08-11 08:27

auch ich benutze seit jetzt ca. einem Jahr Greylisting. Am Anfang war ich völlig begeistert, da das Spam-Aufkommen extrem gering wurde (von ca. 900 Mails Täglich ging es auf ca. 150 Mails Täglich zurück) und SpamAssassin hat dann für einen guten Rest gesorgt. Inzwischen ist es allerdings so, daß mit der Zeit immer mehr Spams es am Greylisting vorbei schaffen und SpamAssassin (und damit auch ich beim täglichen Blick durch meinen Spam-Ordner) wieder mehr zu tun haben.

lordy
Posts: 83
Joined: 2006-06-22 12:45

Re: Gedanken zum Greylisting

Post by lordy » 2006-08-11 10:01

Greylisting ist an sich keine schlechte Sache, das setze ich ebenfalls ein.

Einige Sachen sollten bei der Implementation aber bedacht werden:
- Die Absender-IP sollte nicht starr [1.2.3.4] sondern als Subnetz [1.2.3.0] gespeichert werden (z.B. für Cluster)
- Von der Absender-Adresse sollte lediglich die Domain überprüft werden (einige Mailinglisten haben bei jedem Versuch andere FROMs)
- Die Fenstergröße muß passen (Ich verwende ein Minimum von 3 Minuten und ein Maximum von 3 Tagen)

mattiass
Userprojekt
Userprojekt
Posts: 608
Joined: 2005-12-16 17:57

Re: Gedanken zum Greylisting

Post by mattiass » 2006-08-11 10:17

lordy wrote:Greylisting ist an sich keine schlechte Sache, das setze ich ebenfalls ein.

Einige Sachen sollten bei der Implementation aber bedacht werden:
- Die Absender-IP sollte nicht starr [1.2.3.4] sondern als Subnetz [1.2.3.0] gespeichert werden (z.B. für Cluster)
Ist drin.
- Von der Absender-Adresse sollte lediglich die Domain überprüft werden (einige Mailinglisten haben bei jedem Versuch andere FROMs)
Das bleibt erstmal strikt. In einer guten Woche werden dann die ersten Logs ausgewertet.
- Die Fenstergröße muß passen (Ich verwende ein Minimum von 3 Minuten und ein Maximum von 3 Tagen)
Ich habe gerade 10 Minuten und 5 Tage. Es scheint aber Mailserver zu geben, die es nach fünf Minuten zum ersten Mal und dann erst wieder nach 90 Minuten probieren.

Was mir fehlt, ist ein Feature, das die Empfänger ausgehender Mails automatisch für einige Tage "whitelistet" und ab der ersten Antwort das Tupel Sender/Empfänger/Mailserver mit dem üblichen Autowhitelisting behandelt.

Nunja, vielleicht lässt sich da was frickeln...

User avatar
nyxus
RSAC
Posts: 697
Joined: 2002-09-13 08:41
Location: Lübeck

Re: Gedanken zum Greylisting

Post by nyxus » 2006-08-11 10:45

MattiasS wrote:Was mir fehlt, ist ein Feature, das die Empfänger ausgehender Mails automatisch für einige Tage "whitelistet" und ab der ersten Antwort das Tupel Sender/Empfänger/Mailserver mit dem üblichen Autowhitelisting behandelt.
Was natürlich bedingt, daß man "ausgehende Mail" erkennen kann. Z.B. darüber daß sie authentifiziert eingeliefert wird. Ist das aber auch gegeben, wenn die User mit einem Webmail-Programm arbeiten? Ok, dann könnte man erkennen, daß sie von der selben Adresse kommen. Mit welchem MTA arbeitest Du? Ich frage mich nämlich gerade ob man dieses Feature - die Idee gefällt mir nämlich - auch in Postfix/Postgrey implementieren könnte.

rootsvr
Posts: 538
Joined: 2005-09-02 11:12

Re: Gedanken zum Greylisting

Post by rootsvr » 2006-08-11 10:45

duergner wrote:Meine ganz persoenliche Meinung zu Greylisting ist, dass ich es hasse. Es veruracht bei den einliefernden Mailservern eine hoehere Last, mehr Speicherbedarf, mehr Leistung, etc. Damit verlagert man seine eigenen Probleme nur auf die Schultern anderer Personen.

Und gerade fuer den geschaeftlichen Bereich halte ich die sich taeglich aendernden Adressen fuer absolut nicht tragbar, da die meisten Menschen in diesem Umfeld Email an Adresse aus Adressbuechern schreiben. Und das geht dann nicht.

Ich fahre bei mit derzeit nur einen Amavis mit Spamassassin und Pyzor. Das erkennt nach etwas Training > 97% des Spams bei meinen Postfaechern. Dazu noch ein paar Einschraenkungen im SMTP Dialog bei nicht RFC konformen Sachen und man faehrt IMHO eigentlich ganz gut.
Kann ich so unterschreiben. Ich halte Verzögerungen bei Emails im Minuten bis Stunden bereich einfach nicht tragbar. Man antwortet auf wichtige Mails und bekommt nach 90 Minuten ne Frage warum man nicht antwortet.. super Greylisting! Mir sind zwar schon fast die 15 Sekunden Spamassasin/Virenscanner zu viel, aber Greylisting geht garnicht. Mit SA, Razor, Pyzor, DCC und entsprechenden Regeln hatte ich bisher keine False Positve und weit über 95% Erkennungsrate.

lordy
Posts: 83
Joined: 2006-06-22 12:45

Re: Gedanken zum Greylisting

Post by lordy » 2006-08-11 11:12

eMail ist keine Echtzeit-Kommunikation ! :-D

Wenn ich sicher gehen will, das eine Information ankommt, oder wenn etwas wirklich wichtig ist, greife ich zu dem komischen Ding auf meinem Schreitisch mit dem Hörer und den Tasten...

captaincrunch
Userprojekt
Userprojekt
Posts: 7225
Joined: 2002-10-09 14:30
Location: Dorsten

Re: Gedanken zum Greylisting

Post by captaincrunch » 2006-08-11 11:40

eMail ist keine Echtzeit-Kommunikation !
Nicht, dass ich dir nicht zustimmen würde. Diese Aussage einem vor die stehenden Vorstandsvorsitzenden zu erklären ist allerdings nicht mehr ganz so einfach.
DebianHowTo
echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc

dodolin
RSAC
Posts: 4009
Joined: 2003-01-21 01:59
Location: Sinsheim/Karlsruhe

Re: Gedanken zum Greylisting

Post by dodolin » 2006-08-11 12:25

eMail ist keine Echtzeit-Kommunikation !
Es wird aber heutzutage von vielen Menschen fast so genutzt.

Zum Thema: Es gab gerade kürzlich einen Mega-Thread über Greylisting in de.comm.software.mailserver, wo alle möglichen Aspekte des Themas diskutiert wurden.

Pauschal halte ich Greylisting auch nur für sehr bedingt einsatzfähig, es gibt aber inzwischen schon die verschiedensten Ideen für Varianten, Greylisting nur selektiv einzusetzen, z.B. nur für Hosts, die auf DUL-Listen stehen. Oder die Variante "Hostname-based selective Greylisting" etc.