Erfahrungen mit Greylisting

[nn4l]

Ich bekomme für meine privaten Email-Adressen (die es schon ca. zehn Jahre gibt und die garantiert in jeder Spammer-DB drinsteht) etwa 1000 Spam-Emails pro Tag, auf dem Rootserver kommen täglich insgesamt etwa 3000 Spam-Emails rein - Tendenz steigend.

Obwohl durch Blacklists bestimmt 98% aller Spam-Emails geblockt werden, gelangen immer noch zuviele Spam-Emails in den Junk-Ordner. Ich kann mich nicht dazu durchringen, die Spam-Emails zu löschen, ohne die Subjects zu überfliegen, denn gelegentlich finde ich false positives im Junk-Ordner.

Greylisting hat natürlich einige Nachteile. Die Spams sind allerdings jetzt runter auf ca. 3 pro Woche, das kommt mir wie eine Idylle vor.

Ich habe in dem folgenden Artikel einige Erfahrungen und Konfigurationshinweise zusammengetragen. Besonders wichtig scheint mir eine gute Whitelist zu sein. Z.B. hat eBay große Schwierigkeiten mit Greylisting, da habe ich mal die IP-Adressen der eBay-Mailserver rausgesucht und in die Whitelist eingetragen.

http://www.schirmacher.de/display/INFO/ ... reylisting

Falls ihr weitere wichtige Whitelist-Einträge oder sonstige Hinweise habt, bitte hier posten.

[dodolin]

Danke, guter Beitrag!

Anmerkung:

Hat ein Unternehmen keinen SPF-Eintrag, kann man zumindest die in den MX-Records gelisteten Mailserver in die Whitelist aufnehmen.

Gerade bei großen Unternehmen meist nicht sehr hilfreich, da Eingangs- und Ausgangs-Mailserver komplett getrennt sind.

In deiner Whitelist scheint Yahoo zu fehlen. Deren Mailinglisten ("Yahoo-Groups") machen bei einem temp. Fehler grundsätzlich keine Retries - zumindest war das das letzte, was ich vor einiger Zeit dazu mal gehört hatte. (Sollte nachzulesen sein, u.a. auf der exim-users Mailingliste.)

[tommbutu]

aber sowas von gebookmarked ! ;)

dein rss feed hat sich versteckt, aber ich hab ihn gefunden. mail server läuft noch nicht, aber anleitungen kann man gebrauchen

[nn4l]

In deiner Whitelist scheint Yahoo zu fehlen. Deren Mailinglisten ("Yahoo-Groups") machen bei einem temp. Fehler grundsätzlich keine Retries...

stimmt tatsächlich - ich habe mich bei einer Group angemeldet, die Bestätigungsmail wurde mit 6 Wiederholungsversuchen innerhalb etwas weniger als 1 Stunde gesendet, und kam somit nicht an (dieser Server hat noch das greylisting package default von 3600 Sekunden, in meinem Artikel hatte ich 300 Sekunden empfohlen).

Ich habe dann die Anmeldung erfolgreich wiederholt, mal sehen, ob und wann dann die eigentlichen Group Artikel eintreffen.

Es dürfte allerdings schwierig werden, alle Yahoo-Mailserver zu whitelisten. Andere Unternehmen führen ihre Mailserver in einem SPF-Record auf, Yahoo leider nicht.

[lord_pinhead]

Sehr guter Text :) Werd das auch mal mit aufsetzen, den zur Zeit ist die Flut wieder richtig groß.

[nn4l]

("Yahoo-Groups") machen bei einem temp. Fehler grundsätzlich keine Retries

Das scheint zumindest für die eine Group, die ich kürzlich abonniert habe, nicht zuzutreffen. Die Emails werden solange versendet, bis sie (nach 3600 sec. Wartezeit) endlich durchgelassen werden.

Übrigens ist heute eine eBay-Email, bei der der eBay Server nur einen einzigen Sendeversuch unternommen hatte, endlich angekommen. Nach 5 Tagen... eBay ist aber jetzt in der Whitelist drin.

[dodolin]

Das scheint zumindest für die eine Group, die ich kürzlich abonniert habe, nicht zuzutreffen. Die Emails werden solange versendet, bis sie (nach 3600 sec. Wartezeit) endlich durchgelassen werden.

Gute Sache, vielleicht haben sie es ja doch noch eingesehen und das Verhalten geändert.

Hier habe ich z.B. auf die Schnelle was dazu gefunden: http://www.gossamer-threads.com/lists/e ... 1228#41228

Auch ganz interessant in diesem Zusammenhang: Man sollte Greylisting nicht stand-alone sehen, sondern es sinnvoll mit anderen Maßnahmen vorher und nachher kombinieren.

[gierig]

Erfahrungen:

Habe Greylisting (auf Postfix mit Posgrey) etwa seit 4 wochen am laufen im Testbetrieb für eine Domain.

Auf mein Konto (die addy is ca. 8Jahre alt und und die Domain immer brav mit umgezogen) habe ich immer so 50-80 Spams/24h Stunden bekommen. Greylist habe ich bei mir auf 100 Sekunden gestellt.
Seit dem tag ist Ruhe. 3-4 Mails am Tag kommen durch.
Lägste Grayzeit war ein ein Newsletter von Conrad, dieser hat nach dem ersten abweisen fast 5 Stunden gebraucht bis er es erneut versucht hat.

Tonline, web.de, gmx, amazon und hotmail stehen in meiner Whitlist drinn.

[nn4l]

Greylisting ist ja im Grunde ein Verfahren, um reale Mailserver von Spambot-Netzen zu unterscheiden. Wenn sich irgendein Server als echter Mailserver ausgewiesen hat, indem er den Zustellversuch wiederholt, sollte diese IP Adresse in die Whitelist kommen. SPAM-Emails, die über echte Mailserver versendet werden, kann Greylisting auch nicht blocken.

Die Software, die ich einsetze (greylistd aus der Debian-Distribution), wertet jedoch sowohl die IP-Adresse des versendenden Mailservers als auch die Absenderadresse aus. Mir ist nicht klar, warum das so ist und was das für Vorteile haben soll.

Gibt es irgendeinen guten Grund, warum der greylistd das anders macht? Wie arbeiten andere Greylisting Lösungen?

[antondollmaier]

postfix-gld bietet in den neuesten Versionen dafür ein paar Optionen:

Code: Select all

#
# Shall we use lightgrey option ? (0=No,1=Yes) (default is 0)
#
# The lightgrey option, mask the last octet of IP addresses
# and thus we greylist only C classes (/24) instead of individual IPs.
#
LIGHTGREY=1

#
# Shall we use the mxgrey algorithm ? (0=No,1=Yes) (default is 0)
#
# the mxgrey algorithm is a variation of the greylist algorithm.
# When this is enabled, we allow all incoming mails from an IP address
# whatever source/destination email as long as this IP has been greylisted
# one time and succeded the mail resend .
#
# Example:
# The IP 1.2.3.4 sends an email from src@domain.com to user@yourdomain.com
# We greylist this mail as this IP is not yet in database and send a 450 SMTP code
# After some time, the IP re-send the mail from src@domain.com to user@yourdomain.com
# We update the db.
# Some time after the ip 1.2.3.4 sends an email from john@domain.com to fred@yourdomain.com
# We will accept this mail without any greylisting, as this ip already succeded a greylist test
# and thus seems to be a valid smtp server and not a spammer .
#
# The advantage of this method, is that it reduce the re-send time due to greylisting to
# one mail per server instead of one mail per destination .
#
# Please, note that enabling this feature automaticly enable the UPDATE feature.
#
MXGREY=1

#
# Shall we use lightgrey on domains ? (0=No,1=Yes) (default is 0)
#
# lightgreydomain
# after a normal triplet (full sender, full recipient, IP) has
# verified and email passed, create a domain triplet
# sender domain, recipient domain, IP
# match future emails against domain triplet.  The user triplet
# can then expire from the database
# This means at least one normal greylist has to be verified
# and then future emails between domains aren't delayed
#
# Do not activate this feature without understanding it ....
#
LIGHTGREYDOMAIN=0

Obiges Setup läuft hier seit ~Dezember 05 problemlos ... Whitelist wie bei dir, nur auf einige Server mit viel Aktivität erweitert.

[adjustman]

Die Software, die ich einsetze (greylistd aus der Debian-Distribution), wertet jedoch sowohl die IP-Adresse des versendenden Mailservers als auch die Absenderadresse aus. Mir ist nicht klar, warum das so ist und was das für Vorteile haben soll.

"Alle" Greylist Mechanismen
(ich nutze jetzt policyd von Cami mit MySQL, http://policyd.sourceforge.net/, vorher Postgrey von D. Schweickert, http://isg.ee.ethz.ch/tools/postgrey/)
werten das sog. Triplet aus. IP, Absender und Empfänger.
Ist das Triplet innerhalb der eingestellten Zeit gleich,
wird withlisted für Zeit X.

[athlux]

Wie löst man eigentlich das Problem das einige externe Mailserver bei einem Error durch greylisting einfach auf den Secondary MX einliefern?

Gut den könnte man theoretisch eh abschalten. Zumindest bei mir kommt da nur Spam rein.

[nyxus]

Wie löst man eigentlich das Problem das einige externe Mailserver bei einem Error durch greylisting einfach auf den Secondary MX einliefern?

Gut den könnte man theoretisch eh abschalten. Zumindest bei mir kommt da nur Spam rein.

Verhindern wohl überhaupt nicht (mit vernünftigen Mitteln). Aber ich habe mit Graylisting sowieso auf dem Secondary angefangen. Erst als es da gut lief habe ich meinen Haupt-Mailserver umgerüstet.

[dodolin]

Wie löst man eigentlich das Problem das einige externe Mailserver bei einem Error durch greylisting einfach auf den Secondary MX einliefern?

Das ist kein Problem, sondern Feature von SMTP. Sinnvoll ist ein Secondary eigentlich sowieso nur, wenn dieser identische Anti-Spam-Maßnahmen wie der Primary hat (dazu gehört dann auch Greylisting).

[athlux]

Wie löst man eigentlich das Problem das einige externe Mailserver bei einem Error durch greylisting einfach auf den Secondary MX einliefern?

Das ist kein Problem, sondern Feature von SMTP. Sinnvoll ist ein Secondary eigentlich sowieso nur, wenn dieser identische Anti-Spam-Maßnahmen wie der Primary hat (dazu gehört dann auch Greylisting).

Stimmt. "Problem" in dem Sinne nur das ich den Backup-MX eigentlich nur verwenden will falls mein rooti down ist. Aber da durchs greylisting ein temporay reject kommt geht er sofort über zum Secondary-MX.

Da ich keine Kontrolle über den Secondary-MX habe ich diesen nun erstmal entfernt.

[me-myself-and-i]

schön wenn das 1und1 marketing sowas für sinnvoll hält ... die techniker bestimmt nicht ...

also mit dem backup mx, den mit/für/wegen retry times braucht man heutzutage keinen backup mx mehr!

greylisting an sich ist ist bis zu einer bestimmten "grösse" sinnvoll ... danach nicht mehr performant (ich rede von nem mail-in cluster).

ein sehr einfaches verfahren ist z.B. dieses hier http://www.schlittermann.de/doc/grey

wenn ich es einsetzen könnte, würde ich das nehmen.

[danu]

Seit heute bin ich von dieser Lösung überzeugt:
http://meshier.com/2006/09/18/adding-gr ... n-plesk-8/

Da ist in der Grundkonfiguration eine Block-Time von 4 Minuten eingestellt. Beim wiederholten Zustellversuch innerhalb einer Stunde, bleibt er weiterhin 24 Stunden offen. Withelisting und Blacklisting funktionieren tadellos.

Die Installation ist recht einfach. Man muss eine MySQL Datenbank mit einer
Tabelle erstellen. Vom ganzen Qmail-Patch benötigt man nur 2 Dateien. Deshalb brauchen einen auch nicht die dutzenden Warnmeldungen während des Kompilierens zu beunruhigen.

[henniee]

Neben der Seite von Meshier empfehele ich diese hier:
http://clausvb.de/doku_greylisting.htm

Grüße

[beanie]

Hallo,

auch wenn es nun schon eine Weile her ist.
Schau dir mal policyd-weight an, allein der sollte 95% deines Spams direkt abblocken.

Zum anderen kannst du dir auch mal Nolisting anschauen.

Ich finde Greylisting ist keine 100%ig schoene Massnahme.


Gruesse
Benjamin

[sledge0303]

Ich finde Greylisting ist keine 100%ig schoene Massnahme.

Ich hab policyd-weight und SQLgrey in Kombination zu laufen (Gentoo und Debian) und muss sagen, es filtert zusammengerechnet 99,5% des kompletten Aufkommen an Spam weg. Vor allem das schöne ist, wenn man zu einer Re-Initialisierung des Systems schreitet, die DB ist schnell gesichert und genauso schnell wieder eingespielt :)

[beanie]

Hey,

naja, Greylisting hat fuer mich nur Nachteile.
Zum einen die Verzoegerung, ich kann nicht beeinflussen wann der andere Mailserver wiederkommt. Da bei uns sehr viele Mails zeitkritisch sind faellt Greylisting fuer mich weg.
Zum anderen verhindert Greylisting dass ich Nachfragen kann ob ein Absender existiert. Wenn ich Nachfragen will lande ich im Greylisting, sehr toll.

Wie gesagt fuer mich hat Greylisting nur Nachteile, aber das muss wohl jeder selber wissen :)
Ich rate Kunden davon ab. Wobei ich Kunden auch von Contentfiltern und Virenscanner abrate, aber das hat rechtliche Gruende.


Gruesse
Benjamin

[Roger Wilco]

Da bei uns sehr viele Mails zeitkritisch sind faellt Greylisting fuer mich weg.

Ah, ich muss in den RFC den Abschnitt überlesen haben, in dem steht, dass E-Mail ein Echtzeitkommunikationsmedium ist und E-Mails in einer definierten Zeit zugestellt werden. ;)

Zum anderen verhindert Greylisting dass ich Nachfragen kann ob ein Absender existiert. Wenn ich Nachfragen will lande ich im Greylisting, sehr toll.

Sender Callout Verification bei fremden Mailservern ist so oder so bäh und sollte nicht genutzt werden.

Wie gesagt fuer mich hat Greylisting nur Nachteile, aber das muss wohl jeder selber wissen :)

Ich denke mal sledge0303 nutzt wie die meisten hier selektives Greylisting mit policyd-weight und sqlgrey. Wenn policyd-weight etwas zu meckern hat und der Score entsprechend hoch ist, wird der Sender gegreylisted (tolles Denglisch BTW), ansonsten kommt er ohne Verzögerung durch.

Ich rate Kunden davon ab. Wobei ich Kunden auch von Contentfiltern und Virenscanner abrate, aber das hat rechtliche Gruende.

Bei einem Anteil von nur 2-5% an erwünschten E-Mails wäre das Medium ohne entsprechende Filter für mich (und für viele andere) tot.

[sledge0303]

Wie gesagt fuer mich hat Greylisting nur Nachteile, aber das muss wohl jeder selber wissen :)

Ich denke mal sledge0303 nutzt wie die meisten hier selektives Greylisting mit policyd-weight und sqlgrey. Wenn policyd-weight etwas zu meckern hat und der Score entsprechend hoch ist, wird der Sender gegreylisted (tolles Denglisch BTW), ansonsten kommt er ohne Verzögerung durch.

So ist es, Roger. Ich bin manchmal etwas verwundert wie manche Sachen aus Unkenntnis darüber verteufelt werden. Aber lass mal, mir geht es mit (open)SUSE nicht viel besser, eine Distribution gegen die ich genauso wettern tue wie Joe User gegen Debian... und ehrlich zugegeben: bestimmt zugrunde liegend aus meiner damaligen Zeit als Anfänger und der entsprechenden Unkenntnis über das System...
Naja, jetzt erstmal steht die komplette Umstellung von Debian auf Gentoo in den nächsten Tagen an.

[beanie]

Da bei uns sehr viele Mails zeitkritisch sind faellt Greylisting fuer mich weg.

Ah, ich muss in den RFC den Abschnitt überlesen haben, in dem steht, dass E-Mail ein Echtzeitkommunikationsmedium ist und E-Mails in einer definierten Zeit zugestellt werden. ;)

Ich sagte ja für mich. Und wenn ein Kunde mir zeitkritische Informationen per Mail zukommen läßt, da kann ich auch nicht sagen "hier laut RFC ist EMail kein Echtzeitkommunikationsmittel". Auch wenn es nicht das schönste ist, so muss ich aber damit klarkommen und muss eben Spamfilter auf meine Bedürfnisse anpassen.

Zum anderen verhindert Greylisting dass ich Nachfragen kann ob ein Absender existiert. Wenn ich Nachfragen will lande ich im Greylisting, sehr toll.

Sender Callout Verification bei fremden Mailservern ist so oder so bäh und sollte nicht genutzt werden.

Und aus welchem Grund?

Wie gesagt fuer mich hat Greylisting nur Nachteile, aber das muss wohl jeder selber wissen :)

Ich denke mal sledge0303 nutzt wie die meisten hier selektives Greylisting mit policyd-weight und sqlgrey. Wenn policyd-weight etwas zu meckern hat und der Score entsprechend hoch ist, wird der Sender gegreylisted (tolles Denglisch BTW), ansonsten kommt er ohne Verzögerung durch.

Ja, aber da viele "Administratoren ihre Mailserver nicht richtig konfigurieren ist mir einfach das Risiko zu hoch, dass die falschen im Greylisting landen. Ich hatte auch schon das Problem, dass ein Exchange-Admin (sick) im Greylisting gelandet ist aber sein Server auch nicht nochmal versucht hat die Mail zuzustellen, somit kam Sie nie bei uns an.

Ich rate Kunden davon ab. Wobei ich Kunden auch von Contentfiltern und Virenscanner abrate, aber das hat rechtliche Gruende.

Bei einem Anteil von nur 2-5% an erwünschten E-Mails wäre das Medium ohne entsprechende Filter für mich (und für viele andere) tot.

Ja, es gibt aber gewisse Firmen wo eine angenommene Mail, die dann irgendwo im Spamordner landet doch schon fast über die Existenz entscheiden kann. Aus diesem Grund gibt es einige Installationen wo es nur nen Reject durch Policyd-weight gibt und wenn der nicht meckert wird Sie eben zugestellt. Natürlich wissen das die entsprechenden Mitarbeiter und gehen sorgfältig mit den Mails um.

So ist es, Roger. Ich bin manchmal etwas verwundert wie manche Sachen aus Unkenntnis darüber verteufelt werden.

Möchtest du mir Unkentniss in Sachen Greylisting vorwerfen? Habe ich es verteufelt? Bleib mal bitte auf dem Boden. Ich habe lediglich versucht dazustellen warum es in manchen Setups einfach nicht angewendet werden kann. Nicht mehr und nicht weniger.

SAber lass mal, mir geht es mit (open)SUSE nicht viel besser, eine Distribution gegen die ich genauso wettern tue wie Joe User gegen Debian... und ehrlich zugegeben: bestimmt zugrunde liegend aus meiner damaligen Zeit als Anfänger und der entsprechenden Unkenntnis über das System...Naja, jetzt erstmal steht die komplette Umstellung von Debian auf Gentoo in den nächsten Tagen an.

Das ist bitte nicht dein ernst? Ich hoffe du administrierst keine kritischen Systeme. Gentoo hat auf nem Server, bei dem es um Verfügbarkeit und Stabilität geht nichts zu suchen.

[sledge0303]

Möchtest du mir Unkentniss in Sachen Greylisting vorwerfen?

Nein, das hab ich so nicht geschrieben, es war eine allgemeine Aussage. Wenn du dich hast deswegen angegriffen gefühlt, sorry, so war das nicht gemeint.
Wenn man Dienste richtig konfiguriert, wie halt Greylisting, dann kommen auch die Mails ohne Zeitverzögerungen an.

Das ist bitte nicht dein ernst? Ich hoffe du administrierst keine kritischen Systeme. Gentoo hat auf nem Server, bei dem es um Verfügbarkeit und Stabilität geht nichts zu suchen.

Mit welcher Begründung triffst du diese Aussage?