Spamassassin-Config

[footh]

Hallo Gemeinde!

Ich habe mir den neuen Spamassassin 2.60 neben Postfix, Procmail und Antivir installiert und der ganze Mix funzt klasse. Nun ist es aber so, daß ich noch nicht so ganz dahinter steige, wie Sp genau arbeitet.

Alle Spams werden zuverlässig gleich ausgefiltert. Ab und zu kommt mal eine Spammail durch, aber damit kann ich leben. Nun möchte ich die Zuverlässigkeit und damit die Erkennung noch weiter erhöhen, daß wirklich alle Spams geblockt werden.

Hier mal meine local.cf:

Code: Select all

# How many hits before a message is considered spam.
required_hits           6.5

# Whether to change the subject of suspected spam
rewrite_subject         1

# Text to prepend to subject if rewrite_subject is used
subject_tag             ***SPAM entdeckt***

# Encapsulate spam in an attachment
report_safe             1

# Use terse version of the spam report
use_terse_report        1

# Enable the Bayes system
use_bayes               1

# Enable Bayes auto-learning
auto_learn              1
bayes_auto_learn        1

# Enable or disable network checks
skip_rbl_checks         0
use_razor2              1
use_dcc                 1
use_pyzor               1

# Mail using languages used in these country codes will not be marked
# as being possibly spam in a foreign language.
# - german
ok_languages            de

# Mail using locales used in these country codes will not be marked
# as being possibly spam in a foreign language.
ok_locales              de

Vielleicht kann mir der eine oder andere noch weitere Tipps geben, den SA noch weiter zu verfeinern, ware nett.

Jetzt zu meinen hoffentlich nicht nervenden Fragen:

1. Kennt jemand ein deutsches Projekt, daß sich mit dem Konfigurieren des SA befasst. Das würde mir vieles vom Verständnis her erleichten.

2. Im Verzeichnis /usr/share/spamassassin existieren viele .cf-Dateien, für mich sehen diese aus, wie weitere Regelsätze. Greift SA im Betrieb auf diese Konfigdateien als Regelsätze zu oder sind das alles nur Examples für eine local.cf?

3. Wenn Regelsätze in SA existieren, wie kann ich Spammails, die nicht sofort als Spam erkannt worden sind zu den Regelsätzen hinzufügen?

4. SA soll ja selbstständig lernen, woran kann ich den Fortschritt des Lernen kontrollieren? Und wir gerade beim Lernen sind, hier mal ein Mailheader:

Code: Select all

X-Spam-Level: ****
X-Spam-Status: No, hits=5.0 required=6.5 tests=CLICK_BELOW,HTML_50_60,
	HTML_EVENT_UNSAFE,HTML_FONTCOLOR_BLUE,HTML_FONTCOLOR_UNSAFE,
	HTML_FONT_BIG,HTML_LINK_CLICK_HERE,HTML_MESSAGE,MIME_HTML_ONLY,
	RCVD_IN_SBL,RCVD_IN_SORBS,UNWANTED_LANGUAGE_BODY autolearn=no 
	version=2.60

In diesem Header kann man unten erkennen, daß dort autolearn=no steht. Bedeutet das, daß SA nicht im Autolern-Modus arbeitet?

Vielen Dank schon mal für die Anteilnahme im Voraus!!!


MFG
footh

[captaincrunch]

1. Kennt jemand ein deutsches Projekt, daß sich mit dem Konfigurieren des SA befasst.

Die Diskussion gab's hier vor kurzem, wenn ich mich recht erinnere, gab's aber herzlich wenig dazu.

2. Im Verzeichnis /usr/share/spamassassin existieren viele .cf-Dateien, für mich sehen diese aus, wie weitere Regelsätze. Greift SA im Betrieb auf diese Konfigdateien als Regelsätze zu oder sind das alles nur Examples für eine local.cf?

Genau das sind die Tests, die SA an den Mails durchführt. Schau einfach mal in die Dinger rein, sind eigentlich nur relativ einfache Perl-Scripte

In diesem Header kann man unten erkennen, daß dort autolearn=no steht. Bedeutet das, daß SA nicht im Autolern-Modus arbeitet?

Genau, da deinen Bayes erstmal mit genügend Mails trainieren musst, vorher macht der gar nichts.

[footh]

..vielen Dank!

Kannst du mir vielleicht auch noch Frage drei beantworten? :P

[cipi]

Lies dir doch mal die README durch.
Dort findest du was wie:

Code: Select all

sa-learn --spam /opt/vpopmail/domains/....

und vielleicht noch ne Beschreibung ...

[dodolin]

1. Kennt jemand ein deutsches Projekt, daß sich mit dem Konfigurieren des SA befasst. Das würde mir vieles vom Verständnis her erleichten.

Nein, ist keines bekannt. Du solltest also dringend Englisch lernen - besonders, wenn du einen Rootserver hast!

2. Im Verzeichnis /usr/share/spamassassin existieren viele .cf-Dateien, für mich sehen diese aus, wie weitere Regelsätze. Greift SA im Betrieb auf diese Konfigdateien als Regelsätze zu oder sind das alles nur Examples für eine local.cf?

Ja. Nein.

3. Wenn Regelsätze in SA existieren, wie kann ich Spammails, die nicht sofort als Spam erkannt worden sind zu den Regelsätzen hinzufügen?

Entweder mit sa-learn von Bayes lernen lassen (1) oder eigene Regeln erstellen (2), falls angebracht.
(1) http://eu.spamassassin.org/doc/sa-learn.html
(2) http://eu.spamassassin.org/doc/Mail_Spa ... 20settings

4. SA soll ja selbstständig lernen, woran kann ich den Fortschritt des Lernen kontrollieren?

sa-learn --dump
http://eu.spamassassin.org/doc/sa-learn.html

In diesem Header kann man unten erkennen, daß dort autolearn=no steht. Bedeutet das, daß SA nicht im Autolern-Modus arbeitet?

Genau, da deinen Bayes erstmal mit genügend Mails trainieren musst, vorher macht der gar nichts.

Falsch.
Das bedeuted, dass der Score (5.0) unterhalb der bayes_auto_learn_threshold_xxx lag.
http://eu.spamassassin.org/doc/Mail_Spa ... %20options
Auto-Learn tut auch ohne bayes_min_xxx_num - genau dazu ist es ja da. ;)

[footh]

..vielen Dank nochmals an alle

MFG
footh

[m18]

Ich hab dazu mal auch noch ne Frage, wenn ich den Bayes Filter trainieren will und sagen wir mal alle meine Kunden sollen ihre Spam mails an spam@bla.de und ham an ham@bla.de schicken. dann liegen ja die mails in

Code: Select all

/var/vpopmail/domains/bla.de/spam/Maildir/new/ und /var/vpopmail/domains/bla.de/ham/Maildir/new/

Jetzt scanne ich mit

Code: Select all

sa-learn --spam /var/vpopmail/domains/bla.de/spam/Maildir/new/ und
sa-learn --ham /var/vpopmail/domains/bla.de/ham/Maildir/new/

Ist das dann richtig so? Also wenn die Kunden ihren spam und ham forwarden? Oder hab ich was total falsch verstanden?

[adjustman]

grundsätzlich richtig. Nur das bei Maildir

sa-learn --spam --dir /var/vpopmail/domains/bla.de/spam/Maildir/new/
und bei mbox
sa-learn --spam --mbox /var/vpopmail/domains/bla.de/spam/Maildir/new/

davor kommt.
Aber warum das alles? Die Mails, die Deine Kunden gekriegt haben, sind doch schon durch SA durch. :roll:

[m18]

Naja um den Bayes Filter zu trainieren wenn Spam mails nicht als spam erkannt wurden!?

Was bringen die optionen --dir / --mbox?
Hab selbiges gestern ohne gemacht und es hat geklappt

[dodolin]

Also wenn die Kunden ihren spam und ham forwarden?

Sehr schlechte Idee!

[m18]

Dachte ich mir schon @ dodolin. Weil ja dann deren Absender als adressen in die filter regeln eingetragen werden oder?

Wie sollte/kann man das ganze richtig lösen?

[dodolin]

Weil ja dann deren Absender als adressen in die filter regeln eingetragen werden oder?

Ebend. Die Header sind dann völlig anders.

Wie sollte/kann man das ganze richtig lösen?

z.B. in dem man IMAP verwendet und ausgewählte Benutzer, denen man vertraut und die genügend Ahnung für eine korrekte Klassifikation von Ham/Spam-Mails haben anweist, dass sie ihre Mails in bestimmte IMAP-Ordner einsortieren. Dann kann man ab und zu per cron ein Skript über genau diese IMAP-Boxen rennen lassen. Wird so z.B. an meiner Uni gemacht.

[m18]

Das wären dann praktisch "shared folder" oder? Oder meinst du das jeder user (dem man vertraut ;)) sich unter seinem INBOX ein SPAM ordner anlegt?
Wäre für Spam noch machbar, aber für HAM wirds schwierig, da selbiger ja meißt in x-verschiedenen Ordnern liegt gerade bei IMAP (versuch meine User eh alle grad umzuschwören :))
Ist vlt ein klein wenig off topic, aber wie richt ich in kurzform shared folder unter imap ein?

[dodolin]

Das wären dann praktisch "shared folder" oder?

Nein.

Oder wolltest du, dass beliebige andere User deinen Ham einsehen können?!

Oder meinst du das jeder user (dem man vertraut ) sich unter seinem INBOX ein SPAM ordner anlegt?

Ja. Aber nicht nur SPAM, sondern auch HAM.

Wäre für Spam noch machbar, aber für HAM wirds schwierig, da selbiger ja meißt in x-verschiedenen Ordnern liegt gerade bei IMAP

Sie müssen dann von jedem HAM eine "Kopie" in den HAM-Ordner legen.

[m18]

Ah OK begriffen thx :)

Ist dieses vorgehen für HAM und SPAM die beste Lösung oder "nur" für HAM. Ich könnte mir vorstellen das für SPAM ein shared folder besser geeignet ist? Ich kann mich aber auch täuschen, dodolin was meinst du dazu? Falls ein shared folder für spam besser wäre, wie lege ich selbigen an?

Für HAM ist klar, da sollte jeder seinen eigenen Ordner haben, das mit der Kopie ist gut, vielen dank

[dodolin]

Ich könnte mir vorstellen das für SPAM ein shared folder besser geeignet ist?

IMHO ist das gleich gut geeignet. Ich kann nur sagen, dass es an meiner Uni ohne Shared Folder gemacht wird... Auf meinem System (Debian) kann ich mittels maildirmake(1) nachlesen, wie man shared folder anlegt. Ein

Code: Select all

apropos maildir

sollte auch helfen.

[m18]

Danke werd ich zuhause gleich checken, hab aber schon wieder ein Problem

Hab gestern noch nen haufen spammails meinem filter zum lernen gegeben (zeigte bei sa-learn --dump magic bei ham und spam beides über 200 an). Jetzt bekam ich grad wieder einige spam mails, ich schaute den header an

Code: Select all

X-Spam-Flag: YES
X-Spam-Checker-Version: SpamAssassin 2.61 (1.212.2.1-2003-12-09-exp) on p15105672.pureserver.info
X-Spam-Status: Yes, hits=14.7 required=5.0 tests=DATE_IN_FUTURE_03_06,DATE_SPAMWARE_Y2K,MISSING_MIMEOLE,MISSING_OUTLOOK_NAME,RATWARE_EGROUPS,WEIRD_PORT autolearn=no version=2.61

und siehe da es steht autolearn=no da 8O

Was hab ich vergessen, bin grad @ work von daher kann ich die local.cf grad ned pasten, aber es steht auf jeden fall drin
enable_bayes 1 und bayes_auto_learn 1 und halt noch weitere funktionen.

Braucht SA vlt in der neuen Version mehr als 200 messages oder was könnte ich vergessen haben?

[m18]

Sorry ich nehme alles zurück und behaupte das gegenteil :)

Hab grad in 2 andren messages das gefunden

Code: Select all

X-Spam-Status: Yes, hits=20.7 required=5.0 tests=BEST_PORN,DATE_IN_FUTURE_03_06,DATE_SPAMWARE_Y2K,FORGED_MUA_OIMO,FORGED_RCVD_NET_HELO,FREE_PORN,MISSING_MIMEOLE,RCVD_NUMERIC_HELO,WEIRD_PORT autolearn=spam version=2.61

Eine Frage stellt sich mir dennoch, nach welchen Gründen zieht er die Mail als Spam Mail zum lernen zu rate?

[dodolin]

Eine Frage stellt sich mir dennoch, nach welchen Gründen zieht er die Mail als Spam Mail zum lernen zu rate?

http://eu3.spamassassin.org/doc/Mail_Sp ... %20options

[m18]

Jab danach hab ich es konfiguriert.

aber die option:

Code: Select all

bayes_auto_learn_threshold_spam 6.0 (default: 12.0)

sagt doch das er in dem beispiel alles ab 6.0 zum spam learning zieht. in meinen mails waren aber spam mails mit 12 und trotzdem stand bei auto-learning: no

Bei den mails wo yes stand waren mit hits über 20

Kanns sein das es von den andren mails "zufällig" schon rules gab, oder hab ich die option einfach falsch verstanden?

[dodolin]

sagt doch das er in dem beispiel alles ab 6.0 zum spam learning zieht. in meinen mails waren aber spam mails mit 12 und trotzdem stand bei auto-learning: no

Das erklärt sich wohl dadurch:

bayes_auto_learn ( 0 | 1 ) (default: 1)
Whether SpamAssassin should automatically feed high-scoring mails (or low-scoring mails, for non-spam) into its learning systems. The only learning system supported currently is a naive-Bayesian-style classifier.

Note that certain tests are ignored when determining whether a message should be trained upon: - auto-whitelist (AWL) - rules with tflags set to 'learn' (the Bayesian rules) - rules with tflags set to 'userconf' (user white/black-listing rules, etc)

Also note that auto-training occurs using scores from either scoreset 0 or 1, depending on what scoreset is used during message check. It is likely that the message check and auto-train scores will be different.

[m18]

Ned wirklich, da ich keine white-/blacklists bis jetzt benutze

[dodolin]

Ned wirklich, da ich keine white-/blacklists bis jetzt benutze

Doch, wirklich, da es nicht nur darauf ankommt.

[m18]

Ja eben ich möcht ja wissen wovon es noch ausgeht, und das steht da halt grad ned :) oder bin ich blind?

AWL trifft ned zu
das andre auch ned oder doch?

erklär mal damit ich es versteh

[dodolin]

auto-whitelist (AWL) - rules with tflags set to 'learn' (the Bayesian rules) - rules with tflags set to 'userconf' (user white/black-listing rules, etc)

Hierzu z.B. mal gucken:

Code: Select all

grep learn /usr/share/spamassassin/*
grep userconf /usr/share/spamassassin/*

Oder wo auch immer deine .cf Files für SA liegen.

Also note that auto-training occurs using scores from either scoreset 0 or 1, depending on what scoreset is used during message check.

Das check ich selbst nicht so ganz. Jedenfalls gilt zu beachten:

It is likely that the message check and auto-train scores will be different.

Insofern ist das von dir beobachtete Verhalten völlig normal.

BTW: auto_train ist so ziemlich für den Arsch. Eigentlich will man eh nur manuell lernen.