Spamassassin erkennt zu wenig Spam

Postfix, QMail, Sendmail, Dovecot, Cyrus, Courier, Anti-Spam
maggus
Posts: 30
Joined: 2004-04-19 21:06

Spamassassin erkennt zu wenig Spam

Post by maggus » 2005-08-05 13:55

Hallo Zusammen,

ich habe Spamassassin (aktuelle Version) unter Confixx 3, Suse nach der FAQ-Anleitung installiert und aktiviert. Spamassassin läuft auch und erkennt auch Spam, allerdings werden 99% aller Spam-Emails mit teilweise <1.0 hits durchgelassen.

Darunter Emails wie

Adobe Software and more. The best price.
MS Office XP Pro $49.95 Win XP
You don_t know how to get into search engine results?
affordable pills
Perfect visual solution for your business NOW

Auch nach umfangreichem "Training" mit sa-learn hat sich das kaum merklich gebessert. Ich habe an der voreingestellten Konfiguration nichts geändert.

Kann mir jemand helfen?

Vielen Dank und viele Grüße

Markus

stefanpropehan
Posts: 335
Joined: 2002-12-17 22:25
Location: Berlin

Re: Spamassassin erkennt zu wenig Spam

Post by stefanpropehan » 2005-08-05 14:01

Ohne die entsprechenden E-Mail Header wird dir hier wohl niemand helfen können... ein paar Angaben zur Konfiguration vom sa wären auch nicht schlecht.

Meine Glaskugel hat evtl die AutoWhiteList Funktion vom sa im Auge...

timeless2
Posts: 416
Joined: 2005-03-04 14:45
Location: Paris

Re: Spamassassin erkennt zu wenig Spam

Post by timeless2 » 2005-08-05 14:02

du musst den sa-learn auch mit guten Mails (Ham) füttern, damit er besser unterscheiden kann. Damit das richtig funktioniert, muss man ihm eine nicht unbeträchtliche Menge an Mails vorsetzen.

maggus
Posts: 30
Joined: 2004-04-19 21:06

Re: Spamassassin erkennt zu wenig Spam

Post by maggus » 2005-08-05 14:29

Hi,

vielen Dank für Euer Feedback!

Hier ein paar Email-Header:

Subject: Perfect visual solution for your business NOW
X-Spam-Status: No, hits=1.0 required=5.0
tests=HTML_30_40,HTML_MESSAGE,MIME_LONG_LINE_QP,USER_AGENT
version=2.55

Subject: on line P`H A`R`M`A C`Y
X-Spam-Status: No, hits=0.0 required=5.0
tests=none
version=2.55

Subject: MS Office XP Pro $49.95 Win XP
X-Spam-Status: No, hits=1.6 required=5.0
tests=HTML_80_90,HTML_MESSAGE,HTML_TAG_EXISTS_TBODY,
MIME_HTML_ONLY,MIME_LONG_LINE_QP,OFFER
version=2.55


Subject: Adobe Software and more. The best price.
X-Spam-Status: No, hits=1.7 required=5.0
tests=HTML_40_50,HTML_FONT_BIG,HTML_FONT_COLOR_BLUE,
HTML_FONT_COLOR_UNSAFE,HTML_MESSAGE,OFFER
version=2.55


Und hier die Konfiguration local.cf:

required_hits 5.0
rewrite_subject 1
subject_tag *****SPAM*****
report_safe 1
use_terse_report 0
use_bayes 1
auto_learn 1
skip_rbl_checks 0
use_razor2 1
use_dcc 1
use_pyzor 1
ok_languages all
ok_locales all

Viele Grüße

Markus

stefanpropehan
Posts: 335
Joined: 2002-12-17 22:25
Location: Berlin

Re: Spamassassin erkennt zu wenig Spam

Post by stefanpropehan » 2005-08-05 14:37

Also die "Autowhitelist" ist es nicht, zum Bayes Filter - da kann ich mich meinen Vorredner nur anschließen... genügend HAM und Spam trainieren.

Was für Checks werden ausgeführt... sa mal im Debug laufen lassen und mal in den Ordner "/usr/share/spamassassin/" spähen....

maggus
Posts: 30
Joined: 2004-04-19 21:06

Re: Spamassassin erkennt zu wenig Spam

Post by maggus » 2005-08-05 14:53

Hi,

hier ist der Inhalt von /usr/share/spamassassin:

10_misc.cf
20_anti_ratware.cf
20_body_tests.cf
20_compensate.cf
20_head_tests.cf
20_html_tests.cf
20_meta_tests.cf
20_phrases.cf
20_porn.cf
20_ratware.cf
20_uri_tests.cf
23_bayes.cf
25_body_tests_es.cf
25_body_tests_pl.cf
25_head_tests_es.cf
25_head_tests_pl.cf
30_text_de.cf
30_text_es.cf
30_text_fr.cf
30_text_it.cf
30_text_pl.cf
50_scores.cf
60_whitelist.cf
languages
triplets.txt
user_prefs.template

maggus
Posts: 30
Joined: 2004-04-19 21:06

Re: Spamassassin erkennt zu wenig Spam

Post by maggus » 2005-08-05 15:21

Das sind die Parameter, die an Spamassassin übergeben werden (/etc/sysconfig/spamd):

-d -x -q -L

Viele Grüße

Markus

timeless2
Posts: 416
Joined: 2005-03-04 14:45
Location: Paris

Re: Spamassassin erkennt zu wenig Spam

Post by timeless2 » 2005-08-05 18:31

also unter jeweils 100 Mails (jeweils spam und ham, das war die unterste Grenze) wird der trainierte Filter erst gar nicht angewendet (schau mal bei spamassassin.org vorbei).

Ich trainiere jetzt auch schon eine ganze Weile und es dauert ziemlich lange, bis Spam erkannt wird. Bei mir wird derzeit vielleicht die Hälfte (spamassassin kommt erst nach Blacklisten) durch. In einer alten Konfiguration hat das wesentlich besser geklappt, aber das bekomme ich nicht mehr hin.

maggus
Posts: 30
Joined: 2004-04-19 21:06

Re: Spamassassin erkennt zu wenig Spam

Post by maggus » 2005-08-05 19:12

Hallo timeless2

wo ist denn da der Sinn? Ein Spamfilter, der nur einen Bruchteil des Spam erkennt und der erst monatelang trainiert werden muss? Warum nutzt Spamassassin nicht irgendeine Blacklist, davon sind doch tonnenweise sehr gute vorhanden? Oder kann man die irgendwie manuell runterladen und nachinstallieren.

Viele Grüße

Markus

timeless2
Posts: 416
Joined: 2005-03-04 14:45
Location: Paris

Re: Spamassassin erkennt zu wenig Spam

Post by timeless2 » 2005-08-05 19:19

erst wird mit einer Blacklist gefiltert und was davon übrig bleibt, läuft durch Spamassassin. Inzwischen bessert sich das, aber zum Trainieren braucht man sehr viele E-Mails.

dodolin
RSAC
Posts: 4009
Joined: 2003-01-21 01:59
Location: Sinsheim/Karlsruhe

Re: Spamassassin erkennt zu wenig Spam

Post by dodolin » 2005-08-06 05:52

Damit DNS Blacklisten funktionieren, benoetigt, man das entsprechende DNS Perl-Modul. Sollte alles irgendwo in der Doku stehen.

Damit Bayes funktioniert, benoetigt man entsprechendes Training (wurde ja bereits erwaehnt).

Damit Razor/Pyzor funktioniert benoetigt man IIRC auch irgendwas zusaetzliches.

Ich persoenlich bevorzuge es auch, noch etwas an den Scores, insbesondere fuer HTML_* und diverse COLOR Attribute zu spielen, da mir die Defaults zu niedrig erscheinen.

Ohne Bayes und DNS ist SA in der Tat nur einen Bruchteil so effektiv als mit.

timeless2
Posts: 416
Joined: 2005-03-04 14:45
Location: Paris

Re: Spamassassin erkennt zu wenig Spam

Post by timeless2 » 2005-08-06 15:42

dodolin wrote:Ich persoenlich bevorzuge es auch, noch etwas an den Scores, insbesondere fuer HTML_* und diverse COLOR Attribute zu spielen, da mir die Defaults zu niedrig erscheinen.
Wo und wie ändert man das am besten?
In der /usr/share/spamassassin soll man ja nichts machen, weil das durch Update überschrieben wird.
Ich wollte was bei den porn-Regelsätzen etwas an der Punktvergabe ändern, aber ich der Datei habe ich nichts gefunden, wo die Punkte verteilt werden (sonst z.B. "score REGEL 0.5").
Bei manchen Regeln werden einfach keine Punkte vergeben, z.B.

Code: Select all

0.0 FORGED_OUTLOOK_TAGS    Outlook can't send HTML in this format

dodolin
RSAC
Posts: 4009
Joined: 2003-01-21 01:59
Location: Sinsheim/Karlsruhe

Re: Spamassassin erkennt zu wenig Spam

Post by dodolin » 2005-08-07 18:27

Wo und wie ändert man das am besten?
Meinst du nicht, dass das die Doku erklaert?!
http://wiki.apache.org/spamassassin/Whe ... SettingsGo

timeless2
Posts: 416
Joined: 2005-03-04 14:45
Location: Paris

Re: Spamassassin erkennt zu wenig Spam

Post by timeless2 » 2005-08-07 19:18

Speziell wollte ich bei 20_porn.cf die Punktzahlen hochsetzen. In der ganzen Datei finde ich nichts, wo die Punkte vergeben werden.
Die /usr/share/user_prefs.template muss man dann in das /etc/spam... Verzeichnis kopieren und für die Regeln die Punkte festsetzen.
Ich wollte aber erst wissen, wieviel Punkte Spamassassin an sich für die einzelnen Tests vergibt.

dodolin
RSAC
Posts: 4009
Joined: 2003-01-21 01:59
Location: Sinsheim/Karlsruhe

Re: Spamassassin erkennt zu wenig Spam

Post by dodolin » 2005-08-07 22:55

Ich wollte aber erst wissen, wieviel Punkte Spamassassin an sich für die einzelnen Tests vergibt.
grep und Co. koennen da helfen, wenn man nicht von alleine drauf kommt, dass das in 50_scores.cf sein koennte. :)

squize
Userprojekt
Userprojekt
Posts: 741
Joined: 2003-05-19 16:46
Location: Karlsruhe

Re: Spamassassin erkennt zu wenig Spam

Post by squize » 2005-08-08 13:01

Ich habe ein Spamassassin ohne Bayes laufen und komme auf jeden Fall auf über 95%. Allerdings habe ich einige Scores verändert und pyzor,razor und dcc sind am laufen.
Man bekommt also auch ohne grosses Training gute Werte hin. Die Auseinandersetznung mit den Docs kann ihc nur empfehlen, da wohl jedes Setup andere Ansprüche hat und deswegen auch speziell angepasst werden sollte.


Gruss

dodolin
RSAC
Posts: 4009
Joined: 2003-01-21 01:59
Location: Sinsheim/Karlsruhe

Re: Spamassassin erkennt zu wenig Spam

Post by dodolin » 2005-08-08 17:02

Man bekommt also auch ohne grosses Training gute Werte hin.
Naja, das gilt aber nur, wenn man
Allerdings habe ich einige Scores verändert und pyzor,razor und dcc sind am laufen.
Out-of-the-box SA ohne Bayes, pyzor, razor und dcc, DNS blacklisten ist vielleicht gerade mal bei 50% Spamerkennung, schaetze ich mal so grob, ohne irgendwelche Daten zu kennen.

maggus
Posts: 30
Joined: 2004-04-19 21:06

Re: Spamassassin erkennt zu wenig Spam

Post by maggus » 2005-08-09 09:04

Tja, anscheinend ist das mein Problem. Ein paar Auffälligkeiten im Log:

spamd: debug: retrieving prefs for XXXXX from SQL server
spamd: debug: Failed to parse line in SpamAssassin configuration, skipping: report_header 0
spamd: debug: Failed to parse line in SpamAssassin configuration, skipping: defang_mime 0
spamd: debug: Failed to parse line in SpamAssassin configuration, skipping: use_terse_report

...

spamd: debug: Pyzor is not available: pyzor not found
spamd: debug: Razor2 is not available
spamd: debug: DCC is not available: dccproc not found

Viele Grüße

Markus

Roger Wilco
Administrator
Administrator
Posts: 6001
Joined: 2004-05-23 12:53

Re: Spamassassin erkennt zu wenig Spam

Post by Roger Wilco » 2005-08-09 13:35

Maggus wrote:spamd: debug: retrieving prefs for XXXXX from SQL server
spamd: debug: Failed to parse line in SpamAssassin configuration, skipping: report_header 0
spamd: debug: Failed to parse line in SpamAssassin configuration, skipping: defang_mime 0
spamd: debug: Failed to parse line in SpamAssassin configuration, skipping: use_terse_report
Sicher, dass du die richtigen Einstellungen für die richtige SA Version verwendest? Lies mal http://spamassassin.apache.org/full/3.0.x/dist/UPGRADE, falls du SA 3.x einsetzt.
Maggus wrote:spamd: debug: Pyzor is not available: pyzor not found
spamd: debug: Razor2 is not available
spamd: debug: DCC is not available: dccproc not found
Pyzor installieren, Razor installieren, DCC installieren.
Das sind jeweils eigene Programme, die SA lediglich einbindet...

timeless2
Posts: 416
Joined: 2005-03-04 14:45
Location: Paris

Re: Spamassassin erkennt zu wenig Spam

Post by timeless2 » 2005-08-14 12:42

Dank der Ratschläge hier, habe ich die Punktzahlen für die einzelnen Regeln anpassen können. Jetzt ist mir aber auch aufgefallen, dass der Bayes-Filter nicht angeschaltet ist, denn in der /usr/share/spamassassin/50_scores.cf sind bei den meisten Regeln vier Punktzahlen angegeben, bei mir ist werden jeweils die zweiten Punkte vergeben, nach der Doku bedeutet das:

Code: Select all

The second score is used when Bayes is disabled, but network tests are enabled
Die Datei /etc/spamassassin/local.cf sieht so aus:

Code: Select all

# rewrite_header Subject *****SPAM*****
# report_safe 1
# trusted_networks 212.17.35.
# lock_method flock
use_bayes 1
Außerdem wurde der sa-learn mit jeweils über 1000 Ham- und Spam-Mails trainiert.
In der Spamassassin-Wiki habe ich folgende Seite gefunden: http://wiki.apache.org/spamassassin/BayesNotWorking, danach habe ich aber nichts gefunden. Die Ausgabe von spamassassin -D --lint ergibt:

Code: Select all

debug: SpamAssassin version 3.0.4
debug: Score set 0 chosen.
debug: running in taint mode? yes
debug: Running in taint mode, removing unsafe env vars, and resetting PATH
debug: PATH included '/sbin', keeping.
debug: PATH included '/bin', keeping.
debug: PATH included '/usr/sbin', keeping.
debug: PATH included '/usr/bin', keeping.
debug: PATH included '/usr/bin/X11', which doesn't exist, dropping.
debug: PATH included '/usr/local/sbin', keeping.
debug: PATH included '/usr/local/bin', keeping.
debug: Final PATH set to: /sbin:/bin:/usr/sbin:/usr/bin:/usr/local/sbin:/usr/local/bin
debug: diag: module installed: DBI, version 1.48
debug: diag: module installed: DB_File, version 1.811
debug: diag: module installed: Digest::SHA1, version 2.10
debug: diag: module installed: IO::Socket::UNIX, version 1.21
debug: diag: module installed: MIME::Base64, version 3.05
debug: diag: module not installed: Net::DNS ('require' failed)
debug: diag: module not installed: Net::LDAP ('require' failed)
debug: diag: module not installed: Razor2::Client::Agent ('require' failed)
debug: diag: module installed: Storable, version 2.13
debug: diag: module installed: URI, version 1.35
debug: ignore: using a test message to lint rules
debug: using "/etc/spamassassin/init.pre" for site rules init.pre
debug: config: read file /etc/spamassassin/init.pre
debug: using "/usr/share/spamassassin" for default rules dir
debug: config: read file /usr/share/spamassassin/10_misc.cf
debug: config: read file /usr/share/spamassassin/20_anti_ratware.cf
debug: config: read file /usr/share/spamassassin/20_body_tests.cf
debug: config: read file /usr/share/spamassassin/20_compensate.cf
debug: config: read file /usr/share/spamassassin/20_dnsbl_tests.cf
debug: config: read file /usr/share/spamassassin/20_drugs.cf
debug: config: read file /usr/share/spamassassin/20_fake_helo_tests.cf
debug: config: read file /usr/share/spamassassin/20_head_tests.cf
debug: config: read file /usr/share/spamassassin/20_html_tests.cf
debug: config: read file /usr/share/spamassassin/20_meta_tests.cf
debug: config: read file /usr/share/spamassassin/20_phrases.cf
debug: config: read file /usr/share/spamassassin/20_porn.cf
debug: config: read file /usr/share/spamassassin/20_ratware.cf
debug: config: read file /usr/share/spamassassin/20_uri_tests.cf
debug: config: read file /usr/share/spamassassin/23_bayes.cf
debug: config: read file /usr/share/spamassassin/25_body_tests_es.cf
debug: config: read file /usr/share/spamassassin/25_hashcash.cf
debug: config: read file /usr/share/spamassassin/25_spf.cf
debug: config: read file /usr/share/spamassassin/25_uribl.cf
debug: config: read file /usr/share/spamassassin/30_text_de.cf
debug: config: read file /usr/share/spamassassin/30_text_fr.cf
debug: config: read file /usr/share/spamassassin/30_text_nl.cf
debug: config: read file /usr/share/spamassassin/30_text_pl.cf
debug: config: read file /usr/share/spamassassin/50_scores.cf
debug: config: read file /usr/share/spamassassin/60_whitelist.cf
debug: config: read file /usr/share/spamassassin/65_debian.cf
debug: using "/etc/spamassassin" for site rules dir
debug: config: read file /etc/spamassassin/50_scores.cf
debug: config: read file /etc/spamassassin/evilnumbers.cf
debug: config: read file /etc/spamassassin/local.cf
debug: using "/root/.spamassassin" for user state dir
debug: using "/root/.spamassassin/user_prefs" for user prefs file
debug: config: read file /root/.spamassassin/user_prefs
debug: plugin: loading Mail::SpamAssassin::Plugin::URIDNSBL from @INC
debug: failed to load Net::DNS::Resolver: Can't locate Net/DNS.pm in @INC (@INC contains: /usr/share/perl5 /etc/perl /usr/local/lib/perl/5.8.7 /usr/local/share/perl/5.8.7 /usr/lib/perl5 /usr/lib/perl/5.8 /usr/share/perl/5.8 /usr/local/lib/site_perl) at /usr/share/perl5/Mail/SpamAssassin/Plugin/URIDNSBL.pm line 113.

debug: plugin: registered Mail::SpamAssassin::Plugin::URIDNSBL=HASH(0x857a6ec)
debug: plugin: loading Mail::SpamAssassin::Plugin::Hashcash from @INC
debug: plugin: registered Mail::SpamAssassin::Plugin::Hashcash=HASH(0x8c0e7ac)
debug: plugin: loading Mail::SpamAssassin::Plugin::SPF from @INC
debug: plugin: registered Mail::SpamAssassin::Plugin::SPF=HASH(0x8bf4758)
debug: plugin: Mail::SpamAssassin::Plugin::URIDNSBL=HASH(0x857a6ec) implements 'parse_config'
debug: plugin: Mail::SpamAssassin::Plugin::Hashcash=HASH(0x8c0e7ac) implements 'parse_config'
warning: score set for non-existent rule HTML_FONTCOLOR_BLUE
warning: score set for non-existent rule HTML_FONTCOLOR_UNSAFE
warning: score set for non-existent rule HTML_FONTCOLOR_RED
warning: score set for non-existent rule HTML_FONTCOLOR_UNKNOWN
warning: score set for non-existent rule HTML_RELAYING_FRAME
warning: score set for non-existent rule HTML_LINK_CLICK_HERE
warning: score set for non-existent rule HTML_FONTCOLOR_GRAY
warning: score set for non-existent rule HTML_FONTCOLOR_GREEN
warning: score set for non-existent rule HTML_EVENT
warning: score set for non-existent rule HTML_JAVASCRIPT
debug: using "/root/.spamassassin" for user state dir
debug: bayes: 8623 tie-ing to DB file R/O /root/.spamassassin/bayes_toks
debug: bayes: 8623 tie-ing to DB file R/O /root/.spamassassin/bayes_seen
debug: bayes: found bayes db version 3
debug: using "/root/.spamassassin" for user state dir
debug: Score set 3 chosen.
debug: ---- MIME PARSER START ----
debug: main message type: text/plain
debug: parsing normal part
debug: added part, type: text/plain
debug: ---- MIME PARSER END ----
debug: metadata: X-Spam-Relays-Trusted:
debug: metadata: X-Spam-Relays-Untrusted:
debug: plugin: Mail::SpamAssassin::Plugin::URIDNSBL=HASH(0x857a6ec) implements 'parsed_metadata'
debug: is Net::DNS::Resolver available? no
debug: is DNS available? 0
debug: decoding: no encoding detected
debug: Running tests for priority: 0
debug: running header regexp tests; score so far=0
debug: registering glue method for check_hashcash_double_spend (Mail::SpamAssassin::Plugin::Hashcash=HASH(0x8c0e7ac))
debug: registering glue method for check_for_spf_helo_pass (Mail::SpamAssassin::Plugin::SPF=HASH(0x8bf4758))
debug: all '*From' addrs: ignore@compiling.spamassassin.taint.org
debug: registering glue method for check_hashcash_value (Mail::SpamAssassin::Plugin::Hashcash=HASH(0x8c0e7ac))
debug: all '*To' addrs:
debug: registering glue method for check_for_spf_softfail (Mail::SpamAssassin::Plugin::SPF=HASH(0x8bf4758))
debug: registering glue method for check_for_spf_pass (Mail::SpamAssassin::Plugin::SPF=HASH(0x8bf4758))
debug: registering glue method for check_for_spf_helo_softfail (Mail::SpamAssassin::Plugin::SPF=HASH(0x8bf4758))
debug: registering glue method for check_for_spf_fail (Mail::SpamAssassin::Plugin::SPF=HASH(0x8bf4758))
debug: registering glue method for check_for_spf_helo_fail (Mail::SpamAssassin::Plugin::SPF=HASH(0x8bf4758))
debug: running body-text per-line regexp tests; score so far=-3.174
debug: running uri tests; score so far=-3.174
debug: bayes corpus size: nspam = 2006, nham = 1576
debug: tokenize: header tokens for *F = "U*ignore D*compiling.spamassassin.taint.org D*spamassassin.taint.org D*taint.org D*org"
debug: tokenize: header tokens for *m = "  1124014400 lint_rules "
debug: tokenize: header tokens for *RT = " "
debug: tokenize: header tokens for *RU = " "
debug: bayes token 'somewhat' => 0.958
debug: bayes token 'H*Ad:D*org' => 0.139638006045914
debug: bayes: score = 0.56320712541018
debug: bayes: 8623 untie-ing
debug: bayes: 8623 untie-ing db_toks
debug: bayes: 8623 untie-ing db_seen
debug: registering glue method for check_uridnsbl (Mail::SpamAssassin::Plugin::URIDNSBL=HASH(0x857a6ec))
debug: Razor2 is not available
debug: plugin: Mail::SpamAssassin::Plugin::URIDNSBL=HASH(0x857a6ec) implements 'check_tick'
debug: running raw-body-text per-line regexp tests; score so far=-3.173
debug: running full-text regexp tests; score so far=-3.173
debug: Razor2 is not available
debug: Current PATH is: /sbin:/bin:/usr/sbin:/usr/bin:/usr/local/sbin:/usr/local/bin
debug: Pyzor is not available: pyzor not found
debug: DCCifd is not available: no r/w dccifd socket found.
debug: DCC is not available: no executable dccproc found.
debug: Running tests for priority: 500
debug: plugin: Mail::SpamAssassin::Plugin::URIDNSBL=HASH(0x857a6ec) implements 'check_post_dnsbl'
debug: running meta tests; score so far=-3.173
debug: running header regexp tests; score so far=-1.947
debug: running body-text per-line regexp tests; score so far=-1.947
debug: running uri tests; score so far=-1.947
debug: running raw-body-text per-line regexp tests; score so far=-1.947
debug: running full-text regexp tests; score so far=-1.947
debug: Running tests for priority: 1000
debug: running meta tests; score so far=-1.947
debug: running header regexp tests; score so far=-1.947
debug: using "/root/.spamassassin" for user state dir
debug: lock: 8623 created /root/.spamassassin/auto-whitelist.lock.p15137411.pureserver.info.8623
debug: lock: 8623 trying to get lock on /root/.spamassassin/auto-whitelist with 0 retries
debug: lock: 8623 link to /root/.spamassassin/auto-whitelist.lock: link ok
debug: Tie-ing to DB file R/W in /root/.spamassassin/auto-whitelist
debug: auto-whitelist (db-based): ignore@compiling.spamassassin.taint.org|ip=none scores 0/0
debug: AWL active, pre-score: -1.947, autolearn score: -1.947, mean: undef, IP: undef
debug: DB addr list: untie-ing and unlocking.
debug: DB addr list: file locked, breaking lock.
debug: unlock: 8623 unlink /root/.spamassassin/auto-whitelist.lock
debug: Post AWL score: -1.947
debug: running body-text per-line regexp tests; score so far=-1.947
debug: running uri tests; score so far=-1.947
debug: running raw-body-text per-line regexp tests; score so far=-1.947
debug: running full-text regexp tests; score so far=-1.947
debug: is spam? score=-1.947 required=5
debug: tests=ALL_TRUSTED,BAYES_50,MISSING_HEADERS,MISSING_SUBJECT,NO_REAL_NAME
debug: subtests=__HAS_MSGID,__MSGID_OK_DIGITS,__MSGID_OK_HOST,__SANE_MSGID,__UNUSABLE_MSGID
lint: 10 issues detected.  please rerun with debug enabled for more information.
Irgendwas habe ich wohl übersehen, aber ich sehe vor lauter Bäumen den Wald nicht mehr :(

squize
Userprojekt
Userprojekt
Posts: 741
Joined: 2003-05-19 16:46
Location: Karlsruhe

Re: Spamassassin erkennt zu wenig Spam

Post by squize » 2005-08-14 16:09

debug: diag: module not installed: Net::DNS ('require' failed)
debug: diag: module not installed: Net::LDAP ('require' failed)
debug: diag: module not installed: Razor2::Client::Agent ('require' failed)
Als erstes solltest du die fehlenden Module installieren, vor allem das DNS Modul ist zwingend notwendig:

Code: Select all

$ perl -MCPAN -e shell
	cpan> o conf prerequisites_policy ask
	cpan> install Net::DNS
	cpan> quit
Dann solltest du herausbekommen als welche User Spamassassin aufgerufen wird und dir die user_prefs anschauen, ob dort Bayes ebenfalls angeschaltet ist. Wenn du jetzt für den User Root ne Bayes-DB anlegst, das ganze aber später immer mit dem User vmail ausgeführt wird, dann bringt es dir ja nichts.

Gruss


Marc

P.S.: Die Konfiguration hat sich von 2.xx auf 3.xx geändert und du solltest dein Config-File mal an die neuen Möglichkeiten anpassen ( vor die addheader geschichten ) wie dodolin dir bereits mitgeteilt hat..


Gruss

Marc

timeless2
Posts: 416
Joined: 2005-03-04 14:45
Location: Paris

Re: Spamassassin erkennt zu wenig Spam

Post by timeless2 » 2005-08-14 18:46

Also der Spam-Filter wurde mit dem User vmail trainiert (im HOME-Verzeichnis von vmail befindet sich auch bayes_toks und bayes_seen. Er läuft auch unter dem User vmail:

Code: Select all

Aug 14 18:27:45 pxxxx spamd[14431]: got connection over /var/run/spamd.sock
Aug 14 18:27:45 pxxxx spamd[14431]: info: setuid to vmail succeeded
Aug 14 18:27:45 pxxxx spamd[14431]: checking message <dafc01c5a0ec$e7d73630$06582885@prd.uth.gr> for vmail:99.
Aug 14 18:27:45 pxxxx spamd[14431]: identified spam (7.5/5.0) for vmail:99 in 0.3 seconds, 2297 bytes.
Aug 14 18:27:45 pxxxx spamd[14431]: result: Y  7 - DRUGS_ERECTILE,FROM_ENDS_IN_NUMS,INVALID_TZ_EST,SUBJECT_DRUG_GAP_C,SUBJECT_DRUG_GAP_VIA scantime=0.3,size=2297,mid=<dafc01c5a0ec$e7d73630$06582885@prd.uth.gr>,autolearn=no
Wenn ich jetzt von der Konsole (als user vmail) eine Spam-Mail einfüttere:
spamassassin -D < spammail
Schreibt er den Header um und es erscheint eine BAYES_...-Regel, die erkannt und bepunktet wurde. Nur wenn das ganze über den Mailserver läuft, macht er nur die normalen Regeln ohne bayes.
Bei den Usereinstellungen habe ich ebenfalls use_bayes 1 gesetzt.

squize
Userprojekt
Userprojekt
Posts: 741
Joined: 2003-05-19 16:46
Location: Karlsruhe

Re: Spamassassin erkennt zu wenig Spam

Post by squize » 2005-08-16 17:10

Nutzt du spamc oder rufst du spamassassin direkt auf?

Am Ende änderst du zwar die Config, startest aber den Spamassassin nicht neu.
Ausserdem würde ich noch einmal genau überprüfen, dass spamassassin auch wirklich mit dem von dir gedachten user aufgerufen wird.

Gruss

Marc

timeless2
Posts: 416
Joined: 2005-03-04 14:45
Location: Paris

Re: Spamassassin erkennt zu wenig Spam

Post by timeless2 » 2005-08-16 22:21

Ich bin nochmal alles durchgegangen und habe dabei den Fehler gefunden. Den Spamfilter habe ich mit

Code: Select all

sa-learn --spam -u vmail --dir /spamverzeichnis
trainiert. "--dir" bewirkt nicht und stammt aus alten Zeiten, bei mir hat das aber irgendwie zur Folge gehabt, dass der Spam als user "root" trainiert wurde. Jetzt habe ich das umgestellt, das "--dir" entfernt, der cronjob läuft als User "vmail" und die Option "-u" habe ich zusätzlich aktiviert. Bisher sind noch nicht so viele E-Mails durchgelaufen, aber so scheint es zu funktionieren.

squize
Userprojekt
Userprojekt
Posts: 741
Joined: 2003-05-19 16:46
Location: Karlsruhe

Re: Spamassassin erkennt zu wenig Spam

Post by squize » 2005-08-17 12:18

Das hört sich doch gut an, dein Problem ist also gelöst?

Gruss


Marc