Spamassassin sehr langsam

Postfix, QMail, Sendmail, Dovecot, Cyrus, Courier, Anti-Spam
ian_
Posts: 6
Joined: 2004-03-18 21:28

Spamassassin sehr langsam

Post by ian_ » 2004-03-18 21:35

Hallo,

Ich habe auf meinem Mailserver Spamassassin 2.63 installiert, dazu Pyzor, Razor2. Die Performance stellt mich aber nicht sehr zufrieden - hier erstmal das SA Configfile:

Code: Select all

# This is the right place to customize your installation of SpamAssassin.
# See 'perldoc Mail::SpamAssassin::Conf' for details of what can be
# tweaked.
#
###########################################################################
#
#rewrite_subject 0
#report_header 1
#defang_mime 0
user_scores_dsn                 DBI:mysql:maildb:localhost:3306
user_scores_sql_username        *****
user_scores_sql_password        *****
user_scores_sql_table           spamassassin
required_hits   7.5
rbl_timeout     1
use_razor2      1
razor_timeout   1
razor_config    /etc/razor/razor-agent.conf
bayes_path      /etc/mail/.bayes/bayes
bayes_min_ham_num       30
bayes_min_spam_num      30
bayes_file_mode         777
use_bayes               1
use_pyzor               1
pyzor_timeout           1
auto_learn      1
check_mx_delay  1

# Blacklist Tos - 100% spam
blacklist_to    ****@******.de
blacklist_to    ****@******.de

# scores changed
score MICROSOFT_EXECUTABLE 3.000

Der Rechner ist ein Intel mit 1.8GHz, 256 Ram; Debian und SA 2.63. Die Ausführungszeiten von Spamassassin liegen jedoch ziemlich im argen - im Normalfall ca 5-6s, sobald mehrere Mails pro Minute kommen steigt das exponentiell an, auf ca 20-30s. In einem Test mit dauerhaft 6 Mails pro Minute für eine halbe Stunde hat SA das gesamte System lahmgelegt, das keine Mails mehr angenommen wurden.

Hat jemand eine Idee? Wäre sehr dankbar :/

Grüße, Ian[/code]

kenzo
RSAC
Posts: 530
Joined: 2003-07-15 20:30

Re: Spamassassin sehr langsam

Post by kenzo » 2004-03-18 21:55

In einem Test mit dauerhaft 6 Mails pro Minute für eine halbe Stunde hat SA das gesamte System lahmgelegt, das keine Mails mehr angenommen wurden.
Das sollte natürlich nicht sein - hast Du mal im debug-mode geschaut, warum die Mails jeweils so lange dauern?
Bin kein SpamAssassin-Kenner, würde allerdings auf DNS tippen - hast Du einen lokalen Cache? Wenn nicht, würde ich es z.B. damit mal probieren.

ian_
Posts: 6
Joined: 2004-03-18 21:28

Re: Spamassassin sehr langsam

Post by ian_ » 2004-03-18 22:59

kenzo wrote:
In einem Test mit dauerhaft 6 Mails pro Minute für eine halbe Stunde hat SA das gesamte System lahmgelegt, das keine Mails mehr angenommen wurden.
Das sollte natürlich nicht sein - hast Du mal im debug-mode geschaut, warum die Mails jeweils so lange dauern?
Bin kein SpamAssassin-Kenner, würde allerdings auf DNS tippen - hast Du einen lokalen Cache? Wenn nicht, würde ich es z.B. damit mal probieren.
Hab mal das Debugfile gecheckt, leider stehen keine exakten Angaben pro Test. Allerdings habe ich den Anschein, dass es an den RBL Listen (bzw MX) liegt - hier wartet SA anscheinend länger als eingestellt.

Wie stelle ich den Cache ein?

Ian

tuxi
Posts: 14
Joined: 2004-03-13 21:28
Location: Süddeutschland

Re: Spamassassin sehr langsam

Post by tuxi » 2004-03-18 23:27

Paket nscd (NameServerCachingDaemon) installieren?

ian_
Posts: 6
Joined: 2004-03-18 21:28

Re: Spamassassin sehr langsam

Post by ian_ » 2004-03-18 23:43

tuxi wrote:Paket nscd (NameServerCachingDaemon) installieren?
Danke, hab den installiert und Server Caching eingestellt. Allerdings ist der Warnhinweis nicht sehr beruhigend - was für praktische Auswirkungen hat er?
(# !!!!!WARNING!!!!! Host cache is insecure!!! The mechanism in nscd to
# cache hosts will cause your local system to not be able to trust
# forward/reverse lookup checks. DO NOT USE THIS if your system relies on
# this sort of security mechanism. Use a caching DNS server instead.)

Grüße, Ian

dodolin
RSAC
Posts: 4009
Joined: 2003-01-21 01:59
Location: Sinsheim/Karlsruhe

Re: Spamassassin sehr langsam

Post by dodolin » 2004-03-19 10:01

Es wird nicht nur an den RBL-Tests liegen, sondern an _allen_ Tests, die mit "net" gekennzeichnet sind, insbesondere auch Razor und Pyzor. Verwendest du denn wenigstens Spamd oder lässt du für jede Mail nen eigenen Perl-Interpreter starten?

ian_
Posts: 6
Joined: 2004-03-18 21:28

Re: Spamassassin sehr langsam

Post by ian_ » 2004-03-19 11:37

Natürlich verwende ich spamd und spamc. Bei allen net Tests habe ich die Timeouttime runtergesetzt.

ian_
Posts: 6
Joined: 2004-03-18 21:28

Re: Spamassassin sehr langsam

Post by ian_ » 2004-03-19 20:09

Hallo,

Ich habe nochmal alles überprüft, div. Sachen geändert und inzwischen habe ich es auf ca 1.5 - 1.7s pro Mail gedrückt.

Allerdings ist nach wie vor das paradoxe Verhalten, das sobald SA mehrere Mails gleichzeitig bearbeiten muss, die Ausführungszeit pro Mail nicht linear, sondern exponentiell ansteigt. (Bei 2 ist es ca 12s, bei 3 bereits 40, usw.). spamd wird mit "-m 15" gestartet - im Grunde sollte das doch die Performance verbessern statt verschlechtern ?!

Ian

dodolin
RSAC
Posts: 4009
Joined: 2003-01-21 01:59
Location: Sinsheim/Karlsruhe

Re: Spamassassin sehr langsam

Post by dodolin » 2004-03-19 23:52

Nun, spamd bzw. spamassassin sind nicht gerade das, was man performante Programme nennen würde. Wirf mal nen Blick auf spamassassi-users, dann weißt du, was ich meine. Solche Probleme werden dort fast täglich diskutiert (zumindest war das zu den Zeiten so, als ich das mal noch abonniert hatte). Ich fürchte, da wirst du nicht viel machen können...

Eventuell die Fachleute auf der ML fragen, aber die scheinen sich dort leider sehr zurückzuhalten, weil auch dort das FAQ-Level IMHO deutlich zu hoch ist.

ian_
Posts: 6
Joined: 2004-03-18 21:28

Re: Spamassassin sehr langsam

Post by ian_ » 2004-03-20 01:36

gut, danke!

ich werd da mal weiter recherchieren, notfalls werden halt alle mails hintereinander und nicht gleichzeitig geprüft.

Grüße, Ian