vpopmail und Clamscan - hohe Last

Postfix, QMail, Sendmail, Dovecot, Cyrus, Courier, Anti-Spam
Anonymous

vpopmail und Clamscan - hohe Last

Post by Anonymous » 2007-05-27 19:34

Hallo,

ich besitze einen Server von Strato worauf derzeit SuSE Linux 9.3 (2.6.11.4) läuft.
Bis zum letzten ClamAV Upgrade lief alles rund.

Danach jedoch muss ich erschreckend beobachten, das der User "vpopmail" den Prozess "clamscan" mehrfach startet um auf Viren zu scannen.

Rein logisch ist ja alles gut... jedoch haben diese ca. 3/4 Prozesse eine ungewöhnlich hohe Auslastung (~90%-100%).
Wie man sich vorstellen kann reagiert das System dann nur noch sehr zögerlich.


Ich habe schon mehrfach ClamAV vom System geschmissen und frisch installiert, jedoch ohne Erfolg .

Google hat mir auch nicht gerade weitergeholfen. Außer das ich jetzt weiß das mehrere User ab der Version 0.90.2 von ClamAV sich über die Performance beschweren.

Informationen:
SuSE Linux 9.3 - 2.6.11.4
ClamAV 0.90.2/3304/Sun May 27 06:35:19 2007

Ich habe sicher wieder die hälfte vergessen zu erwähnen .
Vielen Dank schonmal.


Mit freundlichen Grüßen
Marcel

EdRoxter
Posts: 483
Joined: 2006-01-06 03:23
Location: Neben Bonn

Re: vpopmail und Clamscan - hohe Last

Post by EdRoxter » 2007-07-07 14:46

Ich habe mit der Kombination postfix+procmail+clamassassin+clamscan das selbe Problem. Die clamscan-Prozesse scheinen die gesamte Idle-Zeit der CPU unter sich aufzuteilen, das allerdings immerhin fair. ;)

Ich habe gelesen, man solle auf clamdscan umsteigen, was mir allerdings leider auch nicht möglich ist, weil clamd merkwürdiger Weise weder eine PID-File noch ein Socket anlegt, obwohl so explizit in der Config angegeben. An den Berechtigungen kann's nicht liegen, da habe ich alles ausprobiert, was möglich ist.

So langsam verzweifele ich ein klitzekleines Bisschen, vor allem aufgrund der jüngsten PayPal-Wurm-Welle...

Meine Version ist 0.90.3 aus den Debian Sarge-Volatile-Repositories.
Wenn ich kurzzeitig die 0.84 aus den normalen Sarge-Repos installiere, läuft alles ohne Probleme - nur will ich so eine alte Version nicht im produktiven Betrieb nutzen. Bis etwa 0.88 lief auch noch alles gut. Ich glaube, da ist seit Ver. 0.90.x so Einiges schief gelaufen...

aubergine
RSAC
Posts: 475
Joined: 2005-09-10 17:52
Location: Frankfurt am Main

Re: vpopmail und Clamscan - hohe Last

Post by aubergine » 2007-07-07 21:56

Ich habe mal irgendwo (leider keine Quelle mehr nennbar) gelesen dass dieser Performance Einbruch durch die veränderte Arichtektur von clamscan kommt.

Jedes mal wenn clamscan gestartet wird, läd dieser die interne Virusdatenbank und andere Dinge, was früher scheinbar nicht so war. (Euer Mailsystem spanwed für jede Mail einen solchen Prozess)

clamdscan tut dies nicht da er auf den Daemon connectet. Nachteil ist das so keine Archive gescanned werden können was kontra produktiv ist.

Eine gesunde Alternative wäre clamsmtpd, welcher als ein Proxy zwischen SMTP Server und lokaler Zustellung arbeitet.

EdRoxter
Posts: 483
Joined: 2006-01-06 03:23
Location: Neben Bonn

Re: vpopmail und Clamscan - hohe Last

Post by EdRoxter » 2007-07-07 22:31

aubergine wrote:Ich habe mal irgendwo (leider keine Quelle mehr nennbar) gelesen dass dieser Performance Einbruch durch die veränderte Arichtektur von clamscan kommt.

Jedes mal wenn clamscan gestartet wird, läd dieser die interne Virusdatenbank und andere Dinge, was früher scheinbar nicht so war. (Euer Mailsystem spanwed für jede Mail einen solchen Prozess)
Ja, das tut er. Ich habe zwar keinen Vergleich zu älteren Versionen, aber er erzeugt jedes Mal in /tmp eine Datenstruktur, in der anscheinend die komplette Datenbank vorhanden ist (daily.cvd, main.cvd, eine Lockfile etc.). Könnte es (Schuss ins Blaue) IRGENDetwas mit GRSecurity zu tun haben? Der hat ja da ein paar Restriktionen bzgl. /tmp... Oder könnte es vielleicht dran liegen, dass tmp mit noexec gemountet ist?
Eine gesunde Alternative wäre clamsmtpd, welcher als ein Proxy zwischen SMTP Server und lokaler Zustellung arbeitet.
Danke, werd mich da mal umschauen!

EdRoxter
Posts: 483
Joined: 2006-01-06 03:23
Location: Neben Bonn

Re: vpopmail und Clamscan - hohe Last

Post by EdRoxter » 2007-07-08 01:18

[...]

Mein Problem ist gelöst. Danke. ;)

adjustman
Posts: 1132
Joined: 2003-03-26 23:29
Location: SA

Re: vpopmail und Clamscan - hohe Last

Post by adjustman » 2007-07-08 23:12

EdRoxter wrote:[...]

Mein Problem ist gelöst. Danke. ;)
und wie?

User avatar
daemotron
Administrator
Administrator
Posts: 2800
Joined: 2004-01-21 17:44

Re: vpopmail und Clamscan - hohe Last

Post by daemotron » 2007-07-08 23:41

Hmm, ich hab clamd im Gespann mit amavisd-new werkeln - da treten bislang keinerlei Performance-Probleme auf. Archive werden auf die Tour ebenfalls durchgekaut, die Paypal-Geschichte ist also kein Problem.

EdRoxter
Posts: 483
Joined: 2006-01-06 03:23
Location: Neben Bonn

Re: vpopmail und Clamscan - hohe Last

Post by EdRoxter » 2007-07-09 01:15

@adjustMan:

Ich hatte zu Beginn procmail+clamassassin benutzt (clamassassin greift auf clamscan zu und fügt darauf basierend Header hinzu), was zu besagtem Problem führte. An clamd hatte ich gar nicht gedacht, das war jedoch die (zugegeben, _eigentlich_ naheliegende) Lösung. clamd starten, bei clamassassin einfach den clamscan gegen clamdscan austauschen und schon wuppt der Laden.

Macht sich übrigens in der Performance im Vergleich zu clamscan außerordentlich bemerkbar. Dieser PayPal-Mist segelt bei mir sturmflutartig rein und wird in Rekordzeit nach /dev/null befördert. :)

.. klar, amavis wäre natürlich noch einen Ticken performanter, aber da mein Kistchen im Schnitt eher mittelmäßig viele Mails verarbeitet, würde sich das wohl kaum bemerkbar machen.

alexnbg
Posts: 60
Joined: 2004-03-16 11:21

Re: vpopmail und Clamscan - hohe Last

Post by alexnbg » 2007-07-13 11:05

Ich würde auch gerne auf clamdscan umstellen. Aber leider weiss ich nicht wie!

Hab grad mal die Befehle in der Console probiert und folgendes kam dabei heraus:

95171:/usr/local/src/anti-virus # clamd
Running as user amavisd (UID 102, GID 501)
95171:/usr/local/src/anti-virus # clamdscan
connect(): No such file or directory
WARNING: Can't connect to clamd.

----------- SCAN SUMMARY -----------
Infected files: 0
Time: 0.000 sec (0 m 0 s)


Kann mir irgendwer weiterhelfen bezüglich der Konfiguration?

Benutze postfix, amavis, spamassassin und clamav 0.90.3 auf einem Suse Linux.

EdRoxter
Posts: 483
Joined: 2006-01-06 03:23
Location: Neben Bonn

Re: vpopmail und Clamscan - hohe Last

Post by EdRoxter » 2007-07-13 15:48

Code: Select all

tail -f /var/log/clamav/clamd.log
Verfolge den clamd nach dem Starten. clamd braucht, je nach Systemausstattung, 1-2 Minuten zum Einlesen der Signaturen-Datenbank. Erst danach wird das Socket bzw. der TCP-Port geöffnet, was in der Logfile nachvollziehbar ist. Du musst also etwas Geduld haben, bevor clamdscan seinen Dienst verrichten kann.
Ausschlaggebend ist nur die clamd.conf, clamdscan hat keine separate Config.

alexnbg
Posts: 60
Joined: 2004-03-16 11:21

Re: vpopmail und Clamscan - hohe Last

Post by alexnbg » 2007-07-13 20:34

Also clamd.conf gibt im Moment folgendes aus:

95171:/# tail -f /var/log/clamav/clamd.log
Portable Executable support enabled.
ELF support enabled.
Mail files support enabled.
Mail: Recursion level limit set to 64.
OLE2 support enabled.
PDF support disabled.
HTML support enabled.
Self checking every 1800 seconds.
No stats for Database check - forcing reload
Reading databases from /usr/local/share/clamav

Also scheint er korrekt zulaufen. Aber wie bekomm ich jetzt amavis dazu clamdscan zu verwenden?

Wie muss ich die amavisd.conf anpassen?

Die sieht im Moment so aus:

Code: Select all

@av_scanners = (

['Clam Antivirus-clamd',
  &ask_daemon, ["CONTSCAN {}n", "/var/run/clamav/clamd.ctl"],
  qr/bOK$/, qr/bFOUND$/,
  qr/^.*?: (?!Infected Archive)(.*) FOUND$/ ],
);

@av_scanners_backup = (

  ### http://www.clamav.net/
  ['Clam Antivirus - clamscan', 'clamscan',
    '--stdout --disable-summary -r {}', [0], [1],
    qr/^.*?: (?!Infected Archive)(.*) FOUND$/ ],
);
clamd.log

Code: Select all

Algorithmic detection enabled.
Portable Executable support enabled.
ELF support enabled.
Mail files support enabled.
Mail: Recursion level limit set to 64.
OLE2 support enabled.
PDF support disabled.
HTML support enabled.
Self checking every 1800 seconds.
Client disconnected

Danke für deine Hilfe!!!!!

alexnbg
Posts: 60
Joined: 2004-03-16 11:21

Re: vpopmail und Clamscan - hohe Last

Post by alexnbg » 2007-07-14 00:55

Problem hat sich mit dem Update auf 0.91 erledigt. Ursache aber leider unbekannt.