Apache bremst System aus

Apache, Lighttpd, nginx, Cherokee
esprit
Posts: 9
Joined: 2012-11-19 02:45

Apache bremst System aus

Post by esprit » 2012-11-19 03:56

Moin moin,

aus irgendeinem mir nicht ersichtlichen Grund bremst Apache meinen Debian Server aus. Er lief bisher auf Lenny, aber ich habe ihn auf Squeeze aktualisiert.

Wenn ich den Apache starte wird das System sehr langsam, so langsam, daß ich beim SSH-Login mehrere Minuten warten muß bis ich eingeloggt bin.

Wenn ich dann eingeloggt bin und ein "ps ax" mache sehe ich eine Menge apache-prozesse, außerdem eine Menge bounce-prozesse und error-prozesse. Ich kann mich nicht erinnern die letzten beiden jemals gesehen zu haben.

Sobald ich den Apache stoppe wird das System spürbar schneller und nach einer Weile verschwinden auch die bounce und error-prozesse.

Ich weiß nicht, wie ich dem Problem auf die Spur kommen kann. Bin für jede Hilfe dankbar!!

Viele Grüße

esprit

User avatar
Joe User
Project Manager
Project Manager
Posts: 11602
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Apache bremst System aus

Post by Joe User » 2012-11-19 11:06

Prozesse mit dem Namen bounce stammen üblicherweise vom Mailserver und lassen auf ein Spamscript in Deiner Website schliessen. Dazu passen dann auch die error-Prozesse, welche ebenfalls vom Mailserver stammen und darauf schliessen lassen, dass Dein Server bereits auf Blacklists gelandet ist.

Es hat also nichts mit dem Apache zu tun, sondern mit irgendeiner veralteten und/oder unsicheren WebApp auf Deinem Server.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

esprit
Posts: 9
Joined: 2012-11-19 02:45

Re: Apache bremst System aus

Post by esprit » 2012-11-19 15:44

Hi Joe,

Danke für den Hinweis. Auf dem Server laufen eine Menge Domains. Gibt es eine Möglichkeit den Ursprung einzugrenzen? Ich habe die IP mal gegen Blacklists gecheckt, aber keine positiven Ergebnisse erhalten. Der Server ist nicht gelistet, zumindest nicht auf den großen offiziellen Blacklist Diensten.

Gibt es etwas nach dem ich in den apache-logs suchen kann? Gibt es eine Möglichkeit einfach ein komplettes apache-log zu erstellen, da die natürlich nach Domains aufgedröselt sind?

Bin für jeden Hinweis dankbar!

Danke

Esprit

User avatar
Joe User
Project Manager
Project Manager
Posts: 11602
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Apache bremst System aus

Post by Joe User » 2012-11-19 16:25

Du kannst für über /usr/sbin/sendmail versendete Mails ein sendmail-Wrapper zum Loggen einsetzen. Für per SMTP versendete Mails wird es schwieriger, dazu müssten die einzelnen Domains eigenen Systemusern zugeordnet und diese wiederum per MPM-ITK/suExec/mod_fcgi den jeweiligen VHosts des Apache.

Für das Fulllog musst Du jeweils den VHosts ein weiteres CustomLog zuweisen:

Code: Select all

LogFormat "%v %a %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

%v ist dann der ServerName des VHost in dem der Access stattfand.

Einen ersten (unvollständigen) Überblick über mögliche Kandidaten, der für den Spamversand verantwortlichen Scripts, bekommst Du mittels grep:

Code: Select all

grep -rin 'mail' /path/to/vhosts > scripts_with_mailfunc.txt
less scripts_with_mailfunc.txt

Die Liste wird unter Umständen sehr gross und ist lediglich der allererste Ansatzpunkt und keinesfalls der Einzige oder gar Zuverlässigste.
Diese Scripts müssen dann manuell analysiert und auf Bugs geprüft werden.

Es kann am Ende auch ein "harmloser" Massenmailer (Newsletter/Mailinglist/etc.) sein, welcher zuviele ungültige eMailadressen gefüttert bekommt.

Das sind jetzt nur die typischen Ursachen, es gibt noch ein paar mehr...


Die exakten Maillogs von ein/zwei dieser Bounces und der Apachelogs zum selben Zeitpunkt wären hier sehr hilfreich, um Dir etwas besser helfen zu können.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

esprit
Posts: 9
Joined: 2012-11-19 02:45

Re: Apache bremst System aus

Post by esprit » 2012-11-20 00:45

Hi Joe,

danke für die Hilfe. Ich habe 2 Scripte gefunden, die potentielle Kandidaten sind. Ich hab sie erstmal entfernt und werde die Lage mal beobachten. Im Moment sieht es so aus als ob der Server stabil läuft.

Vielen Dank!!

Esprit

esprit
Posts: 9
Joined: 2012-11-19 02:45

Re: Apache bremst System aus

Post by esprit » 2012-11-20 01:31

Also ich habe gerade mal einfach nur dagesessen und das mail.log nachverfolgt. Was ich dann gesehen habe ist folgendes:
17495:Nov 20 01:15:16 morish postfix/qmgr[1802]: 216D73E8001: from=<www-data@morish.de>, size=1736, nrcpt=1 (queue active)
17496:Nov 20 01:15:16 morish postfix/qmgr[1802]: 221623E804D: from=<www-data@morish.de>, size=2168, nrcpt=1 (queue active)
17497:Nov 20 01:15:16 morish postfix/qmgr[1802]: 24BBC7488CA: from=<www-data@morish.de>, size=1729, nrcpt=1 (queue active)
17498:Nov 20 01:15:16 morish postfix/smtp[15828]: warning: numeric domain name in resource data of MX record for goood-mail.com: 220.250.58.170
17499:Nov 20 01:15:16 morish postfix/qmgr[1802]: D2CA13E8055: from=<www-data@morish.de>, size=1742, nrcpt=1 (queue active)
17500:Nov 20 01:15:16 morish postfix/qmgr[1802]: DC5F33E8031: from=<www-data@morish.de>, size=2186, nrcpt=1 (queue active)
17501:Nov 20 01:15:16 morish postfix/smtp[15829]: warning: numeric domain name in resource data of MX record for goood-mail.com: 220.250.58.170
etwas weiter unten dann:
17615:Nov 20 01:15:18 morish postfix/smtp[15833]: DA1B33E804E: to=<myporneyclope@sevensjsa.org.ua>, relay=none, delay=274503, delays=274502/0.04/1.3/0, dsn=4.4.3, status=deferred (Host or domain name not found. Name service error for name=sevensjsa.org.ua type=MX: Host not found, try again)
17616:Nov 20 01:15:18 morish postfix/smtp[15834]: D0F033E8008: to=<upsehysfump@lemonadeka.org.ua>, relay=none, delay=391250, delays=391249/0.02/1.4/0, dsn=4.4.3, status=deferred (Host or domain name not found. Name service error for name=lemonadeka.org.ua type=MX: Host not found, try again)
17617:Nov 20 01:15:18 morish postfix/smtp[15841]: A2B253E8059: to=<upsehysfump@lemonadeka.org.ua>, relay=none, delay=31800, delays=31798/0.04/1.2/0, dsn=4.4.3, status=deferred (Host or domain name not found. Name service error for name=lemonadeka.org.ua type=MX: Host not found, try again)
17618:Nov 20 01:15:18 morish postfix/smtp[15832]: DFAC73E8009: to=<myporneyclope@sevensjsa.org.ua>, relay=none, delay=391261, delays=391260/0.02/1.4/0, dsn=4.4.3, status=deferred (Host or domain name not found. Name service error for name=sevensjsa.org.ua type=MX: Host not found, try again)
und danach dann
17628:Nov 20 01:15:18 morish postfix/error[15853]: 1F38F3E8012: to=<myporneyclope@sevensjsa.org.ua>, relay=none, delay=391240, delays=391239/0.94/0/0.02, dsn=4.4.3, status=deferred (delivery temporarily suspended: Host or domain name not found. Name service error for name=sevensjsa.org.ua type=MX: Host not found, try again)
17629:Nov 20 01:15:18 morish postfix/smtp[15844]: A1FA774805F: to=<myporneyclope@sevensjsa.org.ua>, relay=none, delay=400858, delays=400856/0.04/1.3/0, dsn=4.4.3, status=deferred (Host or domain name not found. Name service error for name=sevensjsa.org.ua type=MX: Host not found, try again)
17630:Nov 20 01:15:18 morish postfix/error[15855]: 6D0D93E802D: to=<myporneyclope@sevensjsa.org.ua>, relay=none, delay=391103, delays=391102/0.88/0/0.02, dsn=4.4.3, status=deferred (delivery temporarily suspended: Host or domain name not found. Name service error for name=sevensjsa.org.ua type=MX: Host not found, try again)

www-data ist der apache-user. Allerdings kann ich im Apache-log keinen passenden Eintrag zum selben Zeitpunkt finden.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11602
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Apache bremst System aus

Post by Joe User » 2012-11-20 02:57

OK, das ist definitiv Spam der von Deinem System (www-data) versendet wird.
Poste bitte mal das komplette mail.log aus dem Zeitraum 20.11.2012 01:13:00 bis 20.11.2012 01:17:00 und aus dem gemeinsamen access.log den gleichen Zeitraum.
Wobei, auf Grund der zu erwartenden Grösse, lege die entsprechenden Logauszüge besser zum Download bereit.
Du bekommst die Logzeilen per egrep:

Code: Select all

egrep 'Nov 20 01:1[3-7]' /var/log/mail.log > mailserver_log.txt
egrep '20/Nov/2012:01:1[3-7]' /path/to/access.log > webserver_log.txt

Viel Hoffnung habe ich nicht, aber einen Versuch ist es wert.

Es ist vermutlich eine scriptbasierte Remote-Shell beziehungsweise ein Spambot der per unsicherer WebApp eingeschleust wurde. Dann wird es ohne sendmail-Wrapper und systematischem Abklappern aller VHosts sehr schwierig.

Wenn nur PHP genutzt wird, kann auch http://php.net/manual/en/mail.configuration.php mail.add_x_header und/oder mail.log in der php.ini weiterhelfen. Für PHP vor 5.3 hilft ein gepatchtes PHP: http://www.lancs.ac.uk/~steveb/patches/ ... der-patch/


Wenn das Alles nicht hilft, muss da ein Profi direkt auf den Server und direkt nachsehen. Das ist aber nicht billig und dennoch günstiger als eine aktive Spamschleuder.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

esprit
Posts: 9
Joined: 2012-11-19 02:45

Re: Apache bremst System aus

Post by esprit » 2012-11-20 05:58

Hi Joe,

Du findest die logfile-Auszüge hier:

Code: Select all

http://morish.de/mailserver_log.txt
http://morish.de/webserver_log.txt


Also ich kann nix finden. Scheint komplizierter zu werden. Danke Dir für Deine Hilfe, das ist definitiv zu hoch für mich.

Gruß
Esprit

User avatar
Joe User
Project Manager
Project Manager
Posts: 11602
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Apache bremst System aus

Post by Joe User » 2012-11-20 12:09

Die Logs sind leider unverdächtig, abgesehen von den Zugriffen des http://en.wikipedia.org/wiki/XRumer auf die phpBB3-Installationen.

Aus der Ferne lässt sich in diesem Fall nicht sehr effektiv helfen, weshalb ich Dir letztlich nur empfehlen kann, das Ganze mal von einem erfahrenen Admin direkt ansehen und beheben zu lassen.
Wenn ich nicht gerade anderweitig eingespannt wäre, würde ich mich dafür anbieten, aber das würde erst mitte/ende nächster Woche klappen.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

esprit
Posts: 9
Joined: 2012-11-19 02:45

Re: Apache bremst System aus

Post by esprit » 2012-11-27 02:40

Also der Server läuft einwandfrei inzwischen. Keine Probleme mit dem Apache. Ich habe ein bissl gegoogled und gefunden, daß mit PHP5.3 ein maillog von php aus selbst erstellt werden kann (php.ini -> mail.log). Das hab ich nun mal aktiviert und werde mal sehen was dabei rauskommt. Wenn es PHP ist, dann werde ich da auf jeden Fall Hinweise finden.