kernel: Out of Memory - Serverabsturz

[wuerml]

Hallo Rooties!

Ich habe seit 3 Tagen ein schwerwiegendes Problem mit meinem Rootserver L (SUSE 8.1).

Code: Select all

May 30 08:44:11 pXXXXXXXX kernel: Out of Memory: Killed process 7110 (httpd)

Das ist die Meldung, welche in /var/log/messages mehrfach drinnen steht - was wahrscheinlich soviel heisst, dass der Speicher voll ist und nacheinander alle Prozesse gekillt werden (so auch SSH, WWW usw.)

Ich kann das System nur über die Reboot-Funktion im Konfigurationsmenü von 1&1 mit Hardware-Reset wiederherstellen - dann läuft wieder alles prima.

Der Fehler tritt ziemlich willkürlich auf - um die Zeit ist keine besondere Last auf dem Server (keine Cronjobs o.ä.) jedoch mindestens einmal am tag (vorwiegend morgens).

Code: Select all

May 30 08:43:07 ppXXXXXXXX kernel: Symbols match kernel version 2.4.20.
May 30 08:43:25 pXXXXXXXX kernel: Loaded 51 symbols from 4 modules.

Das steht vor dem "Out of Memory". Kann es sein, dass es sich hier um eine fehlerhafte Hardware handelt?! Das System lief bisher perfekt und ich habe auch keine komischen Einstellungen in der letzten Zeit gemacht. Ausserdem lässt sich das ja nur mit einem Hardware-Reset lösen - was wohl auch eher auf was "mechanisches" schliessen lässt :-|

Wäre um jede Hilfe dankbar :-)

have fun

wuerml

[outofbound]

Dein Kernel teilt dir mit, dass ihm der Speicher ausgeht und deswegen ein Prozess getötet wird, der ihm nicht wichtig ist...

Ich tippe auf irgendein Speicherleck ... könnte auch gut sein, dass du nen DB- Fehler machst und dir die MySQL den Speicher klaut...

Hardwarefehler würde ich nicht drauf tippen, der Kernel macht ja noch was, wahrscheinlich bleibt deine Kiste einfach stehen, weil Sie sich totswappt... ;)

Gruss,

Out

[wuerml]

danke mal für die schnelle Antwort ;-)

Deine Vermutung klingt überaus plausibel - Speicherleck.... allerdings weiss ich jetzt nicht so recht, wie ich das lösen kann.

httpd, mysqld und spamd werden im laufe der zeit gekillt - also kann es ja fast kein DB - Fehler sein.

Was mich eben wundert ist, dass das Problem ziemlich willkürlich aufgetreten ist (da wurden keine Dateien geändert, oder an einer Datenbankabfrage etwas gemacht.)

Ich habe übrigens den hier im Forum beschriebenen qMail-Toaster laufen - vielleicht hängt es ja damit irgendwie zusammen.

In dem Logfile steht einfach nicht drin, von was das kommt - deshalb weis ich auch nicht, wie ich sowas beheben könnte....

any help appreciated :-)

wuerml

[captaincrunch]

Was genau läuft denn sonst noch bei dir ? PHP ?

Eine andere Möglichkeit, als dass dir ein Prozess (welcher und aus welchem Grund auch immer) sämtlichen Speicher zieht gibt's eigentlich nicht ...

[wuerml]

Hi!

Also auf meinem Server ist das originale SuSe 8.1 drauf mit dem apachen 1.3.26 und selbstkompiliertem php 4.3.1
Weiterhin hab ich postfix runtergeschmissen und qmail mit vpopmail wie hier beschrieben installiert.

Das PHP hat bisher sehr gute Dienste geleistet und hat auch nich derart rumgemeckert. Allerdings habe ich eine größere WebSIte mit MovableType laufen, welches auf PERL-CGI aufbaut. In diesem Zusammenhang kommt auch MySQL zum Einsatz - also könnte da doch vielleicht was dran sein....

Der maximale Speicher für PHP ist bei mir auch wie satndardmäßig eingestellt 8MB.

Vielleicht sollte ich doch mal nacheinander durchgehen, welche Seiten so exzessiv php bzw. MySQL brauchen?

have fun!

wuerml

[outofbound]

Schnapp dir mal die Apache Logs, da solltest du rausfinden, was besonders oft aufgerufen wird.

Alternativ solltest du auch mal die MySQL- Logs einschalten, und
dann die Logs nach einem Crash auf ein Kreutzprodukt durchsuchen...
das passiert bei Joins auf mehrere Tabellen, bei denen eine where Clausel fehlt. Die erzeugen z.B. ein von dir geschildertes Verhalten. (Die tmp- Tabellen werden unglaublich gross, swappen -- > tot ;(

Gruss,

Out

[olaf.dietsche]

Ich habe seit 3 Tagen ein schwerwiegendes Problem mit meinem Rootserver L (SUSE 8.1).

Code: Select all

May 30 08:44:11 pXXXXXXXX kernel: Out of Memory: Killed process 7110 (httpd)

Das ist die Meldung, welche in /var/log/messages mehrfach drinnen steht - was wahrscheinlich soviel heisst, dass der Speicher voll ist und nacheinander alle Prozesse gekillt werden (so auch SSH, WWW usw.)

Du kannst per cronjob alle zehn Minuten die Ausgabe von

Code: Select all

ps ax

und

Code: Select all

free

in eine Datei schreiben. Dann siehst du ja, ob irgendein Prozess unmäßig groß wird.

Ich kann das System nur über die Reboot-Funktion im Konfigurationsmenü von 1&1 mit Hardware-Reset wiederherstellen - dann läuft wieder alles prima.

Was passiert denn bzw. welche Ausgaben siehst du, wenn du einfach nur

Code: Select all

reboot

oder

Code: Select all

shutdown -r now

eingibst?

[wuerml]

Hi!

Also ich denke ich habe meine Fehleinstellung gefunden. Hab nach diesem FAQ-Artikel --> http://www.rootforum.org/faq/index.php? ... id=3&lang= meine my.cnf bearbeitet - wahrscheinlich ist das nicht sehr günstig, da dann mein Speicher voll läuft.

@olaf.dietsche

reboot und shutdown bringt mir in dem Fall nichts, weil ich ja nicht merh in meine shell reinkomme, wenn er die Prozesse gekillt hat (eben weil ssh wohl auch gekillt wird). Deshalb bleibt mir nur der reboot + hardware-reset über das Konfig-Menu.
Wenn ich dann den Server wieder rebooted hab, läuft auch alles ohne Probleme.

Ich werde berichten, wenn es daran lag...

have fun!

[wuerml]

Hi rooties!

Also ich habe den Fehler gefunden - es lag offensichtlich an der Einstellung in meiner my.cnf!

Vielleicht sollte man da was zu dem FAQ-Artikel dazuschreiben, dass man da nich so wie ich nacher mit einer ellenlangen Fehlersuche beschäftigt ist.

Ich habe nun das

Code: Select all

set-variable = max_allowed_packet=1M

wieder übernommen und alles geht wieder wunderbar.

have fun!

wuerml