Apachi hängt sich einfach auf !! :-(

[evilduffp]

Moin, moin !!

Ich hab da folgendes Problem: mein Root-Server hängt sich in nicht vorhersehbaren Abständen (manchmal 1x am Tag manchmal auch nur 1x die Woche) einfach für ca. 30-45 Minuten auf.

Ich kann den Server zwar noch anpingen aber keine Website aufrufen und mich nicht mit Putty einloggen.

Ich weiß nicht woran es liegen kann, in der "message" Logdatei steht etwas von "Out of Memory" => kann aber nicht sein da der Server 2GB Speicher hat !!!

Aber seht selbst, hier ein Auszug während mein Server sich mal wieder aufgehängt hat (Start 08:09 Uhr => das Ende war gegen 08:51 Uhr => also 42 Minuten nicht erreichbar der Server)

Danke für Eure Hilfe !!!

Code: Select all

Aug 25 08:08:00 p15186527 /USR/SBIN/CRON[22098]: (root) CMD (/root/confixx/confixx_counterscript.pl) 
Aug 25 08:09:35 p15186527 kernel: oom-killer: gfp_mask=0xd0
Aug 25 08:09:35 p15186527 kernel: DMA per-cpu:
Aug 25 08:09:35 p15186527 kernel: cpu 0 hot: low 2, high 6, batch 1
Aug 25 08:09:35 p15186527 kernel: cpu 0 cold: low 0, high 2, batch 1
Aug 25 08:09:35 p15186527 kernel: cpu 1 hot: low 2, high 6, batch 1
Aug 25 08:09:35 p15186527 kernel: cpu 1 cold: low 0, high 2, batch 1
Aug 25 08:09:35 p15186527 kernel: Normal per-cpu:
Aug 25 08:09:35 p15186527 kernel: cpu 0 hot: low 32, high 96, batch 16
Aug 25 08:09:35 p15186527 kernel: cpu 0 cold: low 0, high 32, batch 16
Aug 25 08:09:35 p15186527 kernel: cpu 1 hot: low 32, high 96, batch 16
Aug 25 08:09:35 p15186527 kernel: cpu 1 cold: low 0, high 32, batch 16
Aug 25 08:09:35 p15186527 kernel: HighMem per-cpu:
Aug 25 08:09:35 p15186527 kernel: cpu 0 hot: low 32, high 96, batch 16
Aug 25 08:09:35 p15186527 kernel: cpu 0 cold: low 0, high 32, batch 16
Aug 25 08:09:35 p15186527 kernel: cpu 1 hot: low 32, high 96, batch 16
Aug 25 08:09:35 p15186527 kernel: cpu 1 cold: low 0, high 32, batch 16
Aug 25 08:09:35 p15186527 kernel: 
Aug 25 08:09:35 p15186527 kernel: Free pages:        2120kB (1088kB HighMem)
Aug 25 08:09:35 p15186527 kernel: Active:209876 inactive:300555 dirty:0 writeback:0 unstable:0 free:530 slab:3345 mapped:511018 pagetables:1529
Aug 25 08:09:35 p15186527 kernel: DMA free:16kB min:16kB low:32kB high:48kB active:6368kB inactive:6276kB present:16384kB
Aug 25 08:09:35 p15186527 kernel: protections[]: 0 0 0
Aug 25 08:09:35 p15186527 kernel: Normal free:1016kB min:936kB low:1872kB high:2808kB active:247248kB inactive:607344kB present:901120kB
Aug 25 08:09:35 p15186527 kernel: protections[]: 0 0 0
Aug 25 08:09:35 p15186527 kernel: HighMem free:1088kB min:512kB low:1024kB high:1536kB active:585760kB inactive:588664kB present:1178560kB
Aug 25 08:09:35 p15186527 kernel: protections[]: 0 0 0
Aug 25 08:09:35 p15186527 kernel: DMA: 0*4kB 0*8kB 1*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 16kB
Aug 25 08:09:35 p15186527 kernel: Normal: 32*4kB 3*8kB 0*16kB 1*32kB 1*64kB 2*128kB 0*256kB 1*512kB 0*1024kB 0*2048kB 0*4096kB = 1016kB
Aug 25 08:09:35 p15186527 kernel: HighMem: 132*4kB 6*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 1*512kB 0*1024kB 0*2048kB 0*4096kB = 1088kB
Aug 25 08:09:35 p15186527 kernel: Swap cache: add 11723801, delete 11723582, find 34475097/35676256, race 158+1742
Aug 25 08:09:35 p15186527 kernel: Out of Memory: Killed process 21860 (httpd2-prefork).
Aug 25 08:09:35 p15186527 kernel: klogd 1.4.1, ---------- state change ---------- 
Aug 25 08:09:40 p15186527 /USR/SBIN/CRON[22134]: (root) CMD (/root/confixx/confixx_counterscript.pl) 
Aug 25 08:09:55 p15186527 kernel: Inspecting /boot/System.map-2.6.9-041214
Aug 25 08:10:01 p15186527 /USR/SBIN/CRON[22149]: (root) CMD (webalizer -p -o /home/htdocs/web11/html/webstatistik/ #Serverstatistik erstellen) 
Aug 25 08:10:01 p15186527 /USR/SBIN/CRON[22148]: (root) CMD (/root/confixx/confixx_counterscript.pl) 
Aug 25 08:10:07 p15186527 kernel: Loaded 28013 symbols from /boot/System.map-2.6.9-041214.
Aug 25 08:10:07 p15186527 kernel: Symbols match kernel version 2.6.9.
Aug 25 08:10:07 p15186527 kernel: No module symbols loaded - kernel modules not enabled. 
Aug 25 08:11:08 p15186527 /USR/SBIN/CRON[22156]: (root) CMD (/root/confixx/confixx_counterscript.pl) 
Aug 25 08:12:02 p15186527 /USR/SBIN/CRON[22163]: (root) CMD (/root/confixx/confixx_counterscript.pl) 

[EDIT by Joe User: Wiederholte Logeinträge entsorgt...]

[wintifabian]

Ich hab das genau gleiche Problem. Gestern wiedermal, 8 Tage her war das letzte Mal, hing sich der Server auf. Neustart und alles funktionierte wieder.

Der Server war während des Ausfalls aber weiterhin anpingbar.

[r00ty]

auch wenn du zwei GB Speicher hast, wenn du irgendwas blödes laufen hast, dass dir den Speicher vollmüllt kann es trotzdem sein, dass dein Speicher voll wird...

was sagt denn
cat /proc/meminfo
nach nem Neustart und nach ne Weile laufen ?

[evilduffp]

Moin !!

Ich hab hatte ganz vergessen zu Posten das ich mittlerweile das Problem gefunden habe.

Es handelte sich dabei um ein PHP Skript welches jede Stunde per Cronjob aufgerufen wurde. In diesem PHP Skript war eine while() Schleife die nach einem bestimmten Zeichen in einem String suchen sollte. Etwa so:

Code: Select all

<?
  $string = "blabla>blabla";
  while($zeichen != ">")
  {
    $timmer++;
    $timmer2++;
    $zeichen = substr($string, -$timmer2, -$timmer);
    if($zeichen != ">")
      $ergebnis = $zeichen.$ergebnis;
  }
?>

Jetzt ist es anscheint ab und zu vorgekommen das das Zeichen ">" im String nicht vorhanden war. Und da ich keinen Notausstieg aus der while() Schleife eingebaut hatte und anscheint die Sicherheitsfunktionen von PHP nicht gezogen haben (max_execution_time, memory_limit) => ich denke mal da ich die PHP Datei als ROOT aufgerufen habe, lief das Skript so lange bis meine 2GB Speicher weg waren...also habe ich einen Notausstieg eingebaut:

Code: Select all

<?
  $string = "blabla>blabla";
  while($zeichen != ">" AND $timmer2 < 20)
  {
    $timmer++;
    $timmer2++;
    $zeichen = substr($string, -$timmer2, -$timmer);
    if($zeichen != ">")
      $ergebnis = $zeichen.$ergebnis;
  }
?>

Und schon gab es keine Probleme mehr :)
Raus gefunden habe ich das es dieses Skript war weil es immer um 00 * * * * ausgeführt wurde aber in den Logfiles teilweise erst um z.B. 8:08 Uhr aufgeführt wurde (weil es dann wahrscheinlich teilweise so lange zum ausführen gedauert hatte)

Gruß

Philipp

[r00ty]

was willst du eigentlich genau machen ? einfach einen String mit aufteilen ?
schau dir mal explode() an

[evilduffp]

Ja hast Du recht...wäre vielleicht einfacher :oops:

[wintifabian]

Ehm, was ist es denn für ein Script? Vielleicht hab ich ja das selbe laufen *g

Bei mir kommt folgendes;

Code: Select all

pXXXXXXXX:~ # cat /proc/meminfo
MemTotal:      1034160 kB
MemFree:         70616 kB
Buffers:         20988 kB
Cached:         679316 kB
SwapCached:       2000 kB
Active:         468172 kB
Inactive:       347220 kB
HighTotal:      129212 kB
HighFree:          252 kB
LowTotal:       904948 kB
LowFree:         70364 kB
SwapTotal:     2048276 kB
SwapFree:      2015488 kB
Dirty:             428 kB
Writeback:           0 kB
Mapped:         134748 kB
Slab:           140792 kB
Committed_AS:   417116 kB
PageTables:       1876 kB
VmallocTotal:   114680 kB
VmallocUsed:      1444 kB
VmallocChunk:   113124 kB

Denke sollte in Ordnung sein.

[evilduffp]

Es war bei mir einfach eine PHP Datei die per Cronjob aufgerufen wurde. Und in dieser Datei befand sich eine while() Schleife die kein Ende hatte und so lange lief bis der gesamte Speicher verbraucht war.

Versuch doch mal den Zeitpunkt einzugrenzen wann es passiert. Passiert es regelmäßig immer am selben Tag zur gleichen Uhrzeit ?

Wann es passiert wird ja in der message.log Datei gespeichert. Vergleiche dann in der access.log Datei welche Dateien auf Deinem Server aufgerufen wurden in diesem Zeitraum. In einer dieser Dateien wird wahrscheinlich ein ähnliches Problem sein wie bei mir.

Schau doch mal in Deine php.ini. Sind die Sicherheitsfunktionen max_execution_time, memory_limit eingeschaltet ?

[wintifabian]

Ja, dies ist alles eingeschaltet. Das Problem ist, der Ausfall kommt an den verschiedensten Zeiten. Mal um 14.00, oder 23.00 oder auch um 08.00... in den Logfiles wird der Ausfall nicht protokolliert.

Hab Confixx laufen und dann läuft das so..

Code: Select all

Aug  30 08:31:00 pXXXXXXXX /USR/SBIN/CRON[19556]: (root) CMD (/root/confixx/confixx_counterscript.pl)

Aug  30 09:10:41 pXXXXXXXX ## FORCE REBOOT ##

Aug  30 09:11:00 pXXXXXXXX /USR/SBIN/CRON[19556]: (root) CMD (/root/confixx/confixx_counterscript.pl)

[evilduffp]

Hmm...die confixx_counterscript.pl sollte eigentlich jede Minute ausgeführt werden. Ist das bei Dir anders ?

"## FORCE REBOOT##" heisst das das sich der Server von selbst neu bootet ? Wie äußert sich der Ausfall denn ? Ist das immer nur ein Ausfall von 1-2 Minuten während der Server neu bootet oder dauert es auch schon mal länger ?

[wintifabian]

Also in dem Fall war jetzt der Ausfall von 8.31 bis 9.11, darum wurden ja das Confixxscript nicht mehr ausgeführt, sonst läuft es schon minutenweise. Der Force Reboot ist der Hardware-Reset.

Also der Server is anpingbar, aber die Seiten laden unendlich lange, bis eigentlich gar nichts kommt. Kommt zwar nicht direkt eine "Site not found"-Meldung, aber es lädt halt ins Nirvana..

[evilduffp]

Also bei mir verlief es ja genauso. Der Server wurde mit mal immer langsamer und langsamer. Ich konnte den Server noch anpingen und Webseiten aufrufen. (dauerte bloß alles sehr lange)

Deutete alles darauf hin das der verfügbare Speicher immer weniger wurde, bis der Server schließlich selbständig Prozesse beendete um freien Speicher zu schaffen.

Bei mir war es ein PHP-Skript was halt den Fehler verursacht hat. Vielleicht ist es bei Dir auch ein irgendein Skript. (muß ja nicht PHP sein) Anscheint wird es bei Dir auf jedenfall nicht per Cronjob aufgerufen wenn es total wahllos passiert. Ich denke wenn Du Dir in den Zeiten wo es passiert genau die Logfiles anschaust kannst Du es raus finden welches Skript es ist. Schau doch mal welches Seite immer aufgerufen wird wenn es passiert. Mehr kann ich Dir leider auch nicht raten.