Server braucht regelmäßig den RAM auf und geht DOWN!

[sploon]

Es geht um einen Suse Linux Server der ca. einmal am Tag ausfällt, vermutlich wegen dem Arbeitsspeicher!

Die Hardware haben wir gepfüft, diese ist OK.

Auf dem Server ist Confixx 3.0 mit ca. 100 Kunden!

-----------------------------------
total used free shared buffers cached
Mem: 513120 288040 225080 0 39640 143980
-/+ buffers/cache: 104420 408700
Swap: 1028152 0 1028152

ipx10633:~ # cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 15
model : 2
model name : Intel(R) Celeron(R) CPU 2.00GHz
stepping : 9
cpu MHz : 1995.171
cache size : 128 KB
physical id : 0
siblings : 1
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 2
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm
bogomips : 3932.16
-------------------------------------

Was kann da noch schief laufen?

mfg
sploon

[bungeebug]

Ich weiß ja nich, wieviel Ram da drin is aber ich könnte mir gut vorstellen, dass wenn bei 100 Kunden 10 dabei sind die größere Internetseiten mit ordenltich Usern haben sich die Kiste einfach überarbeitet.

Nen Celeron is sowieso nicht wirklich geeignet für nen Server und schon garnicht für einen, auf dem viel Last ist und wenn dann noch wenig Ram dazu kommt ist Ende Gelände.

[outofbound]

BungeeBug, da muss ich dir widersprechen. Auf so eine Kiste dürften noch weit mehr "anständige" User passen. Mit dem Celeron hat das herzlich wenig zu tun ;)

*glaskugel*

Ich tippe mal darauf, dass irgendeiner auf ner MySQL Mist baut, der Dienst dann hochswapped und die Kiste stehen bleibt.

Zwei Möglichkeiten:

a) Finden und den Bösewicht zum optimieren zwingen.
b) Erstmal den Swap ausschalten (Ja, richtig) und schauen, was dann passiert.
Der Kernel dürfte dann wg. Speichermangel entsprechende Prozesse abschiessen,
aber zumindest müsste die Kiste weiterlaufen.

Gruss,

Out

[alexander newald]

Was bedeutet ausfällt?

Ist per Ping nicht mehr erreichbar, ist per ssh nur noch langsam erreichbar liefert keine Webseiten mehr aus?

[sploon]

Liefert keine Webseiten mehr aus und ist auch per ssh nicht mehr erreichbar!

Fast jeder Kunde arbeitet auch mit PHP und MySql.

[alexander newald]

Bedeutet per ssh nicht erreichbar, er zeigt connection refused, oder es kommt scheinbar keine Verbindung zustande (lange 10 minuten gewartet?) ? Anpingbar?

[sploon]

Ja er bekommt einfach keinen connect mehr und gewartet haben wir auch schon mal und Anpingbar ist er aber noch!

[alexander newald]

per root 2x einloggen, wenn er noch geht und eingeloggt bleiben. einmal top laufen lassen und einmal tail -f /var/log/messages /var/log/warn /var/log/kernel

Evtl. die Dateinamen der Logdateien auf eigene Gegebenheiten anpassen.

[outofbound]

Hm, also ich tippe auf Speicherüberlastung durch die MySQL (Der Klassiker) ;)

Einmal am Tag? Immer zur selben Zeit?
Dann würde ich mal die Crons der Kunden durchschauen, sofern sie welche haben,
ob da nicht ein defektes Backup- Script rödelt.
Oder nen Statistik- Skript das nen Kreuzprodukt baut.
Oder einfach mal die Website- Statistiken für die Zeit anschauen, wer das was macht.

Gruss,

Out

[sploon]

Beim letzten Crash hatten wir TOP am laufen und sahen das der Arbeitsspeicher noch ca. 16 MB von 512 MB free hatte.

Was verträgt so ein System ca. an MySql `s?

Wenn man das überhaupt auch nur ca. sagen kann!

Denn beu uns haben eigentlich alle ca. 100 MySql und PHP am laufen!

[alexander newald]

Code: Select all

  1:16pm  up 367 days,  3:25,  2 users,  load average: 0.38, 0.32, 0.27
121 processes: 120 sleeping, 1 running, 0 zombie, 0 stopped
CPU states:  1.3% user,  6.1% system,  0.0% nice, 92.5% idle
Mem:   449664K av,  435892K used,   13772K free,       0K shrd,   20124K buff
Swap:       0K av,       0K used,       0K free                  133920K cached

Das an sich ist noch nicht weiter schlimm. Interessant ist, ob free + cached klein ist. Am Beispiel oben sind es zusammen noch gut 145 MB Ram, die dem Rechner zur Verfügung stehen, obwohl "nur" 13 frei sind. Ist normal, da Linux möglichst viel Ram zum Cachen von Dateidaten verwendet.

[sploon]

Oh ja stimmt der ziemlich viel im Cash:

Code: Select all

Tasks: 100 total,   2 running,  93 sleeping,   3 stopped,   2 zombie
Cpu(s):   1.3% user,   6.6% system,   4.2% nice,  88.0% idle
Mem:    513120k total,   375612k used,   137508k free,    50464k buffers
Swap:  1028152k total,        0k used,  1028152k free,   217092k cached

von gerade ebend...

[alexander newald]

Da ist aber noch sehr viel Spielraum, bis dem die Luft ausgehen sollte...

[sploon]

Ja gut das hast du wohl recht, aber ich muss jetzt irgend etwas machen!


Das geht ja leider schon länger so und langsam bin ich schon drauf und dran den server zu kündigen und einen neuen zu nehmen da andere Systeme von uns problemlos laufen!

Wie kann man denn am besten analysieren welcher user (confixx) was für skripte am laufen hat oder so ???

Ps: DANKE für die freundliche Hilfe:)

[metrax]

Wir hatten damals mit SuSE 8.X nen ähnliches Problem. Der RAM ist immer zu vollgelaufen. Dienste waren alle Down und anpingbar war er noch. Eines Tages haben wir sämtliche Dienste beendet gelassen und zugesehen, was passiert. Erstaunlicherweise ist der RAM trotzdem vollgelaufen. Das Interessante daran war aber, das kein laufender Prozess den schwindenden Arbeitsspeicher in Anspruch genommen hat. Wir haben das Problem auch nicht lösen können. Nach einer Reinitialisierung ging alles wieder einwandfrei.

[sploon]

also weiß keiner ein cooles analyse tool für confixx?

[metrax]

was willst du denn mit confixx analysieren?

confixx schreibt doch nur configdateien, mehr ist das doch nicht.

der linux befehl "top" könnte dir weiterhelfen. mit dem command "M" kannst du nach RAM-Verbrauch sortieren lassen

[alexander newald]

Wie ich schon geschrieben habe: Einloggen und eingeloggt bleiben, Logdateien per tail -f mitlaufen lassen und top laufen lassen. Verabschieded sich der Server bleibt normalerweise der letzte "Hilferuf" auf dem Schirm stehen und man sieht was falsch läuft.

Was sagt den tail /var/log/kernel ?

[sploon]

top benutzen wir ja schon kein thema das ist ja auch sehr gut aber dennoch kann ich doch in top nicht genau sehen wer von den kunden denn eventuell scheisse macht oder scheisse am laufen hat oder?

@ Alexander

das werde ich jetzt auch mal machen:)