Gelöst: Auslieferung der Webseiten extrem langsam

[guenni81]

Hallo zusammen,
seit heute Mittag liefert unser Webserver die Daten sehr sehr sehr langsam aus. Wer möchte kann sich dies unter http://suedpfalz.city-tiger.de anschauen. Hat jemand eventuell ne Idee an was dies liegen könnte, bzw. wo ich nachprüfen kann an was es liegt? Über ein paar Tipps würd ich mich freuen...
Die Load des Servers ist auch nicht wirklich hoch:

top - 19:35:18 up 372 days, 11:39, 1 user, load average: 0.00, 0.00, 0.00
Tasks: 111 total, 1 running, 110 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.8% us, 0.2% sy, 0.0% ni, 98.9% id, 0.0% wa, 0.0% hi, 0.0% si
Mem: 4034152k total, 2275768k used, 1758384k free, 23916k buffers
Swap: 1959920k total, 6816k used, 1953104k free, 1380896k cached

[daemotron]

Also ein RAM- oder CPU-Problem ist es nicht. Wenn es plötzlich aufgetreten ist, würde ich auf ein Problem mit dem Netzwerk tippen (vergurkte Router-Konfiguration, kaputtes Auto-Sensing/-Negotiation, ...) oder ein überlasteter DNS, falls Du Namensauflösung nicht unterdrückt hast. Möglicherweise ist auch der Webserver ungünstig konfiguriert, was die Prozss-/Threadverwaltung angeht, aber das hätte sich wohl nach und nach bemerkbar gemacht, nicht auf einen Schlag.

[guenni81]

Ja, das Problem ist von jetzt auf nachher aufgetreten. Die Frage ist natürlich ob das Problem dann bei 1und1 oder bei der Telekom liegt. Heute morgen hatten wur auch mal probleme mit dem DSL, da es eine Bundesweite Störung gab. Vielleicht hängt das ganze damit zusammen?!
Das komische ist, dass es ab und an mal schnell funktioniert. Vermutlich liegt das Problem wirklich nicht bei uns, sondern an dem Netzwerk des Providers...
Gibts ne möglichkeit das heraus zu finden?

[daemotron]

Traceroute zum Server laufen lassen und schauen, welche Hops von der Latenz her aus der Reihe tanzen. Außerdem mal checken, ob der Apache versucht, IPs per DNS aufzulösen (in der Konfiguration sollte HostnameLookups Off stehen). Ansonsten mal mod_status mitladen und damit mal beobachten, wie stark der Webserver wirklich in Anspruch genommen wird.

[guenni81]

So, hier mal das Traceroute. Das HostnameLookups steht auf off, so wie es sein sollte. Das Modul werde ich dann morgen früh nachinstallieren...

guenni@guenni-desktop:~$ traceroute suedpfalz.city-tiger.de
traceroute to suedpfalz.city-tiger.de (87.106.177.64), 30 hops max, 40 byte packets
1 speedport.ip (10.10.0.10) 0.644 ms 4.919 ms 4.910 ms
2 * * *
3 87.186.249.34 (87.186.249.34) 85.307 ms 98.989 ms 111.074 ms
4 f-eb7.F.DE.net.DTAG.DE (62.154.16.182) 205.265 ms f-eb7.F.DE.net.DTAG.DE (62.154.16.178) 141.178 ms 153.196 ms
5 62.156.138.62 (62.156.138.62) 167.031 ms 180.965 ms 193.051 ms
6 te-1-4.bb-c.bs.kae.de.oneandone.net (212.227.120.9) 209.133 ms te-1-3.bb-c.bs.kae.de.oneandone.net (212.227.120.29) 217.272 ms te-1-4.bb-c.bs.kae.de.oneandone.net (212.227.120.9) 229.611 ms
7 ae-7.gw-distp-b.bad.oneandone.net (212.227.116.221) 243.450 ms 177.798 ms 178.179 ms
8 ae-1.gw-prtr-r161-1b.bad.oneandone.net (195.20.247.57) 180.195 ms 161.997 ms 163.835 ms
9 s15267402.onlinehome-server.info (87.106.177.64) 164.111 ms 164.141 ms 164.132 ms

[guenni81]

Hier die Infos des Serverstatus

Apache Server Status for XX.XX.XX.XX

Server Version: Apache/2.0.55 (Ubuntu) PHP/5.1.2
Server Built: Feb 4 2008 19:58:40

Current Time: Friday, 29-Aug-2008 07:41:21 CEST
Restart Time: Friday, 29-Aug-2008 07:35:30 CEST
Parent Server Generation: 0
Server uptime: 5 minutes 50 seconds
10 requests currently being processed, 10 idle workers

W_W__WW_WW_WW___..__..W....W....................................
................................................................
................................................................
................................................................

Scoreboard Key:
"_" Waiting for Connection, "S" Starting up, "R" Reading Request,
"W" Sending Reply, "K" Keepalive (read), "D" DNS Lookup,
"C" Closing connection, "L" Logging, "G" Gracefully finishing,
"I" Idle cleanup of worker, "." Open slot with no current process

PID Key:

17129 in state: W , 17130 in state: _ , 17131 in state: W
17132 in state: _ , 17133 in state: _ , 17135 in state: W
17139 in state: W , 17141 in state: _ , 17144 in state: W
17146 in state: W , 17148 in state: _ , 17150 in state: W
17153 in state: W , 17166 in state: _ , 17167 in state: _
17168 in state: _ , 17171 in state: _ , 17172 in state: _
17175 in state: W , 17180 in state: W ,

[guenni81]

OK, das problem hat sich nun erledigt. Durch hilfe eines Netzwerk Spezialisten sind wir auf die richtige Spur gekommen.
Es lag an einem Softwarefehler der 1und1 Firewall.

[daemotron]

Könntest Du solche Informationen bitte künftig in Code- statt in Quote-Tags packen? Dann wären sie leichter zu lesen...

Also Dein Indianer scheint nicht übermäßig beschäftigt zu sein. 10 leerlaufende Threads und jede Menge Slots, um neue zu spawnen (Ressourcen sind ja auch noch genug dafür da). Die Latenzen in Deinem Traceroute kommen mir ziemlich hoch vor - welche Durchschnittslatenz bekommst Du denn mit ping? Ansonsten kann ich nur unterstützen, was matzewe01 schon geschrieben hat: Installier Dir Monitoring-Tools wie Munin o. ä. und lasse CPU, Netzwerk, RAM, Swap, File Handles und Dateisysteme überwachen.

Ansonsten fällt mir nur noch ein, dass Du mal Deine Festplatte mit smartmontools checken könntest - manchmal wirken sich defekte Sektoren so aus, dass Zugriffe auf das betreffende Dateisystem extrem langsam werden. Mit s.m.a.r.t. solltest Du so ein Problem leicht finden können, denn wenn es sich anderweitig (I/O-Error im Syslog) manifestiert, ist es meist schon zu spät.

P. S. oh, da haben wir uns wohl überschnitten.

[guenni81]

P. S. oh, da haben wir uns wohl überschnitten.

Ja, schaut so aus. Munin läuft seit dem anfang des Problems, was aber auch nicht wirklich was brachte...
Wie dem auch sei, das Problem ist ja nun gelöst...

[guenni81]

Das ist klar, munin und co bringen dir erst etwas, wenn Du de normalszustand lange gneug gemessen hast. Dann lassen sich solche Probleme z.B. durch geänderte Pingzeiten lokalisieren.

Da hast du natürlich recht, ich wollte eigentlich nur damit sagen das dort nicht direkt irgendwas auffälliges war.