CPU Last einzelner Vhosts

[markus niewerth]

Hi,
ich hab ein kleines Problem mit einem PHP Programm, welches ziemlich viel CPU Last macht. In den Zeiten wo dieses Script die meisten Zugriffe hat, also gegen Nachmittag, ist der Apache kaum noch zu erreichen.

Dies ist natürlich für die anderen Webseiten auf dem gleichen Server nicht so schön, denn die sind von den Lasten auch betroffen. Kann man denn nicht die Last der einzelnen Apache VHosts begrenzen.

Was kann ich sonst noch alles machen damit ich die CPU Lastige Webseite von den anderen trennen kann und somit die Last komplett gering halte?

Wäre schön wenn einer ne Antwort parad hätte.

Gruß Markus

[alexander newald]

Hi,
ich hab ein kleines Problem mit einem PHP Programm, welches ziemlich viel CPU Last macht. In den Zeiten wo dieses Script die meisten Zugriffe hat, also gegen Nachmittag, ist der Apache kaum noch zu erreichen.

Dies ist natürlich für die anderen Webseiten auf dem gleichen Server nicht so schön, denn die sind von den Lasten auch betroffen. Kann man denn nicht die Last der einzelnen Apache VHosts begrenzen.

Was kann ich sonst noch alles machen damit ich die CPU Lastige Webseite von den anderen trennen kann und somit die Last komplett gering halte?

Wäre schön wenn einer ne Antwort parad hätte.

Gruß Markus

Hi,

ich glaube, da kann man nichts machen.

Alexander Newald

[nn4l]

Ist es wirklich die CPU Last oder fängt der Server an zu swappen?

Siehe auch http://www.rootforum.org/forum/viewtopic.php?t=7839

Evtl. könnte man auch mod_php nutzen. Mehr Performance, aber weniger Sicherheit.

[markus niewerth]

Nein 100% nicht. Ich habe jetzt intensive Tests gefahren. Das PHP Script wird sekündlich über 300 - 400 mal aufgerufen.

Das killt jeden Server. Ich habe jetzt mal die maxClients höher gestellt. Gut, schneller ist der Apache zu erreichen, aber wenn die 300 clients bedient sind, dauert der Seitenaufbau ewig und die Load Avarage steigt bis über 6.00


Jemand Rat?

[floschi]

Das PHP Script wird sekündlich über 300 - 400 mal aufgerufen.

Wesentlich größer dimensionierter Server... ich hab' bei mir daheim mal mittles httperm solche Lasten auf ein PHP mit MySQL-Abfragen simuliert - da ging der Rechner tierisch in die Knie :(

[alexander newald]

Nein 100% nicht. Ich habe jetzt intensive Tests gefahren. Das PHP Script wird sekündlich über 300 - 400 mal aufgerufen.

Das killt jeden Server. Ich habe jetzt mal die maxClients höher gestellt. Gut, schneller ist der Apache zu erreichen, aber wenn die 300 clients bedient sind, dauert der Seitenaufbau ewig und die Load Avarage steigt bis über 6.00


Jemand Rat?

300 - 400 mal pro Sekunde??? Was ist das für eine Seite??

Das sind 777600000 - Das sind 777 Millionen Zugriffe pro Monat... ???

Alexander Newald

[[tom]]

Das PHP Script wird sekündlich über 300 - 400 mal aufgerufen.

Sorry, das glaub ich nicht. Um diese Last zu packen (PHP, nicht static), müßtest Du einen tiefergelegten Server mit BIT-Injection haben.

Wenn ich ein PHP Script lokal benchmarke, dass nur "Hello World!" ausgibt, komm ich mit meinem Root L auf 350 Requests per Second. Ã?ber das Netz (mit einer Ping Zeit von 32 ms) sind es nur noch ca. 8,5 Requests per Second. Bei einem umfangreicherm Script komm ich unter 1 Request per Second.

Das würde also bedeuten, Du hättest 300 bis 400 Client Zuriffe pro Sekunde (von unterschiedlichen Clients). Wenn das wirklich der Fall ist, fährst Du auf Maximum. Oder anders ausgedrückt: Dein Server ist dann zu klein.

[TOM]

[markus niewerth]

Das PHP Script wird sekündlich über 300 - 400 mal aufgerufen.

Sorry, das glaub ich nicht. Um diese Last zu packen (PHP, nicht static), müßtest Du einen tiefergelegten Server mit BIT-Injection haben.

Wenn ich ein PHP Script lokal benchmarke, dass nur "Hello World!" ausgibt, komm ich mit meinem Root L auf 350 Requests per Second. Ã?ber das Netz (mit einer Ping Zeit von 32 ms) sind es nur noch ca. 8,5 Requests per Second. Bei einem umfangreicherm Script komm ich unter 1 Request per Second.

Das würde also bedeuten, Du hättest 300 bis 400 Client Zuriffe pro Sekunde (von unterschiedlichen Clients). Wenn das wirklich der Fall ist, fährst Du auf Maximum. Oder anders ausgedrückt: Dein Server ist dann zu klein.

[TOM]

Also mein Webprogramm ist sowas ähnliches wie Nedstad, nur das wir eben nicht alles mitloggen wie die ;I
Aber in Spitzenzeiten komme ich auch logger auf mehr requests. Wir haben 500 Aktive Webseiten registriert, unter den ersten 100 Webseiten sind welche dabei, die haben 20000 Besucher bei 200000 Zugriffen am Tag.

Aber dennoch habe ich das Problem gelöst. Ich lasse einen zweiten Apache extra nur für das Programm laufen, der KeepAlive requests nicht behandelt. Also KeepAlive habe ich abgeschaltet und schon gings wie geschmiert.

Mein Server ist übrigens ein Root Server L mit einer 2GHZ Cpu, also einer der neusten. Auf einer alten Kiste lief das bei Tests garnicht. Aber eventuell auch da das selbe Problem!?


EDIT:

300 - 400 mal pro Sekunde??? Was ist das für eine Seite??

Das sind 777600000 - Das sind 777 Millionen Zugriffe pro Monat... ???

400 Zugriffe in der Sekunde werdens nicht sein, aber 200 - (in Spitzenzeiten von 12:00 Uhr - 22:00 Uhr)

Webalizer Statistik

Code: Select all

Month Daily Avg Monthly Totals 
Hits Files Pages Visits Sites KBytes Visits Pages Files Hits 
 
Feb 2003 1953797 1626407 1426128 191710 2312168 31883001 4601060 34227091 39033775 46891145 

Jan 2003 1685049 1385552 1205582 177484 2632959 37587033 5502034 37373046 42952120 52236534 

[flo]

Hi,

hab Deine Zahlen mal runtergerechnet von den Daily Avgs ... 23 Hits pro Sekunde sollten zu packen sein - das sind Hits, ich gehe davon aus, daß Du auch Bilder benutzt.

Seis drum - ich habe zwei Mal alle vier Jahre auch mal so einen Hochlastbetrieb und ich komme folgendermaßen zurecht:

1) Lagere aus, wenn es geht (z.B. virtueller Host für die Bilder, den Du eben umziehst ...

2) Setze die Maximalen Prozesse wesentlich herab - 300, das packt kein Rootserver, für einen 1000er - das ist jetzt der L - lasse ich bei Hochlast 80 laufen.

3) Erhöhe die PHP-Speicherzuweisung - dadurch werden umfangreiche Script scneller abgearbeitet und Du läuft nicht Gefahr, in TimeOuts zu kommen. Ergo: Prozeß wird schneller für neue Clients frei.

4) Vergib MaxClients, so daß der Apache sich ab und zu mal nen neuen Prozeß gönnt, wenn der seine Arbeit erledigt hat.

5) Reduziere ansonsten das Prozeß- rauf- und runtergefahre und laß die maximale Anzahl von Apachen von Anfang an ruhig idlen, wenn requests kommen, wissen die schon, was sie zu tun haben. ;-)

Grüße,

flo.

[markus niewerth]

Danke @flo.

Ich habe bisher fast alles so eingestellt. Ich bin nach langem suchen auch drauf gekommen was für die Performance am besten ist. Ich hab es so das ich immer noch ein paar idle Servers habe.

Code: Select all

2 requests currently being processed, 12 idle servers 

Es läuft jetzt einigermassen. Die Grafiken werden eh von einem anderen HTTP geholt. Also Ausgelagert ist schon genug. Das schöne ist jetzt das ich die ganzen Prozesse nicht mehr in Prozessbaum habe, die hat er nämlich nicht gepackt (tahts right). Danke nochmal für die guten Ratschläge, jetzt weiß ich wenigstens das ich ein bischen richtig lag.

Gruß Markus

[flo]

Prima, daß es klappt. ;-)

Ich bin auf die Verfahrensweise gekommen, weil mir der Server im Lastbetrieb auf Load 120 (!) hoch ist und ich nciht wußte, woran es lag, weil die Scripte nicht von mir und encoded waren, konnte ich auch nciht nachschauen, was er da treibt.

Und im Netz gibt es leider relativ wenig zu dem Thema, wie man (mit unseren Mitteln) Apache schnell macht.

Grüße,

flo.

[swosher]

Nur mal eben so wegen der Last bei Webstatistik....

ich war bis vor kurzem für (werbung an) netnugget.de (werbung aus) in der Administration tätig wir waren bei ~ 30 request pro sekunde und haben das über nen Loadbalancer mit ca. 10 Server gefahren.

Nur als Denkanstoss, dein Server braucht ~ 2 Sek bis die Seite abgearbeitet ist, die Seite des Kunden ~ 1 ohne deine Statistik mit ~ 3 Sekunden.

Wird dein Script nun noch langsamer haben deine Kunden echt ein Problem.

Was dabei auch nicht zu vergessen sind, wie sieht es mit den Connections aus ? Mach mal einen "netstat -a" wenn der Server so richtig läuft... (stichwort Kernellimits)

Aber wenn interesse da ist, können wir gerne mal zu dem Thema Mailen ...

[alexander newald]

Nur mal eben so wegen der Last bei Webstatistik....

ich war bis vor kurzem für (werbung an) netnugget.de (werbung aus) in der Administration tätig wir waren bei ~ 30 request pro sekunde und haben das über nen Loadbalancer mit ca. 10 Server gefahren.

Ja ja, immer diese Interna verraten....

Alexander Newald

[swosher]

Ja ja, immer diese Interna verraten....

Ich weiß jetzt zwar nicht wie du das gemeint hast, aber mein Wissen kann ich weitergeben, da ich keine geheimhaltungs/unterlassungs irgentwas unterschrieben habe..

Wenn du es nichts glaubst, kann ich dich wohl eh nicht vom gegenteil überzeugen..

[alexander newald]

Ja ja, immer diese Interna verraten....

Ich weiß jetzt zwar nicht wie du das gemeint hast, aber mein Wissen kann ich weitergeben, da ich keine geheimhaltungs/unterlassungs irgentwas unterschrieben habe..

Wenn du es nichts glaubst, kann ich dich wohl eh nicht vom gegenteil überzeugen..

Mojen, nicht gleich angegriffen fühlen am frühen und sonnigen Mittwoch morgen!!! Ich fands nur spannend, dass 30 Hits/sek. schon per Loadverteiler auf 10 Server verteilt werden.

Mehr nicht.

Alexander Newald

[arty]

Hi,

schreibe das PHP-Skript doch einfach in C, dass ist sicherlich ein mehrfaches performanter als ein PHP-Skript!

bye
arty

[swosher]

aso *g* sorry bin da meinchmal etwas :?

Naja wir hatten halt hinten dran ne fette DB wo alles reingeschrieben wurde..

Durch die Loadbalancer konnten die Antwortzeiten sehr gering gehalten werden (und natürlich einer Optimierung im Backend).

~ 30 pi/s im mittel waren es.. und das 24 h 7 tage die Woche usw..

Spitzen müssen ja abgefangen werden, wir hatten halt eine menge von Seiten, die nur zu bestimmten Uhrzeiten richtig Traffic gemacht haben. (Arcor, msn.at, telekom.at, moneycab als beispiele).

Gruß

Swosher

[alexander newald]

aso *g* sorry bin da meinchmal etwas :?

Naja wir hatten halt hinten dran ne fette DB wo alles reingeschrieben wurde..

Durch die Loadbalancer konnten die Antwortzeiten sehr gering gehalten werden (und natürlich einer Optimierung im Backend).

~ 30 pi/s im mittel waren es.. und das 24 h 7 tage die Woche usw..

Spitzen müssen ja abgefangen werden, wir hatten halt eine menge von Seiten, die nur zu bestimmten Uhrzeiten richtig Traffic gemacht haben. (Arcor, msn.at, telekom.at, moneycab als beispiele).

Gruß

Swosher

Ah, mir kam 30 nur relativ wenig vor, aber stimmt, im Monatsmittel ist das dann doch mehr....

Alexander Newald

[markus niewerth]

@arty
Ich kann aber nur PHP ^^, mit C fange ich grad erst an.

Aber mir ist da in diesen Wochen einiges aufgefallen. Und zwar habe ich bei wget mal die Durchschnittswerte angesehn, sind wir nur noch an 10MBIT angebunden? Gemerkt habe ich das beim saugen einer großen Datei (650MB), früher brauchte ich noch 1min 50sek, jetzt knapp 10min.

Und ich frage mich mitlerweile ob 1und1 die Server nur dediziert anbietet. Denn nirgends findet man Infos ob es ein Dedizierter Server ist oder ein richtiger Hardwareserver.

Weis da einer was?

[jamesb]

Das mit den Durchschnittswerten kannst du nicht auf einen Tag machen, denn es könnte z.B. sein dass der andere Server oder die Leitung überlastet war. Um deine richtige Speed rauszufinden, musst du das ganze öfter und mit verschiedenen Servern machen.
Und es sind tatsächlich komplette Hardwareserver, die 1&1 da anbietet :)

JamesB

[markus niewerth]

P.S.: Ich habe bereits 2 dieser Rootserver, wieso sollte ich also Lügen, das habe ich schon auf beiden getestet. Von Server zu Server und maximal 10MBIT. Und jetzt grad eben ist der Server wegen Verbindugsstörungen garnicht zu erreichen.

Ich erreiche einen Durchschnitt von 7.70 MB/s
ist sehr Mager würde ich mal behaupten.

Scheint wohl am Umzug zu liegen. Denn diese Störungen habe ich sehr oft, laut Monitoring Service. Ich bin mitlerweile nicht mehr so begeistert, von den root Kisten.

[fubbel]

hmmm

7,7mb/s ist doch nicht so schlecht wie du das gerade beschreibst.

maximal geht ja eh nur 12mb/s in eine richtung durch.
das machen die platten sowieso nciht mit. und ist abgesehen davon auch nur ein theoretischer wert.

viel mehr als 9mb/s macht die platte nicht. und dann darf se nicht anderst weitig beschäftigt sein. sonst bircht der wert gleich sehr stark ein.

was hast denn im durschnitt vorher gehabt ?
wenn die 7,7 in deinen augen so schlecht sind.


gruss

edit: 10mbit kann ja nicht sein bei 7,7mb/s.

[jamesb]

Ich glaube, du verwechselst was:

10 MBit/s = 10 Millionen Bit pro Sekunde
10 MB/s = 10 Millionen Byte pro Sekunde

Du musst deine MBit-Angaben also durch 8 teilen, um die MB-Zahlen zu bekommen, anderstherum musst du die MB/s-Angaben mit 8 multiplizieren, um auf die MBit-Angaben zu kommen. So sind 7,7 MB/s etwa 61,6 MBit/s, und dazu kommt dann noch der Protokoll-Overhead etc..., was da noch dazugerechnet werden muss.

JamesB

[Anonymous]

jaja, immer diese dynamischen seiten :)
die fressen halt mal viel, also entweder aufrüsten (dual xeon kann ich nur empfehlen) oder/und ein paar mühlen mehr hinstellen und loadbalancer.

bei forum oder ähnliches gibts eventuell dann noch nen problem mit der datenbank. (je nachdem wieviel die ausgelastet ist, ich persönlich habe nie mehr als 50 hits / second im peak jemals gehabt)