Apache liefert zuviel aus.

[Anonymous]

Hallo!!! :-)

Ich habe ein sehr merkwürdiges Problem:
Ich habe einen Root-Server bei startlogic.com mit Red Hat 9. Dort liegen roundabout 7 Gb an .pdfs und .zips zum Download über http herum... jaja, ich weiss, über ftp wäre es besser, aber das hab' ich mir nicht einfallen lassen. Vor kurzer Zeit habe ich den Provider gewechselt und seitdem ich damit bei startlogic bin ist mit einem mal der Traffic von ca 250 Gb im Monat auf über 500 Gb gestiegen. Das kommt mir natürlich seeehr merkwürdig vor. Ich habe daraufhin in die Logdateien geguckt und dort steht sehr oft ein Ã?hnliches Muster wie dieses:

xxx.xxx.xxx.xxx - - [20/Jul/2004:06:00:15 -0700] "GET /dateien/datei.pdf HTTP/1.0" 200 937161 "http://www.referrer.xyy/seite.cfm" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:00:17 -0700] "GET /dateien/datei.pdf HTTP/1.0" 200 937161 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:00:20 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 739 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:00:22 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 1024 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:00:24 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 402 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:00:19 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 456341 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:00:37 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 298579 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:00:44 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 218072 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:00:34 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 424174 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:01:00 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 129252 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:01:06 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 61380 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:01:14 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 13331 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:01:13 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 45272 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:01:05 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 161115 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:01:20 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 3821 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:01:22 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 4509 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"
xxx.xxx.xxx.xxx - - [20/Jul/2004:06:01:14 -0700] "GET /dateien/datei.pdf HTTP/1.0" 206 117399 "-" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98)"

Wenn ich nun die Grössen zusammenzähle komme ich auf ca. 3,8 MB, obwohl die eigentliche Datei nur 937161 Byte gross ist... (Gleiche Grösse wie in den ersten Zeilen)
Kennt Ihr ein solches Verhalten? Normal kann das doch eigentlich nicht sein... Gibt es vielleicht eine bestimmte Einstellung beim Apache, die vielleicht bewirkt, dass nicht soviel geliefert wird? Das merkwürdige daran ist, dass diese Muster im Log sehr oft vorkommen und soviele doofe User, die ganz plötzlich seitdem ich einen neuen Server habe Spass dran haben Dateien doppelt und dreifach herunterzuladen gibt's doch nicht...

Wäre für jeden Tipp sehr dankbar.
Schöne Grüsse!
MH

[nikon]

Der Apache liefert die Datei so aus, wie sie im Dateisystem liegt. Dass du unterschiedliche Dateigrößen im Log hast liegt einfach daran, dass je nach Acrobat Reader Version nicht gleich die ganze Datei übertragen wird.

woher stammen die Angaben 250GB bzw. 500GB?

[Anonymous]

Aus den Logdateien... Die der alten Server (der erste war bei Schlund und der zweite bei Akamai) lagen bei roundabout 200 bis 250 GB. Mit einer Steigung, aber alles im übersichtlichen Bereich. Und plötzlich wo der Server bei Startlogic ist, erwarten mich für diesen Monat (hochgerechnet) ca. 520 GB.

[nikon]

wirklich seltsam.
ist der Auszug aus dem Log von dem neuen oder dem alten Server?

btw. sinds auch um soviel mehr Hits / Visits?
btw2. kann es sein, dass der Traffic 2mal gemessen wurde (also doppelt)?

[Anonymous]

Hi!
Mit den Visits kann ich nicht sagen, weil es vor meiner Zeit war und die Logs davon nicht vorhanden sind... Den Logs nach ist es ja nicht nur doppelt. Sonst wären es ja knapp 2 MB und nicht 3,8 MB. Ausserdem ist es in den Logs von Abruf zu Abruf verschieden. Einige werden perfekt einmal ausgeliefert, andere werden so wie oben ausgeliefert... Ich habe halt aus kostengründen einen Server mit 500 GB Transfer genommen, da sonst ja roundabout 250 GB ausgeliefert wurden... hätte ja eigentlich reichen sollen. Nun sind's 520 und ich bin meinem Chef gegenüber in Erklärungsnot :(

Grüsse!
MH

[nikon]

ok,

welche Apache Verison nutzt du?
wer hat Zugriff auf den Server?
kommt "xxx.xxx.xxx.xxx" wirklich so in den Logs vor?

[Joe User]

Die Konfigurationsdateien und Logfiles aller beteiligten Programme unverfälscht als text/plain zum Download hinterlegen und die jeweiligen URL posten

[ryukia]

Aus den Logdateien... Die der alten Server (der erste war bei Schlund und der zweite bei Akamai) lagen bei roundabout 200 bis 250 GB. Mit einer Steigung, aber alles im übersichtlichen Bereich. Und plötzlich wo der Server bei Startlogic ist, erwarten mich für diesen Monat (hochgerechnet) ca. 520 GB.

Ich beobachte ein ähnliches Problem seit dem Umzug eines Projekts von Webspace bei 1&1 auf einen Server bei Alturo. Seit dem Umzug hat sich laut Apache-Logs der Traffic verdoppelt, was aber kaum sein dürfte.

Dafür finde ich jetzt in den Logs Einträge wie:

Code: Select all

80.133.65.217 - - [03/Aug/2004:09:34:08 +0200] "GET /path/video.wmv HTTP/1.1" 200 1864097 "http://path/referrer.htm" "Mozilla/4.0 (com
patible; MSIE 6.0; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 1.0.3705)"
80.133.65.217 - - [03/Aug/2004:09:34:08 +0200] "GET /path/video.wmv HTTP/1.1" 200 1864097 "-" "NSPlayer/9.0.0.2980 WMFSDK/9.0"

d.h. erst ein Eintrag vom Browser und dann vom Player und ich denke nicht, daß das File zweimal übertragen wurde.

Ich habe jetzt auch mal srvreport-0.60 installiert und das berichtet mir deutlich weniger Traffic an der Netzwerkarte als in den Apache-Logs angegeben...

(Suse 9.1/Apache 2.0.49)

Ciao
Ryukia

[mem]

Liegt es vielleicht an der HTTP-Version? Im Log bei Dir steht Version 1.0 mit Response-Code 206 (Partitial Content), was es aber erst bei Version 1.1 gibt afaik. (Oder irgendein Cache/Proxy?)

[Anonymous]

wäre es vielleicht möglich, dass der indianer mit der auslieferung der dateien etwas in verzug gerät, wodurch der benutzer den link nochmal klickt ?
ist nur so n gedanke.

[forest]

Moinz

Ich habe das gleiche Problem. Pro angeforderte seite sind mindestens 2 Logeinträge drin.

Server Debian; Apache2 und Confixx Pipelog

195.93.60.137 - - [04/Aug/2004:22:12:06 +0200] "GET /cgi-bin/statistikserver/stats.cgi?id=konsult_pl&loc=http%3A//konsult.funpic.de/inhalt.htm&ref=http%3A//konsult.funpic.de/&res=1024x768&browser=Microsoft%20Internet%20Explorer%206 HTTP/1.1" 302 228 "http://konsult.funpic.de/inhalt.htm" "Mozilla/4.0 (compatible; MSIE 6.0; AOL 9.0; Windows NT 5.1)"
195.93.60.137 - - [04/Aug/2004:22:12:06 +0200] "GET /cgi-bin/statistikserver/stats.cgi?id=konsult_pl&loc=http%3A//konsult.funpic.de/inhalt.htm&ref=http%3A//konsult.funpic.de/&res=1024x768&browser=Microsoft%20Internet%20Explorer%206 HTTP/1.1" 302 228 "http://konsult.funpic.de/inhalt.htm" "Mozilla/4.0 (compatible; MSIE 6.0; AOL 9.0; Windows NT 5.1)"

Das Problem resultiert daraus das Confixx den verbrauchten Traffic falsch misst.

Greetz
Forest