Script zur Trafficanalyse

[theomega]

Hallo Leute
ich bräuchte ein script, das mir ausgibt, wieviel Thread jede einzelne Datei und jeder Ordner auf meinem Server gemacht haben? Aus den Logs heraus sollte das irgendwie gehen! Wer weiß da ein Script? Oder hat jemand idee, wie man das realisieren könnte?

Danke
TO

[alexander newald]

Ã?h, kann man die Frage auch verständlich schreiben?

[theomega]

ja, klaro:
ich hätte gerne ein Auflistung:

http://www.seite1.de/datei1.html -> August: 3 GB, Setpember: 2 GB
http://www.seite1.de/order/* -> August 90 GB, September 30 GB

ich will also für jede Datei auf meinem Websever wissen, wieviel Traffic sie verurasacht hat!

[alexander newald]

Ein fertiges kenne ich da nicht, sollte aber nur ein kleines Perl Script sein, welches das bewerkstelligen kann.

[darki]

Ein fertiges kenne ich da nicht, sollte aber nur ein kleines Perl Script sein, welches das bewerkstelligen kann.

Code: Select all

"aufrufe" x "dateigröße"

:roll:

[alexander newald]

Nein, so einfach auch nicht, denn die Dateigrösse kann sich über den Monat auch ändern.

[theomega]

genau, außerdem sind das pHP scripte
gibt es da nichts fertiges?

[alexander newald]

Poste mal eine Zeile deiner Logdatei, dann schreibe ich dir das mal schnell.

[theomega]

Code: Select all

217.184.207.66 - - [02/Dec/2003:15:23:18 +0100] "GET /inc/refer.inc.php?ref=http://www.pagenstecher.de/v_profile.php?userid=28 HTTP/1.1" 200 13 "http://www.pagenstecher.de/" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; Win 9x 4.90)"
217.184.207.66 - - [02/Dec/2003:15:23:18 +0100] "GET /inc/awstats_misc_tracker.js HTTP/1.1" 304 - "http://www.pagenstecher.de/" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; Win 9x 4.90)"
212.95.126.222 - - [02/Dec/2003:15:22:56 +0100] "GET /showtopic.php?threadid=2576&pagenum=16 HTTP/1.1" 200 64366 "http://pagenstecher.de/board.php?boardid=8" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"

reicht das? sonst poste ich noch mehr!
Danke schonmal!

[alexander newald]

Ok,

unter http://linux.newald.de/downloads/traffi ... _all_files

Mit --help gibt es eine kleine Hilfe

[theomega]

Hey Danke läuft ganz gut, habe nur noch ein Problem:
http://www.rootforum.org/forum/viewtopic.php?t=19961

[theomega]

Gut, danke für das Script, ist ganz toll, nur wäre es noch besser, wenn noch vier Dinge funktionieren würden:

1. Die Sache braucht extrem lange, bis er mal anfägt zu arbeiten (richtiger Zeitraum). Das liegt vermutlich an der riesigen Logdatei, aber evtl kann man da noch was optimieren.
2. Kann man die Liste geordnet ausgeben? Vermutlich nicht, das braucht dann nochmehr Zeit oder?
3. Kann man es so machen, das er das ehemalige Array vom letzten Durchlauf speichert und beim erneuten Aufruf nurnoch die neuen Zeilen bearbeitet. Man müßte nur das Array speichern und die zuletzt bearbeitete Linie speichern/markieren.
4. Kann man den Domain noch hinzufügen? Weil ich das für mehrere Domains laufen lasse!

Danke Schön
TheOMega

[alexander newald]

Hi,

die Daten sollten sortiert ausgegeben werden. Das mit der Domain habe ich nicht verstanden. Die Optemierung der Geschwindigkeit liegt bei der grösse der Logfiles.

Ansonsten kann ich mich mal am Wochenende dransetzen und es etwas schönder programmieren.

[bravesurfer]

Kann mir kurz jemand eine kleine Hilfestellung geben wie ich das installiere? Laß ich das auf einem Account als php laufen oder auf dem Server als Perl Script?
In welches Verzeichnis muss das Script?

[theomega]

dass script mußte an der console ausführen!

@AN: Jauh, es ist sortiert, dummwerweise nach Name, hätte gerne eine Sortieroption nach Traffic, wäre das mögliich?

Danke
Schön

[bravesurfer]

Kann mir mal jemand bitte ein Beispiel posten?

ich habe folgendes angegeben:

./traffic --logfile=/var/log/httpd/access_log --monat=Dec --jahr=2003

hab dann auch mal

./traffic --logfile=/var/log/httpd/access_log --jahr=2003

Versucht. Nachdem "logfile wird eingelesen" ausgegeben wird passiert nichts mehr, danach erfolgt keine Ausgabe!

[theomega]

schau mal nach wiegroß deine Logdatei ist, meine hat über einen GB und das Scrit läuft dementsprechend auch über 10 Minuten

[bravesurfer]

Ja aber nachdem die Meldung Logdatei eingelesen erschienen ist kehrt er wieder zum Prompt zurück, dann müsste es doch eigentlich erledigt sein, oder versteh ich da was falsch?

[theomega]

weiß nicht bei mir gehts, evtl hast du ein anderes Log-Format poste mal ein Paar Zeilen aus deinem Log!

[bravesurfer]

Hier mal ein Auszug aus meiner access_log:

80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_hoch.gif HTTP/1.1" 200 1235
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_list.gif HTTP/1.1" 200 728
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_code.gif HTTP/1.1" 200 718
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_php.gif HTTP/1.1" 200 723
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_url.gif HTTP/1.1" 200 1200
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_email.gif HTTP/1.1" 200 1192
64.108.5.73 - - [17/Dec/2003:21:56:47 +0100] "GET /images/top_pms.gif HTTP/1.0" 304 -
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_quote.gif HTTP/1.1" 200 1170
64.108.5.73 - - [17/Dec/2003:21:56:48 +0100] "GET /images/top_calender.gif HTTP/1.0" 304 -
80.132.181.32 - - [17/Dec/2003:21:56:48 +0100] "GET /images/bbcode_ftp.gif HTTP/1.1" 200 1609
80.132.181.32 - - [17/Dec/2003:21:56:48 +0100] "GET /images/bbcode_help.gif HTTP/1.1" 200 754
80.132.181.32 - - [17/Dec/2003:21:56:48 +0100] "GET /images/bbcode_schild.gif HTTP/1.1" 200 1007
141.79.70.56 - - [17/Dec/2003:21:56:49 +0100] "GET /database/images/rate7.gif HTTP/1.1" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:51 +0100] "GET /images/top_members.gif HTTP/1.0" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:51 +0100] "GET /images/top_team.gif HTTP/1.0" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:53 +0100] "GET /cgi-bin/database/detail.cgi?ID=245 HTTP/1.1" 200 17048
64.108.5.73 - - [17/Dec/2003:21:56:54 +0100] "GET /images/top_search.gif HTTP/1.0" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:55 +0100] "GET /images/top_regeln.gif HTTP/1.0" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate9.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate10.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/download.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate5.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate1.gif HTTP/1.1" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:57 +0100] "GET /images/top_faq.gif HTTP/1.0" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:58 +0100] "GET /images/top_bugmelden.gif HTTP/1.0" 304 -

[theomega]

stell mal dein Logformat auf combined!

[bravesurfer]

o.k gerne aber ich habe leider keine Ahnung wie ich das mache!
Funktioniert danach dann trotzdem noch die Statistik mittlels Webalizer (Confixx)?

[theomega]

weiß ich nicht, habe keinen webalizer drauf!

[bravesurfer]

ok würde es gerne testen. Wo udn wie stelle ich den das Logformat um?

[theomega]

irgendwo in der /etc/httpd/httpd.conf (suse 8.1) müßte ein Eintrag mit "logfile" oder so ähnlich sein. Da sollte common drinstehen, das ersetzt du dann durch combined!