Page 1 of 1
Script zur Trafficanalyse
Posted: 2003-12-01 22:21
by theomega
Hallo Leute
ich bräuchte ein script, das mir ausgibt, wieviel Thread jede einzelne Datei und jeder Ordner auf meinem Server gemacht haben? Aus den Logs heraus sollte das irgendwie gehen! Wer weiß da ein Script? Oder hat jemand idee, wie man das realisieren könnte?
Danke
TO
Re: Script zur Trafficanalyse
Posted: 2003-12-02 12:10
by alexander newald
Ã?h, kann man die Frage auch verständlich schreiben?
Re: Script zur Trafficanalyse
Posted: 2003-12-02 12:56
by theomega
ja, klaro:
ich hätte gerne ein Auflistung:
http://www.seite1.de/datei1.html -> August: 3 GB, Setpember: 2 GB
http://www.seite1.de/order/* -> August 90 GB, September 30 GB
ich will also für jede Datei auf meinem Websever wissen, wieviel Traffic sie verurasacht hat!
Re: Script zur Trafficanalyse
Posted: 2003-12-02 14:06
by alexander newald
Ein fertiges kenne ich da nicht, sollte aber nur ein kleines Perl Script sein, welches das bewerkstelligen kann.
Re: Script zur Trafficanalyse
Posted: 2003-12-02 14:12
by darki
Ein fertiges kenne ich da nicht, sollte aber nur ein kleines Perl Script sein, welches das bewerkstelligen kann.
:roll:
Re: Script zur Trafficanalyse
Posted: 2003-12-02 14:15
by alexander newald
Nein, so einfach auch nicht, denn die Dateigrösse kann sich über den Monat auch ändern.
Re: Script zur Trafficanalyse
Posted: 2003-12-02 14:16
by theomega
genau, außerdem sind das pHP scripte
gibt es da nichts fertiges?
Re: Script zur Trafficanalyse
Posted: 2003-12-02 15:17
by alexander newald
Poste mal eine Zeile deiner Logdatei, dann schreibe ich dir das mal schnell.
Re: Script zur Trafficanalyse
Posted: 2003-12-02 15:23
by theomega
Code: Select all
217.184.207.66 - - [02/Dec/2003:15:23:18 +0100] "GET /inc/refer.inc.php?ref=http://www.pagenstecher.de/v_profile.php?userid=28 HTTP/1.1" 200 13 "http://www.pagenstecher.de/" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; Win 9x 4.90)"
217.184.207.66 - - [02/Dec/2003:15:23:18 +0100] "GET /inc/awstats_misc_tracker.js HTTP/1.1" 304 - "http://www.pagenstecher.de/" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; Win 9x 4.90)"
212.95.126.222 - - [02/Dec/2003:15:22:56 +0100] "GET /showtopic.php?threadid=2576&pagenum=16 HTTP/1.1" 200 64366 "http://pagenstecher.de/board.php?boardid=8" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
reicht das? sonst poste ich noch mehr!
Danke schonmal!
Re: Script zur Trafficanalyse
Posted: 2003-12-02 23:13
by alexander newald
Re: Script zur Trafficanalyse
Posted: 2003-12-03 13:10
by theomega
Hey Danke läuft ganz gut, habe nur noch ein Problem:
http://www.rootforum.org/forum/viewtopic.php?t=19961
Re: Script zur Trafficanalyse
Posted: 2003-12-05 12:31
by theomega
Gut, danke für das Script, ist ganz toll, nur wäre es noch besser, wenn noch vier Dinge funktionieren würden:
1. Die Sache braucht extrem lange, bis er mal anfägt zu arbeiten (richtiger Zeitraum). Das liegt vermutlich an der riesigen Logdatei, aber evtl kann man da noch was optimieren.
2. Kann man die Liste geordnet ausgeben? Vermutlich nicht, das braucht dann nochmehr Zeit oder?
3. Kann man es so machen, das er das ehemalige Array vom letzten Durchlauf speichert und beim erneuten Aufruf nurnoch die neuen Zeilen bearbeitet. Man müßte nur das Array speichern und die zuletzt bearbeitete Linie speichern/markieren.
4. Kann man den Domain noch hinzufügen? Weil ich das für mehrere Domains laufen lasse!
Danke Schön
TheOMega
Re: Script zur Trafficanalyse
Posted: 2003-12-17 18:19
by alexander newald
Hi,
die Daten sollten sortiert ausgegeben werden. Das mit der Domain habe ich nicht verstanden. Die Optemierung der Geschwindigkeit liegt bei der grösse der Logfiles.
Ansonsten kann ich mich mal am Wochenende dransetzen und es etwas schönder programmieren.
Re: Script zur Trafficanalyse
Posted: 2003-12-17 19:50
by bravesurfer
Kann mir kurz jemand eine kleine Hilfestellung geben wie ich das installiere? Laß ich das auf einem Account als php laufen oder auf dem Server als Perl Script?
In welches Verzeichnis muss das Script?
Re: Script zur Trafficanalyse
Posted: 2003-12-17 19:52
by theomega
dass script mußte an der console ausführen!
@AN: Jauh, es ist sortiert, dummwerweise nach Name, hätte gerne eine Sortieroption nach Traffic, wäre das mögliich?
Danke
Schön
Re: Script zur Trafficanalyse
Posted: 2003-12-17 21:09
by bravesurfer
Kann mir mal jemand bitte ein Beispiel posten?
ich habe folgendes angegeben:
./traffic --logfile=/var/log/httpd/access_log --monat=Dec --jahr=2003
hab dann auch mal
./traffic --logfile=/var/log/httpd/access_log --jahr=2003
Versucht. Nachdem "logfile wird eingelesen" ausgegeben wird passiert nichts mehr, danach erfolgt keine Ausgabe!
Re: Script zur Trafficanalyse
Posted: 2003-12-17 21:14
by theomega
schau mal nach wiegroß deine Logdatei ist, meine hat über einen GB und das Scrit läuft dementsprechend auch über 10 Minuten
Re: Script zur Trafficanalyse
Posted: 2003-12-17 21:17
by bravesurfer
Ja aber nachdem die Meldung Logdatei eingelesen erschienen ist kehrt er wieder zum Prompt zurück, dann müsste es doch eigentlich erledigt sein, oder versteh ich da was falsch?
Re: Script zur Trafficanalyse
Posted: 2003-12-17 21:19
by theomega
weiß nicht bei mir gehts, evtl hast du ein anderes Log-Format poste mal ein Paar Zeilen aus deinem Log!
Re: Script zur Trafficanalyse
Posted: 2003-12-17 21:59
by bravesurfer
Hier mal ein Auszug aus meiner access_log:
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_hoch.gif HTTP/1.1" 200 1235
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_list.gif HTTP/1.1" 200 728
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_code.gif HTTP/1.1" 200 718
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_php.gif HTTP/1.1" 200 723
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_url.gif HTTP/1.1" 200 1200
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_email.gif HTTP/1.1" 200 1192
64.108.5.73 - - [17/Dec/2003:21:56:47 +0100] "GET /images/top_pms.gif HTTP/1.0" 304 -
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_quote.gif HTTP/1.1" 200 1170
64.108.5.73 - - [17/Dec/2003:21:56:48 +0100] "GET /images/top_calender.gif HTTP/1.0" 304 -
80.132.181.32 - - [17/Dec/2003:21:56:48 +0100] "GET /images/bbcode_ftp.gif HTTP/1.1" 200 1609
80.132.181.32 - - [17/Dec/2003:21:56:48 +0100] "GET /images/bbcode_help.gif HTTP/1.1" 200 754
80.132.181.32 - - [17/Dec/2003:21:56:48 +0100] "GET /images/bbcode_schild.gif HTTP/1.1" 200 1007
141.79.70.56 - - [17/Dec/2003:21:56:49 +0100] "GET /database/images/rate7.gif HTTP/1.1" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:51 +0100] "GET /images/top_members.gif HTTP/1.0" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:51 +0100] "GET /images/top_team.gif HTTP/1.0" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:53 +0100] "GET /cgi-bin/database/detail.cgi?ID=245 HTTP/1.1" 200 17048
64.108.5.73 - - [17/Dec/2003:21:56:54 +0100] "GET /images/top_search.gif HTTP/1.0" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:55 +0100] "GET /images/top_regeln.gif HTTP/1.0" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate9.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate10.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/download.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate5.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate1.gif HTTP/1.1" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:57 +0100] "GET /images/top_faq.gif HTTP/1.0" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:58 +0100] "GET /images/top_bugmelden.gif HTTP/1.0" 304 -
Re: Script zur Trafficanalyse
Posted: 2003-12-18 20:58
by theomega
stell mal dein Logformat auf combined!
Re: Script zur Trafficanalyse
Posted: 2003-12-18 21:01
by bravesurfer
o.k gerne aber ich habe leider keine Ahnung wie ich das mache!
Funktioniert danach dann trotzdem noch die Statistik mittlels Webalizer (Confixx)?
Re: Script zur Trafficanalyse
Posted: 2003-12-18 21:07
by theomega
weiß ich nicht, habe keinen webalizer drauf!
Re: Script zur Trafficanalyse
Posted: 2003-12-18 21:26
by bravesurfer
ok würde es gerne testen. Wo udn wie stelle ich den das Logformat um?
Re: Script zur Trafficanalyse
Posted: 2003-12-18 21:28
by theomega
irgendwo in der /etc/httpd/httpd.conf (suse 8.1) müßte ein Eintrag mit "logfile" oder so ähnlich sein. Da sollte common drinstehen, das ersetzt du dann durch combined!