Script zur Trafficanalyse

Bash, Shell, PHP, Python, Perl, CGI
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Script zur Trafficanalyse

Post by theomega »

Hallo Leute
ich bräuchte ein script, das mir ausgibt, wieviel Thread jede einzelne Datei und jeder Ordner auf meinem Server gemacht haben? Aus den Logs heraus sollte das irgendwie gehen! Wer weiß da ein Script? Oder hat jemand idee, wie man das realisieren könnte?

Danke
TO
alexander newald
Posts: 1117
Joined: 2002-09-27 00:54
Location: Hannover

Re: Script zur Trafficanalyse

Post by alexander newald »

Ã?h, kann man die Frage auch verständlich schreiben?
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

ja, klaro:
ich hätte gerne ein Auflistung:

http://www.seite1.de/datei1.html -> August: 3 GB, Setpember: 2 GB
http://www.seite1.de/order/* -> August 90 GB, September 30 GB

ich will also für jede Datei auf meinem Websever wissen, wieviel Traffic sie verurasacht hat!
alexander newald
Posts: 1117
Joined: 2002-09-27 00:54
Location: Hannover

Re: Script zur Trafficanalyse

Post by alexander newald »

Ein fertiges kenne ich da nicht, sollte aber nur ein kleines Perl Script sein, welches das bewerkstelligen kann.
darki
Posts: 36
Joined: 2003-11-25 12:57
Location: Karlsruhe

Re: Script zur Trafficanalyse

Post by darki »

Ein fertiges kenne ich da nicht, sollte aber nur ein kleines Perl Script sein, welches das bewerkstelligen kann.

Code: Select all

"aufrufe" x "dateigröße"
:roll:
alexander newald
Posts: 1117
Joined: 2002-09-27 00:54
Location: Hannover

Re: Script zur Trafficanalyse

Post by alexander newald »

Nein, so einfach auch nicht, denn die Dateigrösse kann sich über den Monat auch ändern.
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

genau, außerdem sind das pHP scripte
gibt es da nichts fertiges?
alexander newald
Posts: 1117
Joined: 2002-09-27 00:54
Location: Hannover

Re: Script zur Trafficanalyse

Post by alexander newald »

Poste mal eine Zeile deiner Logdatei, dann schreibe ich dir das mal schnell.
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

Code: Select all

217.184.207.66 - - [02/Dec/2003:15:23:18 +0100] "GET /inc/refer.inc.php?ref=http://www.pagenstecher.de/v_profile.php?userid=28 HTTP/1.1" 200 13 "http://www.pagenstecher.de/" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; Win 9x 4.90)"
217.184.207.66 - - [02/Dec/2003:15:23:18 +0100] "GET /inc/awstats_misc_tracker.js HTTP/1.1" 304 - "http://www.pagenstecher.de/" "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; Win 9x 4.90)"
212.95.126.222 - - [02/Dec/2003:15:22:56 +0100] "GET /showtopic.php?threadid=2576&pagenum=16 HTTP/1.1" 200 64366 "http://pagenstecher.de/board.php?boardid=8" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
reicht das? sonst poste ich noch mehr!
Danke schonmal!
alexander newald
Posts: 1117
Joined: 2002-09-27 00:54
Location: Hannover

Re: Script zur Trafficanalyse

Post by alexander newald »

Ok,

unter http://linux.newald.de/downloads/traffi ... _all_files

Mit --help gibt es eine kleine Hilfe
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

Hey Danke läuft ganz gut, habe nur noch ein Problem:
http://www.rootforum.org/forum/viewtopic.php?t=19961
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

Gut, danke für das Script, ist ganz toll, nur wäre es noch besser, wenn noch vier Dinge funktionieren würden:

1. Die Sache braucht extrem lange, bis er mal anfägt zu arbeiten (richtiger Zeitraum). Das liegt vermutlich an der riesigen Logdatei, aber evtl kann man da noch was optimieren.
2. Kann man die Liste geordnet ausgeben? Vermutlich nicht, das braucht dann nochmehr Zeit oder?
3. Kann man es so machen, das er das ehemalige Array vom letzten Durchlauf speichert und beim erneuten Aufruf nurnoch die neuen Zeilen bearbeitet. Man müßte nur das Array speichern und die zuletzt bearbeitete Linie speichern/markieren.
4. Kann man den Domain noch hinzufügen? Weil ich das für mehrere Domains laufen lasse!

Danke Schön
TheOMega
alexander newald
Posts: 1117
Joined: 2002-09-27 00:54
Location: Hannover

Re: Script zur Trafficanalyse

Post by alexander newald »

Hi,

die Daten sollten sortiert ausgegeben werden. Das mit der Domain habe ich nicht verstanden. Die Optemierung der Geschwindigkeit liegt bei der grösse der Logfiles.

Ansonsten kann ich mich mal am Wochenende dransetzen und es etwas schönder programmieren.
bravesurfer
Posts: 170
Joined: 2003-05-08 12:17
Location: Stuttgart

Re: Script zur Trafficanalyse

Post by bravesurfer »

Kann mir kurz jemand eine kleine Hilfestellung geben wie ich das installiere? Laß ich das auf einem Account als php laufen oder auf dem Server als Perl Script?
In welches Verzeichnis muss das Script?
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

dass script mußte an der console ausführen!

@AN: Jauh, es ist sortiert, dummwerweise nach Name, hätte gerne eine Sortieroption nach Traffic, wäre das mögliich?

Danke
Schön
bravesurfer
Posts: 170
Joined: 2003-05-08 12:17
Location: Stuttgart

Re: Script zur Trafficanalyse

Post by bravesurfer »

Kann mir mal jemand bitte ein Beispiel posten?

ich habe folgendes angegeben:

./traffic --logfile=/var/log/httpd/access_log --monat=Dec --jahr=2003

hab dann auch mal

./traffic --logfile=/var/log/httpd/access_log --jahr=2003

Versucht. Nachdem "logfile wird eingelesen" ausgegeben wird passiert nichts mehr, danach erfolgt keine Ausgabe!
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

schau mal nach wiegroß deine Logdatei ist, meine hat über einen GB und das Scrit läuft dementsprechend auch über 10 Minuten
bravesurfer
Posts: 170
Joined: 2003-05-08 12:17
Location: Stuttgart

Re: Script zur Trafficanalyse

Post by bravesurfer »

Ja aber nachdem die Meldung Logdatei eingelesen erschienen ist kehrt er wieder zum Prompt zurück, dann müsste es doch eigentlich erledigt sein, oder versteh ich da was falsch?
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

weiß nicht bei mir gehts, evtl hast du ein anderes Log-Format poste mal ein Paar Zeilen aus deinem Log!
bravesurfer
Posts: 170
Joined: 2003-05-08 12:17
Location: Stuttgart

Re: Script zur Trafficanalyse

Post by bravesurfer »

Hier mal ein Auszug aus meiner access_log:
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_hoch.gif HTTP/1.1" 200 1235
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_list.gif HTTP/1.1" 200 728
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_code.gif HTTP/1.1" 200 718
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_php.gif HTTP/1.1" 200 723
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_url.gif HTTP/1.1" 200 1200
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_email.gif HTTP/1.1" 200 1192
64.108.5.73 - - [17/Dec/2003:21:56:47 +0100] "GET /images/top_pms.gif HTTP/1.0" 304 -
80.132.181.32 - - [17/Dec/2003:21:56:47 +0100] "GET /images/bbcode_quote.gif HTTP/1.1" 200 1170
64.108.5.73 - - [17/Dec/2003:21:56:48 +0100] "GET /images/top_calender.gif HTTP/1.0" 304 -
80.132.181.32 - - [17/Dec/2003:21:56:48 +0100] "GET /images/bbcode_ftp.gif HTTP/1.1" 200 1609
80.132.181.32 - - [17/Dec/2003:21:56:48 +0100] "GET /images/bbcode_help.gif HTTP/1.1" 200 754
80.132.181.32 - - [17/Dec/2003:21:56:48 +0100] "GET /images/bbcode_schild.gif HTTP/1.1" 200 1007
141.79.70.56 - - [17/Dec/2003:21:56:49 +0100] "GET /database/images/rate7.gif HTTP/1.1" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:51 +0100] "GET /images/top_members.gif HTTP/1.0" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:51 +0100] "GET /images/top_team.gif HTTP/1.0" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:53 +0100] "GET /cgi-bin/database/detail.cgi?ID=245 HTTP/1.1" 200 17048
64.108.5.73 - - [17/Dec/2003:21:56:54 +0100] "GET /images/top_search.gif HTTP/1.0" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:55 +0100] "GET /images/top_regeln.gif HTTP/1.0" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate9.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate10.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/download.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate5.gif HTTP/1.1" 304 -
141.79.70.56 - - [17/Dec/2003:21:56:56 +0100] "GET /database/images/rate1.gif HTTP/1.1" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:57 +0100] "GET /images/top_faq.gif HTTP/1.0" 304 -
64.108.5.73 - - [17/Dec/2003:21:56:58 +0100] "GET /images/top_bugmelden.gif HTTP/1.0" 304 -
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

stell mal dein Logformat auf combined!
bravesurfer
Posts: 170
Joined: 2003-05-08 12:17
Location: Stuttgart

Re: Script zur Trafficanalyse

Post by bravesurfer »

o.k gerne aber ich habe leider keine Ahnung wie ich das mache!
Funktioniert danach dann trotzdem noch die Statistik mittlels Webalizer (Confixx)?
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

weiß ich nicht, habe keinen webalizer drauf!
bravesurfer
Posts: 170
Joined: 2003-05-08 12:17
Location: Stuttgart

Re: Script zur Trafficanalyse

Post by bravesurfer »

ok würde es gerne testen. Wo udn wie stelle ich den das Logformat um?
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Script zur Trafficanalyse

Post by theomega »

irgendwo in der /etc/httpd/httpd.conf (suse 8.1) müßte ein Eintrag mit "logfile" oder so ähnlich sein. Da sollte common drinstehen, das ersetzt du dann durch combined!