SrvReport: Tägliche Mail vom Server

[kostya]

Der Webtraffic aus den apache-logs ist etwa nur 1/3 des Webtraffics, der mit AIM gemessen wurde. Gibt es eine Möglichkeit die Werte aus apache-logs genauer zu bekommen? (es geht jetzt nur um http/https-traffic)

[kajo0011]

Der Webtraffic aus den apache-logs ist etwa nur 1/3 des Webtraffics, der mit AIM gemessen wurde. Gibt es eine Möglichkeit die Werte aus apache-logs genauer zu bekommen? (es geht jetzt nur um http/https-traffic)

Das Problem ist, dass in den Apache-Logfiles immer nur der "Content"-Traffic gemessen wird (also die Daten, welche die eigentliche "Nutzdaten" sind). Die ganzen Headerdaten werden NICHT mit in den Traffic eingerechnet. Somit fällt dabei ein "schöner" Teil des Traffics des Web-Servers untern Tisch...

Aus den Apache-Logfiles kannst Du glaube ich nicht mehr rausholen...

Greetings
Jochen

[kostya]

schade eigentlich.

ps: eine ganz winzige Ungenauigkeit beim Abschlussbericht eines Tages:

"Täglicher Bericht vom 08.04.2004 00:00:00" (erste Sekunde vom 08.04.04)

besser

"Täglicher Bericht vom 08.04.2004 24:00:00" (letzte Sekunde vom 08.04.04)

ist aber Geschmackssache und nicht weiterhin problematisch :-)

[michas.]

wobei ich auf keiner digitaluhr diese Zeit sehen kann, sondern dann eben dort nach 23.59.59 ein 00.00.00 kommt ;-)

MichaS.

[kajo0011]

"Täglicher Bericht vom 08.04.2004 00:00:00" (erste Sekunde vom 08.04.04)
besser
"Täglicher Bericht vom 08.04.2004 24:00:00" (letzte Sekunde vom 08.04.04)

Ganz korrwekt wäre es, wenn man die Uhrzeit ganz weglässt! Da es ja ein "Tagesbericht" ist und somit die Uhrzeit irrelevant ist!

Also

Code: Select all

ReportWithTime = 0

[kostya]

Die Zeitanzeige ist schon eine ganz gute Sache. Mein Posting bezog sich nur auf den Abschlussbericht eines jeden Tages.

wobei ich auf keiner digitaluhr diese Zeit sehen kann, sondern dann eben dort nach 23.59.59 ein 00.00.00 kommt

Dazu muss man aber noch sagen, dass nach 23:59:59 bei den Digitaluhren auch das Tagesdatum hochgezählt wird. Bei dem Abschlussbericht bleibt das Datum von dem vergangenem Tag stehen und die Zeitangabe spring auf 00:00:00. Also in meinen Augen auf den Anfang des vergangenen Tages.

Aber da es keinen ausser mir stört, und auch ich damit gut leben kann, sollte man nichts ändern.

[torstenk]

Bei mir wird leider der Traffic für FTP nicht angezeigt.

Kann mir vieleicht jemand mit dem richtigen pattern weiter helfen.

Hier ein Auszug aus dem FTP Log

Code: Select all

Fri Apr 09 16:22:19 2004 [pid 8165] [web2] OK UPLOAD: Client "217.185.224.188", "/html/links.htm", 41012 bytes, 7.47Kbyte/sec

[kajo0011]

Hier ein Auszug aus dem FTP Log

Code: Select all

Fri Apr 09 16:22:19 2004 [pid 8165] [web2] OK UPLOAD: Client "217.185.224.188", "/html/links.htm", 41012 bytes, 7.47Kbyte/sec

Das ist leider ein sehr seltsames Format... da kann man nur regex einsetzen...

Nochmals korrigiert!!! (2. Versuch):

Code: Select all

#pattern = 
regex = ^[^s]+s+([^s]+)s+([^s]+)s+([^s]+):([^s]+):[^s]+s+([^s]+).+[(webd+)].+,s+(d+)s+byte
regexkeys = MONTH DAY HOUR MIN YEAR VHOST BYTES

[torstenk]

Schön jetzt bekomme ich auch den FTP Traffik angezeigt :-D

Allerdings bekomme ich jetzt auch eine Fehlermeldung wenn ich

./srvreport.pl --test=3

aufrufe

Code: Select all

****** Error messages ******
[main:232 SRVREPORT::HttpdReport::setConfig:54] member 'pattern' not specified in configuration! (No such file or directory)

[kajo0011]

Allerdings bekomme ich jetzt auch eine Fehlermeldung wenn ich

./srvreport.pl --test=3

aufrufe

Code: Select all

****** Error messages ******
[main:232 SRVREPORT::HttpdReport::setConfig:54] member 'pattern' not specified in configuration! (No such file or directory)

Dann hast Du einen Bug entdeckt! Gratuliere!

Du kannst den Fehler aber getrost ignorieren; oder ändere einfach in srvreportbinlibperlSRVREPORTHttpdReport.pm die Zeilen 51-52 von

Code: Select all

  if ((!exists $self->{PATTERN})) {
    my $errstr = __("member 'pattern' not specified in configuration!");

nach

Code: Select all

  if ( (!exists $self->{PATTERN}) && (!exists $self->{REGEX}) ) {
    my $errstr = __("neither member 'pattern' nor 'regex' specified in configuration!");

[torstenk]

Habe die zwei Zeilen geändert, scheint jetzt alles zu funktionieren. :-D

Super Support !!!

[gnauck]

Hallo,

erstmal riesen Kompliment. Dieses Script ist absolut spitze und mehr als nützlich. Vor allem gefällt mir HTML Mail im Style von awstats.

Nun zu meinem Problem und Vorschlägen

Ich nutze auf meinem Server confixx3 mit Webalizer für die weblogs. Wie kann ich das Script dazu bewegen meine Confixx Logs für die Webserver Statistik zu nehmen? Confixx hat schon ein PipeLog welches so aussieht:

Code: Select all

LogFormat "%V:#:%h %l %u %t "%r" %s %b "%{Referer}i" "%{User-agent}i"" confixx
LogFormat "%h %l %u %t "%r" %s %b "%{Referer}i" "%{User-agent}i"" confixx2
CustomLog |/root/confixx/pipelog.pl confixx

Es erstellt dann für jede Domain ein einzelnes Logfile.

Die Postfixx Logs sind mir etwas zu viel. Da bei mir einiges an mail rein und rausgeht jeden Tag macht es nicht viel Sinn jede einzelne Nachricht anzuzeigen. Sinnvoller wäre es Anzahl der Nachrichten und Traffic pro User anzuzeigen und die fehlgeschlagenen Logins.

Alex

[kajo0011]

Ich nutze auf meinem Server confixx3 mit Webalizer für die weblogs. Wie kann ich das Script dazu bewegen meine Confixx Logs für die Webserver Statistik zu nehmen?

Kann ich jetzt nicht ganz verstehen... Warum benutzt Du nicht einfach das piplog.pl um die Web-Server-Statistik zu erzeugen (mach ich genauso... auch mit confixx; man kann beliebig viele logs angeben)... ist zumindest am einfachsten.
Theoretisch könnte man natürlich auch die zig-Logfiles von confixx nehmen, aber da sehe ich die Problematik, dass sobald eine Domain dazukommt, dass man dann wieder alles umkonfigurieren muss...
Und das nächste Problem ist natürlich wieder mit "logrotate" was dann nicht in den Griff zu bekommen ist.

Die Postfixx Logs sind mir etwas zu viel. Da bei mir einiges an mail rein und rausgeht jeden Tag macht es nicht viel Sinn jede einzelne Nachricht anzuzeigen. Sinnvoller wäre es Anzahl der Nachrichten und Traffic pro User anzuzeigen und die fehlgeschlagenen Logins.

Dass will ich gerade in den nächsten Tagen machen, da ich vor dem gleichen Problem stehe...
Ich dachte mit sortiert nach "to"

[gnauck]

Kann ich jetzt nicht ganz verstehen... Warum benutzt Du nicht einfach das piplog.pl um die Web-Server-Statistik zu erzeugen (mach ich genauso... auch mit confixx; man kann beliebig viele logs angeben)... ist zumindest am einfachsten.

Ok hab ich nun so gemacht. Wäre halt eleganter gewesen wenn er die vorhandenen logs nutzt. Aber funzt wunderbar so.

Dass will ich gerade in den nächsten Tagen machen, da ich vor dem gleichen Problem stehe...
Ich dachte mit sortiert nach "to"

Das wäre super. Bin dann gespannt auch die nächste Version ;-)

Alex

[kajo0011]

So, jetzt gibt es die versprochene Version (0.53) mit dem verbesserten "Mail-Report"!
http://srvreport.sourceforge.net/

Ansonsten wurde noch folgendes gemacht:
- die Einträge im Mail-Report werden jetzt nach "size" sortiert
- Die Namen im HttpdReport sind jetzt Links zu den entsprechenden Seiten
- bugfixes
- neue CSS-Einträge für den Mail-Report (zeilen werden jetzt immer abwechselnd farblich hinterlegt, damit es besser lesbar ist)
- alles schon mal vorbereitet, damit in der nächsten Version das schreiben von XML-Dateien unterstützt wird und somit auch dann Weekly/Monthly reports möglich sind...

Greetings
Jochen

[michas.]

Hallo Jochen,

ist irgendwann auch die Variante angedacht, die zurückgewiesenen Mails zusammen zu fassen wegen der Ã?bersichtlichkeit?
Gerade die sind interessant für mich wegen eventuell schnell zu behebender Fehler!
Ansonsten freue ich mich morgen schon auf den Osterhasen und die neue generierte Mail mit dem neuen SRVReport! ;-))

MichaS.

[kajo0011]

ist irgendwann auch die Variante angedacht, die zurückgewiesenen Mails zusammen zu fassen wegen der Ã?bersichtlichkeit?
Gerade die sind interessant für mich wegen eventuell schnell zu behebender Fehler!

Mach mal ein Vorschlag wie das konkret aussehen soll... ich kann es mir gerade nicht so vorstellen... Zeig mir doch einfach mal ein Report wie Du ihn Dir wünscht.

Greetings
Jochen

[michas.]

Frohe Ostern!

der Tag fängt gut an, das Odstergeschenk V.0.53 hat wieder einmal ei gutes Stück zugelegt!
Besonders die Mailzusammenfassung und die Sortierung nach einzelnen Postfächern macht die Kontrolle jetzt noch einmal wesentlich effizienter.
Alle abgewiesenen Mail stehen heute am Ende der Listung, so ist dann auch hier schnell zu überschauen, welche Emailkonten besonders geprüft werden müssen. Die Fettschrift bei "Zurückgewiesen ist mit Bedacht herausgenommen worden? Fand ich vorher besser, da Fehler sozusagen markiert waren!

MichaS.

PS. in der neuen Listung der MAils wird in der Spalte ganz links erst die Postfachbezeichnung und dann die dahinterliegende Mail ausgegeben, mir erscheint es sinnvoller erst die Mailadresse auszugeben, da das Postfach eh kryptisch ist und kaum interessieren wird...

web25p40@p15112116.pureserver.info(2x)
info@bezgranic.net(2x)

[kajo0011]

Die Fettschrift bei "Zurückgewiesen ist mit Bedacht herausgenommen worden? Fand ich vorher besser, da Fehler sozusagen markiert waren!

War ein Fehler... kommt wieder rein...

PS. in der neuen Listung der MAils wird in der Spalte ganz links erst die Postfachbezeichnung und dann die dahinterliegende Mail ausgegeben, mir erscheint es sinnvoller erst die Mailadresse auszugeben, da das Postfach eh kryptisch ist und kaum interessieren wird...

Das ist leider nicht so einfach... da der kryptische Name leider der eindeutige ist... so ist es z.B. möglich dass mehrere E-Mails-Adressen in das gleiche Postfach geht. Somit würde dann zuerst die kryptische Adresse dahstehen und dann mehrere E-Mail-Adressen darunter! Dann kann ich nicht entscheiden, welche Adresse ich zuerst anzeigen soll.
Das zweite Problem ist, dass die Anzeige der "original" Adresse erst ab Postfix 2.x unterstützt wird... davor gibt es diese Adresse gar nicht!

Greetings
Jochen

[michas.]

Trotzdem erscheint mir persönlich die Variante erste Mail, dann Postfachbezeichnung sinnvoller, auch auf die Gefahr, dass mehrere Emailadressen ein Postfach belegen, was ja nicht so häufig ist...

MichaS.

[kajo0011]

Also, speziell für MichaS gibt es jetzt ein neues Release (Version 0.54)...

Folgendes wurde jetzt verbessert:

Code: Select all

- HttpdReport.pm:
  - support for new config entry "hostAsLinks"
- PostfixReport.pm:
  - REJECT now bold again
  - support for new config entry "origToFirst"
  - use of new CSS "p.mailToKey" for to-key in grouped-to-report
- srvreport.conf:
  - new config-option for postfixreport: "OrigToFirst"
- mail.css/HtmlHelper.pm:
  - p.mailToKey added

Also MichaS, wenn Du die anderen zuerst haben willst, dann musst Du "origToFirst" auf 1 setzen.
Das aussehen des to-keys (also der sonst immer oben steht) kannst Du in "mail.css" beeinflussen (p.mailToKey). Ich hoffe das gefällt jetzt soweit...

[michas.]

Lieber Jochen,

kann aus den Zeilen leider nicht Deine Stimmung heraushören, wie bei einer direkten Kommunikation via Sprache. Ich hoffe, es ist nach wie vor ok, Optimierungswünsche anzubringen. Ich will nicht nörgeln, drängeln oder fordern, so wie der Report läuft ist er allemal schon gut.

MichaS.

[kajo0011]

Hallo,
für mich ist das schon ok! Wenn es was zu verbessern gibt, mach ich das doch gern...
Greetings
Jochen
PS: Jetzt werd ich mich aber dem speichern als XML widmen... damit man dann auch die wöchentlichen / monatlichen Reports hat...

[supertas]

PS: Jetzt werd ich mich aber dem speichern als XML widmen... damit man dann auch die wöchentlichen / monatlichen Reports hat...

Darauf freue ich mich schon.

MfG
Thomas

[michas.]

Dear kajo,

soweit ich weiß, ist xml eine Sprache bzw. Erweiterung/Verbesserung zu html.
Was hat dass mit Monats- oder Jahresauswertung zu tun?

MichaS.