Page 1 of 1

Traffic von www/ftp/mail ermitteln *duck*

Posted: 2003-03-04 11:53
by vpn-user
Hi Leute,

Ich habe meinen Server (apache, mysql, proftpd, qmail) jetzt so weit eingerichtet, dass alles so läuft wie ich es will (hosting anbieten).

Eins bereitet mir aber noch Kopfschmerzen:

Mit welchem Programm kann ich die logfiles so auswerten, dass mir der entstandene Traffic pro Kunde ermittelt wird? Ich weiss, dass das nicht auf User-Ebene geht, ich weiss dass man nur mit den logfiles leben muss und dabei der overhead-traffic verloren geht. Das ist mir aber egal, ich will einfach nur den Traffic der in den Logfiles festgehalten wird, pro Kunde zusammenzählen und auswerten.

Welches programm kann das bzw. wie mache ich das am besten? Ein bischen Scripting-Knowhow ist vorhanden.

Wäre sehr nett wenn mir jemand dazu was sagen könnte!

Re: Traffic von www/ftp/mail ermitteln *duck*

Posted: 2003-03-04 12:11
by captaincrunch
Ich verschiebe mal ins Datentransfer und Backup, da die Frage sich auf den Traffic, und nicht auf den Webserver (Apachen) bezieht ...

Re: Traffic von www/ftp/mail ermitteln *duck*

Posted: 2003-03-04 13:00
by alexander newald
VPN-User wrote:Hi Leute,

Ich habe meinen Server (apache, mysql, proftpd, qmail) jetzt so weit eingerichtet, dass alles so läuft wie ich es will (hosting anbieten).

Eins bereitet mir aber noch Kopfschmerzen:

Mit welchem Programm kann ich die logfiles so auswerten, dass mir der entstandene Traffic pro Kunde ermittelt wird? Ich weiss, dass das nicht auf User-Ebene geht, ich weiss dass man nur mit den logfiles leben muss und dabei der overhead-traffic verloren geht. Das ist mir aber egal, ich will einfach nur den Traffic der in den Logfiles festgehalten wird, pro Kunde zusammenzählen und auswerten.

Welches programm kann das bzw. wie mache ich das am besten? Ein bischen Scripting-Knowhow ist vorhanden.

Wäre sehr nett wenn mir jemand dazu was sagen könnte!
Hi,

ein fertiges Skript kann ich nicht (kostenlos) anbieten. Allerdings folgende Tips geben:

Die Logfiles von ftp (vorzugsweise proftpd) und apache in eine zusätzliche pipe ausgeben. Apache und proftpd können dabei so eingerichtet werden, dass nur die Domain (apache) bzw die Userid (proftpd) und die Byte übertragen werden.
Sendmail und SSH per Syslog in eine pipe.
An den "anderen Seiten" der pipes lauern programme die alles ankommende in eine DB schreiben und die Bytes einfach aufaddieren.

Alexander Newald

Re: Traffic von www/ftp/mail ermitteln *duck*

Posted: 2003-03-04 14:18
by rootmaster
VPN-User wrote: Ich habe meinen Server (apache, mysql, proftpd, qmail) jetzt so weit eingerichtet, dass alles so läuft wie ich es will (hosting anbieten).

Eins bereitet mir aber noch Kopfschmerzen:

Mit welchem Programm kann ich die logfiles so auswerten, dass mir der entstandene Traffic pro Kunde ermittelt wird? Ich weiss, dass das nicht auf User-Ebene geht, ich weiss dass man nur mit den logfiles leben muss und dabei der overhead-traffic verloren geht. Das ist mir aber egal, ich will einfach nur den Traffic der in den Logfiles festgehalten wird, pro Kunde zusammenzählen und auswerten.

Welches programm kann das bzw. wie mache ich das am besten? Ein bischen Scripting-Knowhow ist vorhanden.
!
warum soll das nicht auf user-basis funzen ??
folgende rute einschlagen:

http, ftp, mail & pop liefern "high-level-logging"; also logformate anschauen und perl-script drüber

ssh und mysql erfordern imho ein "low-level-logging" (vss. du benutzt überhaupt für mysql keine unix-sockets); schau dir zb net-acct an. die logs dann abgleichen mit mysql-logs (timestamps) resp. lastlog

ausserdem php als cgi mit suphp, um dadurch erzeugten traffic abzugleichen

"back to the roots"

Re: Traffic von www/ftp/mail ermitteln *duck*

Posted: 2003-03-04 17:39
by vpn-user
Also ssh- und mysqltraffic entfallen ja sowieso, weil erstens kein Kunde nen SSH kriegt und zweitens der sqlserver die selbe maschine ist ;-).

Ich setze folgende Programme ein:
Apache, ProFTPd, QMail und den POP3-dienst von Qmail.

Daraus soll sich der Traffic der Kunden ergeben. Ihr meint also, ich sollte mir "einfach" ein Perl- oder PHP-Script schreiben, dass monatlich die Logfiles zeilenweise parst und auswertet? Für eine Scriptsprache ne ziemlich blöde Sache, weil doch relativ langsam und systembelastend, oder? Sonst hätte es ja längst sowas wie webalizer auf php basis gegeben, oder net?

Mist, hat nicht irgendjemand ne Idee für ein passendes Programm?

Re: Traffic von www/ftp/mail ermitteln *duck*

Posted: 2003-03-04 19:50
by floschi
Ist webalizer nicht in perl gecoded?

Re: Traffic von www/ftp/mail ermitteln *duck*

Posted: 2003-03-04 21:55
by vpn-user
Keine Ahnung, aber Webalizer ist doch eine compilierte Anwendung, oder nicht? :?:

Re: Traffic von www/ftp/mail ermitteln *duck*

Posted: 2003-03-05 01:14
by dodolin
webalizer ist C - AFAIK.

Re: Traffic von www/ftp/mail ermitteln *duck*

Posted: 2003-03-05 08:49
by floschi
dodolin wrote:webalizer ist C - AFAIK.
Stimmt - dann war awstats in Perl ;)