TrafficReporting-Script

[theomega]

Hallo Leute,
nachdem keines der von mir getesteten TrafficReportingSCripts (IAM,Ipac-NG,MTRG) die von mir gewünschten Features bieten konnten habe ich mir die Sache kurzerhand selbst geschrieben.

Bis jetzt bietet das Script folgende Features:

Daten sammeln:
- Tabelle in der festgehalten wird welche Ports einzeln gelogt werden sollen
- Aus dieser Tabelle werden automatisch IP-Tables-Rules definiert
- Per Cronjob werden die Daten gesammelt und in eine zweite Tabelle geschrieben.
- Daten können für verschiedenen Hosts gesammelt werden und in einer zentralen Datenbank gespeichert werden und somit an einem Punkt ausgewertet werden. (Bedingung: Alle Hosts müßen Zugriff auf den DB-Server haben, kein "skip-networking").

Daten auswerten:
- Diagramm mit:
* Auswählbaren Ports die angezeigt werden
* Zuschaltbare anzeige der Totalen Summen
* Daten können interpoliert werden
* Entweder IN+OUT in Summe oder Out nach ob und IN nach unten


Was auf jeden fall noch kommt:
- Admin-Interface für die Ports
- Admin-Interface für die Diagramme (Auswahl welche Daten in welcher Form angezeigt werden)
- Auswertung in Text-Form
- Status-Mails per Mail
- Alerts (Ã?berschreitung von x MB auf Ports y) per Mail
- Durchschnitte ins Diagramm zeichnen
- Optimierung: Diagramm-Script ist noch recht lahm
- Weitere Diagramme:
* Kuchendiagramm für die Port-Verteilung für einen Zeitraum
* Balkendiagramm mit einer Balkengruppe (pro Port einen Balken pro Gruppe) pro Zeitraum (z.b. Tag)

Beispielsdiagramme:
http://www.dbruhn.de/traffic/index.php
http://www.dbruhn.de/traffic/index.php?nr=2
http://www.dbruhn.de/traffic/index.php?nr=3
http://www.dbruhn.de/traffic/index.php?nr=4

Systemanforderungen:
- Auf der Console:
* IPTables installiert und funktionierend
* PHP-Binary im Path
* Cronjobs
- Am Webinterface:
* PHP installiert (wie ist egal)
* Mysql-Module geladen
* GD2-Lib Module eingebunden und funktionierend
- Datenbank:
* MySQL-Datenbank


Was ich suche sind:
Leute mit eigenem Server (oder Zugriff auf einen Server), die bereit wären mein Script zu installieren. Was ich gleich sagen will: leider ist dann kein anderes TrafficReporting mit anderen Tools nebenher möglich, liegt am Konzept von IP-Tabbles und den Scripten. Außerdem hat das Script evtl noch einige Bugs. Dadurch das aber der "gefährliche" Teil nicht zugänglich ist (extra script) sehe ich keine großen Sicherheitsrisiken, aber wer kann das schon sicher sagen. Ich suche auch keine gänzlichen Rootie-Neewbs denen man alles erklären muß :twisted: Der Alpha/Beta-Test kann in absehbarer Zeit beginnen...

Aber: Ich bin ab nächster woche für zwei wochen ohne INet, oder mit nur sporadischem INet, also habt bitte ein bischen Geduld


Interesse an einem Test haben bis jetzt:
- thomas.km
- Phillux
- chris76
- snowball
- Phreakazoid
- BungeeBug
- CreeK
- Shackattack
- DerDemo

Außerdem würde ich gerne hören was ich für Anforderungen an so ein Script hättet damit ihr es einsetzten würdet bei euch. Also postet hier!

Danke und Gruß
TO

[bungeebug]

ich würds auch gerne mal angucken ...

[creek]

ich wäre auch interessiert dein script mal nen bisschen zu testen.

[theomega]

so wie es aussieht ist es vermutlich am cleversten sobald ich die sache so weit habe das ein erstes Release möglich ist einen Download anzubieten und einfach mal jeden der will testen lassen. Allerdings muß klar sein, dass das Script sicher nicht fehlerfrei ist und wenn ihr/ich ganz großes Pech habt dann zieht es evtl irgendwas in Mitleidenschaft, allerdings bezweifel ist das und jeder kann sich ja vergewissern indem er dann den Quellcode anschaut.

[captaincrunch]

Wie bereits im anderen Thread schon gesagt, würde ich auch hier gerne noch einmal darauf hinweisen, dass ein vernünftig abstrahiertes DB-Layer es später erheblich vereinfacht, auch "echte" Datenbanken wie Postgres etc. anzubinden.

[Joe User]

PEAR-DB sollte ausreichen...

[theomega]

steht auf der todo-liste, es kommt ein simpler dba zum einsatz, allerdings werde ich selbst vermutlich nur einen layer für mysql anbieten, da ich nichts anderes im einsatz habe.

[arty]

PEAR-DB sollte ausreichen...

lieber PEAR::MDB2!

bye
arty

[shackattack]

Ich wäre dabei. Wir haben nen paar Server zum testen :D

[derdemo]

und ich wäre auch gern mit 2 rooties dabei :)

gruss dennis

[padi]

Ich wäre auch dabei, ich würds hier auf einem lokalen Server testen!

[Anonymous]

Finde MYSQL prima, hat wenigstens jeder. Habe Server mit 7 Usern und kann damit machen, was ich will, also testen ohne Ende.

Gruss Ingrid

[captaincrunch]

Finde MYSQL prima, hat wenigstens jeder.

Ich nicht.

[theomega]

So ich bin wieder im Land und habe schon einige neue Ideen die in den nächsten Tagen realisiert werden. Dann schnüre ich irgendwann ein Alpha-Package und stelle es den Alpha-Testern (Evtl auch allen) zur verfügung.

[thomas.km]

Hi

gut zu hören. Bin schon sehr gespannt ;-)

[shackattack]

Das ist schön. Sag mal was ist mit den Demo Links?
Die funktionieren nicht.
Kannst du die wieder online bekommen oder Screenshots posten?

[theomega]

danke für den hinweis hatte vergessen den abbruch rauszunehmen, geht wieder.

[thomas.km]

hiho

gibts schon was? Bin schon ganz gespannt, gerade jetzt wo ich wieder notgedrungenerweise mit MTRG kämpfen musste:-//

[theomega]

hm, nein, bis jetzt noch wenig, ich habe dummerweise nach einem serverneustart vergessen meine iptables-regeln wiederherzustellen, weshalb gerade die daten fehlen, allerdings werden ab jetzt wieder welche gesammelt. Außerdem habe ich ein Limit für die yachse eingebaut damit man einzelne spitzen abschneiden kann.

Gruß
TO

[philippxp]

ich hätte auch interesse wenn es eine sauber installations anleitung gibt ;)

[theomega]

Ich suche auch keine gänzlichen Rootie-Neewbs denen man alles erklären muß.

wie sieht da bei dir aus? ich werde für die alpha-versionen sicher keine große Installationsanleitung schreiben, das kommt erst mit den Finals.

Sonst habe ich den Code nochmal komplett neu geschrieben, die Geschwindigkeit hat sich ca. verdoppelt, ist allerdings immernoch recht langsam. Je größer der Zeitraum den man versucht darzustellen desto langsamer wird die Anzeige. Deshalb ist mein nächstes Ziel dass nicht versucht wird tausende von Datensätze anzuzeigen obwohl effektiv nur x angezeigt werden können. Evtl werde ich sogar eine Funktion einfügen die Durchschnittswerte über einen bestimmten Zeitraum speichert (ähnlich zu RRDTool).
Durch das Rewrite ist der gesamte Code Objektorientier also in diversen KLassen geschrieben worden. Es sollte deshalb recht einfach sein bald einen zweiten Diagramm-Typ vorzustellen.

Gruß
TO

[thomas.km]

Für mich ist eher die Textbasierte Traffic Darstellung per Port interessant. Dort wird es doch nicht zu Performance Problemen kommen odeR?

[theomega]

nein, sicher nicht in dem ausmaß, ist außerdem fest geplant, also output in eine html und eine plain-text tabelle (für mailversand).

[theomega]

Ich werde versuchen hier immer einmal über Fortschritte bei der Programmierung zu berichten.

Ich habe das Script jetzt so verändert das sich Gruppen aus Ports bilden lassen und diese als ein Datensatz angezeigt werden. So kann man z.B. eine Gruppe "Mail" bilden die die Ports SMTP,POP3,IMAP beinhaltet. In den Diagrammen werden die 3 Ports dann immer zusammengefasst. Dies ist eine Ausgabe-Funktion, beeinflusst also die Datensammlung nicht, es können also immernoch Diagramme erstellt werden wo die 3 Ports nicht zusammengefasst sind.
Außerdem ist es jetzt möglich bestimmte Hosts von der Statistik auszunehmen, sinnvoll vor allem für alle die einen zweiten Rootserver beim gleichen Hoster besitzen und Traffic von und zu diesem nicht in der Statistik haben wollen.

So long
Gruß
TO

[debianfan]

Interesse an einem Test hätte ich auch.