Extrem hoher Traffic

[`kk]

Hi Leute,
seit 3-4 Tagen habe ich hier ein Datentransfervolumen von ca. 2GB pro Tag. Das ist mehr als ungewöhnlich.

Ich habe jetzt einmal mit lsof -i geschaut was hier abegeht und sehe Verbindung nach außen auf Port 80.

Was machen die da?
Ich hab ausgehenden Traffic.
Ich finde in den Apachelogs keine Dateien, die heruntergeladen werden.

Kann mir wer helfen?
Logdateien kann ich natürlich posten, aber wie gesagt... außer beim lsof habe ich nichts Außergewöhnliches gefunden. Gesucht habe ich in den Apache-Logs, /var/log/auth.log, /var/log/messages usw.

Falls ihr nähere Infos, Logdateien, oder sonstwas braucht... bitte anfordern. Ich werde den Server sicherheitshalber sowieso neu installieren, aber ich wüsste natürlich trotzdem gerne was da los ist und vor allem *wie* die diesen Traffic produzieren...

Danke
Kai

PS:
Laufen tut (besser: gelaufen ist, hab ihn erstmal offline genommen) Apache 1.3, sshd, vsftpd via xinetd und postfix 2.x

[antondollmaier]

rkhunter oder chkrootkit verwenden ... und das ding mal durchchecken ...

[`kk]

Hab ich, ... die Tools melden auch nichts Außergewöhnliches (sprich: Alles OK).

Hat noch jemand eine Idee?

[caput]

Von aussen mal mit zB. mit nmap kompletten Portrange gescannt auf eventuell ungewollte Dienste die auf deinem Server laufen?

[`kk]

Hallo, danke für dein Beitrag.

Naja, das hier läuft:
PORT STATE SERVICE
21/tcp open ftp
22/tcp open ssh
25/tcp open smtp
80/tcp open http
110/tcp open pop3
6667/tcp filtered irc

Wobei ich IRC überhaupt nicht verstehe.
Auf dem Server läuft definitiv kein IRC-Server.

Bei lsof -i kommt z.B. so etwas hier (10min. nach Starten des Apaches):
apache 26072 httpd 3u IPv4 134655 TCP domain.de:www->ip51cdd76e.adsl-surfen.hetnet.nl:29282 (ESTABLISHED)
apache 1183 httpd 3u IPv4 45659 TCP domain.de:www->cpe.atm2-0-51175.0x50a1e98e.abnxx3.customer.tele.dk:29212 (ESTABLISHED)

Der Server hat heute, wie gesagt, alleine 2GB Traffic verursacht und ich weiß nicht warum.
Rootkits scheinen ja keine drauf zu sein, siehe oben.
In den Logs finde ich auch nichts, also ich bin grad echt ein wenig ratlos...

Gute Nacht
Kai

[caput]

6667/tcp filtered irc

Wobei ich IRC überhaupt nicht verstehe.
Auf dem Server läuft definitiv kein IRC-Server.

Filtered heißt ja nicht das dort ein Dienst läuft, sondern einen Verbindungsversuch überhaupt keine Antwort erhalten hat. Das lässt darauf schließen, dass eine Firewall/Packetfilter die Verbindungsversuche blockiert. Oder dein Hoster filtert/block denn Port fürs ganze Netz, wenn du kein Packetfilter laufen hast.

apache 26072 httpd 3u IPv4 134655 TCP domain.de:www->ip51cdd76e.adsl-surfen.hetnet.nl:29282 (ESTABLISHED)
apache 1183 httpd 3u IPv4 45659 TCP domain.de:www->cpe.atm2-0-51175.0x50a1e98e.abnxx3.customer.tele.dk:29212 (ESTABLISHED)

Sind ganz normale request würde ich sagen. :?

Ansonsten 'netstat -pletunx' vielleicht nochmal schauen und Apachelogs nochmals durchforsten? Hast vielleicht irgendwas grösseres zum Download angeboten?

Oder gar (d)DoS? Nunja bin nicht der Experte vielleicht können die anderen dazu noch etwas sagen. :oops:

[static]

Hi
also was du machen kannst:

- Mit tcpdump o.ä. nachsehen, was denn alles so über die Leitung geht (natürlich entsprechend gefiltert, dass "gewünschter" Traffic, wie httpd nicht angezeigt wird)
- Mit netstat nachsehen, welche Connections geöffnet sind
- Logfileparser wie awstats zumindest mal für den Apachen aufsetzen, wer weiss, vielleicht hast du auch einfach nur mal ein paar Besucher auf deiner Site :)
- Mit einem beliebigen Traffic Accounting Tool den Traffic/pro Port anzeigen lassen.

.static

[`kk]

Hallo Leute.
Erstmal recht herzlichen Dank für eure Beiträge.

Also das ich auf einmal Besucher habe ist sehr unwahrscheinlich, meine Homepage kennt bisher niemand. Und erst recht kein Däne oder Holländer. :)

Ich werde den Apache aber nochmal starten und dann nochmal schauen. Das Komische ist, dass in der access.log nichts steht während dieser Verbindungen. Wenn ich anschließend teste - also mal auf meine Seite gehe - werden Einträge gemacht. Also der loggt.

Danke auch für die anderen Tipps, ich probiere die einmal aus.
Ich installier neu, aber ich hätte natürlich schon gerne gewusst was da los ist. Nicht, dass ich in 2 Monaten wieder von vorne anfangen muss..

Also falls jemand noch eine Idee hat, ich würd mich freuen...

Gruß
Kai

[`kk]

Hallo nochmal,
hier mal die Ausgabe von netstat -pletunx:

Code: Select all

Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       User       Inode      PID/Program name
tcp        0      0 127.0.0.1:10024         0.0.0.0:*               LISTEN     0          292        291/
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN     0          54592      16990/apache
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN     0          2775       777/sshd
Active UNIX domain sockets (only servers)
Proto RefCnt Flags       Type       State         I-Node PID/Program name    Path
unix  2      [ ACC ]     STREAM     LISTENING     507      400/                /var/run/mysqld/mysqld.sock
unix  2      [ ACC ]     STREAM     LISTENING     289      291/                /var/amavis/amavisd.sock
unix  2      [ ACC ]     STREAM     LISTENING     384      311/                /var/run/clamav/clamd.ctl

Ich kann da aber leider nichts Außergewöhnliches festellen, ihr?

Und hier mal die Ausgabe von tcpdump:

Code: Select all

09:59:46.433877 IP example.com.www > planetlab1.cs.wisc.edu.42161: P 36201:37649(1448) ack 0 win 6391 <nop,nop,timestamp 4048739 496140095>
09:59:46.433882 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 37649:39097(1448) ack 0 win 6391 <nop,nop,timestamp 4048739 496140095>
09:59:46.433887 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 39097:40545(1448) ack 0 win 6391 <nop,nop,timestamp 4048739 496140095>
09:59:46.442757 IP planetlab1.cs.wisc.edu.42161 > example.com.www: . ack 36201 win 23168 <nop,nop,timestamp 496140104 4048611>
09:59:46.443428 IP planetlab1.cs.wisc.edu.42161 > example.com.www: . ack 36201 win 32767 <nop,nop,timestamp 496140105 4048611>
09:59:46.553640 IP planetlab1.cs.wisc.edu.42161 > example.com.www: . ack 39097 win 32767 <nop,nop,timestamp 496140215 4048739>
09:59:46.553665 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 40545:41993(1448) ack 0 win 6391 <nop,nop,timestamp 4048751 496140215>
09:59:46.553670 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 41993:43441(1448) ack 0 win 6391 <nop,nop,timestamp 4048751 496140215>
09:59:46.553673 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 43441:44889(1448) ack 0 win 6391 <nop,nop,timestamp 4048751 496140215>
09:59:46.553640 IP planetlab1.cs.wisc.edu.42161 > example.com.www: . ack 40545 win 32767 <nop,nop,timestamp 496140215 4048739>
09:59:46.553682 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 44889:46337(1448) ack 0 win 6391 <nop,nop,timestamp 4048751 496140215>
09:59:46.553686 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 46337:47785(1448) ack 0 win 6391 <nop,nop,timestamp 4048751 496140215>
09:59:46.553653 IP planetlab1.cs.wisc.edu.42161 > example.com.www: . ack 37649 win 32767 <nop,nop,timestamp 496140215 4048739>
09:59:46.673605 IP planetlab1.cs.wisc.edu.42161 > example.com.www: . ack 41993 win 32767 <nop,nop,timestamp 496140335 4048751>
09:59:46.673618 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 47785:49233(1448) ack 0 win 6391 <nop,nop,timestamp 4048763 496140335>
09:59:46.673622 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 49233:50681(1448) ack 0 win 6391 <nop,nop,timestamp 4048763 496140335>
09:59:46.673863 IP planetlab1.cs.wisc.edu.42161 > example.com.www: . ack 43441 win 32767 <nop,nop,timestamp 496140335 4048751>
09:59:46.673886 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 50681:52129(1448) ack 0 win 6391 <nop,nop,timestamp 4048763 496140335>
09:59:46.673890 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 52129:53577(1448) ack 0 win 6391 <nop,nop,timestamp 4048763 496140335>
09:59:46.674373 IP planetlab1.cs.wisc.edu.42161 > example.com.www: . ack 44889 win 32767 <nop,nop,timestamp 496140335 4048751>
09:59:46.674385 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 53577:55025(1448) ack 0 win 6391 <nop,nop,timestamp 4048763 496140335>
09:59:46.674389 IP example.com.www > planetlab1.cs.wisc.edu.42161: . 55025:56473(1448) ack 0 win 6391 <nop,nop,timestamp 4048763 496140335>

In den Apache-Logs steht nach wie vor nichts.
Was mir aufgefallen ist, ist das bei lsof -i die Verbindungen nur sehr kurz zu stande kommen. Eben war sie da (siehe tcpdump) und nun schon wieder weg. lsof -i zeigt mir im Moment nichts an. In 10min. wahrscheinlich wieder.. ich krieg ne Krise. :)

Gruß
Kai

[Joe User]

Lege bitte die tmp.txt als Download bereit:

Code: Select all

ls -alhR /tmp > tmp.txt

[`kk]

Hi,
danke für deine Antwort.

Ich hab leider keine Ahnung, wie ich die Datei anhängen soll.
Der Ordner ist sowieso leer, hier die Ausgabe:

Code: Select all

# ls -alhR /tmp
/tmp/:
total 8.0K
drwxrwxrwt   2 root root 4.0K Jul  5 09:41 .
drwxr-xr-x  20 root root 4.0K Jul  5 09:57 ..

Was vermutest du?

Gruß
Kai

[djholliday]

Wer hört denn bei dir auf Port 10024?
Die Pid 291 wird zwar angezeigt, aber nicht das Programm. Das, zusammen mit dem hohen Traffic, würde mich schon sehr stutzig machen.

Welche Version von rkhunter verwendest du denn?

DJ

[caput]

Wer hört denn bei dir auf Port 10024?

Wird meines wissens von amavis benutzt (10024/10025).

[`kk]

Wer hört denn bei dir auf Port 10024?
Die Pid 291 wird zwar angezeigt, aber nicht das Programm. Das, zusammen mit dem hohen Traffic, würde mich schon sehr stutzig machen.

Es ist, wie mein Vorredner schon vermutet hat, amavisd-new.
Unten bei netstat steht das auch.

Welche Version von rkhunter verwendest du denn?

DJ

1.2.7

Gruß
Kai

[outofbound]

Fang bei Null an:

- Geht der Traffic rein, oder geht er raus, oder beides?
- Danach rausfinden über welchen Port(s), und welche Anwendungen.

Gruss,

Out

[`kk]

Hi,
lest doch bitte mal den ganzen Thread...
Also der Traffic geht raus über Port 80 (siehe lsof).
Da Port 80, tippe ich auf Apache.

In den Logs finde ich nichts..., was sollte er auch runterladen.
Außer meiner Hompage gibts hier nichts zu holen... :)

Gruß
Kai

[mausgreck]

Wenn es wirklich port 80 ist:

Code: Select all

tcpdump -X -s 2000 port 80

Da steht dann drinnen welche Files angefordert werden, etc, etc... (Wird natürlich ein langes Log - viel Spass beim durchforsten.)

[outofbound]

Hi,
lest doch bitte mal den ganzen Thread...
Also der Traffic geht raus über Port 80 (siehe lsof).
Da Port 80, tippe ich auf Apache.

In den Logs finde ich nichts..., was sollte er auch runterladen.
Außer meiner Hompage gibts hier nichts zu holen... :)

Gruß
Kai

Das hab ich. Und ich ahne auch wo das Problem liegt.
Dein Problem ist, dass DU es nicht weisst, und scheinbar auch nicht weisst wie man
sowas rausfindet.

Also, bist du hier um "zu lernen" wie man sowas rausfindet, oder willst du einfach nur dein
Problem gelöst haben?

Irgendwie komisch, dass der Apache was über Port 80 rausschickt und das nicht in Logfiles schreibt, oder?

Vielleicht solltest du dir auch mal folgendes überlegen:

- Hast du in letzter Zeit jemanden im Internet verärgert?
- Hast du in letzter Zeit irgendwo ein File über diesen Server angeboten? (MP3, lustiges Filmchen, irgendeine Freeware?)
- Was für Applikationen laufen auf dem Server? (Vor allem in der Web- Umgebung --> PHP?)

Server im Netz == Daten online. Wer deine URL inzwischen kennt, wenn sie geleaked ist, kannst du nicht wissen.


Zeig doch mal die größen deiner Logfiles... schonmal im error_log des apachen geschaut?

[ticool]

Upp mal ein teil deiner Apache logs.

Dann sehen wir evtl, etwas was du nicht siehst...

[`kk]

Hi und danke für dein Posting.
Das mit dem Lesen war nicht böse gemeint und nun komm wieder runter. =)

- Hast du in letzter Zeit jemanden im Internet verärgert?
- Hast du in letzter Zeit irgendwo ein File über diesen Server angeboten? (MP3, lustiges Filmchen, irgendeine Freeware?)
- Was für Applikationen laufen auf dem Server? (Vor allem in der Web- Umgebung --> PHP?)

Ich habe einige große Dateien frei zugänglich (+Indexes) rumliegen lassen. Das war wohl ein Fehler:

Code: Select all

IP - - [04/Jul/2005:22:13:18 +0200] "GET /ordner/datei HTTP/1.1" 200 6174720
IP - - [04/Jul/2005:22:13:37 +0200] "GET /ordner/datei HTTP/1.1" 200 4063232
IP - - [04/Jul/2005:22:13:58 +0200] "GET /ordner/datei HTTP/1.1" 200 6147968
IP - - [04/Jul/2005:22:14:20 +0200] "GET /ordner/datei HTTP/1.1" 200 4859904
IP - - [04/Jul/2005:22:14:47 +0200] "GET /ordner/datei HTTP/1.1" 200 8417280
IP - - [04/Jul/2005:22:15:12 +0200] "GET /ordner/datei HTTP/1.1" 200 6469632
IP - - [04/Jul/2005:22:15:31 +0200] "GET /ordner/datei HTTP/1.1" 200 5232640
IP - - [04/Jul/2005:22:15:53 +0200] "GET /ordner/datei HTTP/1.1" 200 5406720

Eine IP hat oft mehrmals die gleiche Datei heruntergeladen.
Könnte das ein Bot gewesen sein? Innerhalb von 3 Sekunden eine ca. 5MB große Datei... ist schon ziemlich schnell.
Eine robots.txt hatte ich noch nicht angelegt...
Hm, schon wieder ein Fehler...

Danke bis hierhin,
Kai

PS: Die Zeiten stimmen mit meinen Traffic-Statistiken überein.

----

Edit: Beim Antworten werde ich immer wieder auf die index.php weitergeleitet.. deswegen hier die Antwort.

Danke für deinen Beitrag.
Ich versuche es erstmal mit disallow, wenn das nichts bringt sperr ich die Seite ganz.

Ich hoffe das lag jetzt auch alles daran... man kann ja kaum schlafen, wenn der Server nicht läuft... :)

Gruß
Kai

Edit2: Ich kann immer noch nicht antworten...
Ich habe jetzt mal einen AuthLogin hingelegt... super, funktioniert auch.
Ich komme per Browser nicht rauf, aber die laden immer noch fleißig runter...:

IP - - [08/Jul/2005:11:38:53 +0200] "GET /ordner/datei HTTP/1.0" 401 397

Ich verstehe das nicht, der hat hat doch dort gar keinen Zugriff...

Gruß
Kai

[andreask2]

robots.txt ist eine freiwillige Sache, böswillige User und Bots merken gar nicht dass Du sowas hast. Du kannst das nur verhindern wenn Du einen den Zugriff auf bestimmte IPs einschränkst, oder mit einem HTTP-Auth Login arbeitest. Sonst halt löschen den Kram.

[aldee]

Edit2: Ich kann immer noch nicht antworten...
Ich habe jetzt mal einen AuthLogin hingelegt... super, funktioniert auch.
Ich komme per Browser nicht rauf, aber die laden immer noch fleißig runter...:

IP - - [08/Jul/2005:11:38:53 +0200] "GET /ordner/datei HTTP/1.0" 401 397

Ich verstehe das nicht, der hat hat doch dort gar keinen Zugriff...

Gruß
Kai

Hmm? Da lädt keiner was. Laut deinem Log-Auszug wird ein Fehler 401 (Authentication required) ausgespuckt. Die 397 übertragenen Bytes sind die Größe deiner Fehlerseite, sofern diese dir zu groß erscheint, kannst du sie natürlich auch durch eine 0 Byte große ersetzen.