Webserver dreht durch und macht dem admin angst!

[martin27]

Hallo im rootforum und schönen Sonntag wünsch ich allen :)

leider hab ich ein (vielleicht) großes problem mit meinem webserver.

In dern letzten tagen habe ich festgestellt das mein server nachts
ab 12uhr (+-2h) anfängt sämtliche resourcen zu nutzen: 100% cpu, 100% Speicher.

TOP bringt mir folgende ausgabe:

Code: Select all

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                 
17273 apache    25   0  6376 3988 1184 R 100.1  0.0   1295:07 perl                                                   
28182 apache    25   0  6376 3956 1172 R 100.1  0.0 831:25.74 perl                                                   
28405 apache    25   0  6376 3376  592 R 100.1  0.0 829:24.65 perl                                                   
28406 apache    25   0  6376 3468  668 R 100.1  0.0 829:23.67 perl 

also irgendein perl prozess von apache der alles aufbraucht. ein
ps ax auf die prozesse bringt:

Code: Select all

17273 ?        R    1295:20 /usr/local/apache/bin/httpd -DSSL
28182 ?        R    831:38 /usr/local/apache/bin/httpd -DSSL
28405 ?        R    829:37 /usr/local/apache/bin/httpd -DSSL
28406 ?        R    829:36 /usr/local/apache/bin/httpd -DSSL
28416 ?        S      0:00 /usr/local/apache/bin/httpd -DSSL
28417 ?        S      0:01 /usr/local/apache/bin/httpd -DSSL

wie man sieht laufen die prozesse seit einer ewigkeit aber mehr
kann ich nicht rausfinden.

das merkwürdigste kommt jetzt:

Code: Select all

root@server11 /home/martin # type /usr/local/apache/bin/httpd
bash: type: /usr/local/apache/bin/httpd: not found

an der stelle verstehe ich gar nix mehr. wie kann denn da ein prozess laufen wo es die binary an dem ort gar nicht gibt?


kann mir irgendeiner einen tipp geben wie ich weitersuchen soll?

danke für jede hilfe!!

[Joe User]

Code: Select all

ls -alh /usr/local/apache/bin/httpd
/usr/local/apache/bin/httpd -V
cat /proc/17273/cmdline

[martin27]

Code: Select all

root@server11 /home/martin # ls -alh /usr/local/apache/bin/httpd
ls: /usr/local/apache/bin/httpd: No such file or directory
root@server11 /home/martin # /usr/local/apache/bin/httpd -V
bash: /usr/local/apache/bin/httpd: No such file or directory
root@server11 /home/martin # cat /proc/17273/cmdline
cat: /proc/17273/cmdline: No such file or directory
root@server11 /home/martin # 

[Joe User]

Bist Du als root eingeloggt?

[martin27]

ja:

root@server11 /home/martin # whoami
root

[Roger Wilco]

Wenn ich raten müsste, würde ich sagen, dass dein System (bzw. konkret der Apache httpd) kompromittiert wurde.

Durchsuche deine Apache httpd Logdateien, ob um diese Zeit herum "seltsame" Zugriffe erfolgten.

[Joe User]

Wenn Du als root nicht an diese Informationen kommst, dann bist Du seit Ewigkeiten nicht mehr Herr im Hause, sprich Deine Kiste wurde gehackt.

Grobe Vorgehensweise:

Nutzdaten sichern.
Systemimage anlegen.
System vom Netz nehmen.
Systemimage in einer VM analysieren.
Gefundene Sicherheitslücken dokumentieren.
System neu aufsetzen.
Sicherheitslücken beseitigen.
Nutzdaten zurückspielen.
Verantwortung übernehmen und sich künftig besser um das System kümmern.

[martin27]

ne das ist mir etwas einfach zu sagen server wurde gehackt ich hab kein zugriff mehr.
meine kiste ist immer uptodate, alle updates werden eingespielt, mit chkrootkit wird das system regelmäßig geprüft und alle überflüssigen dienste sind abgeschaltet.

ich kann keine weiteren hinweise finden das es sich um einen hack handelt oder beweise, das ist mir bis dahin etwas waage.

ich werde das rescue system starten und gucken ob sich dann etwas in diesem "/usr/local/apache" verzeichnis befindet.

[Joe User]

/usr/local/bin ist nicht /usr/local/apache/bin ;)

Die Laufzeit von 17273 lässt die Vermutung offen, dass ProFTPd oder Exim als Einfallstor genutzt wurden, wobei spamdyke auf ein Plesk-System und somit auf ProFTPd schliessen lässt.
BTW: Uptodate gibt es bei Plesk übrigens nicht, da sich der Hersteller über Gebühr Zeit beim fixen von sicherheitsrelevanten Bugs lässt (So auch bei den letzten ProFTPd Bugs).

Chkrootkit und Co sind mit wenigen Zeilen Shellscript umgangen und halbwegs intelligente Scriptkiddies verwischen ihre offensichtlichen Spuren in wenigen Sekunden.

Aus der Ferne betrachtet bleibe ich dabei, dass Dein Server gehackt wurde.

[martin27]

ja im verzeichnis habe ich mich geirrt:

Code: Select all

root@server11 /usr/local # ls -al
total 48K
drwxr-xr-x 12 root root   4.0K Nov  9 13:48 .
drwxr-xr-x 15 root root   4.0K Feb 27 13:51 ..
drwxr-xr-x  2 root root   4.0K Nov 22 20:15 bin
drwxr-xr-x  2 root root   4.0K Jan 26  2010 etc
drwxr-xr-x  2 root root   4.0K Jan 26  2010 games
drwxr-xr-x  2 root root   4.0K Jan 26  2010 include
drwxr-xr-x  2 root root   4.0K Jan 26  2010 lib
drwxr-xr-x  2 root root   4.0K Jan 26  2010 libexec
drwxr-xr-x 15 root psaadm 4.0K Feb 27 11:35 psa
drwxr-xr-x  2 root root   4.0K Jan 26  2010 sbin
drwxr-xr-x  4 root root   4.0K Jan 26  2010 share
drwxr-xr-x  3 root root   4.0K Nov 22 20:13 src

da gibt es aber kein apache dir. ok außer er hat irgendwie mein system so komprimiert das ich das verzeichnis nicht sehe aber spätestens
wenn ich mein rescue system starte werde ich es sehen.
kann aber auch von einer chroot umgebung kommen. da muss ich wohl mal alles durchsuchen.

plesk ist langsam mit updates, ja das ist richtig und ja man kann alles umgehen 100% sicherheit gibt es nicht so naiv bin ich auch nicht. ich suche weiter aber als beweis finde ich das alles noch nicht.

[Roger Wilco]

ne das ist mir etwas einfach zu sagen server wurde gehackt

Mir nicht. Du hattest mehrere Perl-Prozesse unter der Kennung deines Apache-Benutzers laufen. Die gestarteten Skripte existieren nicht mehr oder die Prozessbeschreibung war gefälscht (ja, das geht ganz einfach).

Für mich sind das genügend Indizien um festzustellen, dass zumindest dein Apache httpd durch irgendein Skript kompromittiert wurde und der Angreifer zumindest Zugriff auf alle Dateien des Apache httpd hatte.

[martin27]

schon, es ist definitiv ein Indiz aber einen handfesten beweis sehe ich noch nicht. auch wenn es ein hacker war der sauber gearbeitet hat müsste man irgendwelche spuren sehen können. falls nicht frag ich mich warum er dann überhaupt den server hack wollte wenn er doch nichts mit macht!

[Roger Wilco]

schon, es ist definitiv ein Indiz aber einen handfesten beweis sehe ich noch nicht.

Was erwartest du denn? Fingerabdrücke? Einen netten Brief?
Wenn der Angreifer keine Root-Rechte erhalten hat und die Kompromittierung noch nicht zu lange her ist, findest du in deinen Logs entsprechende Hinweise. Hat der Angreifer Superuser-Rechte erhalten, findest du darin natürlich nichts und kannst dem System sowieso nicht mehr trauen.

falls nicht frag ich mich warum er dann überhaupt den server hack wollte wenn er doch nichts mit macht!

Wieso sollte man ein kompromittiertes System sofort „verbrennen”? In der Regel werden die Systeme jedoch nicht von denjenigen kompromittiert, die die Systeme letztendlich benutzen. Sobald das System verwendet wird, fällt die Kompromittierung i. d. R. auf und das System wird abgeschaltet bzw. gesäubert.

[martin27]

aber was ich nicht verstehe ist, das wenn er so gut war und alles "versteckt" hat warum läßt er die prozesse dann als
/usr/local/apache/bin/httpd laufen? dann hätte ich doch
den existierenden httpd binary unter /usr/sbin/httpd
genommen, dann wäre mir das ja gar nicht aufgefallen!

[Roger Wilco]

Vermutlich weil /usr/sbin/httpd nur für den Root-Benutzer beschreibbar ist. Das spricht dann dafür, dass er keine Root-Rechte hatte.

Aber man benötigt i. d. R. auch keine Root-Rechte, um mit einem kompromittierten System Schabernack zu treiben.

[martin27]

ja aber es gibt ja kein /usr/local/apache/... verzeichnis. dementsprechend auch keine binary die dort liegt... und wenn man den prozess so tarnen kann...

naja argumente hin oder her, ihr sagt ich bin gehackt worden. ich sage mir fehlt der beweis. wenn ich was gefunden habe kann ich ja noch mal posten.

[Joe User]

Dann halt andersrum: Hast Du die Prozesse gestartet oder starten lassen? Wenn Nein, dann wurdest Du gehackt. So einfach ist das...

[martin27]

es ist interressant wieviel infos ihr über mein system habt nur anhand der paar ausgaben die ich hier poste.
nicht falsch verstehen, ich bin wirklich dankbar über eure zeit die ihr investiert mir zu antworten, aber ihr denkt halt nur in die eine richtung und habt kein platz für andere erklärungen. das störrt mich halt..

und ja so standart Dinge wie changeroot und links sind mir ein begriff :D
und gerade deswegen ist mir die erklärung "das ist ein hack" zu simple und schnell.

Dann halt andersrum: Hast Du die Prozesse gestartet oder starten lassen? Wenn Nein, dann wurdest Du gehackt. So einfach ist das...

naja das ist aber eine ziemlich einfache Theorie, danach wäre ja jeder server gehackt der inetd verwendet/crontabs oder webseiten hostet. wenn ich jeden ftp prozess per hand starten würde dann mahlzeit. naja
aber das wäre ja dann wirklich die absolte sicherheit :D (stell mir das gerade lustig vor)

[Roger Wilco]

danach wäre ja jeder server gehackt der inetd verwendet/crontabs oder webseiten hostet.

Das fällt unter "starten lassen".

Du wolltest unsere Meinung zu deinem Problem haben. Die hast du jetzt. Ob du uns glaubst oder nicht, ist dein Bier. Ich persönlich würde mit einem System mit diesen Indizien nicht mehr ruhig schlafen, aber das ist jetzt dein Problem.

[martin27]

danke, das war auch schon vorher mein Problem ;)

ich denke ihr seit einfach dadurch geprägt das ihr zu schnell urteilt das es sich "wieder um so einen handelt der keine Ahnung hat".
Die Reaktion kann ich auch manchmal nachvollziehen, bin deswegen nicht sauer.

Und das ich nicht ruhig schlafen kann ist ja wohl klar sonst hätte ich wohl kaum diesen thread mit diesem title eröffnet.

aber den ernsthaften admin will ich sehen der sich nicht interessiert "wie haben die es geschafft"..

@matzewe01 bei was für einer firma arbeitest du?

[martin27]

dann kannst du mir doch sicher mal die web Adresse deiner Firma geben?

[martin27]

Da irrst Du Dich.

Du findest aber noch nicht mal die Binaries, die da angeblich laufen.
Das ist mehr als verdächtig und alles andere als normal.

würde ich so nicht sagen, kann ja auch von einer chroot Umgebung von plesk sein der nachts irgend ein Prozess startet. plesk nutzt viele perl scripte zb. statistik Erzeugung.

[martin27]

naja vielleicht brauche ich ja in nächster zeit eine forensische Untersuchung meines Webservers und da wäre es ja gut schon mal eine Adresse zu haben :)

[Roger Wilco]

würde ich so nicht sagen, kann ja auch von einer chroot Umgebung von plesk sein der nachts irgend ein Prozess startet. plesk nutzt viele perl scripte zb. statistik Erzeugung.

Wir kennen Plesk (leider). Und nein, das ist kein Prozess von Plesk - zumindest keine der mir bekannten oder derzeit verfügbaren Versionen von Plesk.

Mal ehrlich: Du hast ein Problem auf deinem System, weil ein bzw. mehrere Perlskripte dein System auslasten. Du hast diese Prozesse nicht gestartet oder hast diese bewusst starten lassen. Die Programme oder das Programm, welches die gestarteten Prozesse erzeugt hat, ist gelöscht worden oder an den Prozessdeskriptoren wurde manipuliert.

Wenn jetzt nicht alle Warnlampen bei dir angegangen sind, läuft irgendetwas verdammt falsch.

[martin27]

Wenn jetzt nicht alle Warnlampen bei dir angegangen sind, läuft irgendetwas verdammt falsch.

natürlich sind alle warnlampen an, sonst hätte ich wohl kaum hier gepostet. und ich denke ich hab deutlich genug gesagt das ich es ernst nehme. was ist so falsch dran nach einen beweis zu suchen??

okay für dich sind das alles schon beweise genug, das ist in ordnung, aber genauso in ordnung ist es wenn ich noch weiter suchen möchte. :)

Sorry, ich stemple das als getrolle ab.

Und empfehle: Don't feed the troll.

wird ja immer netter hier :o schade das man sich nicht argumentieren kann. aber finde deinen Einwand inordung, es führt zu nichts weiter daher kannst du als Mod den Thread gerne schließen.

danke noch mal an euch das ihr euch zeit genommen habt zu antworten.