Massenmailversender unter eigenen Kunden aufspüren

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

Hi,

wir betreiben einen kleinen Hosting Server mit ca. 80 Kunden.
In letzter Zeit kommt es häufiger vor das wir von den Branchengrößen wie T-Online, GMAIL etc. geblockt werden da angeblich über unsere IP Bulk Mails versendet werden.
In den Logs konnte ich dies nicht Nachvollziehen, nun meine Frage: Gibt es Tools mit denen ich sowas Unterbinden bzw. Nachvollziehen kann?
Denkbar wäre auch das eine Seite oder ein Mailkonto gehackt wurde, aber wie bekomme ich es raus? Wir haben diverse Sicherheitssysteme am laufen z.B. fail2ban, iptables, F-Secure und RKHunter. Außerdem müssen Passwörter mindestens 8 Zeichen haben und aus Groß/Klein Buchstaben sowie Zahlen bestehen.

Infos zum Server:
Debian Squeeze x64
Postfix 2.7.1
Amavis
F-Secure for Linux Servers
Apache 2.2.16-6
mod_security
Top

ddm3ve
Moderator
Moderator
Posts: 1114
Joined: 2011-07-04 10:56

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by ddm3ve »

Gibt es denn eine email inkl. Header Daten der Spammails?
Die Ursache kann breit gestreut sein. Von einem legitimen SMTP Zugriff über komrpomitierter Webanwendung etc. kann hier alles dabei sein.
Wenn sich nichts im Logfile findet, würde ich versuchen den Loglevel zu erhöhen.
Btw. Deine "Sicherheitseinrichtungen" sind genau für so einen Fall nicht gewappnet und würde ich auch nicht Sicherheitseinrichtung nennen.

Linux bringt nun eigentlich genug boardmittel mit, um etwaige Ursachen zu ermitteln.

Über netstat würde ich die Netzwerkverbindungen versuchen zu ermitteln und protokollieren.
tcpdump und wireshark wären dann wohl das nächste Level hierzu. (Wobei ich das erstmal als übertrieben an sehen.)

Das sich nichts in den Logfiles des Mailservers findet, deutet darauf hin, dass Schadcode eingeschleusste wurde oder gar der Rechner insgesamt kompromittiert ist.
Zumindest sollte man den Mailtraffic (Wer mailt an wenn) erkennen können.
Mit diesem simplen Script solltest Du leicht abnormales Emailaufkommen auswerten können.
http://postfix.state-of-mind.de/patrick ... pflogsumm/

Wenn aber der Traffik am Postfix vorbei entsteht, also der Mailversand direkt aus einem Script heraus entsteht, hilft nur noch eine genau Analyse des Netzwerktraffics, sofern das System nicht zu stark kompromitiert wurde.
Besorg dir erstmal eine der Emails, die Dein System angeblich versendet hat und Werte den Header aus.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.
Top

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

Habe mittlerweile herausgefunden wie die Mails ins System gekommen sind.
Ein Kunde hatte seine gesamte Seite / Order und Dateien auf Vollzugriff für jeden stehen gehabt.
Es wurde eine Datei "collector.php" im Joomla Ordner unter /images/stories/documents/cglbin kopiert welche von Außen mit den Mails versorgt wurde und so weiter geschickt hat. Ich habe die gesamte Domain erst einmal Stillgelegt. Nun geht es an die Ursachenforschung und Prävention.
Die ganze Seite von dem Kunden war mit wilden PHP Dateien versehen, welche sich nicht mal als Root öffnen kann.
Der Kunde kann sich auf eine Saftige Rechnung freuen.
Top

ddm3ve
Moderator
Moderator
Posts: 1114
Joined: 2011-07-04 10:56

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by ddm3ve »

Eine Stein alte "Joomla" Version?

Ich wäre an Deiner Stelle Skeptisch darüber, ob hier nicht noch weiterer Schadcode eingeschleusst wurde.
Wie bist Du dem Verursacher auf die Schliche gekommen?
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.
Top

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

Es handelt sich um Joomla 1.5.22 also ziemlich alt.

Das Skript arbeitet genial, es manipuliert die Logfiles (zumindest habe ich so etwas im Skript gesehen). Aber ich hatte einen dauerhaften Zugriff auf diese Datei in die Logfiles gesehen und mir das Script angeschaut. Da ich Joomla ganz gut kenne wusste ich das die Datei dort nicht hingehört.
Nach einem Scan mit F-Secure wurden auf dem Account noch ca. 30 weitere Backdoor Trojaner gefunden (Backdoor.PHP.ASQ) und gelöscht.
Ich suche natürlich noch die Jungs die auf diese Dateien zugreifen, leider findet sich nix dazu in den Logs. Auf die collector.php wurde angeblich vom System selber zugegriffen. Ich vermute allerdings das dies durch ein Require oder Include befehl einer anderen PHp Datei erfolg. Ich scanne derzeit den gesamten Server und es wurde nichts weiter gefunden auch nicht auf anderen Uraltversionen von Joomla (die meisten von denen werden von mir Verwaltet und immer gepatched bzw. ziemlich dicht gemacht).
Top

ddm3ve
Moderator
Moderator
Posts: 1114
Joined: 2011-07-04 10:56

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by ddm3ve »

Verstehe ich richtig, dass das Script die Logfiles des Webserver manipuliert?
Der Webuser sollte eigentlich nicht die Chance haben das Serverlog zu manipulieren.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.
Top

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

Ich habe lediglich im Script gesehen das es versucht die Logfiles zu Manipulieren, laut meiner Konfiguration sollte der Webuser aber nur rechte im eigenen Verzeichnis (htdocs) haben.
Top

jan10001
Anbieter
Posts: 720
Joined: 2004-01-02 12:17

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by jan10001 »

Kann es sein das die Scripte mit den Rechten des Apache laufen? Wenn ja könnte er eine Lücke im Apache ausgenutzt haben, bzw. in deiner Konfiguration ausgenutzt haben.
Last edited by jan10001 on 2013-08-26 11:48, edited 2 times in total.
Top

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

Das Script ist definitiv von einem Deutsch geschrieben. Kommentare und andere dinge sind auf Deutsch
Top

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

jan10001 wrote:Kann es sein das die Scripte mit den Rechten des Apache laufen? Wenn ja könnte er eine Lücke im Apache ausgenutzt haben, bzw. in deiner Konfiguration ausgenutzt haben.


Das Script läuft als webuser
Top

User avatar
Joe User
Project Manager
Project Manager
Posts: 11518
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by Joe User »

Kannst Du mir das Script mal per PN zuschicken, vielleicht finde ich noch einen weiteren Anhaltspunkt?

Auf jeden Fall solltest Du und/oder Deine "Kunden" sämtliche WebApps und Plugins auf den aktuellsten Stand bringen.
Zusätzlich das gesamte System vom Rescuesystem aus auf Schadcode scannen (clamav und rkhunter sind dafür aber nicht geeignet). Wobei es eigentlich so gar sinnvoller ist, das System komplett neu aufzusetzen, da man sich auch auf den besten Scannern nicht verlassen kann.
Beim Neuaufsetzen auch gleich alle Konfigurationen nochmals auf etwaige Fehler und neue/zusätzliche Sicherheitsoptionen prüfen und von vornherein alle nicht zwingend benötigten Pakete deinstallieren. Neue Passwörter für alle Accounts sind ebenso obligatorisch, wie die Prüfung der individuellen Zugriffsrechte.

Ist leider eine Menge Arbeit, aber nur so kannst Du einen halbwegs sicheren Betrieb sicherstellen.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Top

ddm3ve
Moderator
Moderator
Posts: 1114
Joined: 2011-07-04 10:56

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by ddm3ve »

Um lediglich das Filesystem zu prüfen sollte es meines erachtens ausreichen im Rettungsystem zu botten und eine Image mit dd zu erstellen und dies auf einem neutralen System ein mounten und den gängigen Tools prüfen.
Zumindest lässt sich weitestgehend eine Maniulation der Analysetools und Systems ausschliessen.
Wenn sich aber Schadcode in den Speicher befindet, ist dieser so nicht ermittelbar.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.
Top

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

Habe nochmal alles geprüft, es ist nichts weiter infiziert.
Habe das gesamte System mit dem F-Secure gescannt welches eigentlich alles finden sollte. Ich vermute das es im Joomla Filemanager eine Schwachstelle gab die den Zugriff gestattet hat.
Werde die Logfiles aber im Auge behalten
Top

User avatar
Joe User
Project Manager
Project Manager
Posts: 11518
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by Joe User »

Das Script lädt unter Anderem Kernel-Exploits nach, daher kannst Du dem laufenden System in keinster Weise mehr vertrauen und kommst somit um einen kompletten Reinstall nicht vorbei. Auch werden sämtliche Useraccounts/Passwörter (inklusive Datenbanknutzer) abgegriffen und alle relevanten Systeminfos für weitere Exploits/Angriffe ausgewertet. Alle Daten werden zudem vom Angreifer downgeloaded und weiterverarbeitet (z.B. Passwortknacker) und/oder weiterverkauft.

Das Teil ist zwar primitiv zusammengeschustert, öffnet dem Angreifer aber alle notwendigen Türen zum System.

Nochmal: Ein Reinstall ist (leider) unvermeidlich. Sorry.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Top

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

So der Server ist nun neu aufgesetzt.

Kannst Du mir eine gute Datensicherungslösung vorschlagen? Derzeit mache ich es mit einem RSYNC Script auf meinen Firmenserver, allerdings zerhaut es mir da irgendwie die Ordnerstruktur.
Möchte lediglich die geänderten Daten übertragen. Ich habe mir ein Vorarbeitsskritp erstell, welches für jede Datenbank ein Dump fährt und dieses in einen Ordner in den Sync Order packt. Das gleiche mache ich mit mit dem Webordner eines jeden Kunden. Diese werden dann per RSYNC übertragen. Allerdings sieht die Ordnerstruktur auf dem Firmenserver ziemlich zerschossen aus (zig mal der gleiche Ordner mit ähnlichen Namen).

Auch würde es mich interessieren wie ich den Server noch weiter absichern kann. Habe nun noch maldet (im Monitor Modus und als Cron Job) am laufen. Auch habe ich weitere mod_security Rules installiert.
Top

ddm3ve
Moderator
Moderator
Posts: 1114
Joined: 2011-07-04 10:56

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by ddm3ve »

Backup / Recovery:

duplicity
bacula
reoback

Es gibt unterschiedliche aber gute Lösungen.

Bezüglich Absicherung.

-> Einfallstor entfernen falls nicht geschehen. Wird gerne vergessen oder ignoriert. In dem Fall wohl die Jommla Installation und alle anderen mit dem gleichen Versionlevel raus werfen oder selber so patchen, dass das Problem nicht mehr auftreten kann.
In dem Fall würde ich fürs Entsorgen tendieren.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.
Top

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

Hey danke für Deine Info.

Also die alten joomla Versionen sind gesperrt.

Wegen der Backup Systeme bin ich mir noch nicht sicher:

Reoback scheint nicht mehr gepflegt zu werden (letzte Version von 2006)
duplicity (bin mir nicht sicher ob es wirklich so arbeitet wie ich es benötige)
bacula macht auf mich den professionellsten Eindruck, allerdings habe ich Sicherheitsdenken da ich wohl einen Port öffnen muss und somit ein Einfallstor aufmache. Ich weis nicht wie sicher die Software ist. Ich würde gerne die Kataloge und Sicherungen über das Inet auf meinen lokalen Server fahren. Dazu muss der Client (Webserver) über das Inet erreichbar sein.
Top

ddm3ve
Moderator
Moderator
Posts: 1114
Joined: 2011-07-04 10:56

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by ddm3ve »

Reoback ist zwar "Stein alt" aber es funktioniert zuverlässig, macht aber von Haus aus eine Inkrementelle Sicherung.

Zum Rest musst Du elbst entscheiden es gibt noch bedeutend mehr an Lösungen.
Was ist Deine Anforderung daran?
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.
Top

gpeter73
Posts: 10
Joined: 2013-08-26 09:25

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by gpeter73 »

Grundanforderung ist halt die Daten der Kunden (htdocs/Mysql/emails) vom Webserver auf meinem Firmenserver zu sichern.

Ideale Optionen:
- regelmäßige Sicherung (Rotation, 1 x pro Woche voll, rest Inkrementell) unter Beibehaltung der letzten x Sicherungen (um auch mal einen alten Stand zu haben)
- automatische Dump Generierung für jede Datenbank des MySQL
- Info per Email über jede Sicherung (Erfolg oder Fehler)
- Erstellung von Archiven vor Übertragung (bz2, zip oder RAR)
Top

ddm3ve
Moderator
Moderator
Posts: 1114
Joined: 2011-07-04 10:56

Re: Massenmailversender unter eigenen Kunden aufspüren

Post by ddm3ve »

Bis auf die Datenbank kann das reoback.

Und um die Datenbank zu sichern habe ich ein simples Dump Script eingebunden, welches vorher ausgeführt wird.

Code: Select all

for i in `echo show databases  | /usr/bin/mysql -h $dbhost -u $dbuser -p"$dbpasswd" -N |grep -v -e information_schema`;  
do
   echo Dumping DB $i;
   START=`date +%s` ;
   /usr/bin/mysqldump -h $dbhost -u $dbuser -p"$dbpasswd" --database $i >/BACKUP/database/$i.dump ;   
   STOP=`date +%s`;
   echo Duration of Backup `/usr/bin/expr $STOP - $START ` Seconds; done


Der Backup Ordner wird natürlich auch von reoback gesichert.
-> Du solltest Dir wegen der Datenkonsistenz überlegen ob Du eine DB Lock erzwingst.

Abhängig von der DB engine gibt es auch besser sicherungsmöglichkeiten.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.
Top