[Spamcheck] Infomail über den Inhalt des Spamordners

[Roger Wilco]

Insbesondere interessiert mich hierbei das Auslesen des Spam-Ordners und Generieren der Spamreport-Email das bei Cyrus Imapd ja anders funktionieren muss, als mit dem MailDir-basierten Courier-Imapd.

Nein, das Mailbox-Format von Cyrus IMAP ist zwar nicht Maildir oder Maildir+, aber hinreichend ähnlich (sprich: eine Datei pro Mail).

[chhaas]

Insbesondere interessiert mich hierbei das Auslesen des Spam-Ordners und Generieren der Spamreport-Email das bei Cyrus Imapd ja anders funktionieren muss, als mit dem MailDir-basierten Courier-Imapd.

Nein, das Mailbox-Format von Cyrus IMAP ist zwar nicht Maildir oder Maildir+, aber hinreichend ähnlich (sprich: eine Datei pro Mail).

OK - das habe ich verstanden! Da ich leider jedoch vom programmieren in Perl so gut wie nichts verstehe, kann ich das leider nicht selbst anpassen - zumal Cyrus ja via lmtp an Postfix angebunden ist und nicht wie im Original-Skript via Procmail.

Hallo,

Ich bn gerade dabei, meine Lösung von Cyrus 1.6 auf Cyrus 2.1 umzuschreiben - ich poste dann hier was dazu.

flo.

hat hier nun schon jemand Spamcheck auf Postfix mit Cyrus Imapd (ohne Procmail, sondern direkt via lmtp) angepasst und kann seine Loesung posten?

Insbesondere interessiert mich hierbei das Auslesen des Spam-Ordners und Generieren der Spamreport-Email das bei Cyrus Imapd ja anders funktionieren muss, als mit dem MailDir-basierten Courier-Imapd.

Vielen Dank und schoene Ostern wuenscht
chhaas.

Aus diesem Grund (oder besser gesagt: wegen meiner eigenen Unfaehigkeit das Skript anzupassen) hatte ich ja auch gefragt, ob jemand die Kombination aus Cyrus der via lmtp an Postfix angebunden ist, ohne Procmail mit Spamcheck am laufen hat und seine dafuer angepasste Version posten kann. Ich denke (und hoffe ;-)), dass diese Kombination nicht zu ungewoehnlich ist und sich meiner erbarmt ...

TIA
chhaas

[Roger Wilco]

OK - das habe ich verstanden! Da ich leider jedoch vom programmieren in Perl so gut wie nichts verstehe, kann ich das leider nicht selbst anpassen

Probier es doch einfach mal aus. Es ist gar nicht schwer. Du musst ja nur die Pfade anpassen, so dass der Mail Spool von Cyrus IMAP benutzt wird.

Aus diesem Grund (oder besser gesagt: wegen meiner eigenen Unfaehigkeit das Skript anzupassen) hatte ich ja auch gefragt, ob jemand die Kombination aus Cyrus der via lmtp an Postfix angebunden ist, ohne Procmail mit Spamcheck am laufen hat und seine dafuer angepasste Version posten kann.

Procmail wird in dem Setup soweit ich sehe nur für die Sortierung der als Spam markierten Mails in einen gesonderten Ordner verwendet. Dafür kannst du bei Cyrus IMAP den Sieve-Filter benutzen. Der Rest dürfte, bis auf die oben erwähnten Pfade, identisch sein.

Und nein, ich setze das Skript nicht ein. ;)

[flo]

Einfache Sache, warum es da bei mir nicht weiterging - ich habe aufgrund der Filterungs-Gesetzgebung den Spamordner abgeschafft, gleichzeitig damit endlich auf lmtp umstellen können - mehr poste ich heute abend.

[chhaas]

Hallo,

OK die Einsortierung der Spam-Mails in den Spam-Ordner bekomme ich

Der Rest dürfte, bis auf die oben erwähnten Pfade, identisch sein.

leider verhaelt es sich mit dem Rest nicht ganz so einfach

Ich habe es z.B. immer noch nicht geschafft die Perl-Skripte "listmaildir" und "checkmaildir" den Erfordernissen eines Cyrus IMAPd anzupassen.

TIA
chhaas

[flo]

Also, mal meine Version - lief auch ganz gut, ist aber wie gesagt noch auf Cyrus 1.6, d.h. Pfade anpassen, testen usw. ist erforderlich:

Code: Select all

#!/bin/bash

#### set -o verbose
#
# INIT Variables
#
DATESTRING=`date +"%Y%m%d%H%M"`
DATEHUMAN=`date +"%d.%m.%Y"`
TIMEHUMAN=`date +"%H:%M"`
TMPDIR=`mktemp -d /tmp/spam.$DATESTRING.XXXXXX` || exit 1
USERFOLDERS=`ls -1d /var/spool/cyrus/mail/user/web*`
LASTRUNFILE="/tmp/spam_lastrun"
MAILSUBJECT1=" neue Mail im SPAM-Ordner"
MAILSUBJECT2=" neue Mails im SPAM-Ordner"
MAILHEAD="/root/scripts/generate_spam_report.head"
MAILFOOT="/root/scripts/generate_spam_report.foot"


#
# Set Lastrun Date
#
touch $LASTRUNFILE".new"

#
# remove for recent Mails
#
#LASTRUNFILE="/etc/postfix/dynamicmaps.cf"

if [ -d $TMPDIR ]; then
        for dir in $USERFOLDERS; do
#               echo $dir
                MAILBOX=`echo $dir | awk -F'/' '{print $7}'`
                cd $dir
                if [ -d "SPAM" ]; then
                        i=0
                        j=0
                        o=0
                        PROTOFILE="$TMPDIR/$DATESTRING.$MAILBOX.report"
                        echo "####################################################################" >> $PROTOFILE
                        echo "     Ungelesene Nachrichten in Ihrem SPAM-Ordner:"  >> $PROTOFILE

                        for spam in `find SPAM -cnewer SPAM/cyrus.seen | grep "SPAM/" | grep -v "cyrus." 2> /dev/null`; do
                                i=`expr $i + 1`
                                echo "####################################################################" >> $PROTOFILE
                                echo "Nachricht $i" >> $PROTOFILE
                                echo "" >> $PROTOFILE
                                echo "    "`grep "Subject: " $spam | head -1` >> $PROTOFILE
                                echo "    "`grep "To: " $spam | head -1` >> $PROTOFILE
                                echo "    "`grep "Delivered-To: " $spam | head -1` >> $PROTOFILE
                                echo "    "`grep "From: " $spam | head -1` >> $PROTOFILE
                                echo "    "`grep "Date: " $spam | head -1` >> $PROTOFILE
                                echo "    "`grep "X-Spam-Status: " $spam | awk  '{print "Spamwertung unseres Systems: "$3" / "$5}'` >> $PROTOFILE
#                               echo "    "`grep "Content analysis details:" $spam | awk '{print "Spamwertung: "$4" Punkte, "$6" benoetigt)" }'` >> $PROTOFILE
                                echo "    Nachrichtengroesse: "`ls -lisah $spam | awk '{print $2}'` >> $PROTOFILE
                                echo "    Dateianhaenge:" `grep "Content-Disposition: attachment; filename=" $spam | awk -F '"' '{print $2}' | xargs` >> $PROTOFILE
                                echo "" >> $PROTOFILE
                        done;
                        o=$i

                        echo "" >> $PROTOFILE
                        echo "####################################################################" >> $PROTOFILE
                        echo "Folgende Dateien sind zur Loeschung vorgesehen!"  >> $PROTOFILE
                        for oldspam in `find "SPAM" -mtime +15 | grep "SPAM/" | grep -v "cyrus." 2> /dev/null`; do
                                j=`expr $j + 1`
                                echo "####################################################################" >> $PROTOFILE
                                echo "Nachricht $j" >> $PROTOFILE
                                echo "" >> $PROTOFILE
                                echo "    "`grep "Subject: " $oldspam | head -1` >> $PROTOFILE
                                echo "    "`grep "To: " $oldspam | head -1` >> $PROTOFILE
                                echo "    "`grep "From: " $oldspam | head -1` >> $PROTOFILE
                                echo "    "`grep "Date: " $oldspam | head -1` >> $PROTOFILE
                                echo "    "`grep "X-Spam-Status: " $oldspam | awk  '{print "Spamwertung: "$3" / "$5}'` >> $PROTOFILE
                        done;
                        o=`expr $o + $j`


                        #
                        # Only do this if we have spam ($o > 0)
                        #
                        if [ $o -gt 0 ]; then
                                MAILFILE="$TMPDIR/$MAILBOX.mail"
                                MAILADDR=`grep "$MAILBOX" /etc/postfix/maps/virtual | sed -n '/^@/!p' | head -1 | awk '{print $1}'`
                                if [ $i -gt 1 ]; then
                                        MAILNEWSUBJ="Subject: $i$MAILSUBJECT2 ($DATEHUMAN / $TIMEHUMAN)"
                                else
                                        if [ $i -eq 0 ]; then
                                                MAILNEWSUBJ="Subject: SPAM zur Loeschung ($DATEHUMAN / $TIMEHUMAN)"
                                        else
                                                MAILNEWSUBJ="Subject: $i$MAILSUBJECT1 ($DATEHUMAN / $TIMEHUMAN)"
                                        fi;
                                fi;

                                if [ ! -n "$MAILADDR" ]; then
                                        MAILADDR="info"`grep "$MAILBOX" /etc/postfix/maps/virtual | head -1 | awk '{print $1}'`
                                fi;

                                #
                                # Send Mail to deliquients ...
                                #
                                echo "To: $MAILADDR" >> $MAILFILE
                                echo $MAILNEWSUBJ >> $MAILFILE
                                echo "Return-Path: Ich <info@domain.de>" >> $MAILFILE
                                echo "From: Ich <info@domain.de>" >> $MAILFILE
                                echo "Errors-To: postmaster@domain.de" >> $MAILFILE
                                echo "" >> $MAILFILE
                                echo "" >> $MAILFILE
                                echo "####################################################################" >> $MAILFILE
                                echo "#### Report vom $DATEHUMAN, $TIMEHUMAN                               ####" >> $MAILFILE
                                echo "####################################################################" >> $MAILFILE

                                echo "Would be sending Mail to $MAILADDR"
                                echo "$MAILNEWSUBJ"
                                cat $MAILHEAD $PROTOFILE $MAILFOOT >> $MAILFILE
                                # cat $MAILFILE | sendmail -t -F "Ich <info@domain.de>" -oi
                                # rm $MAILFILE
                        fi;
                fi;
                cd -
        done;

        #
        # Mail me
        #
        MAILFILE="$TMPDIR/root.mail"
        echo "To: privat@meinemail.de" >> $MAILFILE
        echo "Subject: SPAM-Reports ($DATEHUMAN / $TIMEHUMAN)" >> $MAILFILE
        echo "Return-Path: Ich <info@domain.de>" >> $MAILFILE
        echo "From: Ich <info@domain.de>" >> $MAILFILE
        echo "Errors-To: postmaster@domain.de" >> $MAILFILE
        echo "" >> $MAILFILE
        echo "" >> $MAILFILE
        echo "####################################################################" >> $MAILFILE
        echo "#### Report vom $DATEHUMAN, $TIMEHUMAN                               ####" >> $MAILFILE
        echo "####################################################################" >> $MAILFILE
        cat $MAILFILE | sendmail -t -F "Ich <info@domain.de>" -oi

        #
        # Delete TMPDIR and move Lastrunfile to place
        #
        # rm -rf $TMPDIR
        # mv $LASTRUNFILE".new" $LASTRUNFILE
fi;

Die Einlieferung in den jeweiligen SPAM-Ordner geschah damals über procmail und (cyr)deliver, womit man sich natürlich ins Knie schießt, weil Cyrus selber einen Top-Filter mitbringt: sieve - der allerdings braucht die Einlieferung per lmtp.

So, Alter des Scriptes ca. zweieinhalb Jahre - hab damals erst mit bash angefangen. :-)

flo.

[Anonymous]

Hallo zusammen..
Ich bin gerade neu eingetroffen und bin natürlich begeistert von den zahlreichen Tutorials.
Auch dieses Tutorial habe ich umgesetzt und läuft auch exelent.
Ein Problem habe ich aber noch.

Der Spam-Order wird einfach nicht kleiner und die Spams, die älter wie 14 Tage sind, werden nicht gelöscht.
Kann mir vielleicht einer einen Tip geben woran das liegen könnte?

Danke schon mal im voraus

Gruß
TheCry

[Phreakazoid]

das Problem habe ich auch, habe dann einfach "Archivemail" installiert und führe das über Spamcheck aus. So werden die Mails eines bestimmten Ordners gelöscht archiviert etc.

[adjustman]

das Problem habe ich auch, habe dann einfach "Archivemail" installiert

welches OS? Kannst mal mehr sagen?

[Phreakazoid]

Mitlerweile Debian 4.0, vorher 3.1 - Es wurde einfach der Spam ordner nicht mehr geleert. Ansonsten läuft das Script ohne Probleme.

[adjustman]

Ich meinte eigentlich Archivemail.
Ist wie in das Spamcheck-Script eingebunden?

[Phreakazoid]

lol, achso :D

Ich hab in der "check" unten wo die eMail generiert wird das einfach wie folgt eingebaut:

Code: Select all

mailpath="/home/$mailuser/Maildir/.Spam/"
[...]
	echo "created by spamcheck $version"
	 archivemail --delete --days=7 $mailpath
    )|/usr/sbin/sendmail $mailuser
[...]

Der Vorteil dabei ist er zeigt dir in der eMail an wie Groß der Spamordner ist und wie viel er davon gelöscht hat.

[adjustman]

danke :)

[donchulio]

hi :)

hab mich grad mal hingesetzt und auf die schnelle ein Script geschrieben um die Spammails aus dem Amavisd-new Quarantineordner in die Maildir-Konten zu verteilen. Hab grad den Thread überflogen und gesehen, dass es so eine Lösung noch nicht gibt. Also das Script ist ein ansatz für alle die mit virtuellen Konten arbeiten und ein verschieben von Procmail nach $Home/... nicht möglich ist. Funktioniert natürlich auch mit normalen Konten ;)

Das Script arbeitet wunderbar mit syscp, postfix, amavisd-new, spamassassin und courier-imap zusammen (läuft bei mir). Bei Abweichungen muss es unter umständen angepasst werden ;)

Das Script ermittelt aus einem (globalen)Quarantineordner neu eingetroffenen Spam und Virenmails. Ermittelt den Empfänger. Sucht nach dem Quarantineordner im Userkonto und erstellt ihn, falls er nicht existiert. Kopiert die entsprechenden Mails dort rein und passt die Berechtigungen an.
Den Rest übernehmen ja die spamcheck Scripts ;)

Hier ist mal das Script, würd mich freuen wenn man mich auf Fehler hinweist und mir eventuell dabei hilft das Script dynamischer zu gestalten. Ich hoffe es hilft jemandem ;)

Code: Select all

#!/bin/sh
### (C) 09/2007 by Florian Krammel (florian_kr@gmx.de)
### Licence: GPL
### http://www.gnu.de/gpl-ger.html
###
### Dieses Script überprüft den Quarantineordner für Spam und Viren
### nach Emails die älter als eine bestimmte Anzahl an Tagen sind
### und kopiert diese in den Spamordner des EMailkontoinhabers.

### Quarantineordner
qdir="/var/lib/amavis/virusmails"

### der Benutzername und die Gruppe die Zugriff auf die Mail haben soll
d_user="vmail"
d_grp="vmail"

### Mailverzeichnis
uhome="/var/kunden/mail"

### Name des Spamordners im Benutzerverzeichnis
sfolder=".spam"

### Nach Spam suchen der nicht älter als XX Tage ist
check_days="1"

##### wenn $qdir existiert fortfahren andernfalls fehlermeldung ausgeben

if [ -d $qdir ]; then
		
	## prüft ob $sfolder existiert ung legt ihn ggf. an
	## maxdepth und mindepth sind an syscp angepasst
	## /var/kunden/mail/>kunde</>mailkonto<
		
		for i in $(find $uhome/* -maxdepth 1 -mindepth 1 -type d); do
			if [ -d $i/$sfolder ]; then
				echo $i > /dev/null
			else
				/bin/mkdir $i/$sfolder
			fi
			
	### sucht alle Dateien in $qdir die neuer als $check_days sind
	### Ordnet sie durch grep/zgrep einem empfänger zu und kopiert sie mit 
	### entsprechenden Berechtigungen in den Spamordner des Users.
	### Alternativ könnte auch eine textdatei mit den Maildir-Pfaden angelegt
	### werden und diese dann in $copy_dir eingelesen werden....
	# for copy_dir in $(cat mailpfade.txt); do >Anweisungen< done
			
			for e in $(find $qdir/* -ctime -$check_days); do
				
				d=`zgrep ^To: $e`
				benutzer=`echo $d | awk -v FS=":" '{print $2}' | awk -v FS="<" '{print $2}' | awk -v FS=">" '{print $1}'`;
				copy_dir=`find $uhome/* -maxdepth 1 -mindepth 1 -type d | grep $benutzer`
				`/bin/cp $e $copy_dir/$sfolder/new`
	
	###### Berechtigungen die individuell geändert werden könnten/sollten
	## Falls nicht mit virtuellen Adressen gearbeitet wird 
	## muss man den Benutzernamen aus $i mit z. B. awk herausfiltern
		# $d_user=`echo $i | awk -v FS="/" '{print $5}'`
	## $5 steht für die Stelle im Pfad an der der Benutzername steht
	## awk benutzt "/" als Trennzeichen und zählt deshalb die erste 
	## Stelle vor dem "/" somit wäre in diesem Fall der Benutzer
	## an der 5. Stelle.
	## /var/kunden/mail/>benutzer< 
	## nicht vergessen nicht mehr benötigten code auszukommentieren!
				
				`/bin/chown $d_user:$d_grp $copy_dir/$sfolder/new/*`
				`/bin/chmod 640 $copy_dir/$sfolder/new/*`
			done
		
		done
else
	echo "Das Quarantineverzeichnis $qdir konnte nicht gefunden werden"
fi

-----
edit: Fehlerteufel war am Werk *g*

[daemotron]

Dein Skript geht aber davon aus, dass To: im Mailheader auch einen Hinweis auf die tatsächliche Mailbox gibt, in die zugestellt werden soll. Wenn man mit virtuellen Aliasen arbeitet, kommt man da schnell mal in Verlegenheit, weil ggf. die Zustellung an eine Mailbox erfolgen müsste, über die To: nichts aussagt (es sei denn, man will jetzt noch Abfragen auf die Virtuals-Datenbank ins Skript einbauen).

Um das zu umgehen, hab ich mir irgendwann mal selbst einen kleinen Spamverteiler geschrieben. Aufgabe ist ähnlich der oben genannten: Das zentrale Quarantäne-Verzeichnis von amavisd-new leer räumen und die Mails den eigentlichen Empfängern zustellen und ggf. entpacken (falls g-zipped). Dabei wird zwischen Spam- und Virusmails unterschieden; Mails, denen kein Postfach zugeordnet werden kann, werden separat gesammelt. Die muss Admin halt von Hand sortieren (oder das Skript verbessern). Voraussetzungen: die virtuellen Mailboxen sind in einer schematisierten Verzeichnisstruktur abgelegt und im Maildir-Format. Das das Skript aber ein paar Zeilen mehr hat, deshalb hier nur der Link zum runterladen: ftp://ftp.my-universe.com/pub/misc/scripts/smda.sh

[donchulio]

sooo ich hab das script jetzt angepasst aber noch nicht getestet, da sind bestimmt noch paar fehler drin. werd das aber noch nicht posten, weil das mittlererweile 160 Zeilen hat und ja noch nicht getestet ist. Ab Montag lass ich das mal am Server laufen und wenns fertig is versuch ich das irgendwo rauf zu laden und poste dann den link.

was ich verändert hab:

die Mail wird jetzt nach potentiellen empfängern gescannt diese werden dann mit den virtuellen adressen aus einer sql datenbank verglichen und an das entsprechende empfängerkonto verteilt.

@jfreund danke für den tipp. nach dem ich mir ne lösung dafür hab einfallen lassen is mir bei deinem script aufgefallen, dass du nach den emfpänger-flags nur noch die zweite zeile durchsuchst. bei mir wird für jeden empfänger eine extra Zeile angelegt, dann stehen z. B. bei 7 empfängern nach ^To: 7 weitere Zeilen mit einer adresse. ich hab das so gelöst, dass ich alles ab dem Subject wegschneide, die absender adressen wegschneide, dann alles was wie ne mail aussieht rausfilter, doppelte adressen entferne und dann mit der datenbank abgleiche und anschließend die komplette mail wieder zustell. Das Script is dann wie gesagt nächste Woche mal online

schönes WE

[donchulio]

so habs jetzt getestet und bis jetzt funktionierts :D
der einzige hacken, den ich jetzt im nachhinein festgestellt hab is, dass die performance sehr mau ist. Für ca. 300 mails hat das Script jetzt 40 min. gebraucht (Dual PIII 999 MHz). Bei uns kommen täglich ca. 2000 spam mails, dann würd das 4 - 5 std brauchen und das is eigentlich nicht akzeptabel :(
würd mich mal wieder über ein paar hinweise freuen, die die performance verbessern könnten und fehler beheben ;) oder auch, wenn garkein interesse an dem script besteht :D
also ich bastel mal weiter und die aktuelle version gibts dann unter dem link ;)

http://mitglied.lycos.de/florian0285/pu ... ts/cp_spam

[donchulio]

so hab jetzt wieder gebastelt =) hab verdammt lang nach nem fehler gesucht, für den ich mich schlagen könnte *gg*
auf jeden fall is das script jetzt "fertig" und funktioniert für mein vorhaben. da hier kein feedback kommt bastel ich jetzt auch nicht dran weiter.
trozdem will ich es der welt nicht vorenthalten und hab es unter obigem link bereitgestellt ;) vielleicht krieg ich ja mal den "Ultimate super bash programmer award" *lach*

die performance hat sich deutlich verbessert. jetzt braucht es ca. 2 std für ca. 2000 mails bei oben genannten system. vorher waren es 16 std :D
2 std sind zwar nicht ganz ideal aber für uns ausreichend, wer will kann gern dran basteln ;)

mfg
Flo

[schl]

Hallo zusammen,

habe bei mir ein virtuelles System laufen, ähnlich dem Howto auf debianhowto.de. Hat schon jemand einen Weg gefunden, wie dieses Tool auch bei Virtuellen User funktioniert? Vielen Dank für Euer Feedback...

sCHL

[taiwi]

Kann mir irgendeiner sagen, wo ich das Skript her bekomme? Alle Links sind tod.

Ich hoffe das Skript gibt es noch irgendwo !

Vielen Dank...

Ralf

[daemotron]

Mein Link geht noch - das Skript müsste aber mal überarbeitet werden, um einige Unzulänglichkeiten auszubügeln. Da ich mich aber von amavisd-new getrennt habe, ist mein Interesse daran naturgemäß nicht mehr allzu groß. Wer also Lust hat - feel free...

[taiwi]

Und wo ist dein Link... Ich benutze auch kein amavisd-new also hoffe kann das Script noch irgendwo runterladen...

Danke..

Ralf

[daemotron]

Und wo ist dein Link...

Der Link stand in meinem letzten Posting weiter oben. Als besonderer Service hier noch einmal:
ftp://ftp.my-universe.com/pub/misc/scripts/smda.sh

Da der FTP-Server aber Ende des Monats vom Netz geht, hier gleich mal die neue URI
https://svn.my-universe.com/Scripts/tru ... rc/smda.sh

Ich benutze auch kein amavisd-new

Ob Du dann mit dem Script wirklich glücklich wirst, wage ich zu bezweifeln. Es stammt eben aus der Zeit, als ich amavisd-new noch eingesetzt habe. Und wie gesagt hat es die ein oder andere Unzulänglichkeit (z. B. mehrzeilige Header > 2 Zeilen).

[taiwi]

Bekommt man denn noch irgenwo das orginal Skript her? Das originale hat ja ohne amavisd-new gearbeitet soweit ich mich erinnere.

Hoffe irgendjemand hat noch das original herumliegen.

Gruß
Ralf

[Anonymous]

Bekommt man denn noch irgenwo das orginal Skript her? Das originale hat ja ohne amavisd-new gearbeitet soweit ich mich erinnere.

Hoffe irgendjemand hat noch das original herumliegen.

Gruß
Ralf

Jepp, habe ich.

http://www.hostonline.de/media/linux/sp ... urrent.zip