Autmatisiertes verschlüsseltes Backup

Backup, Restore und Transfer von Daten
Post Reply
captaincrunch
Userprojekt
Userprojekt
Posts: 7066
Joined: 2002-10-09 14:30
Location: Dorsten
Contact:
 

Autmatisiertes verschlüsseltes Backup

Post by captaincrunch »

Gerade eben "gefunden":

http://www.shawnscott.net/esr/
ESR Backup has the following features
Simple and easy to configure
Automatic 2 Week File Rotation Management
Remote Storage via FTP
Local File Storage
Encryption with 448 bit Keys
Completely FREE to use
Vielleicht interessiert's ja den einen oder anderen. Falls mich jetzt jemand nach Erfahrungen damit fragen sollte: ich habe keine, sondern dachte nur, dass es vielleicht interessant sein könnte. ;)
DebianHowTo
echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc
suntzu
Posts: 669
Joined: 2002-12-20 19:47
Location: Mönchengladbach
Contact:
 

Re: Autmatisiertes verschlüsseltes Backup

Post by suntzu »

Hört sich ja interessant an. Wenn mir jetzt noch jemand so 10 GB Backupsspace "schenkt" probier ich es aus *gg*

Gruß,
Dominik
lufthansen
Posts: 390
Joined: 2002-09-24 17:31
Location: NRW
 

Re: Autmatisiertes verschlüsseltes Backup

Post by lufthansen »

hat das mal jemand getestet ?
dts
Posts: 290
Joined: 2004-02-05 20:40
 

Re: Autmatisiertes verschlüsseltes Backup

Post by dts »

Ich werde mich mal über die Tests wagen und dann berichten...

Bis dahin,
Lg, DtS
crivi
Posts: 104
Joined: 2004-01-27 08:47
Location: Uzwil, Schweiz
Contact:
 

Re: Autmatisiertes verschlüsseltes Backup

Post by crivi »

Hallo zusammen

Ich habe diese Backuplösung momentan auch im Einsatz.

ich muss sagen, läuft einwandfrei.

Ich selber verwende es um ein Backup über FTP unverschlüsselt auf einen anderen Server zu kopieren. Und es funktioniert ohne Problem.

Ich kann es nur weiterempfehlen.

Grüsse Raffi
yoshman
Posts: 17
Joined: 2004-04-13 14:23
 

Probleme mit esr-backup

Post by yoshman »

Hi - ich bin dann jetzt auch mal von reoback auf esr umgestiegen und finde es bis jetzt auch iO :)
Ich habe nur ein relativ schweres Problem und zwar werden die Sicherungen ja erst lokal erstellt und dann auf den FTP geschoben, ABER er löscht die lokalen Dateien nicht so das der Space langsam voll läuft... :(
Hat jemand ne Idee oder einen Tipp???

Regards Steffen Jeschke
cheops
Posts: 8
Joined: 2002-12-01 15:54
 

Re: Probleme mit esr-backup

Post by cheops »

Yoshman wrote:Ich habe nur ein relativ schweres Problem und zwar werden die Sicherungen ja erst lokal erstellt und dann auf den FTP geschoben, ABER er löscht die lokalen Dateien nicht so das der Space langsam voll läuft... :(
Hat jemand ne Idee oder einen Tipp???
Ich habe das Problem schon vor ziemlich genau 4 Wochen dem Entwickler geschildert aber dazu leider keine Antwort mehr bekommen. Das Problem liegt darin, dass das Perl Script die temporären Dateien zwar bei einem Abbruch des Backups komplett löscht aber bei einem erfolgreichen Backup nur die Liste der gesicherten Dateien.
Naja, also habe ich mich mal auf die Suche gemacht und 2 Lösungen gefunden:
1. Inhalt des tmp Verzeichnisses durch das run_esr.sh Script nach dem Backup löschen lassen.
2. esr-backup.pl modifizieren

Der Haken liegt in der Subroutine cleanup (esr-backup.pl ab Zeile 190)

Code: Select all

sub cleanup {
        print LOG localtime() . " Cleaning up temporary filesn" if $loglvl > 2;
        move("$tmp_dir/flist$alabel.tmp", "$pwd/data/flist$alabel.dat") || warn "WARNING :: cannot move file $tmp_dir/flist$alabel.tmp to $pwd/data/flist$alabel.dat :: $!n";
        unlink("$tmp_dir/curbak.tmp") || warn "WARNING :: cannot remove $tmp_dir/curbak.tmp :: $!n";
        print LOG "----------- ESR Backup End -----------nn" if $loglvl > 1;
        close(LOG) if $loglvl > 1;
}
Da wird zwar die Datei curbak.tmp (IMHO ist das die Fileliste der zu sichernden Dateien) gelöscht aber alles andere bleibt liegen. Hier wurde einfach die Anweisung vergessen alle Dateien in tmp zu löschen, wie es in den SIG-Handler Subroutinen zu finden ist.
Modifiziert sieht die Subroutine dann so aus

Code: Select all

sub cleanup {
        print LOG localtime() . " Cleaning up temporary filesn" if $loglvl > 2;
        move("$tmp_dir/flist$alabel.tmp", "$pwd/data/flist$alabel.dat") || warn "WARNING :: cannot move file $tmp_dir/flist$alabel.tmp to $pwd/data/flist$alabel.dat :: $!n";
        opendir (CLEAN, "$tmp_dir") || print LOG localtime() . " ERROR :: could not open $tmp_dirn";
        my @cleanup = grep(!/^..?$/i,readdir(CLEAN));
                foreach (@cleanup) {
                        unlink("$tmp_dir/$_") || warn "WARNING :: Cannot remove temporary file $tmp_dir/$_n";
                }
        print LOG "----------- ESR Backup End -----------nn" if $loglvl > 1;
        close(LOG) if $loglvl > 1;
}
Mit dieser kleinen Ã?nderung räumt das Backup bei mir auch das tmp Verzeichnis auf.

Gruß
Martin
redhat99
Posts: 112
Joined: 2003-02-17 12:58
Location: Meckenheim
 

Re: Autmatisiertes verschlüsseltes Backup

Post by redhat99 »

Hallo,

ich habe den Beitrag gelesen, und das Tool auf 2 Servern getestet (ohne Verschlüssellung). Dabei sind mir einige Bugs aufgefallen, bzw. Sachen die man verändern kann.

Erstmal ist das Tool wirklich zu gebrauchen und leistet gute Arbeit.

Was mir aufgefallen ist:

Das Tool bricht bei Verzeichnissen die ++ enthalten ab. Bei mir waren es auf 2 Systemen die Compillerverzeichnisse G++ und zwar mit solchen Meldungen:
The following errors and warnings were generated during the backup Nested quantifiers in regex; marked by <-- HERE in m/^/usr/include/g++ <-- HERE $/ at ./esr-backup.pl line 304. BACKUP DID NOT COMPLETE
Das war ein SUSE-System, bei Debian genauso. Denke er kommt da mit den Pfadangaben nicht zu Recht, da er ja zum konfigurieren auch "++" benutzt um zu sichernde Pfade einzustellen. [Mein Verdacht :-) ]

Die einzige Lösung ist solche Pfade, leider komplett rauszunehmen, also Bsp.:

--/usr/include
--/usr/share/doc

Dann habe ich auf einem der beiden Testrechner ein Mailsystem unter Qmail laufen, und erhielt 1 Mal den Fehler, das er die Datei nicht tarren kann, weil Sie weg ist (abgeholt)

Ich habe das mit folgender Ã?nderung in esr-backup.pl "gefixt":
open TAR, "$tar_path -$tar_cmd $tmp_dir/$filename -T$tmp_dir/curbak.tmp 2>&1|";

in

open TAR, "$tar_path -$tar_cmd $tmp_dir/$filename --ignore-failed-read -T$tmp_dir/curbak.tmp 2>&1|";

ändern.
Und noch 1 Sache, wenn man die Emailbenachrichtigung benutzt und mehrere Systeme hat, kann man die Mails nicht zuordnen. Am besten man schreibt da in der esr-backup.pl in der Funktion mail_send() den Servernamen in den Betreff.

Es ist natürlich klar, beim update gehen diese Sachen verloren, aber ich denke diese Bugs sind dann behoben.

Ich werde jedenfalls dem Entwickler eine Mail mit meinen Schilderungen schicken. Aber an sonsten läuft die Sache ganz gut.

Jemand noch andere Ansätze oder Erfahrungen?


Grüsse Mario

Edit:

@Cheops

Ich habe auch die Ã?nderungen gemacht die Du (Martin) geschildert hast, und das funktioniert ohne Probleme, danke dafür!
yoshman
Posts: 17
Joined: 2004-04-13 14:23
 

Re: Autmatisiertes verschlüsseltes Backup

Post by yoshman »

@all Ich wusste doch das ich irgendwo schon mal diese Frage gestellt hatte :)

Habe jetzt auch mal die .pl modifiziert und warte dann gespannt auf morgen frueh und ob sich diese Ã?nderungen postitiv auswirken werden :) ABER ich gehe ganz stark davon aus...

Nun habe ich aber noch ein anderes Problem, ABER auch dafuer habt ihr bestimmt eine Lösung :)
Und zwar habe ich im log File von ESR immer dann wenn ein Rotation stattfinden soll folgende Fehlermeldungen --> "ERROR :: moving remote file current-week/*.tar.gz :: RNFR command failed"
Es klappt also irgendwie die Rotation auf dem FTP Backupspace nicht, nur habe ich absolut keinen Schimmer wieso nicht :( Any ideas?

MfG Steffen Jeschke
cheops
Posts: 8
Joined: 2002-12-01 15:54
 

Re: Autmatisiertes verschlüsseltes Backup

Post by cheops »

Yoshman wrote:Nun habe ich aber noch ein anderes Problem, ABER auch dafuer habt ihr bestimmt eine Lösung :)
Und zwar habe ich im log File von ESR immer dann wenn ein Rotation stattfinden soll folgende Fehlermeldungen --> "ERROR :: moving remote file current-week/*.tar.gz :: RNFR command failed"
Es klappt also irgendwie die Rotation auf dem FTP Backupspace nicht, nur habe ich absolut keinen Schimmer wieso nicht :( Any ideas?
Ist die von dir gepostete Fehlermeldung orginal aus deinem Logfile oder hast du den * nur als Hinweis reingepackt das der Fehler für alle Files auftritt?

Ich denke aber das ich den "Käfer" gefunden haben. Im mitgelieferten Rotate.pm wird das Array mit den Dateinamen "falsch" behandelt. Wenn ich heute Abend noch Zeit finde bastel ich noch nen Workaround.

Btw ist die Rotatefunktion mit meinem hingepfuschten "multiplen Backupfile Hack" (siehe ander ESR-Thread ) nicht kompatibel.

Gruß
Martin
cheops
Posts: 8
Joined: 2002-12-01 15:54
 

Re: Autmatisiertes verschlüsseltes Backup

Post by cheops »

Das war doch eine etwas grössere Baustelle :wink:
Bei mir lagen auch zig Dateien in current-week die da eigentlich nichts mehr verloren hatten...jaja, solange man das Backup nicht braucht schaut mannicht nach.
Bei mir gabs z.B. folgende Fehlermeldung

Code: Select all

Mon Nov 29 18:12:27 2004 ERROR :: moving remote file current-week/Monday-11-29-2004-0609-Full-ETC.tar.gz ::current-week/current-week
/Monday-11-29-2004-0609-Full-ETC.tar.gz: No such file or directory
Alle Ã?nderungen sind auf eigene Gefahr durchzuführen 8)

Kurzer Background:
Für das Rotate wird eine Dateiliste der Verzeichnisse current-week und last-week erstellt. Das Ergebnis wird in ein Array geladen und direkt mit einem rename weiterverarbeitet. Das ergibt dann so schöne FTP-Kommandos wie z.B.

Code: Select all

rename current-week/Sunday-11-28-2004-0600AM-Full.tar.gz current-week/current-week/Sunday-11-28-2004-0600AM-Full.tar.gz
Da musste also erstmal der Pfad raus.
Dann wurde noch . und .. renamed was als Ergbnis das Löschen des current-weekVerzeichnisses zur Folge hatte.

Lange Rede kurzer Sinn. Hier meine Ã?nderung an $ESRDIR/lib/Rotate.pm (nicht schön aber selten :-D )
Ab "sub rotate_ftp {" alles bis zum Dateiende durch die folgenden Zeilen ersetzen

Code: Select all

sub rotate_ftp {
        my ($self) = shift;
        my ($remote_dir,$ftp,$alabel) = @_;
                if ($remote_dir) {
                        $ftp->cwd("$remote_dir") || return " ERROR :: can not change working directory ", $ftp->message;
                }

        my @lastfiles = $ftp->ls("last-week");
        #Rotate the last full backup 
        
        foreach (@lastfiles) {
                if ($_ =~ /last-week//) {
                        s/last-week///gi;
                }
                if ($_ =~ /Sunday.+-Full.+$alabel.+/) {
                        warn " ERROR :: moving remote file $_ ::" , $ftp->message if  ! $ftp->rename("last-week/$_","weekly-archive/$_");
                }
                else {
                        if ( (! $_ == /./) || (! $_ == /../) ) {
                                warn " ERROR :: removing remote file $_ ::" , $ftp->message if  !       $ftp->delete("last-week/$_");
                        }
                }
        }
        @lastfiles = ();
        
        #Move all the files from the current week directory to the last-week directory
        my @curfiles = $ftp->ls("current-week");

        foreach (@curfiles) {
                if ($_ =~ /current-week//) {
                        s/current-week///gi;
                }
                if ( ((! $_ == /./) || (! $_ ==/../)) && ($_ =~ /.+$alabel.+/) ) {
                        warn " ERROR :: moving remote file $_ ::" , $ftp->message if  ! $ftp->rename("current-week/$_","last-week/$_");
                }
        }
return('ok');
}
In $ESRDIR/esr-backup.pl Zeile 162 ändern in

Code: Select all

my $result = $f->rotate_ftp($ftp_cwd,$ftp,$alabel);
Diese Ã?nderungen berücksichtigen auch meine Ã?nderung bezüglich des "Ich-will-separate-Backupfiles-Hacks" aus dem Thread http://www.rootforum.org/forum/viewtopic.php?p=202840
Wenn Du die dort beschriebenen Ã?nderungen nicht benötigst, kannst Du dir hier das Ã?ndern der esr-backup.pl schenken und in der Rotate.pm jeweils den String "$alabel","$alabel.+" und "&& ($_ =~ /.+$alabel.+/)" entfernen.

Ich habe die Ã?nderungen nur rudimentär auf einem Strato Rooti getestet. Mit einem absoluten Pfad als FTP_CWD in der esr-backup.cfg (das nächste Problem taucht auf, wenn man dort einen relativen Pfad angibt :wink: ) Ich habe mir ebenfalls nicht angeschaut wie sich das Script verhält wenn man das lokale Backup nutzt.
Ich hoffe, das löst auch dein Problem mit dem Rotate und ich glaube meine morgige Mail an den Entwickler wird etwas länger.

Gruß
Martin
yoshman
Posts: 17
Joined: 2004-04-13 14:23
 

Re: Autmatisiertes verschlüsseltes Backup

Post by yoshman »

Ich glaube ich sollte regelmäßiger hier reinschauen ODER ABER mich bei Antworten benachrichtigen lassen :)

Auf jeden Fall habe ich gerade deine "Hacks" eingearbeitet und warte nun ganz sehnsuechtig auf den Sonntag und die dann hoffentlich erfolgreiche Rotation auf dem Server :)

Was mir in dem Zusammenhang noch aufgefallen ist, das auf dem FTP kein BackupFile größer ist als 2048MB!? Ist das dann trotzdem ein vollständiges Backup und er zeigt mir nur nicht die korrekte Größe an?
tanami
Posts: 39
Joined: 2005-06-06 09:59
 

ESR Backup

Post by tanami »

Hat jemals jemand den rstore erfolgreich ausgeführt ??
Habe es gerade getetset und habe mir den ganzen rooti damit zerschossen jetzt geht nix mehr :-(
tanami
Posts: 39
Joined: 2005-06-06 09:59
 

ESR Backup

Post by tanami »

Hallo weiss von Euch jemand warum ich die Files trotzdem im ESR Backup habe ? Normalerweise sollte die Inhalte von home/backup_new und home/backup nicht mir ins Backup, aber trotzdem sind diese dort enthalten ...während dem Backup legt ESR die curbak.tmp und die flist ...tmp and dort tauchen dann auch die tmp tar.gz files des backups auf, so das diese wohl mit im ganzen backup sind, also backup im backup :-(
  • -rw-r--r-- 1 root root 1005453312 Jul 3 16:53 Sunday-7-3-2005--Full-Server12.com.tar.gz
    -rw-r--r-- 1 root root 2187511 Jul 3 16:50 curbak.tmp
    -rw-r--r-- 1 root root 3246101 Jul 3 16:50 flistServer12.com.tmp
    -rw-r--r-- 1 root root 1005453312 Jul 3 16:53 Sunday-7-3-2005--Full-Server12.com.tar.gz
    -rw-r--r-- 1 root root 2187511 Jul 3 16:50 curbak.tmp
    -rw-r--r-- 1 root root 3246101 Jul 3 16:50 flistServer12.com.tmp
    r543434:/home/backup_new # more curbak.tmp |grep Sunday-7*
    r543434:/home/backup_new # more flistServer12.com.tmp |grep Sunday-7*
    r543434:/home/backup_new # more flistServer12.com.tmp |grep Sunday-7*
    r543434:/home/backup_new # more curbak.tmp |grep Sunday-7*
    begin 644 /home/backup_new/Sunday-7-3-2005--Full-Server12.com.tar.gz
    r543434:/home/backup_new # more flistServer12.com.tmp |grep Sunday-7*
    begin 644 /home/backup_new/Sunday-7-3-2005--Full-Server12.com.tar.gz
    r543434:/home/backup_new #:/home/backup_new # more curbak.tmp |grep Sunday-7*
    r543434:/home/backup_new # more flistServer12.com.tmp |grep Sunday-7*
    r543434:/home/backup_new # more flistServer12.com.tmp |grep Sunday-7*
    r543434:/home/backup_new # more curbak.tmp |grep Sunday-7*
    begin 644 /home/backup_new/Sunday-7-3-2005--Full-Server12.com.tar.gz
    r543434:/home/backup_new # more flistServer12.com.tmp |grep Sunday-7*
    begin 644 /home/backup_new/Sunday-7-3-2005--Full-Server12.com.tar.gz
    r543434:/home/backup_new
    #
Diese Files habe ich in die file-list.cfg eingetragen:

++/home
--/home/backup_new/
--/home/backup/
++/root
++/etc
++/srv
++/var
--/var/lib/mysql/Server5-3ss032
++/bin


==> PS. geht auch nicht wenn ich --/home/backup_new setze
Wäre Super es könnte mir da jemand helfen oder vielleicht habt ihr ja auch das Problem das ESR das TMP Verzeichnis trotzdem mit ins Backup nimmt, obwohl es -- also Skipppen sollte ....

Gruss Joerg
Anonymous
 

Re: ESR Backup

Post by Anonymous »

Das Problem hatte ich auch!
tanami wrote:
++/home
--/home/backup_new/
--/home/backup/
++/root
++/etc
++/srv
++/var
--/var/lib/mysql/Server5-3ss032
++/bin
Nimm die Slashes am End weg. Dann klappt es auch mit dem Ausschließen von Dateien...

Code: Select all

++/home
--/home/backup_new
--/home/backup
++/root
++/etc
++/srv
++/var
--/var/lib/mysql/Server5-3ss032
++/bin
/keo
tanami
Posts: 39
Joined: 2005-06-06 09:59
 

esr

Post by tanami »

ja das hatte ich bereits geschrieben, habe ich auch gedacht, hat aber nix gebracht ...
heart
Posts: 8
Joined: 2004-10-29 09:11
 

Re: Autmatisiertes verschlüsseltes Backup

Post by heart »

Cheops wrote:Das war doch eine etwas grössere Baustelle :wink:
Bei mir lagen auch zig Dateien in current-week die da eigentlich nichts mehr verloren hatten...jaja, solange man das Backup nicht braucht schaut mannicht nach.
Bei mir gabs z.B. folgende Fehlermeldung

Code: Select all

Mon Nov 29 18:12:27 2004 ERROR :: moving remote file current-week/Monday-11-29-2004-0609-Full-ETC.tar.gz ::current-week/current-week
/Monday-11-29-2004-0609-Full-ETC.tar.gz: No such file or directory
Habe genau das gleiche Problem (ESR Version 0.98b)!

Hat sich nach deiner Mail an den Programmierer was ergeben?

Ich werde Deine Ã?nderung an der Rotate.pm mal testen, ob diese Abhilfe schaffen!
termi11
Posts: 34
Joined: 2004-05-10 10:07
Location: Luxemburg
 

Re: Autmatisiertes verschlüsseltes Backup

Post by termi11 »

Hallo,

also ESR läuft jetzt super. Hab einige Aenderungen gemacht, alles ok.
Nur werden im end .tgz file alle Dateien 2fach gesaved. Im Midnight commander sehe ich auch alle Dateien doppelt (nur files, keine directories!)
Wenn ich die tar files entpacke, sind natürlich die Dateien nur 1* da (ist ja klar! :-)

Im /var/tmp/curbak.tmp sind die Dateien nur 1* eingetragen!

Wo könnt hier das Problem sein ?

Besten Dank !!

Problem gelöst! esrbackup hat in der filelist Datei irgendetwas durcheinander geworfen, und 2* die Zeile ausgelesen.
irrertrucker
Posts: 8
Joined: 2005-10-19 08:09
 

ESR

Post by irrertrucker »

Hallo zuusammen,
ich hab das Teil auch mal installiert und es Läuft soweit.

na zu Teil zumindest

Ich krieg immer ne Fehlermeldung
BACKUP DID NOT COMPLETE :: ERROR :: moving local file '/home/backup/Saturday-5-27-2006--Incremental-.tar.gz' ::No space left on device
Besagt die jetzt das mein Backupspace voll ist oder das tmp verzeichnis nicht ausreicht.
Ich hab nen Backupspace von 1&1 80 GB sollte also ausreichen.
und noch ne Frage wie krieg ich den Backupspace leer?

Grüße

Thomas

Nachtrag fehler gefunden hab bei LOCAL_STORAGE = 0 ne 1 drin und den Pfad leer gelassen und da kanndas nicht hinhauen
Post Reply