rsync Backup absichern

[r00ty]

Hallo!

Ich bräuchte mal wieder Expertenrat....

Es geht um zwei Fileserver (A und B) (jeweils mit Raid 0), die sich zusätzlich einmal täglich gegenseitig sichern (übers WAN). Das ist bisher mit rsync gelöst und funktioniert einwandfrei.

Allerdings sollten die Daten, die von A auf B gesichert werden, bei B nicht ohne weiteres einlesbar sein.
Ich hatte mir überlegt auf B eine verschlüsselte Partition zu verwenden, damit gewinne ich aber nichts denn root auf B wird ja auf alles zugreifen können.

Gibt es dafür einen sinnvollen Ansatz? Ich verwende rsync, weil ich den Eindruck habe, dass es sehr effektiv ist die Datenmenge gering zu halten - mein DSL Upload ist recht mager.

Schlußendlich bin ich auch nicht an rsync gebunden, falls es da bessere Tools gibt...

Vielen Dank schonmal für die Infos
r00ty

[nyxus]

vielleicht ist rsync dafür die falsche Wahl. Wie wäre es mir ftplicity?
http://www.heise.de/security/Hinter-Sch ... ikel/78816

[daemotron]

Unabhängig mit welchem Protokoll/welchen Tools Du die Daten überträgst - wenn die von A nach B übertragenen Daten selbst für B's root nicht einsehbar sein sollen, musst Du sie vor der Übertragung verschlüsseln. Eine Möglichkeit wäre GPG, aber ich würde mich nach "billigeren" schnelleren Tools umschauen. AESPipe wäre z. B. ganz nett, das müsstest Du recht einfach in die Übertragungskette mit einbinden können (z. B. per find -xargs o. ä.).

[nyxus]

vielleicht ist rsync dafür die falsche Wahl.

Ftplicity baut auch auf dem rsync Algoritmus auf.

ok, ich korrigiere: "Vielleicht ist native rsync die falsche Wahl" ...

[nyxus]

Siehe Beitag von jFreund. Die Übertragung ist irrelevant, die Verschlüsselung macht es aus.

Bei ftplicity bin ich mir aktuell nicht sicher ob es bei der Übertagung gleichwertig optimiert wie rync.
Das wäre mal ein Versuch Wert.

ftplicity verschlüsselt auch, sonst wäre es ja keine Alternative für den OP. Und per Rsync riesige Dateien zu synchronisieren, die sich nur teilweise ändern ist einfach nur eklig. Das habe ich mal gemacht und der Speicherverbrauch ist ins unermessliche gestiegen. Ftplicity ist dort viel ressourcenschonender.

[r00ty]

Hallo, das ftplicity ist echt geschickt - das werd ich für mein Backups vom Rootserver verwenden.

Für mein aktuelles vorhaben habe ich mit jetzt für rsyncrypto
http://rsyncrypto.lingnu.com/index.php/Home_Page
entschieden.

Ich kann es mir einfach nicht erlauben ein Vollbackup zu machen - 300 GB über den DSL upload sind grausam. Mit Rsyncrypto hab ich immer den aktuellen Stand - das ist das wass ich will.

Vielen Dank für die Anregungen und Infos

[nyxus]

-> Also wir nutzen rsync um Daten im TB Bereich im sync zu halten.

Das funktioniert sehrt gut, ftplicity kann mit derartig grossen Dateien auch nicht besser umgehen.
Rsync überträgt schlicht weg nur die Differenz und keline Quersummen und die Diffs zu ermitteln.

Was anderes macht ftplicity auch nicht. Und auch ftplicity kann im nachinein auch nichts anderes tun, als das Quellpacket, Zielpacket und die übertragenen diifs zusammen packen. Der Ram wird dabei kaum belastet, da die existierende Datei auf dem Ziel gecuttet wird, die difss eingefügt werden und das ganze in einer temporären Datei landet.

Nur um sicherzugehen, daß wir von der selben Sache reden. Es geht nicht um die Sychronisierung der Einzeldateien, sondern um die Synchronisierung einer verschlüsselten Archiv-Datei. Wenn man dem Zielsystem schon nicht vertraut, dann möchte man normalerweise, daß der dortige Admin zum einen nicht die Inhalte sehen kann, er aber desweiteren auch nicht weiß *was* ich überhaupt in meinem Backup habe. Und eine dateiweise Verschlüsselung und Synchronisierung der einzelnen Dateien kann sowas nicht zufriedenstellend bieten. Auch nicht, wenn die Dateinamen mitverschlüsselt werden. Der einzige gangbare bzw. sinnvolle Weg ist also eine (oder halt mehrere mehrere, s.u.) Archivdateien anzulegen, diese zu verschlüsseln und dann zu übertragen. Und da die Dateien nicht lokal liegen sollen ist es natürlich schon relevant sich auch über die Übertragung Gedanken zu machen.

Wenn Du Dateien im Terrabyte synchronisieren kannst, ist das zwar schön für Dich. Eventuell hast Du dabei aber auch ganz andere Ressouren. Bei dem Versuch, den ich vor einiger Zeit gemacht habe, hatte ich aber nur einen "typischen" Root-Server. Dank zweier Platten i Quell-Server konnte ich das Backup auf die zweite Platte machen und dort verschlüsseln. Aber mit den 512 MB RAM die ich hatte, habe ich es nicht geschafft die Datei (die war ca. 15 GB) auf einem zweiten Server synchron zu halten. Warum rsync komplett den Speicher und die 1 GB Swap aufgebraucht hat kann ich dabei leider nicht sagen. Ich habe das Backup dann in kleinere Brocken aufgeteilt und damit hat es dann problemlos geklappt. Und das was ich da mühevoll per Hand bzw. mit ein paar Scripten gemacht habe findet sich halt als Komplettlösung und noch viel pfiffiger implementiert in ftplicity.

[nyxus]

Aber wie soll nun ftplicity Speicher im Gegenstatz zu rsync sparen.

keine Ahnung, bei der Menge der Übertragenen Daten ist es ja auch sehr effizient. Ansonsten, s.u.

Aber das Prinzip beruht auf rsync was die Übertragung betrifft.

sicher? Ich meine ftplicity basiert nur auf rsync um *lokal* herauszufinden was sich geändert hat. Die Übertragung der Inkremente läuft dann per ftp.

Du suggeriertest aber, dass die Technologie (rsync Algorytmus) suboptimal sei.

Das kann 'ich so nicht bestätigen.

Ich "suggeriere" einfach nur, daß ich mit "normalem" Rootserver-Equipment eine 15GB-Datei nicht synchron halten konnte; rsync *dafür* also suboptimal wäre. Ich will auf keinen Fall ausschließen, daß ich die falschen RSYNC-Parameter dafür genommen habe, oder rsync auf dem Zielsystem (das ich nicht weiter als oben beschrieben kannte) nicht richtig eingerichtet war; ich weiß es nicht. Vielleicht geht es mit einer neueren Version auch besser als in meiner damaligen Kombination. Meine Erfahrung aus diesem Fehlversuch war einfach, dass rsync *dafür* die falsche Wahl war. Wenn es einfach nur um Gigabytes von mehreren Dateien geht habe ich nichts gegen rsync. Damit mache ich jede Nacht eine Synchronisation meiner privaten Daten auf einen Rechner, der bei meinen Eltern steht. Aber dort übertrage ich halt die Dateien selbst, die allesamt aber maximal ein paar 100 MB groß sind. Das klappt gut und da würde ich nichts anderes empfehlen.

Trotzdem würde mich noch interessieren wie Deine Umgebung aussieht, mit der Du TB-Dateien per rsync synchron hältst. Ich würde ein paar andere Dateien (die etliche GB groß sind) auch gerne wieder damit synchronisieren.