Viele Dateien backupen

[kevink]

Hallo,

Ich habe ein Verzeichnis das 95GB groß ist, sehr viele Dateien enthält (schätze 200.000), und diese wiederrum in ca. 400.000 Verzeichnisen sind.
Jede Datei liegt dabei in einer Ordnertiefe von 4, da die Ordner alle strukturiert sind:
2007/11/24/a/datei

Alleine ein du . -sh braucht bei diesem Verzeichnis über eine halbe Stunde.
Mittels FTP haben wir es in einer Nacht geschafft, gerade mal 7GB auf eine andere Kiste zu schieben, was zu wenig ist.

Was gibt es sonst für Möglichkeiten, über das Internet viele Dateien zu sichern? Bei einem großem tar-package habe ich Angst, das es "kaputt" gehen könnte bei der Übertragung.

Was gibt es sonst noch für Möglichkeiten, riesige Verzeichnisbäume zu sichern/übertragen?

Danke, vielleicht habt ihr eine Lösung. :?

Gruß
Kevin

[daemotron]

Hmm, bei so vielen einzelnen Dateien hast Du immer ein Geschwindigkeitsproblem, wenn Du sie einzeln überträgst. Du könntest mal probieren, wie sich rsync dabei benimmt, aber letztlich wäre wohl tar doch der beste Weg.

Btw. auf was für einem Dateisystem liegen die denn? Wenn ext2/3, ist dir_index aktiviert?

Code: Select all

tune2fs -l /dev/$partition | grep "Filesystem feature"

[kevink]

Puh, ich werde es mal mit tar probieren, und im nachhinein die md5 summe nach dem übertragen vergleichen.

Ich hab ext3
has_journal filetype needs_recovery sparse_super large_file

So wie ich sehe, ist dir_index nicht aktiviert. Was bringt das für Vorteile?

Danke!

Gruß
Kevin

[daemotron]

Einen gewaltigen Geschwindigkeitsschub beim durchsuchen der Verzeichnisstruktur. Vermutlich werden aus Deiner halben Stunde beim df am Ende ein paar Minuten (siehe z. B. http://blog.koehntopp.de/archives/1868- ... erver.html)

Also Partition umounten, tune2fs -O dir_index und dann wieder einhängen.

[juergen]

...Vermutlich werden aus Deiner halben Stunde beim df am Ende ein paar Minuten einhängen.

Vermutlich bringt es in diesem Fall überhaupt nichts ;-)
du liesst rekursiv sequentiell alle Verzeichnisse (genauso wie ein rekursives tar) die zusätzliche Hashtabelle von dir_index bringt nur was bei der Suche!

[Joe User]

Also Partition umounten, tune2fs -O dir_index und dann wieder einhängen.

Da fehlt noch was:

Code: Select all

tune2fs -O dir_index /dev/hda3
tune2fs -o journal_data /dev/hda3
e2fsck -D /dev/hda3

[Joe User]

Zum Kopieren mittels tar bietet sich http://www.rootforum.org/forum/viewtopi ... 805#294805 an, noch schneller geht es kaum.

[oxygen]

du liesst rekursiv sequentiell alle Verzeichnisse (genauso wie ein rekursives tar) die zusätzliche Hashtabelle von dir_index bringt nur was bei der Suche!

dir_index nutzt keine hashtable sondern einen B*-tree ähnlich wie reiserfs. Allerdings ist das Ergebnis das selbe in dem Fall. Ob ich nun alle Elemente einer Liste oder eines Baum traversieren muss, macht keinen großen Unterschied.