Page 1 of 1
Viele Dateien backupen
Posted: 2007-11-24 18:27
by kevink
Hallo,
Ich habe ein Verzeichnis das 95GB groß ist, sehr viele Dateien enthält (schätze 200.000), und diese wiederrum in ca. 400.000 Verzeichnisen sind.
Jede Datei liegt dabei in einer Ordnertiefe von 4, da die Ordner alle strukturiert sind:
2007/11/24/a/datei
Alleine ein du . -sh braucht bei diesem Verzeichnis über eine halbe Stunde.
Mittels FTP haben wir es in einer Nacht geschafft, gerade mal 7GB auf eine andere Kiste zu schieben, was zu wenig ist.
Was gibt es sonst für Möglichkeiten, über das Internet viele Dateien zu sichern? Bei einem großem tar-package habe ich Angst, das es "kaputt" gehen könnte bei der Übertragung.
Was gibt es sonst noch für Möglichkeiten, riesige Verzeichnisbäume zu sichern/übertragen?
Danke, vielleicht habt ihr eine Lösung. :?
Gruß
Kevin
Re: Viele Dateien backupen
Posted: 2007-11-24 19:06
by daemotron
Hmm, bei so vielen einzelnen Dateien hast Du immer ein Geschwindigkeitsproblem, wenn Du sie einzeln überträgst. Du könntest mal probieren, wie sich rsync dabei benimmt, aber letztlich wäre wohl tar doch der beste Weg.
Btw. auf was für einem Dateisystem liegen die denn? Wenn ext2/3, ist dir_index aktiviert?
Code: Select all
tune2fs -l /dev/$partition | grep "Filesystem feature"
Re: Viele Dateien backupen
Posted: 2007-11-24 19:08
by kevink
Puh, ich werde es mal mit tar probieren, und im nachhinein die md5 summe nach dem übertragen vergleichen.
Ich hab ext3
has_journal filetype needs_recovery sparse_super large_file
So wie ich sehe, ist dir_index nicht aktiviert. Was bringt das für Vorteile?
Danke!
Gruß
Kevin
Re: Viele Dateien backupen
Posted: 2007-11-24 19:34
by daemotron
Einen gewaltigen Geschwindigkeitsschub beim durchsuchen der Verzeichnisstruktur. Vermutlich werden aus Deiner halben Stunde beim df am Ende ein paar Minuten (siehe z. B.
http://blog.koehntopp.de/archives/1868- ... erver.html)
Also Partition umounten, tune2fs -O dir_index und dann wieder einhängen.
Re: Viele Dateien backupen
Posted: 2007-11-24 19:46
by juergen
jfreund wrote:...Vermutlich werden aus Deiner halben Stunde beim df am Ende ein paar Minuten einhängen.
Vermutlich bringt es in diesem Fall überhaupt nichts ;-)
du liesst rekursiv sequentiell alle Verzeichnisse (genauso wie ein rekursives
tar) die zusätzliche Hashtabelle von dir_index bringt nur was bei der Suche!
Re: Viele Dateien backupen
Posted: 2007-11-24 19:53
by Joe User
jfreund wrote:Also Partition umounten, tune2fs -O dir_index und dann wieder einhängen.
Da fehlt noch was:
Code: Select all
tune2fs -O dir_index /dev/hda3
tune2fs -o journal_data /dev/hda3
e2fsck -D /dev/hda3
Re: Viele Dateien backupen
Posted: 2007-11-24 19:58
by Joe User
Zum Kopieren mittels tar bietet sich
http://www.rootforum.org/forum/viewtopi ... 805#294805 an, noch schneller geht es kaum.
Re: Viele Dateien backupen
Posted: 2007-11-24 20:15
by oxygen
juergen wrote:
du liesst rekursiv sequentiell alle Verzeichnisse (genauso wie ein rekursives tar) die zusätzliche Hashtabelle von dir_index bringt nur was bei der Suche!
dir_index nutzt keine hashtable sondern einen B*-tree ähnlich wie reiserfs. Allerdings ist das Ergebnis das selbe in dem Fall. Ob ich nun alle Elemente einer Liste oder eines Baum traversieren muss, macht keinen großen Unterschied.