Page 1 of 1

Welches Dateisystem für hohe Datei/Verzeichnis-Anzahl ?

Posted: 2007-04-02 14:24
by harrysch
Hallo zusammen,

ich habe einen Ubuntu-Apache-Server auf einer ext3-Systemplatte. Auf einer zusätzlichen SATA-Platte sollen mehrere hunderttausend JPG-Images (10-100 kB groß)untergebracht werden. Jedes JPG ist in einem eigenen Verzeichnis (neben ein paar Metafiles). Die Verzeichnisse sind zudem verschachtelt.
Die JPGs sollen via PHP5/Apache2 serviert werden. Nun die Frage:

Welches Dateisystem würde für diesen Zweck die beste Performance liefern bzw welches würdet ihe empfehlen ? (ext3, xfs, jfs, reiser,...)

Datensicherheit spielt eher eine kleine Rolle, da alles gebackupt ist.

Allerbesten Dank !

Harry

Re: Welches Dateisystem für hohe Datei/Verzeichnis-Anzahl ?

Posted: 2007-04-02 15:08
by daemotron
Das Thema "Dateisystem" ist hier schon ein paar mal diskutiert worden (siehe z. B. http://www.rootforum.org/forum/viewtopic.php?t=41456). Bei vielen kleinen Dateien ist halt wichtig, dass Du genügend Inodes vorhälst (wobei die bösen alten Zeiten mit halbleeren Platten und aufgebrauchten Inodes eigentlich vorbei sein sollten) und durch kaskadierende Verzeichnisse dafür sorgst, dass nicht zu viele Dateien in einem Verzeichnis abgelegt werden. Sonst bringt dir auch das beste FS nix, wenn das durchsuchen des Verzeichnis-Index' ewig dauert...

Re: Welches Dateisystem für hohe Datei/Verzeichnis-Anzahl ?

Posted: 2007-04-02 16:38
by harrysch
Hi jfreund,
danke für die Antwort und den Link.

Die Verzeichnisse sind kaskadierend.

Habe auch hier einige Benchmarks zu diesem Thema gefunden:

http://fsbench.netnation.com/
http://linuxgazette.net/122/TWDT.html#piszcz
http://bulk.fefe.de/lk2006/

Viel schlauer bin aber trotzdem nicht.

Nach genauerem abschätzen handelt es sich bei mir um mehrere Millionen Dateien. Ich schätze dass das FS mit der besten Performance bei langen und vollen Trees am geeignetsten ist. Deinem Link zurfolge wäre das XFS.

Oder ??

HarrySch

Re: Welches Dateisystem für hohe Datei/Verzeichnis-Anzahl ?

Posted: 2007-04-02 18:09
by Joe User
Ja, XFS wäre zu empfehlen...