Welches Dateisystem für hohe Datei/Verzeichnis-Anzahl ?

Backup, Restore und Transfer von Daten
harrysch
Posts: 6
Joined: 2007-02-26 14:53
 

Welches Dateisystem für hohe Datei/Verzeichnis-Anzahl ?

Post by harrysch »

Hallo zusammen,

ich habe einen Ubuntu-Apache-Server auf einer ext3-Systemplatte. Auf einer zusätzlichen SATA-Platte sollen mehrere hunderttausend JPG-Images (10-100 kB groß)untergebracht werden. Jedes JPG ist in einem eigenen Verzeichnis (neben ein paar Metafiles). Die Verzeichnisse sind zudem verschachtelt.
Die JPGs sollen via PHP5/Apache2 serviert werden. Nun die Frage:

Welches Dateisystem würde für diesen Zweck die beste Performance liefern bzw welches würdet ihe empfehlen ? (ext3, xfs, jfs, reiser,...)

Datensicherheit spielt eher eine kleine Rolle, da alles gebackupt ist.

Allerbesten Dank !

Harry
User avatar
daemotron
Administrator
Administrator
Posts: 2641
Joined: 2004-01-21 17:44
 

Re: Welches Dateisystem für hohe Datei/Verzeichnis-Anzahl ?

Post by daemotron »

Das Thema "Dateisystem" ist hier schon ein paar mal diskutiert worden (siehe z. B. http://www.rootforum.org/forum/viewtopic.php?t=41456). Bei vielen kleinen Dateien ist halt wichtig, dass Du genügend Inodes vorhälst (wobei die bösen alten Zeiten mit halbleeren Platten und aufgebrauchten Inodes eigentlich vorbei sein sollten) und durch kaskadierende Verzeichnisse dafür sorgst, dass nicht zu viele Dateien in einem Verzeichnis abgelegt werden. Sonst bringt dir auch das beste FS nix, wenn das durchsuchen des Verzeichnis-Index' ewig dauert...
harrysch
Posts: 6
Joined: 2007-02-26 14:53
 

Re: Welches Dateisystem für hohe Datei/Verzeichnis-Anzahl ?

Post by harrysch »

Hi jfreund,
danke für die Antwort und den Link.

Die Verzeichnisse sind kaskadierend.

Habe auch hier einige Benchmarks zu diesem Thema gefunden:

http://fsbench.netnation.com/
http://linuxgazette.net/122/TWDT.html#piszcz
http://bulk.fefe.de/lk2006/

Viel schlauer bin aber trotzdem nicht.

Nach genauerem abschätzen handelt es sich bei mir um mehrere Millionen Dateien. Ich schätze dass das FS mit der besten Performance bei langen und vollen Trees am geeignetsten ist. Deinem Link zurfolge wäre das XFS.

Oder ??

HarrySch
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: Welches Dateisystem für hohe Datei/Verzeichnis-Anzahl ?

Post by Joe User »

Ja, XFS wäre zu empfehlen...
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.