Viele Dateien in ext3 Dateisystem

[andreask2]

Hallo!

Wir möchten unseren Nutzern die Möglichkeit geben, Fotos auf einen Server zu laden. Die Bilder werden in ca. 5 verschiedenen Größen gespeichert, soweit kein Problem. Das was uns Sorgen macht ist die Anzahl der Dateien. Das können in einigen Monaten durchaus über 100.000 Dateien sein, und meines Wissens hat ext3 irgendwann durchaus Performance-Probleme wenn es zu viele Dateien pro Verzeichnis werden. Wobei ich im Hinterkopf habe dass es so schlimm heute nicht mehr ist. Wir verwenden eigentlich immer ext3, weil es das zuverlässigste ist und wir damit immer gute Erfahrungen gemacht haben.

Wie sieht das aus, gibt es da Erfahrungswerte wieviele Dateien pro Verzeichnis noch ordentlich funktionieren? Was würdet Ihr uns empfehlen? Wir verwenden Debian 5.

Viele Grüße
Andreas

[aquajo]

. Wobei ich im Hinterkopf habe dass es so schlimm heute nicht mehr ist.

Ja, seit den "dir_index" Option ist die Performance wohl ganz gut, aber wenn man wirklich viele Dateien speichert, macht es wohl Sinn zusätzlich ne Ordnerstruktur anzulegen.

z.B. nen Hash über den Dateinamen machen und die ersten beiden Bytes jeweils für eine Ordnerebene Nutzen.

Backuppc macht es so ähnlich (ok, da ist der Hash über Teile der Datei selber aus verschiedenen Gründen), und da gibt es keine Performanceprobleme, auch wenn einige Millionen Dateien gespeichert sind.

[Joe User]

Sehr lesenswert in diesem Kontext:
http://www.facebook.com/note.php?note_id=76191543919

Leider noch kein Open-Source, soll es aber laut Google/Twitter irgendwann werden.