Hallo!
Wir möchten unseren Nutzern die Möglichkeit geben, Fotos auf einen Server zu laden. Die Bilder werden in ca. 5 verschiedenen Größen gespeichert, soweit kein Problem. Das was uns Sorgen macht ist die Anzahl der Dateien. Das können in einigen Monaten durchaus über 100.000 Dateien sein, und meines Wissens hat ext3 irgendwann durchaus Performance-Probleme wenn es zu viele Dateien pro Verzeichnis werden. Wobei ich im Hinterkopf habe dass es so schlimm heute nicht mehr ist. Wir verwenden eigentlich immer ext3, weil es das zuverlässigste ist und wir damit immer gute Erfahrungen gemacht haben.
Wie sieht das aus, gibt es da Erfahrungswerte wieviele Dateien pro Verzeichnis noch ordentlich funktionieren? Was würdet Ihr uns empfehlen? Wir verwenden Debian 5.
Viele Grüße
Andreas
Viele Dateien in ext3 Dateisystem
-
- Posts: 145
- Joined: 2003-02-25 21:07
Re: Viele Dateien in ext3 Dateisystem
Ja, seit den "dir_index" Option ist die Performance wohl ganz gut, aber wenn man wirklich viele Dateien speichert, macht es wohl Sinn zusätzlich ne Ordnerstruktur anzulegen.andreask2 wrote:. Wobei ich im Hinterkopf habe dass es so schlimm heute nicht mehr ist.
z.B. nen Hash über den Dateinamen machen und die ersten beiden Bytes jeweils für eine Ordnerebene Nutzen.
Backuppc macht es so ähnlich (ok, da ist der Hash über Teile der Datei selber aus verschiedenen Gründen), und da gibt es keine Performanceprobleme, auch wenn einige Millionen Dateien gespeichert sind.
-
- Project Manager
- Posts: 11164
- Joined: 2003-02-27 01:00
- Location: Hamburg
Re: Viele Dateien in ext3 Dateisystem
Sehr lesenswert in diesem Kontext:
http://www.facebook.com/note.php?note_id=76191543919
Leider noch kein Open-Source, soll es aber laut Google/Twitter irgendwann werden.
http://www.facebook.com/note.php?note_id=76191543919
Leider noch kein Open-Source, soll es aber laut Google/Twitter irgendwann werden.
PayPal.Me/JoeUser ● FreeBSD Remote Installation
Wings for Life ● Wings for Life World Run
„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Wings for Life ● Wings for Life World Run
„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.