Viele Dateien in ext3 Dateisystem

FreeBSD, Gentoo, openSUSE, CentOS, Ubuntu, Debian
andreask2
RSAC
Posts: 701
Joined: 2004-01-27 14:16
Location: Aachen

Viele Dateien in ext3 Dateisystem

Post by andreask2 » 2010-07-10 17:07

Hallo!

Wir möchten unseren Nutzern die Möglichkeit geben, Fotos auf einen Server zu laden. Die Bilder werden in ca. 5 verschiedenen Größen gespeichert, soweit kein Problem. Das was uns Sorgen macht ist die Anzahl der Dateien. Das können in einigen Monaten durchaus über 100.000 Dateien sein, und meines Wissens hat ext3 irgendwann durchaus Performance-Probleme wenn es zu viele Dateien pro Verzeichnis werden. Wobei ich im Hinterkopf habe dass es so schlimm heute nicht mehr ist. Wir verwenden eigentlich immer ext3, weil es das zuverlässigste ist und wir damit immer gute Erfahrungen gemacht haben.

Wie sieht das aus, gibt es da Erfahrungswerte wieviele Dateien pro Verzeichnis noch ordentlich funktionieren? Was würdet Ihr uns empfehlen? Wir verwenden Debian 5.

Viele Grüße
Andreas

aquajo
RSAC
Posts: 167
Joined: 2003-02-25 21:07

Re: Viele Dateien in ext3 Dateisystem

Post by aquajo » 2010-07-10 21:55

andreask2 wrote:. Wobei ich im Hinterkopf habe dass es so schlimm heute nicht mehr ist.


Ja, seit den "dir_index" Option ist die Performance wohl ganz gut, aber wenn man wirklich viele Dateien speichert, macht es wohl Sinn zusätzlich ne Ordnerstruktur anzulegen.

z.B. nen Hash über den Dateinamen machen und die ersten beiden Bytes jeweils für eine Ordnerebene Nutzen.

Backuppc macht es so ähnlich (ok, da ist der Hash über Teile der Datei selber aus verschiedenen Gründen), und da gibt es keine Performanceprobleme, auch wenn einige Millionen Dateien gespeichert sind.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11583
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Viele Dateien in ext3 Dateisystem

Post by Joe User » 2010-07-10 23:17

Sehr lesenswert in diesem Kontext:
http://www.facebook.com/note.php?note_id=76191543919

Leider noch kein Open-Source, soll es aber laut Google/Twitter irgendwann werden.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.