LVM+ext4 vs. Btrfs vs. ZFS im Jahre 2023

[daemotron]

Ich plane, in lokalen Netzwerk eine Kiste mit ownCloud Infinite Scale (ocis) aufzusetzen. Das OS und Applikationen kommen auf eine M2 NVMe, die Bewegungsdaten auf drehende Scheiben.

Für Performance und Redundanz dachte ich da an ein RAID 10 (mehr als 4 HDDs passen eh nicht in die Kiste rein).

Als Dateisystem kämen dafür entweder LVM mit ext4 oder XFS in Frage, oder eben Btrfs oder ZFS. Der ocis Server läuft leider nicht unter FreeBSD, daher ginge ZFS auch mit einer Einschränkung in der Distributionswahl einher.

Btrfs habe ich als etwas "grün hinter den Ohren" in Erinnerung, besonders in Multi Disk Setups. Hat jemand Erfahrungen damit sammeln können? Hat sich da signifikant was geändert?

Ansonsten - hat jemand Ubuntu mit ZFS im Produktiveinsatz? Ist die Performance und Stabilität von ZFS unter Ubuntu vergleichbar mit der auf FreeBSD?

Wie sind die Erfahrungen mit LVM, ZFS und Btrfs im Falle eines Desaster Recovery Szenarios (kaputte Platte)?

[Joe User]

Ich kann Dir leider nicht direkt helfen, kann aber beisteuern, sofern ohnehin nicht längst bekannt, dass sowohl Linux als auch FreeBSD mitlerweile den gleichen OpenZFS Stand implementieren und somit >99% kompatibel sein sollten.

Ich persönlich traue allerdings weder ZFS noch BTRFS noch Ext4, da mir beide nach wie vor zu jung und instabil sind.
Ich bleibe vorerst bei UFS2 oder XFS ;)

[ddm3ve]

BTRFS ist durchaus stabil.
Die Probleme die mich ereilten:

-> Der Raidcontroller selbst hat das Raid verworfen obwohl nur eine Platte defekt war.
War ein kleiner Kampf um alle auch problematisch erscheinen Platten beim "Provider meiner Wahl" getauscht zu bekommen.

-> Sofern also eine Platte ausfällt und das im Bereich des "Spare Disk" oder "max Fail Count" liegt. Dann schlägt das nicht bis zum LVM durch. Bei allem anderen, hilft dir auch kein Versuch des Retten mehr. Egal ob Software oder Hardware Raid.

Gecrasht ist mir persönlich ein btrfs noch nie.

Da ich ein ähnliches Vorhaben wie Du habe, wollte ich den Storage über 2 Systeme syncen. Mal schauen ob darbt wieder zu tragen kommt oder eine andere Lösung.
Ich setze dabei aber auch beim Storage für die Daten auf SSDs 8 TB kostet nicht mehr die Welt und das reicht für die üblichen Dinge.
Ohnehin sync ich es auf einen Backupstorage bei Nextcloud. Damit ist für mich ausreichend Redundanz gegeben.
Stündliche Sicherung wiederum gibt es auf dem Nextcloud Server.


Meine persönliche Präferenz:

Für das Betriebsystem setze ich auf ext4.
Bei allem anderen xfs.

BTRFS ist nicht zu meinem Lieblingen geworden. Bei den ersten Systemen war snapshoting angeschaltet und nach kurzer Zeit der Server eingefroren. Das hat mich genervt.
Wenn ich Snapshot haben möchte, dann mach ich das über LVM. Da weiss ich wie es geht.

[daemotron]

Der Raidcontroller selbst hat das Raid verworfen obwohl nur eine Platte defekt war.

Hm, ich war bei meinen Planungen davon ausgegangen, dass sich HW RAID Controller nicht mehr wirklich lohnen, deshalb habe ich von vornherein mit einer Soft RAID Lösung geplant (der Server, den ich im Auge habe, ist aber auch mit Adaptec oder LSI Controller bestellbar, aber wohl eher was für SAS Fetischisten, und mein letzter Stand war, dass es da mit Treibern eh nicht mehr so dolle aussieht).

Ich setze dabei aber auch beim Storage für die Daten auf SSDs 8 TB kostet nicht mehr die Welt und das reicht für die üblichen Dinge.

Ugh, grade mal durchgerechnet - beim Server-Höker meines Mißtrauens schlagen 8 TB SSDs mit gut 700 Euronen zu Buche, wohingegen 8 TB HDD SATA "nur" 200 Euro große Löcher ins Budget schießen - bei 4 Platten kriege ich da Krach mit dem Familienministerium ;)

dass sowohl Linux als auch FreeBSD mitlerweile den gleichen OpenZFS Stand implementieren und somit >99% kompatibel sein sollten.

Danke, das ist in der Tat eine sehr hilfreiche Info. ZFS hatte ich schon unter FreeBSD 10 und 11 produktiv laufen, ohne auf nennenswerte Probleme zu stoßen. Nach dem zweiten oder dritten Desaster-Recovery komme ich dann wahrscheinlich zu LVM und XFS zurückgekrochen (wobei XFS bis heute das FS ist, das mir die herbsten Datenverluste beschert hat).

Nachdem ich noch ein bisschen an der Materie rumgeforscht habe, scheint mir ZFS's RAIDZ2 am besten für mein Vorhaben geeignet - bei 4 Platten halbiert sich da zwar die Kapazität, aber es dürfen dafür auch 2 Platten ausfallen - und anders als bei RAID 10 ist es tatsächlich egal, welche zwei Platten ausfallen. Die Performance ist zwar etwas schlechter als RAID 10, aber das dürfte bei den großen Blobs, die da hauptsächlich drauf sollen (Fotos, Videos) nicht arg ins Gewicht fallen.

[ddm3ve]

Der Raidcontroller selbst hat das Raid verworfen obwohl nur eine Platte defekt war.

Hm, ich war bei meinen Planungen davon ausgegangen, dass sich HW RAID Controller nicht mehr wirklich lohnen, deshalb habe ich von vornherein mit einer Soft RAID Lösung geplant (der Server, den ich im Auge habe, ist aber auch mit Adaptec oder LSI Controller bestellbar, aber wohl eher was für SAS Fetischisten, und mein letzter Stand war, dass es da mit Treibern eh nicht mehr so dolle aussieht).

Ich setze dabei aber auch beim Storage für die Daten auf SSDs 8 TB kostet nicht mehr die Welt und das reicht für die üblichen Dinge.

Ugh, grade mal durchgerechnet - beim Server-Höker meines Mißtrauens schlagen 8 TB SSDs mit gut 700 Euronen zu Buche, wohingegen 8 TB HDD SATA "nur" 200 Euro große Löcher ins Budget schießen - bei 4 Platten kriege ich da Krach mit dem Familienministerium ;)

Zu erstem:
Ja Raid Controller lohnt sich wohl nur bei größeren Sachen.
Als Cloud Speicher nutze ich Hetzner Storage Klasse. Hier ist dann meistens ein HW Raid Controller vorhanden, den ich auch nutze. Allerdings ist es jetzt schon 2 mal passiert, dass das Raid irreparabel abgeschmiert ist.

-> Damit muss man womöglich rechnen wenn man für weniger wichtige Themen ein System aus der Server Börse bezieht und dabei offensichtlich mehrere Platten nicht mehr ganz frisch sind. Seit dem Tausch der problematischen Platen läuft es dafür stabil.

SSD: Bei SSDs würde ich zumindest kein Raid 5 oder sowas verwenden. die Schreiblast für die Paritätsdaten geht doch stark zu Lasten der Lebenszeit. Raid 1 sollte m.E. reichen. Sofern es kein NVME sein muss, die Samsung QVO sind hierbei eine günstige und gute Alternative.