Wo ist der Platz hin ?!

FreeBSD, Gentoo, openSUSE, CentOS, Ubuntu, Debian
lordy
Posts: 83
Joined: 2006-06-22 12:45

Wo ist der Platz hin ?!

Post by lordy » 2006-11-02 11:29

Also bei Linux merkt man doch immer wieder, wie wenig man eigentlich weiss...

Ich habe meinen Server mit ein paar frischen Platten bestueckt (4 x 320 GB, Western Digital, S-ATA) und darauf ein RAID-5 aufgebaut. So weit, so gut.

Laut /proc/mdstat habe ich nun ein /dev/md0 mit 937705728 blocks.

Nun wollte ich das Teil natuerlich mit einem Dateisystem bestuecken und griff erstmal (testweise) zu mkfs.ext3. Das Ergebnis:

/dev/md0 881G 17M 881G 1% /home

Das machte mich dann stutzig, denn schliesslich sind das 1,5% Verschnitt (bei dieser Groesse allerdings stattliche 14G). Daher das ganze nochmal mit mkfs.reiserfs:

/dev/md0 895G 33M 895G 1% /home

Und als letztes nochmal mit mkfs.xfs:

/dev/md0 895G 1.1M 895G 1% /home

(XFS ist uebrigens mit Abstand am schnellsten, was das Erstellen des FS angeht, aber das nur am Rande)

Was macht Ext3 also mit den 14G ? Habe ich irgendeine Option fuer mkfs uebersehen ?

djcrackman
RSAC
Posts: 208
Joined: 2005-06-02 11:58

Re: Wo ist der Platz hin ?!

Post by djcrackman » 2006-11-02 11:33

ext3 zeigt dir als einziges die Netto-Nutzkapazität - ReiserFS schummelt da wohl, denn immerhin will auch das Journal wo untergebracht werden. Wie es da bei XFS aussieht: keine Ahnung, nicht in Verwendung.

Übrigens: RAID5 ohne Hotspare bringt genausoviel wie Reserverad ohne Wagenheber.

lord_pinhead
RSAC
Posts: 830
Joined: 2004-04-26 15:57

Re: Wo ist der Platz hin ?!

Post by lord_pinhead » 2006-11-02 13:24

Vergiss nicht das 5% puffer vorhanden sind die nur root nutzen darf, die werden nur nicht angezeigt bei ext3. XFS erstellt das Journal glaub ich erst bei Benutzung und belegt den Platz nicht vor. Reiser kenn ich leider nicht, hab nur diese 2 im Einsatz. Allerdings sind 14 GB verschnitt bei so großen Platten doch normal, in der Industrie wird nicht durch 1024 dividiert, sondern durch 1000, also sind 14 GB doch ein guter Schnitt bei über 800 GB.

@DJ
Ich denke er hat die vierte Platte als hotspare laufen, sonst wäre es wirklich unsinnig

lordy
Posts: 83
Joined: 2006-06-22 12:45

Re: Wo ist der Platz hin ?!

Post by lordy » 2006-11-02 13:30

Den 5% Puffer habe ich bereits ausgeschaltet, vorher war es noch weniger.

14 GB Verschnitt sollen normal sein ???

Das Problem der Division ist mir sehr wohl bekannt, das ist ja auch nicht das Thema. Ich vergleiche hier nur die Groesse des RAID mit der des FS.

Und nein, ich habe keine Hotspare. Da es sich um eine rein private Kiste handelt kann ich diese jederzeit runterfahren, falls sich eine Platte verabschiedet und fahr Sie wieder hoch, nachdem ich sie getauscht habe.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11583
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Wo ist der Platz hin ?!

Post by Joe User » 2006-11-02 13:46

Wie bereits geschrieben/angedeutet unterscheiden sich die Implementierungen des Jornal, was zu dem von Dir beobachteten Effekt führt. Näheres findest Du in der Dokumentation der jeweiligen FS und wie so oft in IBMs DeveloperWorks...
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

djcrackman
RSAC
Posts: 208
Joined: 2005-06-02 11:58

Re: Wo ist der Platz hin ?!

Post by djcrackman » 2006-11-02 13:56

@Lord_Pinhead

n = Plattenspeicher pro Platte
x = Anzahl der Platten

Netto-Nutzkapazität RAID5 ohne Hotspare = (n*x)-n
Netto-Nutzkapazität RAID5 m Hotspare = (n*x)-(2*n)

rootsvr
Posts: 538
Joined: 2005-09-02 11:12

Re: Wo ist der Platz hin ?!

Post by rootsvr » 2006-11-02 16:55

djcrackman wrote: Übrigens: RAID5 ohne Hotspare bringt genausoviel wie Reserverad ohne Wagenheber.
Naja ganz so schlimm ist es nicht, er hat immerhin eine Platte die ausfallen kann, besser als nen Raid 0 mit 4 Platten *g*

djcrackman
RSAC
Posts: 208
Joined: 2005-06-02 11:58

Re: Wo ist der Platz hin ?!

Post by djcrackman » 2006-11-02 17:00

Auch wieder wahr - wenn die Kiste aber 300KM entfernt im Rack hängt, dann führt an einer Hotspare (Wenn es denn ein RAID5-Storage ist) nichts vorbei ;).

PS: Ich weiß wovon ich spreche, ich durfte 640KM runterdrehen um ein abgebranntes SCSI Kabel bei einem RAID5 zu tauschen :roll: .

rootsvr
Posts: 538
Joined: 2005-09-02 11:12

Re: Wo ist der Platz hin ?!

Post by rootsvr » 2006-11-02 17:03

Viele mieten auch Rootserver und da sind Leute direkt vor Ort die eine ausgefallene Platte tauschen können/müssen.

Warum kein Housing in der Nähe?

djcrackman
RSAC
Posts: 208
Joined: 2005-06-02 11:58

Re: Wo ist der Platz hin ?!

Post by djcrackman » 2006-11-02 17:09

Ich house in Wien (Interxion). Dir ist Klagenfurt ein Begriff? Richtig, das ist der kleine Fleck auf jeder Landkarte (nein, nicht der Wörthersee, der daneben ;)). Willst wissen was wir hier haben? Für ~100.000 Einwohner (und ich schätz mal ~50.000 PC User) heiße 12GBit (davon 4GBit über Satellit - den Bergen sei Dank) Bandbreite ^^. Das entspricht pro Client-Node (Modem, Router, etc) übrigens ~0,24MBit - noch Fragen? ;)

BTT

lord_pinhead
RSAC
Posts: 830
Joined: 2004-04-26 15:57

Re: Wo ist der Platz hin ?!

Post by lord_pinhead » 2006-11-02 18:45

Aso, du meintest weil ext3 14 GB weniger angezeigt hat. Ich hab auf den belegten Festplattenplatz geguckt ;)

@Dj
Die Rechenweise von Raid ist mir geläufig, aber danke ;)

mattiass
Userprojekt
Userprojekt
Posts: 608
Joined: 2005-12-16 17:57

Re: Wo ist der Platz hin ?!

Post by mattiass » 2006-11-02 18:50

djcrackman wrote: Für ~100.000 Einwohner (und ich schätz mal ~50.000 PC User) heiße 12GBit (davon 4GBit über Satellit - den Bergen sei Dank) Bandbreite ^^. Das entspricht pro Client-Node (Modem, Router, etc) übrigens ~0,24MBit - noch Fragen? ;)
Aber nur, wenn die Österreicher gerade einen Rekord im Synchronsaugen aufzustellen versuchen. :wink:

lordy
Posts: 83
Joined: 2006-06-22 12:45

Re: Wo ist der Platz hin ?!

Post by lordy » 2006-11-02 23:15

Um mal zum Thema zurueck zu kommen....

Da ich mir nicht vorstellen kann, das Ext3 dermassen viel Platz fuer das Journal reserviert habe ich einfach mal ein Ext2 Dateisystem angelegt und siehe da:

/dev/md0 881G 20K 881G 1% /home

Es muss also an den Ext-Dateisystemen haengen. Irgendjemand eine Idee ?

User avatar
Joe User
Project Manager
Project Manager
Posts: 11583
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Wo ist der Platz hin ?!

Post by Joe User » 2006-11-02 23:37

http://www.debian-administration.org/articles/388
http://www.debian-administration.org/articles/388 wrote: Partition capacity

Initial (after filesystem creation) and residual (after removal of all files) partition capacity was computed as the ratio of number of available blocks by number of blocks on the partition. Ext3 has the worst inital capacity (92.77%), while others FS preserve almost full partition capacity (ReiserFS = 99.83%, JFS = 99.82%, XFS = 99.95%). Interestingly, the residual capacity of Ext3 and ReiserFS was identical to the initial, while JFS and XFS lost about 0.02% of their partition capacity, suggesting that these FS can dynamically grow but do not completely return to their inital state (and size) after file removal.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

djcrackman
RSAC
Posts: 208
Joined: 2005-06-02 11:58

Re: Wo ist der Platz hin ?!

Post by djcrackman » 2006-11-03 08:05

@Lord_Pinhead
V@DJ
Ich denke er hat die vierte Platte als hotspare laufen, sonst wäre es wirklich unsinnig
...
@Dj
Die Rechenweise von Raid ist mir geläufig, aber danke
Seine Angabe:
4 x 320 GB, RAID-5 ... 895G
Was schließen wir daraus? Nicht die Spur von Hotspare.

lord_pinhead
RSAC
Posts: 830
Joined: 2004-04-26 15:57

Re: Wo ist der Platz hin ?!

Post by lord_pinhead » 2006-11-03 12:29

Das hab ich nicht nachgerechnet, wozu auch, war ja nicht teil der Frage.