ext3 Journaling

FreeBSD, Gentoo, openSUSE, CentOS, Ubuntu, Debian
moppi
Posts: 368
Joined: 2003-02-15 11:16
 

ext3 Journaling

Post by moppi »

Hallo,

ich habe auf meinem Server gentoo installiert und das läuft auch schon eine Weile.
Ich habe jetzt ein kleines Problem, mein ext3 Dateisystem auf dem alle Webseiten liegen.

Jede Nach läuft das reobackup drüber im inkrementellen Sicherungsmodus. Der kjournald ist dann so beschäftigt das alles andere irgendwie nciht mehr vorwärts kommt. Das Backup dauert so lange das das Backup am darauffolgenden Tag das vom Vortag einholt.

Der Journalmodus ist default (ordered)

Hier die Kernelconfig dazu:

Code: Select all

CONFIG_EXT3_FS=y
CONFIG_EXT3_FS_XATTR=y
CONFIG_EXT3_FS_POSIX_ACL=y
CONFIG_EXT3_FS_SECURITY=y
Hat jemand einen Rat?[/code]
captaincrunch
Userprojekt
Userprojekt
Posts: 7066
Joined: 2002-10-09 14:30
Location: Dorsten
 

Re: ext3 Journaling

Post by captaincrunch »

CONFIG_EXT3_FS_XATTR=y
CONFIG_EXT3_FS_POSIX_ACL=y
CONFIG_EXT3_FS_SECURITY=y
Ã?hm...brauchst du die zusätzlichen Features denn wirklich? Ich würd's einfach mal ohne (mindestens) security) versuchen.
DebianHowTo
echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc
moppi
Posts: 368
Joined: 2003-02-15 11:16
 

Re: ext3 Journaling

Post by moppi »

Hi Captain,

die features benötigt SELinux wohl aber ich probiere es mal ohne diese Features. Was meinst Du denn würde XFS auf so einer Kiste was nutzen es sind nur 512 MB RAM verfügbar darauf. Laufen tut eigentlich nicht viel MTA, Web, MySQL die Nutzung ist Moderat sag ich mal aber die vielen kleinen tausenden Grafikdateien.

Ist irgendwie ein bischen verstimmt das ganze.
captaincrunch
Userprojekt
Userprojekt
Posts: 7066
Joined: 2002-10-09 14:30
Location: Dorsten
 

Re: ext3 Journaling

Post by captaincrunch »

die features benötigt SELinux wohl
Und du nutzt SELinux wirklich? ;)
Was meinst Du denn würde XFS auf so einer Kiste was nutzen es sind nur 512 MB RAM verfügbar darauf. Laufen tut eigentlich nicht viel MTA, Web, MySQL die Nutzung ist Moderat sag ich mal aber die vielen kleinen tausenden Grafikdateien.
Gerade bei so vielen kleinen Files soll XFS schon erste Wahl sein. Ich selbst hab allerdings noch keine Erfahrung damit, hab bisher aber nur gutes darüber gelesen. Wäre vielleicht einen Versuch wert, vor allem, wenn's ohne die erweiterten Attribute auch nicht besser wird.
Aber mal ganz davon abgesehen, hab ich sowas unter ext3 auch noch nie gehört oder gesehen. ;)
DebianHowTo
echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc
konni
Posts: 151
Joined: 2002-12-16 10:05
 

Re: ext3 Journaling

Post by konni »

Ã?hm, xfs ist für große Files ideal, nicht für kleine ;)


reiserFS soll für viele kleine Dateien ideal sein (für große eher ungeeignet, mit reser4 soll sich das aber ändern bzw. geändert haben).
kuntho
Posts: 149
Joined: 2004-10-27 14:22
Location: Küps
 

Re: ext3 Journaling

Post by kuntho »

Ich würd bei ext3 bleiben und lieber versuchen, den Provider zu einem Memory - Upgrade zu bewegen. Einige machen das. Ich betreibe (lokal) einen Fileserver (nfs + samba) mit knapp 4 TB Kapazität und ca 30 MIO Files drauf. Das Ganze auf ext3 - Filesystemen. Server ist ein IBM e-server mit 1,3 MHz CPU und 2 GB Memory. Swap habe ich ausgeschaltet, da sonst nichts auf der Kiste läuft. Das Ganze rennt ohne Probleme, auch beim inkrementellen Backup (Tivoli) ohne dass die CPU - Last über 20% steigt. Läuft jetzt das zweite Jahr ohne irgendwelche Probleme oder Ausfälle.
t0x1c
Posts: 127
Joined: 2003-10-09 19:59
Location: Nähe Kiel
 

Re: ext3 Journaling

Post by t0x1c »

[ot]
Konni wrote:Ã?hm, xfs ist für große Files ideal, nicht für kleine ;)
Ã?hm, xfs würde eh nicht in Frage kommen, da die maximale FS-größe mit 9 Millionen Terrabyte doch etwas knapp bemessen ist, irgendwie.. :D (scnr)
[/ot]
moppi
Posts: 368
Joined: 2003-02-15 11:16
 

Re: ext3 Journaling

Post by moppi »

Ich habe XFS auf einem anderen System installiert mit 1 GB RAM und SATA Raid, geht eigentlich ganz gut. Nur XFS macht sehr stark gebrauch von RAM.

Thema Selinux was ist so schlimm daran? Gute Standards sind ja bei gentoo dabei die man beliebig anpassen kann, oft reichen die dortigen defaults aus.
Im Kernel habe ich noch grsec und pax, war ein wenig nervig bis es lief aber immerhin das tut es jetzt seit fast einem Jahr.

Aber zurück zum Kernproblem:

Code: Select all

# uptime;ps axw|grep kjournal
 22:37:54 up  8:06,  1 user,  load average: 0.04, 0.04, 0.00
  113 ?        S      2:27 [kjournald]
Das ist doch nicht normal?

Kernelconfig (angepasst) :

Code: Select all

# grep "EXT3" /usr/src/linux/.config
CONFIG_EXT3_FS=y
CONFIG_EXT3_FS_XATTR=y
# CONFIG_EXT3_FS_POSIX_ACL is not set
# CONFIG_EXT3_FS_SECURITY is not set
Vielleicht hat ja noch jemand dies Phänomen? :)

Oder vielleicht den Journalingmodus auf writeback stellen?
konni
Posts: 151
Joined: 2002-12-16 10:05
 

Re: ext3 Journaling

Post by konni »

t0x1c wrote:[ot]
Konni wrote:Ã?hm, xfs ist für große Files ideal, nicht für kleine ;)
Ã?hm, xfs würde eh nicht in Frage kommen, da die maximale FS-größe mit 9 Millionen Terrabyte doch etwas knapp bemessen ist, irgendwie.. :D (scnr)
[/ot]

;)


Na wer weiß, wenn sich mal HDTV durchsetzt, wirds wohl zeit, dass Festplatten statt 200 GB endlich mal 200 TB bieten ;) (na wer weiß, Windows braucht ja jetzt schon einige GB).


Letztendlich hat sich bei Tests im vdrportal hat sich halt xfs als das Performanteste FS bei großen Dateien erwiesen, auch sonst kann ich über XFS nix negatives sagen, habs seit kurzem auf meinem Fileserver drauf (und der hat im moment nur 745GB ;)) also noch weit unter dem Limit was xfs bieten würde ;)


Das einzigste was noch für ext3 spricht ist, dass viele Partitionclone Programme damit zurecht kommen, sonst sehe ich eigentlich keinen Vorteil mehr für ext3 (ext3 ja ist ja eigentlich nur ein ext2 wo ein Journal reingebastelt wurde).

ReiserFS lehnen viele ab, weil es angeblich schon öfter zu Datenverlust gekommen ist (konnte ich bisher nicht nachvollziehen, und zu Datenverlust kann es letztendlich bei jedem FS kommen).

Zu JFS hab ich bisher noch keinerlei Erfahrungswerte.
kuntho
Posts: 149
Joined: 2004-10-27 14:22
Location: Küps
 

Re: ext3 Journaling

Post by kuntho »

Laqngsam gehts irgendwie am Thema vorbei. Fakt ist, Moppi hat (mit ext3) ein Performance - Problem. Ich behaupte, wenn die Maschine sowieso recht mager ausgestattet ist und noch andere Dienste drauf laufen (MTA, Web, Mysql), wird ihm der Umstieg auf ein anderes FS, egal ob Reiser oder XFS herzlich wenig bringen! Die Maschine kann ohne Probleme als Fileserver laufen, wenn die anderen Dienste auf eine andere Maschine umgezogen werden und sie entlastet wird. Alternativ mehr Memory. Dann kann er sich aber auch die Arbeit sparen und bei ext3 bleiben. Im Endeffekt wird er aber wohl keinen wirklich spürbaren Performance - Schub erleben, wenn er von ext3 auf reiser oder xfs umstellt.
tix.64
Posts: 17
Joined: 2004-03-03 13:40
 

Re: ext3 Journaling

Post by tix.64 »

Ich denke Moppis Problem ist weder das Filesystem noch die sonstige Hardware-Ausstattung. Sein eigentliches Problem ist reoback. Der Algorithmus zum Erstellen von inkrementellen Backups ist seeeehr schlecht.

Man sieht, dass der Prozess, der da die ganze Zeit rödelt, in etwa so aussieht:

tar -cpzf /var/lib/reoback/backups/2005-01-14/XXXX-YYYY-incremental-20050114-0131PM.2.tgz -T /var/lib/reoback/tmp/YYYY.incl -X /var/lib/reoback/tmp/YYYY.excl

Das sagt tar, dass es bestimmte Dateien/Verzeichnisse, deren Namen in den YYYY.(incl|excl) Dateien enthalten sind verwenden bzw. ignorieren soll. Meine YYYY.excl ist 148052 Zeilen lang. In der YYYY.incl steht nur ein Verzeichnis, das rekursiv durchsucht wird. tar überprüft nun bei jeder gefundenen Datei, ob diese in der YYYY.excl-Liste vorhanden ist. Ist das nicht der Fall, wird Sie ins Archiv geschrieben.

Dieser Prozess läuft bei mir derzeit schon über zwei Stunden (edit: jetzt schon vier Stunden), obwohl die einzige Ã?nderung ein paar weitere Mails in einem Maildir sind.

(edit: Das ist auch ganz logisch, da tar hier gezwungen wird, mit einem O^2-Algorithmus zu arbeiten. Bei 140852 Dateien in der YYYY.excl müssen insgesamt 19839285904 Vergleiche durchgeführt werden. Es spielt dabei überhaupt keine Rolle, ob und wieviele Dateien sich geändert haben. Wenn man jetzt die Anforderung hätte, dass das inkrementelle Backup innerhalb von einer Stunde fertig sein soll, müsste tar 5510912 Vergleiche pro Sekunde durchführen. Okay.)

Also Moppi, benutze einfach ein anderes Backup-System. Z.B. das kürzlich hier diskutierte backup2l oder auch duplicity.

schönen Tag auch noch, wünscht tix.64
moppi
Posts: 368
Joined: 2003-02-15 11:16
 

Re: ext3 Journaling

Post by moppi »

das tar und reobackup nicht das gelbe ist war mir klar, das problem ist aber folgendes:

Code: Select all

# uptime;ps axw|grep kjournald
 21:21:35 up 20:19,  1 user,  load average: 1.05, 1.06, 1.02
   11 ?        S      4:54 [kjournald]
Kurz gefragt, das Journal wird doch nur aktiv bei Plattentransaktionen?
captaincrunch
Userprojekt
Userprojekt
Posts: 7066
Joined: 2002-10-09 14:30
Location: Dorsten
 

Re: ext3 Journaling

Post by captaincrunch »

Welche Kernelversion hast du im Einsatz?
DebianHowTo
echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc
moppi
Posts: 368
Joined: 2003-02-15 11:16
 

Re: ext3 Journaling

Post by moppi »

Code: Select all

# uname -a
Linux rubidium 2.6.7-hardened-r18 #3 Fri Jan 14 00:47:24 CET 2005 i686 Intel(R) Celeron(R) CPU 2.40GHz GenuineIntel GNU/Linux
Kurz gefragt, ein man top hat nix ergeben schau dir das mal an:

Code: Select all

Tasks:  49 total,   1 running,  48 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.3% us,  0.3% sy,  0.0% ni, 98.3% id,  0.7% wa,  0.3% hi,  0.0% si
Die werte 'id' und 'wa' wollen nicht niedriger werden, im handbuch habe ich nichts gefunden dazu wobei hier wa noch recht niedrig ist das wechselt sich mit id immer ab mal mehr mal weniger. Die kiste ist so lahm das sie fast zu nix zu gebrauchen ist.

Ein normales tar aus den Daten dort zu ziehen dauert fast 10 stunden! bei gerade mal
6GB belegung.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11186
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: ext3 Journaling

Post by Joe User »

Backup anlegen und FS checken/reparieren hast Du schon versucht?
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
moppi
Posts: 368
Joined: 2003-02-15 11:16
 

Re: ext3 Journaling

Post by moppi »

ich habe mit e2fsck die platte mal schnell geprüft. Nicht den physikalischen test nur das Dateisystem. auch smartmontools haben keine fehler gefunden.

Ich stehe vor einem Rätsel.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11186
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: ext3 Journaling

Post by Joe User »

Mit welcher e2fsprogs-Version wurde das ext3 angelegt und welche Version hast Du installiert? Eventuell hilft ein simples reformatieren...
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
moppi
Posts: 368
Joined: 2003-02-15 11:16
 

Re: ext3 Journaling

Post by moppi »

Also angelegt habe ich das Dateisystem mit dem aus dem Rescue. Ich habe nicht nachgesehen welche version das ist. Die Version die jetzt installiert ist auf dem Rechner ist sys-fs/e2fsprogs-1.35-r1.

EDIT:
das ist nicht normal:

Code: Select all

Cpu(s):  0.3% us,  0.3% sy,  0.0% ni, 99.3% id,  0.0% wa,  0.0% hi,  0.0% si
ich habe schon mit tripwire geprüft alles ok zwischenzeitlich habe ich mal einen neuen kernel installiert keine veränderung. sollte ich vielleicht mal die vanilla-sources probieren?
User avatar
Joe User
Project Manager
Project Manager
Posts: 11186
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: ext3 Journaling

Post by Joe User »

Die e2fsprogs der mir bekannten Rescuesysteme sind alle <1.32 (meist 1.28). Du könntest noch folgendes versuchen:

Code: Select all

/dev/hda1 -> ext2 e2fsprogs-rescue -> /boot
/dev/hda3 -> ext3 e2fsprogs-rescue -> / (alt)
/dev/hda5 -> ext3 e2fsprogs-gentoo -> / (neu)
Wenn das ebenfalls nicht hilft, kann ich Dir nur noch zu XFS und/oder Hardwaretausch raten.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
moppi
Posts: 368
Joined: 2003-02-15 11:16
 

Re: ext3 Journaling

Post by moppi »

Ich spekuliere ja XFS ein zu setzen da ich damit eigentlich nur gute Erfahrungen gemacht habe. Aber Hardwaretausch? Meinst Du das die Platte oder der Controller mist machen? Der Server ist jedoch neu ich mein gut man steckt da nicht drinnen aber der läuft man gerade nen halbes Jahr.
Ich habe ja mehrere Server von 1&1 und ich hatet auch bei meinem kleinen Celeron 1200 Anfangs probleme erst die Platte ständig kaputt dann Netzwerkkarte, dann Mainboard. Ich meine das ist ja kein Zufall ist die Hardware wirklich so mäßig?
User avatar
Joe User
Project Manager
Project Manager
Posts: 11186
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: ext3 Journaling

Post by Joe User »

Ich setze bei meinen Servern seit ~1,5 Jahren ausschliesslich XFS, ausgenommen /boot (ext2), ein. @Home werkel ich seit ~4 Monaten auf JFS und bin damit ebenfalls sehr zufrieden.

Zurück zum Thema: Ich würde vom Support mindestens die Festplatte und vorsichtshalber auch den RAM tauschen lassen. Erst wenn auch dies nicht hilft, würde ich auf einen Austausch des Motherboards beziehungsweise des kompletten Systems drängen.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
kuntho
Posts: 149
Joined: 2004-10-27 14:22
Location: Küps
 

Re: ext3 Journaling

Post by kuntho »

Auch auf die Gefahr hin, dass der Thread verschoben wird: Ich betreue seit mehr als 2 Jahren diverse Server bei veschiedenen Hostern. Habe nicht den Eindruck, dass bei Deinem Hoster wirklich mäßige Hardware eingesetzt wird. Klar, einen Hardwareausfall kann man nie ausschließen, ich denke da nur an den Skandal mit IBM - Platten vor 3 Jahren, aber im Großen und Ganzen kann man schon davon ausgehen, dass die Hardware, die eingesetzt wird, von guter Qualität ist und recht zuverlässig funktioniert. Zumal der Support in der Regel wirklich klasse ist und auch am Wochenende und Feiertagen sehr schnell reagiert.
moppi
Posts: 368
Joined: 2003-02-15 11:16
 

Re: ext3 Journaling

Post by moppi »

hi kuntho,
ich habe bisher nur auf 1&1 gesetzt da ich mit anderen hostern fast immer probleme hatte oder mit den tarifen nicht zufrieden war. so denke ich ist es besser ab und an mal sich umzusehen ob es evtl. konkurrentfähige angebote gibt. ich wollte das hier nicht diskutieren ausgibig. aber mal eine oder andere meinung hören.
mit den platten vor drei jahren du meinst die IBM IC serie? zufällig habe ich die in den kleinen celerons drinnen noch immer. da gibts welche die laufen 6 monate ander nur 2 und die ich jetzt habe ich ca 2 jahre alt und eben dauerbetrieb gelaufen.

na gut mein journalingproblem geht mir aber jetzt echt auf den nerv ich werde die kommenden tage auf xfs umstellen.
kuntho
Posts: 149
Joined: 2004-10-27 14:22
Location: Küps
 

Re: ext3 Journaling

Post by kuntho »

@ Moppi
Die Symptome, die Du beschreibst sind absolut korrekt. Hat aber (fast) alle Produktionsreihen betroffen, vor allem die SCSI - Platten. Ich hatte innerhalb eines Jahres von 400 Platten über 200 Ausfälle. Inzwischen hat IBM das elegant in den Griff gekriegt. (sie verkaufen nur noch MAXTOR- Platten :wink: ).
Problem XFS: Wenn Deine Maschine sowieso recht mager ist in Sachen Memory: meinste, Du tust Dir damit nen Gefallen? Würd ich erst mal auf einer Referenz - Maschine testen, ob das wirklich was bringt. Im Zweifelsfall würde ich eher ein anderes Backup - Tool in Erwägung ziehen, das das FS nicht so arg vergewaltigt.