Bei ~500k Files in einem Verzeichnis wird es allerdings immer recht lange dauern. Abhilfe schafft hier das Verteilen auf mehrere Unterverzeichnisse und die richtige Wahl des Filesystems für /tmp
„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Leider habe ich die Kiste nicht aufgesetzt, das FS ist ext4 (+LVM) und es gibt nur den / Mountpoint (!!).
Vielleicht werde ich das mal umbauen, für /tmp nehme ich dann welches FS? IMHO lagert sich tmpfs ja im RAM aus, ich denke mal das wäre dann eher kontraprodukiv (zumal wir manchmal diese XMLs brauchen).
Bei 500 000 und mehr files würd er aber u.U. in den Fehler laufen, dass die Argumentenliste zu lange ist.
(Wenn er xargs verwendet)
Wie sieht der Gebrauch der XMLs aus?
Wird das automatisiert ggf. nochmals angezogen oder wäre eine manuelles auspacken zumutbar?
Dann würde ich diese täglich in ein archiv packen.
Das wiederum lässt sich dann deutlich schneller bereinigen als die 500 000 Dateien selbst.
Last edited by ddm3ve on 2011-07-06 15:51, edited 1 time in total.
„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Ich habe es gerade getestet. Hast recht bzw. wiki hat recht xargs ruft rm mit den max. möglichen Argumenten auf.
Es wird aber nicht paralell gelöscht sonden nach und nach.
Es läuft also nur ein rm Prozess zur gleichen zeit bei folgendem Befehl
find . -type f | xargs rm
Ich habe im Vorfeld 500 000 Dateien angelegt die jweils nur deren Zahl als inhalt haben, angelegt.
Die Löscherei läuft seit ca. 5 Minuten ist von 500 000 beginnend bei 429291 angekommen. Wurden also etwas mehr als 70 000 bisher gelöscht. War nur eine SATA Platte aber xfs.
Wenn es möglich ist, dann lege für /tmp eine eigene XFS-Partition an und nimm die xargs-Variante zum Aufräumen. Viel schneller gehts dann mit echten Dateisystemen leider nicht mehr.
tmpfs müsste zwar nochmal etwas schneller sein, dafür ist der Inhalt halt bei einem Reboot oder Stromausfall oder RAM-Defekt futsch.
„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Heute musste ich wieder die Daten wegschaufeln.
Ich hab natürlich vergessen vorher mal die Dateizahlen zu vergleichen, aber der Indikator "Platte voll" sollte aussagekräftig genug sein.
Die Kombination von find + xargs hat den ganzen Mist innerhalb weniger Minuten weggebaggert (eben 1x find + 1x rm und nicht 1x find + n-mal rm).
Vielen Dank für eure Hilfe. Beim Neuaufsetzen der Systeme werde ich an ein anderes FS denken.
