backup script hängt

Bash, Shell, PHP, Python, Perl, CGI
michi123
Posts: 73
Joined: 2010-08-04 17:45

backup script hängt

Post by michi123 » 2012-01-20 18:17

hey leute,

ich hab seid längerer zeit einige backup scripts am laufen - ist eig. immer das selbe. joe hat mir damals etas unter die arme gefasst und das script noch ein bisschen angepasst.
bei allen files funzt das script auch ganz gut und die cronjobs werden wie erwünscht ausgeführt.
nur beim forum backup gibts probleme. laut unserem homepage admin hängt sich das script immer auf. angeblich wird der packvorgang immer wieder von vorne gestartet und die zeit verändert sich auch bei jedem aktualisieren. für mich etwas seltsam, denn wenn das script zu fuss ausgeführt wird ist alls io.

anfangs sah das script so aus:

Code: Select all

#!/bin/bash
cd /var/www
tar czf /var/backups/backups_web1/files/forum/forum_backup-`date +%d-%m-%Y`.tar.gz ./web1/forum
chown -R www-data:www-data /var/backups/backups_web1/files/forum
find /var/backups/backups_web1/files/forum/ -type f -print0 | xargs -0 chmod 600


da unsere leute die archive lieber im zip format haben, änderte ich das script auf dieses ab:

Code: Select all

#!/bin/bash
cd /var/www
zip -r1q9 /var/backups/backups_web1/files/forum/forum_backup-$(date +%d-%m-%Y).zip ./web1/forum
chown -R www-data:www-data /var/backups/backups_web1/files/forum
find /var/backups/backups_web1/files/forum/ -type f -print0 | xargs -0 chmod 600


chown und chmod wird für pure-ftpd sql benötigt wo bekanntlich jeder user die uid/gid 33 bekommt.

anscheinend gibts aber bei beiden versionen probleme.
der cron soll jeden montag um 3:00 Uhr Nachts ausgeführt werden.

vlt. wisst ihr ja woran das liegen könnte, und warum nur dieses script davon betroffen ist.

lg

*EDIT*
hier hab ich gerade noch nen kleinen screenshot vom hp admin bekommen, bei dem man sieht das der corn das script anscheinend 40+ mal startet lol:

http://www.abload.de/img/seltsame_foren_backup7zvn6.jpg

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: backup script hängt

Post by Joe User » 2012-01-20 19:39

Bitte den Cronjob prüfen (Anzahl / User) und vorerst nur "zip -r9q ..." verwenden.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

michi123
Posts: 73
Joined: 2010-08-04 17:45

Re: backup script hängt

Post by michi123 » 2012-01-21 00:36

ok, ich werd den cronjob einfach heute nacht ausführen lassen.
die cronjobs werden als root ausgeführt.

ich sag dann morgen bescheid was passiert ist.
Last edited by michi123 on 2012-01-21 10:07, edited 2 times in total.

michi123
Posts: 73
Joined: 2010-08-04 17:45

Re: backup script hängt

Post by michi123 » 2012-01-21 10:03

leider wieder das selbe! das backup script wurde 16 mal gestartet... einmal bei 97mb abgebrochen, dann bei 295mb abgebrochen, 62mb, 14mb, 61mb, etc etc. sollte insgesamt 359mb haben.

so hatte ich den cronjob in die /etc/crontab eingetragen:

Code: Select all

* 5 * * * root /shellscripts/backups/files/forum_backup.sh



ich hab den cron gerade nochmal ausführen lassen und gesehen, das gleich von anfang an 2 einträge mit 2 verschiedenen prozess id´s gestartet werden, einmal:

Code: Select all

zip -r9q /var/backups/backups_web1/files/forum/forum_backup-21-01-2012.zip ./web1/forum


und dann noch:

Code: Select all

/bin/sh -c /shellscripts/backups/files/forum_backup.sh?? #Forum Files Sichern


gehört das so? hab das noch nie beobachtet!
Last edited by michi123 on 2012-01-21 10:20, edited 3 times in total.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: backup script hängt

Post by Joe User » 2012-01-21 12:25

Nein, das gehört nicht so, der zweite Prozess sollte nicht existieren.
Gibt es noch mehr Backup-Scripts (eventuell in anderen Cronjobs)?

Code: Select all

grep -rin 'forum_backup' /etc /shellscripts
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

michi123
Posts: 73
Joined: 2010-08-04 17:45

Re: backup script hängt

Post by michi123 » 2012-01-21 12:42

wie gesagt, einen ganzen haufen!
aber alles zu anderen zeiten.

Code: Select all

/etc/crontab:18:30 4 * * * root /shellscripts/backups/sql/sql-forum_backup.sh           #Forum-DatenBanken Sichern (Tgl 4:30h)
/etc/crontab:35:16 10 * * * root /shellscripts/backups/files/forum_backup.sh               #Forum Files Sichern
/shellscripts/backups/files/forum_backup.sh:2:#tar czf /var/backups/backups_web1/files/forum/forum_backup-`date +%d-%m-%Y`.tar.gz ./web1/forum
/shellscripts/backups/files/forum_backup.sh:8:zip -r9q /var/backups/backups_web1/files/forum/forum_backup-$(date +%d-%m-%Y).zip ./web1/forum


in den ganzen backup-scripts hängt oben dran noch das tar script, das aber auskommentiert ist, deshalb glaube ich, wirds hier auch angezeigt.
Last edited by michi123 on 2012-01-21 12:48, edited 1 time in total.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: backup script hängt

Post by Joe User » 2012-01-21 13:16

Die Kommentare im Crontab bitte generell in eigene Zeilen verfrachten, also so:

Code: Select all

#Forum-DatenBanken Sichern (Tgl 4:30h)
30 4  * * * root /shellscripts/backups/sql/sql-forum_backup.sh
#Forum Files Sichern
16 10 * * * root /shellscripts/backups/files/forum_backup.sh

Ansonsten bin ich momentan leider etwas ratlos :(
Muss es denn wirklich ZIP sein? TAR.BZ2/GZ lässt sich bei Bedarf zum Beispiel mit 7zip auch unter Windows problemlos entpacken.
Last edited by Joe User on 2012-01-21 13:17, edited 1 time in total.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

michi123
Posts: 73
Joined: 2010-08-04 17:45

Re: backup script hängt

Post by michi123 » 2012-01-21 19:44

werd die kommentare gleich bearbeiten.

scheint keinen unterschied zu machen ob nun zip oder tar gepackt wird. wie gesagt wars anfangs ja auch tar.gz, und da war das gleiche problem mit dem cronjob, weshalb der auch bis vor umstellung auf zip, ausgeschaltet war.
nach umstellung auf zip dachte ich mir, das ich´s jetzt nochmal mit dem cronjob versuchen werde - aber wie du siehst, hats anscheinend nix mit dem archiv programm zu tun.

vlt. bringts ja was wenn ich die cronjobs mal sortiere. also 1x/monat in cron.monthly, wöchentlich in cron.weekly, usw. im moment steht ja alles im crontab.

*EDIT* kann das vielleicht sein, das der packvorgang von neuem startet, weil sich während dessen die files die gepackt werden, verändern, oder neue hinzu kommen?
Last edited by michi123 on 2012-01-22 12:44, edited 1 time in total.

remote_mind
Posts: 12
Joined: 2012-01-23 11:18
Location: Rheine

Re: backup script hängt

Post by remote_mind » 2012-01-23 17:23

michi123 wrote:

Code: Select all

* 5 * * * root /shellscripts/backups/files/forum_backup.sh



Mach mal ein 0 aus dem ersten *, so startet sich ab fünf Uhr das Skript jede Minute - bis es dann endlich sechs Uhr wird.

schöne Grüße,
Nils

User avatar
Joe User
Project Manager
Project Manager
Posts: 11138
Joined: 2003-02-27 01:00
Location: Hamburg

Re: backup script hängt

Post by Joe User » 2012-01-23 17:49

Autsch, ich geh dann mal meine Brille putzen :(
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

michi123
Posts: 73
Joined: 2010-08-04 17:45

Re: backup script hängt

Post by michi123 » 2012-01-23 21:15

lol... oO! auf das wär ich auch net gekommen :)

vielen dank!