rsync und FTP
-
- Posts: 119
- Joined: 2003-11-18 10:38
rsync und FTP
Ich habe bisher immer rsync für Backups verwendet; auf einem (Strato)Server steht mir aber nur FTP Backupspace zur Verfügung.
Ich habe diesen Artikel gefunden, wobei der Autor das Problem mit curlftpfs umgeht, um trotzdem rsync zu verwenden.
Ich habe das ausprobiert, funktioniert an sich auch, aber der Datentransfer ist extrem langsam. Ich habe im Strato VLAN mit 100Mbit Anbindung in 1h 180MB übertragen --
Eine Idee, an was der langsame Datentransfer liegen könnte, und ich wie ich das beheben kann?
Ich habe diesen Artikel gefunden, wobei der Autor das Problem mit curlftpfs umgeht, um trotzdem rsync zu verwenden.
Ich habe das ausprobiert, funktioniert an sich auch, aber der Datentransfer ist extrem langsam. Ich habe im Strato VLAN mit 100Mbit Anbindung in 1h 180MB übertragen --
Eine Idee, an was der langsame Datentransfer liegen könnte, und ich wie ich das beheben kann?
-
- Administrator
- Posts: 2641
- Joined: 2004-01-21 17:44
Re: rsync und FTP
Hast Du schon verifiziert, ob es an der Verbindung bzw. dem Backup-Server liegt oder tatsächlich an curlftpfs? Einfach mal eine (größere) Datei normal per FTP transferieren - und dabei ruhig auch mal mit curl testen, ev. liegt's auch an libcurl.
“Some humans would do anything to see if it was possible to do it. If you put a large switch in some cave somewhere, with a sign on it saying 'End-of-the-World Switch. PLEASE DO NOT TOUCH', the paint wouldn't even have time to dry.” — Terry Pratchett, Thief of Time
-
- Posts: 119
- Joined: 2003-11-18 10:38
Re: rsync und FTP
Mit FTP geht es "normal" schnell, wie ich das im lokalen Netz erwarte. Wie kann ich das mit Curl testen?
-
- Administrator
- Posts: 2641
- Joined: 2004-01-21 17:44
Re: rsync und FTP
Code: Select all
curl --ftp-pasv -T testdatei ftp://mein.backup.server/upload/
“Some humans would do anything to see if it was possible to do it. If you put a large switch in some cave somewhere, with a sign on it saying 'End-of-the-World Switch. PLEASE DO NOT TOUCH', the paint wouldn't even have time to dry.” — Terry Pratchett, Thief of Time
-
- Posts: 150
- Joined: 2004-12-15 16:48
Re: rsync und FTP
Die Kombination aus FTP und Rsync scheint mir am ehesten das Problem.
Ein kurzer Blick in die RFC lässt zwar vermuten das es irgendeine Form von blockweisen Zugriff (PAGE) gibt, aber ob das der FTP-Server von Strato kann bezweifle ich.
Somit zieht dann ein Rsync über CurlFTPS das herunterladen aller auf beiden Seiten bestehenden Dateien nach sich und zusätzlich einen erneuten Download der neu übertragenen Dateien - so lese ich das zumindest aus der Beschreibung der Funktionsweise von rsync.
Ein kurzer Blick in die RFC lässt zwar vermuten das es irgendeine Form von blockweisen Zugriff (PAGE) gibt, aber ob das der FTP-Server von Strato kann bezweifle ich.
Somit zieht dann ein Rsync über CurlFTPS das herunterladen aller auf beiden Seiten bestehenden Dateien nach sich und zusätzlich einen erneuten Download der neu übertragenen Dateien - so lese ich das zumindest aus der Beschreibung der Funktionsweise von rsync.
-
- Posts: 119
- Joined: 2003-11-18 10:38
Re: rsync und FTP
per Curl geht es auch schnell.
@dotme: Verstehe ich das richtig, dass es damit keine Möglichkeit gibt, rsync in diesem Fall sinnvoll zu verwenden? Oder gibt es einen Workaround dafür?
@dotme: Verstehe ich das richtig, dass es damit keine Möglichkeit gibt, rsync in diesem Fall sinnvoll zu verwenden? Oder gibt es einen Workaround dafür?
-
- Posts: 40
- Joined: 2002-09-12 19:04
- Location: Bad Herrenalb
Re: rsync und FTP
Schau dir mal duply[1] bzw. duplicity[2] an. Vlt. ist das ja eine Alternative für dich.
[1]http://duply.net/
[2]http://duplicity.nongnu.org/
[1]http://duply.net/
[2]http://duplicity.nongnu.org/
-
- Posts: 366
- Joined: 2006-08-27 02:06
Re: rsync und FTP
ich habe hier ebenfalls ein problem mit curlftpfs, kann zwar den ftp space mounten, aber rsync kopiert keine dateien (ordner werden angelegt)
z.b. rsync -avz /1 /mnt/FTP-Space
gibt es eine gute alternative zu rsync die ich mit einem ftp-space nutzen kann?
mir geht es darum das auch daten vom backup gelöscht werden die in der quelle nicht mehr vorhanden sind und alles ohne komprimierung auf den ftp zu übertragen ...
Code: Select all
curlftpfs user:pass@123.myftpbackup.tld/ /mnt/FTP-Space
Code: Select all
rsync: mkstemp "/mnt/FTP-Space/1/.mailq.sh.Q88Gdl" failed: Operation not supported (95)
mir geht es darum das auch daten vom backup gelöscht werden die in der quelle nicht mehr vorhanden sind und alles ohne komprimierung auf den ftp zu übertragen ...
-
- Posts: 5923
- Joined: 2004-05-23 12:53
-
- Posts: 366
- Joined: 2006-08-27 02:06
Re: rsync und FTP
probiere gerade eine lösung mit lftp, scheint super zu klappen, schneller als rsync und weniger load:
http://serverfault.com/questions/24622/ ... c-over-ftp
http://serverfault.com/questions/24622/ ... c-over-ftp
Code: Select all
#!/bin/bash
HOST="myftpbackup.tld"
USER="user"
PASS="pass"
LCD="/quellordner"
RCD="/zielordner"
lftp -c "set ftp:list-options -a;
open ftp://$USER:$PASS@$HOST;
lcd $LCD;
cd $RCD;
mirror --reverse \
--delete \
--verbose \
--exclude-glob a-dir-to-exclude/ \
--exclude-glob a-file-to-exclude \
--exclude-glob a-file-group-to-exclude* \
--exclude-glob other-files-to-esclude"