rsync und FTP

Backup, Restore und Transfer von Daten
native
Posts: 119
Joined: 2003-11-18 10:38
 

rsync und FTP

Post by native »

Ich habe bisher immer rsync für Backups verwendet; auf einem (Strato)Server steht mir aber nur FTP Backupspace zur Verfügung.

Ich habe diesen Artikel gefunden, wobei der Autor das Problem mit curlftpfs umgeht, um trotzdem rsync zu verwenden.

Ich habe das ausprobiert, funktioniert an sich auch, aber der Datentransfer ist extrem langsam. Ich habe im Strato VLAN mit 100Mbit Anbindung in 1h 180MB übertragen --

Eine Idee, an was der langsame Datentransfer liegen könnte, und ich wie ich das beheben kann?
User avatar
daemotron
Administrator
Administrator
Posts: 2641
Joined: 2004-01-21 17:44
 

Re: rsync und FTP

Post by daemotron »

Hast Du schon verifiziert, ob es an der Verbindung bzw. dem Backup-Server liegt oder tatsächlich an curlftpfs? Einfach mal eine (größere) Datei normal per FTP transferieren - und dabei ruhig auch mal mit curl testen, ev. liegt's auch an libcurl.
“Some humans would do anything to see if it was possible to do it. If you put a large switch in some cave somewhere, with a sign on it saying 'End-of-the-World Switch. PLEASE DO NOT TOUCH', the paint wouldn't even have time to dry.” — Terry Pratchett, Thief of Time
native
Posts: 119
Joined: 2003-11-18 10:38
 

Re: rsync und FTP

Post by native »

Mit FTP geht es "normal" schnell, wie ich das im lokalen Netz erwarte. Wie kann ich das mit Curl testen?
User avatar
daemotron
Administrator
Administrator
Posts: 2641
Joined: 2004-01-21 17:44
 

Re: rsync und FTP

Post by daemotron »

Code: Select all

curl --ftp-pasv -T testdatei ftp://mein.backup.server/upload/
“Some humans would do anything to see if it was possible to do it. If you put a large switch in some cave somewhere, with a sign on it saying 'End-of-the-World Switch. PLEASE DO NOT TOUCH', the paint wouldn't even have time to dry.” — Terry Pratchett, Thief of Time
dotme
Posts: 150
Joined: 2004-12-15 16:48
 

Re: rsync und FTP

Post by dotme »

Die Kombination aus FTP und Rsync scheint mir am ehesten das Problem.

Ein kurzer Blick in die RFC lässt zwar vermuten das es irgendeine Form von blockweisen Zugriff (PAGE) gibt, aber ob das der FTP-Server von Strato kann bezweifle ich.

Somit zieht dann ein Rsync über CurlFTPS das herunterladen aller auf beiden Seiten bestehenden Dateien nach sich und zusätzlich einen erneuten Download der neu übertragenen Dateien - so lese ich das zumindest aus der Beschreibung der Funktionsweise von rsync.
native
Posts: 119
Joined: 2003-11-18 10:38
 

Re: rsync und FTP

Post by native »

per Curl geht es auch schnell.

@dotme: Verstehe ich das richtig, dass es damit keine Möglichkeit gibt, rsync in diesem Fall sinnvoll zu verwenden? Oder gibt es einen Workaround dafür?
neo2001
Posts: 40
Joined: 2002-09-12 19:04
Location: Bad Herrenalb
 

Re: rsync und FTP

Post by neo2001 »

Schau dir mal duply[1] bzw. duplicity[2] an. Vlt. ist das ja eine Alternative für dich.

[1]http://duply.net/
[2]http://duplicity.nongnu.org/
fulltilt
Posts: 366
Joined: 2006-08-27 02:06
 

Re: rsync und FTP

Post by fulltilt »

ich habe hier ebenfalls ein problem mit curlftpfs, kann zwar den ftp space mounten, aber rsync kopiert keine dateien (ordner werden angelegt)

Code: Select all

curlftpfs user:pass@123.myftpbackup.tld/ /mnt/FTP-Space
z.b. rsync -avz /1 /mnt/FTP-Space

Code: Select all

rsync: mkstemp "/mnt/FTP-Space/1/.mailq.sh.Q88Gdl" failed: Operation not supported (95)
gibt es eine gute alternative zu rsync die ich mit einem ftp-space nutzen kann?
mir geht es darum das auch daten vom backup gelöscht werden die in der quelle nicht mehr vorhanden sind und alles ohne komprimierung auf den ftp zu übertragen ...
Roger Wilco
Posts: 5923
Joined: 2004-05-23 12:53
 

Re: rsync und FTP

Post by Roger Wilco »

fulltilt
Posts: 366
Joined: 2006-08-27 02:06
 

Re: rsync und FTP

Post by fulltilt »

probiere gerade eine lösung mit lftp, scheint super zu klappen, schneller als rsync und weniger load:
http://serverfault.com/questions/24622/ ... c-over-ftp

Code: Select all

#!/bin/bash    
HOST="myftpbackup.tld"
USER="user"
PASS="pass"
LCD="/quellordner"
RCD="/zielordner"
lftp -c "set ftp:list-options -a;
open ftp://$USER:$PASS@$HOST;
lcd $LCD;
cd $RCD;
mirror --reverse \
       --delete \
       --verbose \
       --exclude-glob a-dir-to-exclude/ \
       --exclude-glob a-file-to-exclude \
       --exclude-glob a-file-group-to-exclude* \
       --exclude-glob other-files-to-esclude"