1:1 Abbild von Server

Backup, Restore und Transfer von Daten
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

1:1 Abbild von Server

Post by wlaner001 »

Hallo zusammen!

Ich benötige ein 1:1 Abbild meines Servers (der Platte). Das ganze soll mit dem Befehl klappen:

Code: Select all

dd bs=1M if=/dev/hda | gzip | ssh user@remote ‘dd of=hda.gz’
Aber was gebe ich als Quelle (if) an?

Code: Select all

dir
zeigt in dev mehr als 50 Einträge... davon 3-4 Verzeichnisse, aber keine hdx.
Kann ich / angeben?

OS: OpenSuse, RootServer bei Strato

Wenn noch Informationen fehlen reiche ich diese gerne nach.

Vielen Dank :-)
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Danke schonmal, md1 existiert (daneben auch noch md0 und md2-md31 :)

Werde das ganze erst morgen oder am Freitag ausprobieren können, wer noch Tipps hat, kann diese gerne kundtun.

Gruß, wlaner
dante
Posts: 128
Joined: 2010-04-20 12:50
 

Re: 1:1 Abbild von Server

Post by dante »

Warum guckst du nicht in der fstab bzw. Mount-Tabelle nach, welche Devices überhaupt genutzt werden:

Code: Select all

less /etc/fstab
bzw.

Code: Select all

mount -l
Gruß
dante
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

Code: Select all

mount
fdisk -l
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Code: Select all

/dev/md1 /
danke :)
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Eine Sache versteh ich noch nicht ganz. Wann wird ein Passwort für den remote server abgefragt? Muss da vllt. noch ein "-p pass" oder etwas ähnliches mit rein?

Edit: Ok, das mit dem Parameter ist Quatsch... wie gehts?
Last edited by wlaner001 on 2011-01-12 22:56, edited 1 time in total.
Roger Wilco
Posts: 5923
Joined: 2004-05-23 12:53
 

Re: 1:1 Abbild von Server

Post by Roger Wilco »

wlaner001 wrote:Edit: Ok, das mit dem Parameter ist Quatsch... wie gehts?
Mit Public-Key-Authentifizierung.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

Beide Server müssen ins Rettungssystem gebootet werden und dann den Kopiervorgang für beide Festplatten einzeln durchführen, so:

Code: Select all

dd if=/dev/sda ibs=4096 conv=notrunc,noerror | ssh root@remote "(dd of=/dev/sda obs=4096)"
dd if=/dev/sdb ibs=4096 conv=notrunc,noerror | ssh root@remote "(dd of=/dev/sdb obs=4096)"
Das Passwort für den root des neuen Servers wird automatisch abgefragt.

Das dauert aber bei grossen Festplatten etliche Stunden...
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

Ohne exakt gleiche Partitionstabellen wird es mit den md-Devices nicht funktionieren, daher entweder die kompletten Festplatten in einem Rutsch per dd, oder nur das installierte System per tar. Letzteres erfordert anschliessend etwas mehr Handarbeit als Ersteres, dafür ist die Datenmenge um Einiges geringer.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

Ich würde dd dafür auch nicht verwenden, aber wenn, dann bitte nur komplette Festplatten-Images. rsync steht leider auch nicht in jedem Rescuesystem zur Verfügung, daher bevorzuge ich eher ssh+tar:

Code: Select all

cd /mnt/hdd && tar -cSp --atime-preserve --numeric-owner --exclude=/{dev,proc,sys}/* -f - . | ssh root@remote "( cd /mnt/hdd && tar -xSp --atime-preserve --numeric-owner -f - )"
Transferabbrüche sind auch bei rsync zeitraubend, da der Checksum-Abgleich nicht wirklich schnell ist. rsync und ssh+tar sollten beide ausreichend schnell sein, solche Fullbackups führt man ja nicht täglich durch.
Last edited by Joe User on 2011-01-13 11:04, edited 1 time in total.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Hey, danke für eure Hilfe und eure Antworten. Hatte gestern leider keine Zeit mich weiter damit zu beschäftigen.

Leider muss ich auch die Angaben etwas ändern. Ich hoffe ihr könnt mir dabei trotzdem weiterhelfen.

Für den Sicherungsserver (oder besser Sicherungsspace) besitze ich lediglich einen FTP-Zugang (nur über Stratos internes Netz erreichbar, d.h. FTP-Verbindung nur vom root-Server auf den Sicherungsspeicher).

Mein Ziel: Ein Sektorimage (1:1) des Datenträgers vom root-Server. Dieses Image soll dann irgendwie auf meinem Rechner zu Hause landen. Problem ist dabei natürlich auch die Größe der Festplatte von 500GB (belegt sind lediglich >10GB).

Versucht habe ich es auf diesem Weg: http://www.dokuwiki.tachtler.net/doku.p ... es_servers.

Allerdings erhalte ich dann nur die help Ausgabe von ncftp.


Wenn jemand eine bessere Idee hat, wie ich die Sicherung nach Hause kriege, bitte her damit ;-)

Gruß, wlaner

Edit: Quellserver ist bereits im Rettungsmodus.
Habs gerade geschafft mit

Code: Select all

dd if=/dev/md1 bs=1M | gzip -9 - | ncftpput -c -V -u FTPUSER -p FTPPASSWORT FTPSERVER /FTPPATH/NAME.img.gz  
die Sicherung zum laufen zu kriegen, mal sehen was dabei rauskommt...
Last edited by wlaner001 on 2011-01-14 15:45, edited 3 times in total.
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Danke für den Tipp, matzewe.
Die Image-Erstellung hat mit dem letzten von mir genannten Befehl geklappt. Allerdings ist die Datei nur knapp 4GB groß, was in etwa dem belegten Speicher auf dem Server entsprach.
Ich dachte bei einem Sektorimage ist die Dateigröße gleich dem gesamten Speicherplatz?! Oder liegt das an gz?
Roger Wilco
Posts: 5923
Joined: 2004-05-23 12:53
 

Re: 1:1 Abbild von Server

Post by Roger Wilco »

490.000.000.000 mal 0x00 lassen sich mit dem Deflate-Algorithmus eben ganz gut komprimieren…
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Ein Hoch auf freien Speicherplatz...!
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

Zunächst hast Du nur versucht(?) ein Image der Partition /dev/md1 zu erstellen und nicht ein Image der kompletten Festplatte. Desweiteren deuten die 4GB auf ein Problem (4GB/Prozess-Limit) mit entweder dem Betriebsystem des Rescuesystems, dem Betriebsystem des Backupsystems oder dem FTP-Server auf dem Backupsystem hin. Eine weitere Fehlerquelle kann bei Deinem lokalen Filesystem (mangelhafter LargeFileSupport) liegen.

Was davon letztendlich zutrifft, lässt sich ohne Logs jedoch nicht ermitteln.

@Roger Wilco: Ich bezweifle einfach mal das die HDD vor der Installation mit /dev/zero überschrieben wurde und es zudem noch keine Fragmentation gab ;)

Prüfe das Image bitte auf Vollständigkeit/Integrität...
Last edited by Joe User on 2011-01-14 18:10, edited 1 time in total.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Ich lade es gerade runter und schau dann rein.

Edit: Wie muss ich vorgehen, um ein Image der Festplatte zu erstellen? So lautete ja meine Ausgangsfrage, was ich als Quelle angeben muss, um ein Abbild der Festplatte zu erzeugen.
Last edited by wlaner001 on 2011-01-14 18:24, edited 1 time in total.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Hab ich überlesen :-/

Code: Select all

server:/dev# mount -l
tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
proc on /proc type proc (rw,noexec,nosuid,nodev)
sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
udev on /dev type tmpfs (rw,mode=0755)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
rootfs on / type rootfs (rw)
und

Code: Select all

# /etc/fstab: static file system information.
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
proc            /proc           proc    defaults        0       0

/etc/fstab (END)
sda/sdb ist richtig, auch wenn es nirgends zu finden ist (vllt. wegen dem Secure Modus)?
Last edited by wlaner001 on 2011-01-14 18:48, edited 1 time in total.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

Du bist im Rescuesystem, daher bitte:

Code: Select all

fdisk -l
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Code: Select all

server:/dev# fdisk -l

Disk /dev/sdb: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x000757a8

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1           7       56196   fd  Linux raid autodetect
/dev/sdb2               8         138     1052257+  82  Linux swap / Solaris
/dev/sdb3             139       60801   487275547+  fd  Linux raid autodetect

Disk /dev/sda: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x000dfffd

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1           7       56196   fd  Linux raid autodetect
/dev/sda2               8         138     1052257+  82  Linux swap / Solaris
/dev/sda3             139       60801   487275547+  fd  Linux raid autodetect

Disk /dev/md0: 57 MB, 57475072 bytes
2 heads, 4 sectors/track, 14032 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0x00000000

Disk /dev/md0 doesn't contain a valid partition table

Disk /dev/md1: 499.0 GB, 498970066944 bytes
2 heads, 4 sectors/track, 121818864 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0x00000000

Disk /dev/md1 doesn't contain a valid partition table
server:/dev#
Also ist sda/sdb der Raid-Verbund? Warum reicht dann nicht eine Platte? "Darf" ich die Dateien zippen, oder sind die Daten dann nicht mehr "integer"?
Last edited by wlaner001 on 2011-01-14 19:07, edited 2 times in total.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

http://de.wikipedia.org/wiki/RAID erklärt schon Einiges.
Theoretisch sollte das Image von /dev/sda reichen, aber Theorie und Praxis vertragen sich in der Praxis nunmal nicht immer. Wenn jetzt ausgerechnet das RAID auf /dev/sda nicht konsistent ist, dann ist das Image für'n Arsch.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Hab den Wiki-Artikel schon einmal schnell überflogen. Danke für deine Bemühungen. Hab gerade oben noch eine Frage zwecks Komprimierung hineditiert.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

Du darfst Komprimieren, wenn Du dem Komprimierer traust ;)

Ich würde nach wie vor http://www.rootforum.org/forum/viewtopi ... 18#p320628 bevorzugen und beim Restore das SoftwareRAID, die Partitionierung und den Bootloader neu einrichten. Geht schneller und ist flexibler.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
wlaner001
Posts: 13
Joined: 2011-01-12 17:43
 

Re: 1:1 Abbild von Server

Post by wlaner001 »

Vielleicht sollte ich noch dazu sagen, dass es nicht primär darum geht, das Image irgendwann zurückzuspielen. Ich benötige das Sektorimage zur Analyse. Wenn ich nicht komprimiere befürchte ich, dass der Download der Daten eine Ewigkeit in Anspruch nimmt ;-)

Edit:
Problem bei deinem Vorschlag (viewtopic.php?t=51618#p320628) ist, dass ich auf den Backup-FTP keinen ssh-Zugang habe (was du nicht wissen konntest). Ich könnte zwar mich zwar mit meinem lokalen SSH-Server unter Ubuntu verbinden, aber bei 500GB schaff ich das nicht in 24h (Zwangstrennung).
Last edited by wlaner001 on 2011-01-14 19:46, edited 4 times in total.
User avatar
Joe User
Project Manager
Project Manager
Posts: 11183
Joined: 2003-02-27 01:00
Location: Hamburg
 

Re: 1:1 Abbild von Server

Post by Joe User »

Bei dem tar würden nur die reinen Daten gesichert, also kein Festplattenimage. Für eine Analyse auf Filesystembasis aber nicht brauchbar.
Du kommst also um das Image von /dev/sda nicht herum und musst auf einen konsistenten Zustand der Festplatte hoffen (oder /dev/sdb zusätzlich sichern). Mittels gzip kannst Du noch ein paar GB beim Transfer sparen, es werden aber trotzdem einige GB zusammenkommen.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.