LUKS-Partitionen komplett spiegeln/kopieren als Backup

[wanne]

Ich darf das offensichtlich unterbewertete pv einwerfen? Hat zwar als einzigen Mehrwert nur den Fortschrittsbalken (samt ETA), aber manch einer mag das.

ICh mag das aus. Habe es mal außen vor gelassen, weil es bei vielen (Live-)Distros nicht dabei ist.

Ich glaube, es war auch Wanne, der mal dieses Beispiel favorisiert hat.... was ich mir (wie jetzt auch) damals mal notiert habe:

Ja. Das geht genauso. Wobei in dem Fall dd wenigstens nicht langsamer ist, weil /dev/zero synchron und asynchron gleich schnell ist.

[debianoli]

Boote einfach irgend eine LiveCD. (Du willst kein System kopieren während es läuft. Das macht nur Müll.)

Wenn man das richtig macht, macht da nix Müll. Geht mit tar und der exclude-from Option vom laufenden System aus. Ich sichere so immer meinen Arbeitsrechner und hatte dabei noch keine Probleme.

Code: Alles auswählen

tar -cvz --exclude-from=EXCLUDE_LISTE.datei -f bkp.tar.gz /

Und in der Datei EXCLUDE_LISTE.datei steht alles, was nicht mit soll. Bei mir zB das User-Home und natürlich der Mount-Punkt der Sicherungs-Festplatte in /media

Code: Alles auswählen

/proc/*
/sys/*
/home/*
/dev/*
/run/*
/media/*

[wanne]

Boote einfach irgend eine LiveCD. (Du willst kein System kopieren während es läuft. Das macht nur Müll.)

Wenn man das richtig macht, macht da nix Müll. Geht mit tar und der exclude-from Option vom laufenden System aus. Ich sichere so immer meinen Arbeitsrechner und hatte dabei noch keine Probleme.

Code: Alles auswählen

tar -cvz --exclude-from=EXCLUDE_LISTE.datei -f bkp.tar.gz /

Ja. Beim erstellen vom Backup hast du auch noch keine Probleme. Erst beim wieder herstellen wirst du feststellen dass

• Alle Hardlinks fehlen
• Dein stage 1 (und 1.5) vom Bootloader weg ist
• Die letzte paar Minuten aus jeder Datenbank fehlen, weil die gecached sind.
• Praktisch jedes IO-Intensive Programm nicht mehr hochkommt, weil deine Daten inkonsistent sind.
• Alle ACLs fehlen. (OK, da wirst du keine haben)
• SELinux contexte kaputt sind
• extendet attributes fehlen
• Capabillities fehlen

Nein. Ein Backup mit tar funktioniert nur mit kalten klassischen "dummen" Daten. Mit anderem Zeug kann man das auch machen. Ist dann halt scheiße. Gibt schon gründe, warum alle Professionellen Virtualisierungsumgebungen mit "Enterprise"-Featrues alla Snapshots haben wollen.

[Phijo]

Was machen cp und dd eigentlich anders? Und mit dd kann ich ja auch ein Image erstellen. (das hatte ich heute Mittag recherchiert und andersherum für Live-Sticks bereits genutzt) Wie unterscheidet sich das von einem Image mit cp?
In den aller meisten Fällen ist das Ergebnis das selbe. Der grundsätzliche Unterschied ist, dass dd immer volle Blöcke ließt und dann volle Blöcke schreibt: Sprich du brauchst (bei gleicher lese und schreib-geschwindigkeit) die doppelte Zeit. Dafür kannst du dich darauf verlassen, dass in der Ausgabedatei nicht mal 517Byte sind sonder immer ganze Vielfache von bs sind. Daneben kannst du bei einem input-device, dass monitored, welche Blöcke gelesen wurden dich darauf verlassen, dass maximal einer noch nicht geschrieben wurde. Alles Sachen die du nicht brauchst.
cp (und cat) weisen Linux an schon mal "poaktiv" weiter zu lesen, während es gerade noch schreibt. Lesen und Schreiben passieren also gleichzeitig. Dafür hat dd halt noch nen Haufen Zusatzoptionen. (Die du alle nicht brauchst.)

[DeletedUserReAsG]

Was ist bei dd eigentlich ne sinnvolle Größe für bs?

Alles, was größer der Blockgröße, kleiner als der Cache und ein Vielfaches von 1024 ist. Die Angabe ist im Grunde für die ursprüngliche Aufgabe von dd von Bedeutung (als Größe für skip, seek, count). Ich nehme in der Regel 1M.

Wenn ich mit cp eine einzige Partition in ein Image verwandel: wie bekomme ich die zurückgespiegelt? Einfach eine gleich formatierte Partition mindestens gleicher Größe erstellen und das als Ausgang für den Kopiervorgang aus der imagedatei verwenden?

Genauso wie bei dd: ›cp /pfad/zur/imagedatei /dev/zielpartition‹. Die Partition müss dazu mindestens mit der gleichen Größe des Images erstellt worden sein, das Dateisystem (Formatierung) ist unerheblich.

[debianoli]

Nein. Ein Backup mit tar funktioniert nur mit kalten klassischen "dummen" Daten. Mit anderem Zeug kann man das auch machen. Ist dann halt scheiße. Gibt schon gründe, warum alle Professionellen Virtualisierungsumgebungen mit "Enterprise"-Featrues alla Snapshots haben wollen.

Einiges an deinen Erläuterungen ist mir nicht ganz klar, da ich per tar schon öfters mein System umgezogen habe. Allerdings handelt es sich dabei um einen Desktop-Rechner, also keinen Server im Produktiv-Einsatz.

• Alle Hardlinks fehlen

Auf welche Hardlinks bezieht sich das?

• Dein stage 1 (und 1.5) vom Bootloader weg ist

Versteh ich nicht. Falls es da Probleme gibt, macht man von der Live-CD aus per chroot ein update-grub

• Die letzte paar Minuten aus jeder Datenbank fehlen, weil die gecached sind.

Gut. Allerdings dürfte das für ein normales Desktop-System egal sein.

• Praktisch jedes IO-Intensive Programm nicht mehr hochkommt, weil deine Daten inkonsistent sind.

Ist das für einen normalen Desktop-rechner relevant, wenn man sich aus dem DE ausloggt und von der Konsole aus per tar das System sichert?

• Alle ACLs fehlen. (OK, da wirst du keine haben)

Richtig. Desktop-System mit Einzel-Nutzer

• SELinux contexte kaputt sind

Was passiert da genau?

• extendet attributes fehlen

tar kann extended attributes, siehe https://www.gnu.org/software/tar/manual ... butes.html
Aber ist das Fehlen von extended attributes überhaupt relevant?

• Capabillities fehlen

Was meinst du damit?

[wanne]

• Alle Hardlinks fehlen

Auf welche Hardlinks bezieht sich das?

Alle die du halt so hast. tar macht aus den Links dann 2 Dateien, was zu verwirrungen führen kann sobald man dann das nächste mal die erste ändert.

• Dein stage 1 (und 1.5) vom Bootloader weg ist

Versteh ich nicht. Falls es da Probleme gibt, macht man von der Live-CD aus per chroot ein update-grub

Nein. Ein update-grub braucht es nicht. Das passende Kommando ist grub-install /dev/sdx. Ja. Das kann man machen ist aber eben Zustzaufwand beim wiederherstellen.

• Praktisch jedes IO-Intensive Programm nicht mehr hochkommt, weil deine Daten inkonsistent sind.

Ist das für einen normalen Desktop-rechner relevant, wenn man sich aus dem DE ausloggt und von der Konsole aus per tar das System sichert?

Die Gefahr, dass während des rsyncs ein write auftritt ist natürlich immer da sobald irgend ein Dienst Läuft und das sind ne Menge. Die Gefahr ist an der stelle zugegebener maßen eher klein. Auf desktops ist es üblicherweise hauptsächlich der Browser den es relativ häufig killt. Firefox ist bei sowas zu ca. 5% kaputt. Aber da kann man dann das profil löschen und alles ist wieder gut.
Anderer Kanidat der das eher nicht so ab konnte ist kmail. (Mit akonadi und sqlite müsste das jetzt besser sein.) Einige spiele löschen die als Cheat-Protection die Spielstände. Aber es bleibt halt immer ein Glücksspiel. Sobald ein Programm mehr als eine Datei offen hat, kann es das zerschießen. (Und das sind ne Menge: guck dir einfach mal ls -d /proc/*/fd/[3-9]* an.) Die frage ist nur wie wahrscheinlich das ist.

• SELinux contexte kaputt sind

Was passiert da genau?

Wenn du selinux nutzt tut gar nichts mehr. (Das grob gesagt ist ein feingranulareres Rechtemanagement als klassiche UNIX-Rechte. Exploits für solche Systeme sind deutlich schwerer zu schreiben.) Ist aber eher bei RedHat/Fedora verbreitet, wo es per default an ist. Obwohl Debian kompatibel sein will kenne ich keinen, der das da nutzt.

• Capabillities fehlen

Was meinst du damit?

Z.B. ping als unser wird auf vielen Systemen nicht mehr funktionieren. Mal am Beispiel ping: Klassisch braucht man um Netzwerkzugriff zu bekommen root rechte. Da ping kein tcp und damit keinen port verwendet muss ping als root ausgeführt werden. Das kann man entweder mit suid-Bit lösen oder halt mit der capability, dass dieses eine Programm (ping) vollen Netzwerk-Zugriff hat aber sonst keine root-rechte. Ähnliches gilt für tshark. Abhören von Netzwerkverkehr darf eigentlich nur root. Mit der Netzwerkkapability darf das auch tshark. Der überprüft dann ob der Nutzer in der passenden Gruppe ist.


Und wie gesagt: Ich würde die ganze Platte in eine Datei kopieren. nicht die einzelnen Partitionen. Dann musst du dich beim wiederherstellen nicht um Bootloader, Partitionstabelle etc. Kümmern.

[debianoli]

@wanne
Thx für die Infos. Jetzt weiß ich, wo die Grenzen von einem Live-Backup mit tar sind.

Wobei tar einiges mehr kann. Die Punkte xattr, acls und selinux sind bei richtiger Anwendung von tar inzwischen auch kein Problem mehr, denn tar hat auch diese Optionen:

Code: Alles auswählen

Extended file attributes
       --acls Enable POSIX ACLs support.

       --no-acls
              Disable POSIX ACLs support.

       --selinux
              Enable SELinux context support.

       --no-selinux
              Disable SELinux context support.

       --xattrs
              Enable extended attributes support.

[wanne]

Wobei tar einiges mehr kann. Die Punkte xattr, acls und selinux sind bei richtiger Anwendung von tar inzwischen auch kein Problem mehr, denn tar hat auch diese Optionen:

Es ist wohl etwas trickier als man denkt: Es gibt wohl ein paar ".tar" formate. GNU in drei Varianten, BSD... Man muss beim packen eines wählen, das alles unterstützt und vor allem beim Entpacken wieder ein passendes Format nehmen, dass das dann auch versteht. Ich meine da mal auf die Nase gefallen zu sein.

[Phijo]

Wenn ich das richtig sehe ist dir Zeit und platz reichlich Wurst.
Mein dicke Empfehlung an dich:
Lass die Finger von irgend welchen intelligent-Lösungen alla gparted und ähnliches und kopiere einfach die Platte.
Boote einfach irgend eine LiveCD. (Du willst kein System kopieren während es läuft. Das macht nur Müll.) Da kannst du einfach die Datei /dev/sda bzw. /dev/sdb etc auf die externen Platten kopieren. (Ganz normal mit rechtsklick kopieren und dann halt in einen Ordner deiner Wahl einfügen.) Das kannst du dann auf jede genauso große (oder größere) Platte wieder einfügen. Und du hast eine 1:1 Kopie ohne irgend welche Veränderungen, die dir Bootfähigkeit o.ä. kaputt machen.
Selbstverständlich geht das auch auf der Kommandozeile mit cp:

Code: Alles auswählen

cp /dev/sda /media/exter1/platte1.img

und zum wiederherstellen auf die neue Platte:

Code: Alles auswählen

cp  /media/exter1/platte1.img /dev/sda

Wenn du das nochmal beschleunigen willst, kannst du mit tee auf beide externen gleichzeitig kopieren.
Annahme ist, dass backup Platten unter /media/exter1 und /media/extern2 liegen und die zu kopierende Platten sda und der USB-Stick sdd ist:

Code: Alles auswählen

cat /dev/sda | tee /media/exter1/platte1.img > /media/exter2/platte1.img
cat /dev/sdd | tee /media/exter1/stick.img > /media/exter2/stick.img

Hi zusammen, nach einiger Zeit, Urlaub und Testen möchte ich mich hier mal wieder melden.
Die Idee mit CP und der ERstellungs eines Images von der ganzen platte war richtig gut.
Ich hab das beim PC meiner Eltern (die haben jetzt auch Debian) mal ausprobiert und auch bei meinen beiden anderen PCs versucht (Debian 9 und ein "Bastelthinkpad" mit QubesOS).
Das funktioniert auf jeden Fall auch mit verschlüsselten Dateien und ich habe ein (sehr großes) Image, das ich beliebig hin und her schieben kann. Will ich nicht, aber das Handling funktioniert.

Mein Workflow fürs Backup also nun:
-live Backup von wichtigen Daten auf dem PC fürs Studium und Daten, die nicht privacy-relevant sind, auf eine Cloud mit deutschen Servern. Wenn ich Google-Drive oder so etwas hätte, wäre das verschlüsselt.
Das Cloud-Backup hat einerseits Sicherungszwecke, dient aber auch dazu, Daten über mehrere Geräte synchron zu halten.
Bei nem Keylogger wäre das schlecht, aber da ich jetzt mindestens 2-3 Kopie habe, die durch die Cloud synchronisiert werden, könnte ich selbst dann einfach eine Kopie offline sichern.

-Meine Externe ist mit Veracrypt verschlüsselt. Diese Daten landen auf einem gleich großen Veracrypt-Volume auf der 5TB-ExternenBackupplatte.
-Meine Festplatten im PC werde ich jetzt halbjährlich oder bei wichtigen Änderungen per cp in ein Image verwandeln, das landet dann auch auf der Externen. Da die Partitionen verschlüsselt sind, muss ich das Image nicht verschlüsseln.
-Wenn ich auf der 5TB-Externen etwas ändere spiegel ich diese per dd einfach komplett auf eine gleich große Platte. Die wird dann außer Haus gelagert.

Einzige verbleibende Frage: Wenn ich eine komplette Partition kopiere mit dd bzw. cp: Wo liegt da der Unterschied? Gibt es einen?
Also macht es für ne Spiegelung einen unterschied ob ich cp /dev/sdb /dev/sdc oder dd if=/dev/sdb of=/dev/sdc bs=1M nehme? Beide Platten sind gleich groß und ich will einfach eine Kopie, sodass ich zwei identische Platten habe und eine irgendwo lagern kann.

Nebenbei hatte ich das Problem, dass ich leider fürs Studium Windows brauche. Ich habe jetzt für mein "Bastelthinkpad" eine Lösung gefunden. Beim T430 kann man die Festplatte sehr einfach tauschen. Eine übrig gebliebene SSD wird jetzt dafür verwendet, Windows zu beherbergen, wenn ich das brauche (verschlüsselt mit Veracrypt). Das geht dann nur online, wenn ich das für nötig halte (T430 hat einen Hardwareschalter) und mein Hauptlaptop hat Debian.

Also danke nochmal für Eure Hilfe!
Grüße
Phijo

[Phijo]

Was ist bei dd eigentlich ne sinnvolle Größe für bs?

Alles, was größer der Blockgröße, kleiner als der Cache und ein Vielfaches von 1024 ist. Die Angabe ist im Grunde für die ursprüngliche Aufgabe von dd von Bedeutung (als Größe für skip, seek, count). Ich nehme in der Regel 1M.

Wenn ich mit cp eine einzige Partition in ein Image verwandel: wie bekomme ich die zurückgespiegelt? Einfach eine gleich formatierte Partition mindestens gleicher Größe erstellen und das als Ausgang für den Kopiervorgang aus der imagedatei verwenden?

Genauso wie bei dd: ›cp /pfad/zur/imagedatei /dev/zielpartition‹. Die Partition müss dazu mindestens mit der gleichen Größe des Images erstellt worden sein, das Dateisystem (Formatierung) ist unerheblich.

Danke!


@all: Ein weiteres Problem habe ich noch: Ich möchte auch gerne mein (verschlüsseltes) Handy backupen. Hat da jemand vielleicht einen guten Tipp für Linux und per mitgelieferter Software verschlüsseltes Android (Samsung) +SD-Karte (ebenfalls verschlüsselt)?
Vermutlich bin ich da falsch im Debian-Forum, vielleicht erstelle ich hier oder an einem entsprechenden Ort noch einen anderen Thread (falls zu sehr OT).

Beste Grüße
Phijo

[wanne]

Hat da jemand vielleicht einen guten Tipp für Linux und per mitgelieferter Software verschlüsseltes Android (Samsung) +SD-Karte (ebenfalls verschlüsselt)?

Das ist feature, dass es nicht geht. Die meisten Handys haben einen Fest eincodierten Key, mit dem sie die SD-Karte verschlüsseln und der sich nicht auslesen lässt.
Daneben hat SAMSUNG diverse Features alla Kopierschutz und "Arbeitgeberschutz" die gewisse Sachen explizit vor dem Nutzer verstecken können sollen. (Firmenpasswörter kopiergeschützte Apps.) Ohne einen Move zu einem frieren OS wirst du da wenig Chancen haben.

[Trollkirsche]

Hat da jemand vielleicht einen guten Tipp für Linux und per mitgelieferter Software verschlüsseltes Android (Samsung) +SD-Karte (ebenfalls verschlüsselt)?

Das ist feature, dass es nicht geht. Die meisten Handys haben einen Fest eincodierten Key, mit dem sie die SD-Karte verschlüsseln und der sich nicht auslesen lässt.
Daneben hat SAMSUNG diverse Features alla Kopierschutz und "Arbeitgeberschutz" die gewisse Sachen explizit vor dem Nutzer verstecken können sollen. (Firmenpasswörter kopiergeschützte Apps.) Ohne einen Move zu einem frieren OS wirst du da wenig Chancen haben.

Handys gehören generell alle auf den Müll. Und falls der Arbeitgeber euch dazu verpflichtet, dieser gleich mit.

[DeletedUserReAsG]

Handys gehören generell alle auf den Müll. Und falls der Arbeitgeber euch dazu verpflichtet, dieser gleich mit.

… und die Erde ist eine Scheibe, und Weiterentwicklung ist sowieso Hexenwerk, jawoll.

[Trollkirsche]

Handys gehören generell alle auf den Müll. Und falls der Arbeitgeber euch dazu verpflichtet, dieser gleich mit.

… und die Erde ist eine Scheibe, und Weiterentwicklung ist sowieso Hexenwerk, jawoll.

Kommt drauf an ob du die Totalüberwachung als Weiterentwicklung der Menschheit und weltbewegender Schritt für die menschliche Evolution ansiehst..

[DeletedUserReAsG]

Ich sehe umfassende Kommunikationsmöglichkeiten, leistungsstarke Rechner mit viel Sensorik und GNS akkubetrieben im Taschenformat, mit Oberflächen, die jeder DAU bedienen kann, fast überall Zugriff auf’s Inet, teils schneller, als mancher leitungsgebundene Anschluss und die ganzen anderen Kleinigkeiten als ziemlich beeindruckende Weiterentwicklung, ja.

Was das nun per se mit „Totalüberwachung“ zu tun hat, erschließt sich mir nicht. Ich hab auch ’n Telephon vom Arbeitgeber gestellt bekommen, und wenn das nicht so wäre, hätte ich eines verlangt. In welcher Zeit muss man steckengeblieben sein, um solche Arbeitserleichterungen so kategorisch abzulehnen?

[Phijo]

Falls jemand dieses Thema irgendwann mal liest und sich vielleicht auch fragt, wie er einfach eine komplette, vielleicht verschlüsselte Festplatte backupen kann:
Die Methode funktioniert. Ich habe letztens testweise ein Image wiederhergestellt, das hat problemlos gebootet. Top

Also danke nochmal für Eure Hilfe!

[speefak]

Ich habe gerade mit rescatux und ddcfl ( dd mit anzeige ) eine SSD geklont, wurde beim booten nicht erkannt. Cp ging auch bei mit allem Drum und Dran ( Luks LVM , Boot Windows Partition und Bootsektor )

Die Frage was DD nun anders als CP macht ist bis auf synchrones lesen und schreiben bei cp nicht beantwortet worden - oder ist das die Antwort ? Wenn ja :

Code: Alles auswählen

time sudo cp /dev/mapper/System-system test.img

real	2m22,074s
user	0m0,116s
sys	0m11,300s

#:~> time sudo dd if=/dev/mapper/System-system of=test2.img
29294592+0 Datensätze ein
29294592+0 Datensätze aus
14998831104 Bytes (15 GB, 14 GiB) kopiert, 133,11 s, 113 MB/s

real	2m13,118s
user	0m8,948s
sys	1m2,620s

??? dd war sogar schneller

Beim Platten klonen ( cp /dev/sda /dev/sdb ) war cp um ein vielfaches schneller.

Zur Handyüberwachung : Schaut euch mal Sailfish OS an. Für mich perfekt, ein mehr oder weniger natives Linux, so gut wie gar keine Werbung und eine perfekte Bedienung - keine Googledienste. Sprachsuche fehlt - für die gänzliche Freiheit von Apple Google und MS aber Preis den ich gerne bezahle. Android oder Apple würde ich mir auch nicht anschaffen, dann lieber gar kein Smartphone sondern ein natives Linux Tablet. Die Überwachung und Manipulation der Massen aufs Handy zu schieben finde ich auch völlig falsch. Facebook und co. wurden schon vor dem Smartphone groß, Google gibt es schon ewig.

Eine Frage hab ich aber noch wenn die Ziel Platte kleiner als die Quellplatte ist: Wenn ich eine Platte ( Bootpartition(512MB)|Luks(180GB)|Windowspartition(52GB) ) auf eine 10 GB kleinere Platte klone ist die Windows Partition hin und der Rest ist korrekt kopiert worden ? Verkleinere ich die Windowspartition um 15 GB ( 5 GB als Puffer ) und klone die SSD dann, müssten alle Quelldaten auf der Ziel SSD korrekt vorliegen oder sehe ich das falsch ? Nach dem Klonen können dann beide Windowspartitionen wieder auf den maximalen Platz vergrößert werden ?

[wanne]

??? dd war sogar schneller

Ja. Weil dd nur deinen RAM gelesen hat. Am Ende benchmarkst du mit mehr oder weniger allen tools immer nur wie gut (oder schlecht) dein caching-Algorithmus ist. Und da gilt üblicherweise: Je öfter du ausführst desto mehr zeit zum lernen hat der desto schneller. Erst sobald deine Daten deutlich schneller als alle deine Caches (inklusive RAM) sind bekommst du vernünftige Ergebnisse. Und selbst da hat du üblicherweise artefakte wie anlaufende Festplatten oder Hintergrundjobs drin.
Du kannst dir btw. mal die CPU-Zeit angucken (usr+sys). Das ist etwas zuverlässiger. Dann merkst du dass das deutlich anders aussieht. Dich interessiert aber natürlich auch wenig. Wenn dein kopiervorgang 10 min bei 50% Auslastung läuft ist dir das liber wie wenn er 5 min. mit 10% Auslastung läuft.

Eine Frage hab ich aber noch wenn die Ziel Platte kleiner als die Quellplatte ist: Wenn ich eine Platte ( Bootpartition(512MB)|Luks(180GB)|Windowspartition(52GB) ) auf eine 10 GB kleinere Platte klone ist die Windows Partition hin und der Rest ist korrekt kopiert worden ? Verkleinere ich die Windowspartition um 15 GB ( 5 GB als Puffer ) und klone die SSD dann, müssten alle Quelldaten auf der Ziel SSD korrekt vorliegen oder sehe ich das falsch ? Nach dem Klonen können dann beide Windowspartitionen wieder auf den maximalen Platz vergrößert werden ?

Kommt drauf an: Im Fall einer DOS-Partitionstabelle funktioniert das, da die Partitionstabelle ganz am Anfang der Platte steht. Im Fall einer GPT liegt sie nochmal ganz am Ende. Da hast du dann ein Problem. Besser ist es die Tabelle mit sfdisk oder sgdisk zu sichern und dann die Partitionen einzeln neu einzuspielen.

[speefak]

Stimmt mit MBR hats ohne Fehler geklappt.