[gelöst] Selektives backup mit tar.xz

Warum Debian und/oder eine seiner Spielarten? Was muss ich vorher wissen? Wo geht es nach der Installation weiter?
Antworten
Benutzeravatar
wurst10
Beiträge: 189
Registriert: 22.07.2019 09:19:17

[gelöst] Selektives backup mit tar.xz

Beitrag von wurst10 » 02.01.2022 06:49:59

Hallo zusammen,

ich nutze wöchentlich "kbackup" für backups von wichtigen Inhalten in "/home".
Das tool erlaubt die Auswahl+Abwahl einzelner Ordner+Dateien, komprimiert und benennt die Ergebnisdatei mit Datum und Uhrzeit. Leider wird nur eine unkomprimierte *.tar Datei erstellt (ca. 200MB). Diese entpacke ich dann und komprimiere sie mit tar.xz auf 100MB und benenne sie mit Datum und Uhrzeit.

1.
Wie könnte ich das ganze ohne "kbackup" in der bash erreichen, also direkt in tar.xz speichern?
Muss nicht wöchentlich (cronjob) sein, es reicht mir wenn ich den Aufruf in der bash bei Bedarf machen kann. Das Problem das ich habe ist die Selektion der Ordner und Dateien, denn es sollen bestimmte Unterordner und Dateien vom backup ausgeschlossen werden. Eine Liste der ein- und auszuschließenden Ordner+Dateien habe ich erstellt, aber wie bringe ich es fertig diese Auswahl an tar.xz zu übergeben?

2.
Ein weiteres Problem ist, das ich vor dem Backup immer "Alles" in der Chronik von Firefox löschen muss, sonst wird die Backupdatei zu groß.
Die Chronik brauche ich nicht, nur die gespeicherten Passwörter, Bookmarks und die Einstellungen sind mir wichtig.
Der Ordner /home/USER/.mozilla/firefox/***.default/ ist mir bekannt, aber wo finde ich die Chronik, alles andere in diesem Ordner soll in das Backup eingeschlossen werden.
Gibt es eine Möglichkeit das in der bash zu erreichen?

Danke für hilfreiche Hinweise.
Zuletzt geändert von wurst10 am 04.01.2022 05:44:08, insgesamt 1-mal geändert.

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Selektives backup mit tar.xz

Beitrag von schwedenmann » 02.01.2022 07:40:06

Hallo


https://demjansein.wordpress.com/2016/1 ... chliessen/

anscheienend mußt du den befehl für jeden Unterordner eingeben, eine excludeliste funktioniert afaik bei tar nicht.

mfg
schwedenmann

DeletedUserReAsG

Re: Selektives backup mit tar.xz

Beitrag von DeletedUserReAsG » 02.01.2022 08:03:35

wurst10 hat geschrieben: ↑ zum Beitrag ↑
02.01.2022 06:49:59
Eine Liste der ein- und auszuschließenden Ordner+Dateien habe ich erstellt, aber wie bringe ich es fertig diese Auswahl an tar.xz zu übergeben?
:arrow:
man tar hat geschrieben:

Code: Alles auswählen

      -X, --exclude-from=DATEI                                            
             schließt Dateien aus, die auf irgendein Muster in DATEI  pas‐
             sen.
Geht auch andersrum:
man tar hat geschrieben:

Code: Alles auswählen

      -T, --files-from=DATEI                                               
             Ermittelt  die  auszulesenden  oder zu erstellenden Namen aus 
             DATEI.                                                        
                                                                           
             Falls nicht anders angegeben, muss DATEI eine durch ASCII  LF 
             getrennte  Liste  von  Namen  enthalten  (d.h.  ein  Name pro 
             Zeile). Die gelesenen Namen werden genauso wie Befehlszeilen‐ 
             argumente behandelt. Bei ihnen werden Maskierungszeichen ent‐ 
             fernt und Wörter getrennt und jede Zeichenkette, die mit  ei‐ 
             nem  -  beginnt,  wird als Befehlszeilenoption für tar behan‐ 
             delt. 
(das setzt natürlich voraus, dass dein ominöses ›tar.xz‹ sowas wie ein Alias ist, das die Optionen direkt an Debiantar durchreicht, und nicht etwa ein Script oder eine Shellfunktion, die nur die Argumente übergeben)

Benutzeravatar
wurst10
Beiträge: 189
Registriert: 22.07.2019 09:19:17

Re: Selektives backup mit tar.xz

Beitrag von wurst10 » 02.01.2022 08:30:29

schwedenmann hat geschrieben: ↑ zum Beitrag ↑
02.01.2022 07:40:06
Hallo


https://demjansein.wordpress.com/2016/1 ... chliessen/

anscheienend mußt du den befehl für jeden Unterordner eingeben, eine excludeliste funktioniert afaik bei tar nicht.

mfg
schwedenmann
Danke, für jeden auszuschließenden Ordner (--exclude=) zu setzen und diese durch Leerzeichen zu trennen hat funktioniert.

Das Beispiel:

Code: Alles auswählen

tar cvfz backup.tar.xz Verzeichnis --exclude=Verzeichnis/Unterverzeichnis/*
funktioniert nicht, aber

Code: Alles auswählen

tar cvfz backup.tar.xz --exclude=/Pfad/Ordner1 --exclude=/Pfad/Ordner2 --exclude=/Pfad/Ordner3 /home/USER/Dokumente/ 
funktioniert.

niemand hat geschrieben: ↑ zum Beitrag ↑
02.01.2022 08:03:35
:arrow:
man tar hat geschrieben:

Code: Alles auswählen

      -X, --exclude-from=DATEI                                            
             schließt Dateien aus, die auf irgendein Muster in DATEI  pas‐
             sen.
Geht auch andersrum:
man tar hat geschrieben:

Code: Alles auswählen

      -T, --files-from=DATEI                                               
             Ermittelt  die  auszulesenden  oder zu erstellenden Namen aus 
             DATEI.                                                        
                                                                           
             Falls nicht anders angegeben, muss DATEI eine durch ASCII  LF 
             getrennte  Liste  von  Namen  enthalten  (d.h.  ein  Name pro 
             Zeile). Die gelesenen Namen werden genauso wie Befehlszeilen‐ 
             argumente behandelt. Bei ihnen werden Maskierungszeichen ent‐ 
             fernt und Wörter getrennt und jede Zeichenkette, die mit  ei‐ 
             nem  -  beginnt,  wird als Befehlszeilenoption für tar behan‐ 
             delt. 
(das setzt natürlich voraus, dass dein ominöses ›tar.xz‹ sowas wie ein Alias ist, das die Optionen direkt an Debiantar durchreicht, und nicht etwa ein Script oder eine Shellfunktion, die nur die Argumente übergeben)
Das verstehe ich nicht.

DeletedUserReAsG

Re: Selektives backup mit tar.xz

Beitrag von DeletedUserReAsG » 02.01.2022 08:31:58

wurst10 hat geschrieben: ↑ zum Beitrag ↑
02.01.2022 08:30:29
Das verstehe ich nicht.
Welches der Wörter ist unbekannt? Möchtest du vielleicht genauer beschreiben, was du nicht verstehst?

Benutzeravatar
wurst10
Beiträge: 189
Registriert: 22.07.2019 09:19:17

Re: Selektives backup mit tar.xz

Beitrag von wurst10 » 02.01.2022 08:43:09

niemand hat geschrieben: ↑ zum Beitrag ↑
02.01.2022 08:31:58
wurst10 hat geschrieben: ↑ zum Beitrag ↑
02.01.2022 08:30:29
Das verstehe ich nicht.
Welches der Wörter ist unbekannt? Möchtest du vielleicht genauer beschreiben, was du nicht verstehst?
Bedeutet das, ich erstelle eine Datei namens "DATEI" und gebe dort pro Zeile den Dateipfad der einzuschließenden Datei an?
Funktioniert das auch mit Ordnern?

DeletedUserReAsG

Re: Selektives backup mit tar.xz

Beitrag von DeletedUserReAsG » 02.01.2022 08:47:53

Du könntest es einfach ausprobieren :idea:

… wobei die Idee, man müsse eine Datei namens „DATEI“ erstellen, schon ein wenig trollig anmutet. Man könnte ja glauben, du hättest noch nie ’ne Manpage gelesen?

Benutzeravatar
wurst10
Beiträge: 189
Registriert: 22.07.2019 09:19:17

Re: Selektives backup mit tar.xz

Beitrag von wurst10 » 02.01.2022 10:35:46

Danke, mit Eurer Hilfe funktioniert es jetzt.
Mit diesem Skript (und den Listen einzuschließender+auszuschließender Ordner+Dateien) kann man ein selektives Backup machen.

Code: Alles auswählen

#!/bin/bash
DATE=$(date +%d.%m.%Y@%H-%M-%S-Uhr)
BACKUP_DIR="/home/htpc/backup"
tar cvfz $BACKUP_DIR/Backup.$DATE.tar.xz -X /home/htpc/infos/backup_tar.xz_bash/backup_exc -T /home/htpc/infos/backup_tar.xz_bash/backup_inc
Zuletzt geändert von wurst10 am 02.01.2022 13:27:44, insgesamt 2-mal geändert.

MaGe
Beiträge: 1709
Registriert: 01.06.2014 17:12:16

Re: Selektives backup mit tar.xz

Beitrag von MaGe » 02.01.2022 11:13:06

wurst10 hat geschrieben: [...] Leider wird nur eine unkomprimierte *.tar Datei erstellt [...]
tar Archive parallel packen und komprimieren
Ist pigz installiert, lassen sich Dateien mit tar recht einfach packen und komprimieren.
https://www.masterdevops.eu/2020/05/23/ ... primieren/



gruss MaGe
Wir müssen uns vor der Klimaerwärmung nicht fürchten.
Uns rottet die soziale Kälte viel früher aus.

DeletedUserReAsG

Re: Selektives backup mit tar.xz

Beitrag von DeletedUserReAsG » 02.01.2022 11:33:53

Du hast im Eingangsbeitrag gelesen, dass das eben daraus Zitierte sich auf Debiankbackup bezog?

Benutzeravatar
wurst10
Beiträge: 189
Registriert: 22.07.2019 09:19:17

Re: Selektives backup mit tar.xz

Beitrag von wurst10 » 02.01.2022 12:24:32

Ich will mit zu radikalem Löschen nicht die gespeicherten Einstellungen, Zugangsdaten und Bookmarks eliminieren.
Deshalb suche ich den Ort wo die Chronik gespeichert wird.

Im Ordner

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/
befinden sich Ordner und Dateien die gelöscht werden können.
Wenn ich "neueste chronik löschen" --> "alles" auswähle, wird dieser Ordner bis auf 2 Unterordner gelöscht, die Einstellungen, Zugangsdaten und Bookmarks bleiben erhalten.
Aber wirklich kleiner wird der Ordner

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/
dadurch nicht.

Es gibt 2 Dateien die deutlich größer und vielleicht relevant sind.

Code: Alles auswählen

/home/htpc/.mozilla/firefox/***.default/storage/ls-archive.sqlite
hat ein älteres Datum

Code: Alles auswählen

/home/htpc/.mozilla/firefox/***.default/storage/permanent/chrome/idb/3870112724rsegmnoittet-es.sqlite
hat das aktuelle Datum.

wlf
Beiträge: 7
Registriert: 03.01.2022 09:49:29

Re: Selektives backup mit tar.xz

Beitrag von wlf » 03.01.2022 12:38:39

Womöglich ist es besser den internen Cache des Webbrowsers abzuschalten oder zu verringern. So bleibt die Chronik und alles andere was wichtig ist erhalten.

Übrigens, Tar ist gut zum erstellen von Archiven, als dauerhaftes Backup-Programm gibt es mittlerweile noch bessere Lösungen. Gute Erfahrungen mache ich mit StoreBackup, das auch in Debian enthalten ist. Dabei haben Backup-Programme bereits den Vorteil, dass alte Backups nach Ablauf einer bestimmten Zeit oder Überschreitung einer vorzugebenden Anzahl durch das Backup-Programm automatisch entfernt werden. Ebenso werden differentielle Backups erstellt, was erheblich Speicherplatz spart. Mit StoreBackup werden zudem harte Links auf unveränderte Dateien in vorausgegangenen Backups erstellt, was das jeweils letzte zu einem aus Anwendersicht vollumfänglichen Backup macht. Und weil die Verzeichnissstrukturen abgebildet werden, können sich Anwender ihre Daten mit Bordmitteln (ls, find, cp usw.) direkt daraus zurückholen. Ende der Werbung ;-)

Benutzeravatar
wurst10
Beiträge: 189
Registriert: 22.07.2019 09:19:17

Re: Selektives backup mit tar.xz

Beitrag von wurst10 » 03.01.2022 19:06:14

wlf hat geschrieben: ↑ zum Beitrag ↑
03.01.2022 12:38:39
Womöglich ist es besser den internen Cache des Webbrowsers abzuschalten oder zu verringern. So bleibt die Chronik und alles andere was wichtig ist erhalten.

Übrigens, Tar ist gut zum erstellen von Archiven, als dauerhaftes Backup-Programm gibt es mittlerweile noch bessere Lösungen. Gute Erfahrungen mache ich mit StoreBackup, das auch in Debian enthalten ist. Dabei haben Backup-Programme bereits den Vorteil, dass alte Backups nach Ablauf einer bestimmten Zeit oder Überschreitung einer vorzugebenden Anzahl durch das Backup-Programm automatisch entfernt werden. Ebenso werden differentielle Backups erstellt, was erheblich Speicherplatz spart. Mit StoreBackup werden zudem harte Links auf unveränderte Dateien in vorausgegangenen Backups erstellt, was das jeweils letzte zu einem aus Anwendersicht vollumfänglichen Backup macht. Und weil die Verzeichnissstrukturen abgebildet werden, können sich Anwender ihre Daten mit Bordmitteln (ls, find, cp usw.) direkt daraus zurückholen. Ende der Werbung ;-)
Danke für die Tipps, mit dem Abschalten des Browsercache habe ich beim Onlinebanking leider nicht so gute Erfahrungen gemacht, das liegt wahrscheinlich an der Webseite meiner Bank.
Die Chronik ist unwichtig, deshalb will ich sie ja vor dem Backup löschen. Das im Eingangspost erwähnte "kbackup" ist so ein von dir beschriebenes vollumfängliches Programm. Es gibt zahlreiche andere Lösungen, aber ich benötige so einen großen Funktionsumfang für meine wenigen relevanten Daten nicht. Es geht nur um insgesamt 110MB (komprimiert), da sind nur Textdateien und die Firefox Zugangsdaten usw. enthalten.

Ich bin voll zufrieden mit der tar.xz Lösung:

Code: Alles auswählen

tar cvfz $BACKUP_DIR/Backup.$DATE.tar.xz -X /home/htpc/infos/backup_tar.xz_bash/backup_exc -T /home/htpc/infos/backup_tar.xz_bash/backup_inc
Danke @niemand, die tar Optionen "-X" und "-T" sind genau das was ich gebraucht habe :)

Jetzt versuche ich noch die Firefox-Chronik vor dem Backup zu löschen (bzw. zu reduzieren), wenn ich die salienten Ordner und Dateien dazu identifiziert habe. Was gar nicht so einfach ist, denn der Ordner:

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/
scheint nicht der Ort zu sein wo Firefox die gesamte Chronik speichert.

humanreadable
Beiträge: 39
Registriert: 02.11.2017 13:57:38

Re: Selektives backup mit tar.xz

Beitrag von humanreadable » 04.01.2022 00:10:59

wurst10 hat geschrieben: ↑ zum Beitrag ↑
03.01.2022 19:06:14

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/
scheint nicht der Ort zu sein wo Firefox die gesamte Chronik speichert.
Firefox speichert die Chronik in

Code: Alles auswählen

/home/<username>/.mozilla/firefox/xxxxxxxx.default/places.sqlite
https://support.mozilla.org/de/kb/benut ... chen-daten
Lesezeichen, Downloads und Chronik:

places.sqlite
Die Datei enthält alle Ihre Firefox-Lesezeichen und Listen der von Ihnen heruntergeladenen Dateien sowie der bisher von Ihnen besuchten Webseiten.
bookmarkbackups
Der Ordner enthält Lesezeichen-Sicherungen, die für eine Lesezeichen-Wiederherstellung benötigt werden.
favicons.sqlite
Die Datei enthält alle Favicons für Ihre Firefox-Lesezeichen.
https://kb.mozillazine.org/Places.sqlite
Deutsch ist nicht meine Muttersprache. Ich bitte um Verständnis.

Benutzeravatar
wurst10
Beiträge: 189
Registriert: 22.07.2019 09:19:17

Re: Selektives backup mit tar.xz

Beitrag von wurst10 » 04.01.2022 05:42:42

humanreadable hat geschrieben: ↑ zum Beitrag ↑
04.01.2022 00:10:59
wurst10 hat geschrieben: ↑ zum Beitrag ↑
03.01.2022 19:06:14

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/
scheint nicht der Ort zu sein wo Firefox die gesamte Chronik speichert.
Firefox speichert die Chronik in

Code: Alles auswählen

/home/<username>/.mozilla/firefox/xxxxxxxx.default/places.sqlite
https://support.mozilla.org/de/kb/benut ... chen-daten
Lesezeichen, Downloads und Chronik:

places.sqlite
Die Datei enthält alle Ihre Firefox-Lesezeichen und Listen der von Ihnen heruntergeladenen Dateien sowie der bisher von Ihnen besuchten Webseiten.
bookmarkbackups
Der Ordner enthält Lesezeichen-Sicherungen, die für eine Lesezeichen-Wiederherstellung benötigt werden.
favicons.sqlite
Die Datei enthält alle Favicons für Ihre Firefox-Lesezeichen.
https://kb.mozillazine.org/Places.sqlite
Das behauptet Mozilla jedenfalls, tatsächlich ändert sich die Dateigröße (bei mir 5MB) von

Code: Alles auswählen

/home/<username>/.mozilla/firefox/xxxxxxxx.default/places.sqlite
nicht mit zunehmenden Browserverlauf...? Der belegte Speicherplatz für den Ordner

Code: Alles auswählen

/home/USER/.mozilla/firefox/***.default/storage/default/
hingegen schon.


EDIT:
Ich lasse es jetzt so, die gefundene Lösung ist schön einfach und fast genau das was ich gesucht habe.
Jetzt muss ich das Backup-Skript noch modifizieren, die Backupdatei soll im Ordner "backup" einer bestimmten Partition erstellt werden.
Dazu erstelle ich ein neues Thema in "Softwareentwicklung und -paketierung, Scripting". Hier gehts weiter: viewtopic.php?p=1291887#p1291887

Vielen Dank für Eure Lösungsbeiträge :)

Antworten