[Gelöst] Ordner in regelmäßigen Abständen sichern.

[ottonormal]

Hallo,

ich möchte einen bestimmten Ordner in regelmäßigen Abständen automatisch sichern. Das heißt, es sollte ca. jede Stunde eine Kopie davon erstellt und auf einer Daten-Partition gespeichert werden.
Dabei soll nicht die ältere Kopie ergänzt, überschrieben oder gelöscht, sondern jedesmal eine neue erstellt werden.

Geht das? Und wenn, wie? Gibt es ein Programm dafür?

Mit Scripten kenne ich mich überhaupt nicht aus, lieber wäre mir dafür etwas Grafisches. Oder geht das mit einem einfachen Befehl in der /etc/crontab? Ich habe und nutze zwar LuckyBackup, da wird aber immer der der alte Inhalt nur ergänzt bzw. überschrieben.

[snyborg]

ich bin Fan von backuppc

[Lord_Carlos]

Auch wenn du dich mit scripten nicht so aus kennst. Das sollten nur ein bis zwei Zeilen sein. Ein leichter Einstieg in die Materie also.

Was ich machen wuerde:
UNIX Zeit in sekunden in eine Variable speichern. date +%s
Und dann einfach ein cp befehl vom Ordner machen, und Zielordner koennte alter_name_$date sein

Geht vielleicht sogar in einer Zeile. Sowas in die Richtung von cp -r "/meine/Quelle" "/mein/backup/$(date +%s)_stuff"

[willy4711]

Eine Versionierung (veränderte Dateien werden in einem separatem Ordner mit Datum gespeichert) reicht nicht ?

[ottonormal]

Danke für die Antworten.

Backuppc scheint mit etwas zu sehr in Richtung "mit Kanonen auf Spatzen" zu gehen.

Aber der Befehl könnte es vielleicht sein. Kannst Du dafür mal ein Beispiel geben? Unix-Zeit und Variablen verstehe ich leider auch nicht.

@willy: es ist nur ein sehr kleiner Ordner, der vielleicht mal 50 oder 100 MB hat. Das sollte dann schon eine komplette Kopie sein.

[MSfree]

Geht das?

Ja,

Und wenn, wie? Gibt es ein Programm dafür?

mit rsync

Mit Scripten kenne ich mich überhaupt nicht aus

Der rsync-Aufruf benötigt einige Parameter, die man sich besser einmal zusammenstellt und dann in ein Skript verpackt und idealerweise dann mit cron ausführen läßt.

Skriptbeispiel:

Code: Alles auswählen

#/bin/bash

# Hier die Quell und Zielverzeichnisse eintragen
SRC=Quellverzeichnis
DSTDIR=Verzeichnis unter dem alle Backups landen
# Hier den Namensvorspann eintragen, unter dem die regelmässigen Sicherungen angelegt werden.
PREFIX=sicherung

DATE=`date +%d.%m.%y-%H:%M`
DST=$DSTDIR/$PREFIX-$DATE
LOG=$DSTDIR/log/log-$DATE.log
PREV=$DSTDIR/`ls -rt $DSTDIR/$PREFIX-* | tail -1`
# Logverzeichnis anlegen, falls noch nicht vorhanden
if test ! -d $DSTDIR/log
then
  mkdir $DSTDIR/log
fi
date -u                                     > $LOG
echo "Fetching from    " $SRC              >> $LOG
echo "Storing at       " $DST              >> $LOG
echo "Hardlinking from " $PREV             >> $LOG
echo rsync -av --link-dest=$PREV $SRC $DST >> $LOG

while ! \
  rsync -av --link-dest=$PREV $SRC $DST    >> $LOG  2>&1
do
  sleep 60
done

date -u                                    >> $LOG

Das Skript erstellt unter dem DSTDIR Unterverzeichnisse nach dem Schema "sicherung-TT.MM.JJ-hh:mm" und legt dort eine Sicherung an. Um Platz zu sparen, werden die Sicherungen nicht komplett durchgeführt sondern nur geänderte Dateie kopiert, der Rest wird per Hardlink auf die letzte Sicherung verlinkt.
Die While-Schleife ist dafür, falls rsync vorzeitig abbricht, z.B. wegen Netzwerkproblemen. Wenn du nur von Platte zu Platte sicherst, braucht man das While eigentlich nicht, es schadet aber auch nicht.

Die erste Sicherung ist immer eine komplette Sicherung.

[TomL]

Backuppc scheint mit etwas zu sehr in Richtung "mit Kanonen auf Spatzen" zu gehen.

Aber der Befehl könnte es vielleicht sein. Kannst Du dafür mal ein Beispiel geben? Unix-Zeit und Variablen verstehe ich leider auch nicht.

@willy: es ist nur ein sehr kleiner Ordner, der vielleicht mal 50 oder 100 MB hat.

Das ist ein kurzer Einzeiler. Ein einfacher tar-befehl mit einem generischen (via date) Archiv-Namen in den immer gleichen Zielordner. Dann stehen alle Versionen immer mit vollständigem Inhalt und ordentlich sortiert im gleichen Ordner, wodurch dann wieder die zu alten Versionen total einfach entfernt werden können

[willy4711]

Meine ganz simple Version (Pfade müssen natürlich angepasst werden)halt 50 X
Zeit in Sekunden

Code: Alles auswählen

#! /bin/sh

for i in `seq 1 50`; do 

d=`date +%Y-%m-%d-%H-%M`

cp -R /home/willy/Dokumente/Skripte /media/HD753LJ/test/"$d"

sleep 60s
done

Code: Alles auswählen

$ ls -algG /media/HD753LJ/test/
insgesamt 32
drwxr-xr-x  8 4096 Mär  6 12:15 .
drwxrwxr-x 12 4096 Mär  6 11:54 ..
drwxr-xr-x  4 4096 Mär  6 12:10 2019-03-06-12-10
drwxr-xr-x  3 4096 Mär  6 12:11 2019-03-06-12-11
drwxr-xr-x  3 4096 Mär  6 12:12 2019-03-06-12-12
drwxr-xr-x  3 4096 Mär  6 12:13 2019-03-06-12-13
drwxr-xr-x  3 4096 Mär  6 12:14 2019-03-06-12-14
drwxr-xr-x  3 4096 Mär  6 12:15 2019-03-06-12-15

[Lord_Carlos]

Aber der Befehl könnte es vielleicht sein. Kannst Du dafür mal ein Beispiel geben? Unix-Zeit und Variablen verstehe ich leider auch nicht.

Ich habe dir doch ein Beispiel gegeben, oder was meinst du? Sonnst guck das von Willy an. Genau sowas habe ich gedacht. (Nur ohne schleife)

UNIX Zeit war nur ein Beispiel. Kannst nehmen was du willst. Und suchen was UNIX zeit ist ist nicht gerade schwer. (Sekunden seit 1970)

[uname]

Dabei soll nicht die ältere Kopie ergänzt, überschrieben oder gelöscht, sondern jedesmal eine neue erstellt werden.

Das schließt aber trotzdem keine inkrementellen Backups mit rsync und "--link-dest" aus.

[ottonormal]

Ich muss gestehen, ich bin total verwirrt. Um nicht zu sagen, ich versteh' überhaupt nichts mehr.
Im möchte am liebsten einen einfachen Befehl den ich in die crontab eintragen kann und mich dann um nichts kümmern muss.

Also, ich habe enen Ordner: /home/ottonormal/Arbeit
Der soll jede Stunde einmal komplett kopiert werden nach: /mnt/Daten-1/Backups

Entweder mit einer lfd. Nummer oder Datum/Zeitangabe

Das kann doch eigentlich nicht so kompliziert sein, oder? Ich verstehe diese hyroglyphischen "Scripts" einfach nicht.

Wenn es nicht einfacher, bzw. für mich verständlicher geht, werde ich hier meinen Küchenwecker stellen, der mich daran erinnert händisch den Ordner in den Sicherungsordner zu kopieren. Der kriegt dann ja automatisch einen neuen Namen.

[MSfree]

Also, ich habe enen Ordner: /home/ottonormal/Arbeit
Der soll jede Stunde einmal komplett kopiert werden nach: /mnt/Daten-1/Backups

Dann trage doch die zwei Verzeichnisse in mein oben genanntes Script ein.

Entweder mit einer lfd. Nummer oder Datum/Zeitangabe

Mein Skript legt es mit Zeitangabe an.

Das kann doch eigentlich nicht so kompliziert sein, oder? Ich verstehe diese hyroglyphischen "Scripts" einfach nicht.

Das zweite
So schwer sind doch diese Variablenzuweisungen nicht zu verstehen. Da werden nur die Inhalte, also Zeichenketten, aus den Variablen hintereinander geklebt und einer weitere Variablen zugewiesen.

Die eigentliche Arbeit übernimmt der rsync-Befehl im unteren Teil.

[ottonormal]

Ich habe es erstmal mit diesen crontab-Eintrag versucht:

Code: Alles auswählen

*/5 * * * * ottonormal cp -r "/home/ottonormal/test" "/mnt/Daten-1/Backups/test-sicherung$(date +%s)_stuff"

Es sollte also, wenn ich das richtig verstanden habe, alle 5 Minuten einmal ausgeführt werden.
Da tut sich aber nichts. Was ist daran falsch?

[TomL]

Ich habe es erstmal mit diesen crontab-Eintrag versucht:

Code: Alles auswählen

*/5 * * * * ottonormal cp -r "/home/ottonormal/test" "/mnt/Daten-1/Backups/test-sicherung$(date +%s)_stuff"

Es sollte also, wenn ich das richtig verstanden habe, alle 5 Minuten einmal ausgeführt werden.

Das wäre meine Lösung:

Code: Alles auswählen

/bin/tar -cvf /mnt/Daten-1/Backups/$(date +%Y%m%d_%H%M).tar /home/ottonormal/test/

[uname]

Ich habe mal kurz was programmiert.
Das Script verlangt eine Quelle und ein Ziel.
Jeder Backup-Order hat die Struktur "20190306-14", die du natürlich irgendwann beliebig löschen kannst.
Beim Backup berechnet das Script die Stunde vorher (20190306-13) und nutzt das für die Basis des inkrementellen Backups (--link-dest) (siehe "Links" > 1 in stat <filename>)
Kann sein, dass die Software gewisse Fehlerfälle nicht abfängt. Wenn kein Backup der Stunde vorliegt muss ein vollständiges Backup erfolgen, was aber die Funktionsweise nicht einschränkt. Bei SOURCE und TARGET kann unter Umständen ein / am Ende sinnvoll sein, um die Pfadlänge zu minimieren.

Code: Alles auswählen

#!/bin/bash
SOURCE="/home/user/Tmp";
TARGET="/home/user/backup/"$(date +%Y%m%d-%H);
LAST="/home/user/backup/"$(date --date="@$(($(date +%s) - 3600))" "+%Y%m%d-%H");
rsync -avR --link-dest="$LAST" "$SOURCE" "$TARGET"

Die Basis ist mein Script https://wiki.ubuntuusers.de/Skripte/Backup_mit_RSYNC

[willy4711]

@ottonormal:

Na ist denn der Cron Befehl anders, als das Skript?
Das Verstehe ich nun wieder nicht.

Dieses Skript irgendwo speichern und ausführbar machen.
Dann entweder einen Starter erstellen oder das Skript in den Autostart packen.

Den Starter (bild) habe ich noch etwas "verfeinert"




kdocker Packt das Skript in den Systemtray (Benachrichtigungs Fläche)
xterm ,damit ich das Skript jederzeit beenden kann, und es nicht weiter stört.

Ohne Starter könnte der Befehl für den Autostart also so aussehen:

Code: Alles auswählen

kdocker xterm -e /home/willy/Dokumente/Skripte/copy_Skripte

ohne xterm hatte ich ein Problem, den Prozess zu stoppen (nicht gefunden)

der würde im Autostart analog so aussehen:

Code: Alles auswählen

 /home/willy/Dokumente/Skripte/copy_Skripte

Code: Alles auswählen

#! /bin/sh

#hier wird eine Sequenz festgelegt, wie oft das skript durchlaufen wird
# siehe:man seq
for i in `seq 1 50`; do 

#Hier wird eine Variable (d) festgelegt, die Kopie deines Ordners wird unter 
#unter diesem "Namen" abgespeichert ($d) siehe auch man date

d=`date +%Y-%m-%d-%H-%M`

# Das ist der eigentliche Befehl, den du ja verstehst.
cp -R /home/ottonormal/Arbeit /mnt/Daten-1/Backups/"$d"

#3600 Sekunden Pause
sleep 3600s

#wenn (wie hier 50 mal) durchlaufen heißt es "done" und das Skript
#wird beendet
done

Na jetzt hast du ja Genügend Auswahl

[uname]

Mein Script kann man auch in eine Zeile schreiben:

Code: Alles auswählen

l="/home/user/backup/"$(date --date="@$(($(date +%s) - 3600))" "+%Y%m%d-%H");rsync -avR --link-dest="$l" /home/user/Tmp /home/user/backup/$(date +%Y%m%d-%H)

Update:

Code: Alles auswählen

rsync -avR --link-dest="/home/user/backup/"$(date --date="@$(($(date +%s) - 3600))" "+%Y%m%d-%H") /home/user/Tmp /home/user/backup/$(date +%Y%m%d-%H)

[ottonormal]

Ach Leute, es ist hoffnungslos. Zuletzt hatte ich das probiert:

Code: Alles auswählen

*/4 * * * * ottonormal /bin/tar -cvf /mnt/Daten-1/Backups/Test-Sicherung$(date +%Y%m%d_%H%M).tar /home/ottonormal/Test

Nix Erfolg. Ich gebe es (mal wieder!) auf. Vielen Dank trotzdem für Eure Bemühungen. Ich hab' irgendwie 'ne totale Blockade.

[uname]

Funktioniert der Befehl denn direkt als Benutzer? Denk daran, dass du es den gewünschten CRON-Befehl immer direkt im HOME-Verzeichnis ausführst. Vielleicht liegt es an der Kombination von Zeichenkennten und Befehlsausgaben $(). Was sagt denn CRON? Kannst ja mal meinen Befehl bei dir in CRON eintragen

Nähere dich langsam an das Problem an. Was sagt z. B. folgender Versuch mit CRON:

Code: Alles auswählen

*/4 * * * * ottonormal /bin/tar -cvf /mnt/Daten-1/Backups/Test-Sicherung-123.tar /home/ottonormal/Test

Vielleicht wendest du CRON auch generell falsch an. Welche CRON-Konfigurationsdatei nutzt du denn überhaupt, wahrscheinlich /etc/crontab. Funktioniert es denn generell?

[ottonormal]

Welche CRON-Konfigurationsdatei nutzt du denn überhaupt, wahrscheinlich /etc/crontab. Funktioniert es denn generell?

Ja, /etc/crontab, und es funktioniert generell auch.
Danke auch für Deinen Versuchsbefehl. Der funktioniert! Es ist nur so, dass dann alle 4 Minuten die letzte Test-Sicherung.tar überschrieben wird. Dann müsste wohl jeweils ein anderer Name oder eine Nummerierung her?

[TomL]

Das funktioniert hier tadellos:

Code: Alles auswählen

su -
crontab -e

*/1 * * * * /bin/tar -cvf /mnt/Daten-1/Backups/$(date '+\%Y\%m\%d_\%H\%M\%S').tar /home/thomas/TestDirs/

Einige Minuten später:

Code: Alles auswählen

# ls /mnt/Daten-1/Backups

insgesamt 248K
drwxr-xr-x 2 root   root   4,0K 2019-03-06 17:49 .
drwxr-xr-x 3 thomas thomas 4,0K 2019-03-06 17:33 ..
-rw-r--r-- 1 root   root    40K 2019-03-06 17:44 20190306_174401.tar
-rw-r--r-- 1 root   root    40K 2019-03-06 17:45 20190306_174501.tar
-rw-r--r-- 1 root   root    40K 2019-03-06 17:46 20190306_174601.tar
-rw-r--r-- 1 root   root    40K 2019-03-06 17:47 20190306_174701.tar
-rw-r--r-- 1 root   root    40K 2019-03-06 17:48 20190306_174801.tar
-rw-r--r-- 1 root   root    40K 2019-03-06 17:49 20190306_174901.tar
-rw-r--r-- 1 root   root    40K 2019-03-06 17:50 20190306_175001.tar

Code: Alles auswählen

# journalctl -b | grep /bin/tar

Mär 06 17:44:01 thomaspc CRON[4628]: (root) CMD (/bin/tar -cvf /mnt/Daten-1/Backups/$(date '+%Y%m%d_%H%M%S').tar /home/thomas/SHome/System/TestDirs/)
Mär 06 17:45:01 thomaspc CRON[4638]: (root) CMD (/bin/tar -cvf /mnt/Daten-1/Backups/$(date '+%Y%m%d_%H%M%S').tar /home/thomas/SHome/System/TestDirs/)
Mär 06 17:46:01 thomaspc CRON[4658]: (root) CMD (/bin/tar -cvf /mnt/Daten-1/Backups/$(date '+%Y%m%d_%H%M%S').tar /home/thomas/SHome/System/TestDirs/)
Mär 06 17:47:01 thomaspc CRON[4680]: (root) CMD (/bin/tar -cvf /mnt/Daten-1/Backups/$(date '+%Y%m%d_%H%M%S').tar /home/thomas/SHome/System/TestDirs/)
Mär 06 17:48:01 thomaspc CRON[4686]: (root) CMD (/bin/tar -cvf /mnt/Daten-1/Backups/$(date '+%Y%m%d_%H%M%S').tar /home/thomas/SHome/System/TestDirs/)
Mär 06 17:49:01 thomaspc CRON[4696]: (root) CMD (/bin/tar -cvf /mnt/Daten-1/Backups/$(date '+%Y%m%d_%H%M%S').tar /home/thomas/SHome/System/TestDirs/)
Mär 06 17:50:01 thomaspc CRON[4704]: (root) CMD (/bin/tar -cvf /mnt/Daten-1/Backups/$(date '+%Y%m%d_%H%M%S').tar /home/thomas/SHome/System/TestDirs/)
Mär 06 17:51:01 thomaspc CRON[4710]: (root) CMD (/bin/tar -cvf /mnt/Daten-1/Backups/$(date '+%Y%m%d_%H%M%S').tar /home/thomas/SHome/System/TestDirs/)

[ottonormal]

Das funktioniert hier tadellos:

Code: Alles auswählen

su -
crontab -e

*/1 * * * * /bin/tar -cvf /mnt/Daten-1/Backups/$(date '+\%Y\%m\%d_\%H\%M\%S').tar /home/thomas/TestDirs/

Ja, vielen Dank.
Hier funktioniert es auch. Genau so wollte ich es haben.
Also geht es doch mit einem "einfachen" Befehl in der crontab.

[novalix]

Bis auf die Kleinigkeit, dass die Sicherung aus Deinem home jetzt root gehört und der restore damit etwas kniffeliger wird, ist also alles in Butter.

[TomL]

Bis auf die Kleinigkeit, dass die Sicherung aus Deinem home jetzt root gehört und der restore damit etwas kniffeliger wird, ist also alles in Butter.

Das Tarfile selber gehört root, aber die Files drinnen haben alle die vorherigen Rechte, also bei meinem Test meine. Und wenn ich das Tarfile mit dem Midnight-Commander öffne und rauskopiere, was ich brauche oder notwendig ist, haben die Dateien auch wieder meine Rechte. Eigentlich ist das doch richtig so... oder mach ich da was falsch?

[ottonormal]

Hab' ich gerade mal nachgeschaut. Also bei mir bin eindeutig ICH der Besitzer der .tar-Dateien. Nix root.