[] rsync Backup von /home/user - Script von MSfree

AxelMD · Beitrag von **AxelMD** » 18.01.2022 15:05:09

kann ich das an rsnyc-msfree-4.sh Script unten anhängen?

https://pastebin.com/LpdNRssj

Zeile 125

rsync

MSfree · Beitrag von **MSfree** » 18.01.2022 15:11:06

AxelMD hat geschrieben:
18.01.2022 15:05:09
kann ich das an rsnyc-msfree-4.sh Script unten anhängen?

Ich erhebe kein Urheberrecht auf das Skript. Ob du da nu noch was dranhängst, bedarf keiner Genehmigung meinerseits.

Ich hatte ja weiter oben schon geschrieben, daß es kein Fehler ist, das ans Dateiende zu hängen.

AxelMD · Beitrag von **AxelMD** » 18.01.2022 19:37:56

https://pastebin.com/PvibG52j

Line 125
sync ## hinzugefügt

rsync-msfree-5.sh

Code: Alles auswählen

#/bin/bash
#=====================================================
# customize SRC, DSTDIR, HTMLLOGDIR, PREFIX:
#
#  SRC = Hostname und Freigabename der Quelle
SRC=quellrechner::pub
 
#  DSTDIR = Vereichnis, unter dem die Backups auf dem Ziel angelegt werden
DSTDIR=/volume1/backup
 
#  HTMLLOGDIR = Vereichnis, unter dem die Logs auf dem Ziel angelegt werden
HTMLLOGDIR=/volume1/RSyncLog
 
#  PREFIX: "Vorsilbe", die den täglichen Unterverzeichnisnamen vorgehängt wird
PREFIX=daily

#=====================================================
# automatische Variablen, keine Anpssung nötig
#=====================================================
# aktuelles Datum
DATE=`date +%d.%m.%y`
# Zielverzeichnis
DST=$DSTDIR/$PREFIX-$DATE
# temporäres Verzeichnis
BUS=$DSTDIR/.running-$DATE
# Logdateiname
LOG=$DSTDIR/log/log-$DATE.log
# HTML-Logdatei
HTMLLOG=$HTMLLOGDIR/log-$DATE.html
# gestriges Verzeichnis
PREV=`ls -rtd $DSTDIR/$PREFIX-* 2> /dev/null | tail -1`

#=====================================================
# anlegen der Ausgabeverzeichnisse
#=====================================================
if test ! -d $DSTDIR
then
  mkdir $DSTDIR
fi

if test ! -d $DSTDIR/log
then
  mkdir $DSTDIR/log
fi

if test ! -d $HTMLLOGDIR
then
  mkdir $HTMLLOGDIR
fi

#=====================================================
# prüfen, ob rsync mit --link-dest laufen soll
#=====================================================
if test -z "$PREV"
then
  HARDLINK=""
else
  HARDLINK=--link-dest=$PREV
fi

#=====================================================
# Kopf der Logdate erzeugen
#=====================================================
CURRENTTIME=`date -u`
echo "================================================"  > $LOG
echo "Started at       " $CURRENTTIME                   >> $LOG
echo "================================================" >> $LOG
echo "Fetching from    " $SRC                           >> $LOG
echo "Storing at       " $DST                           >> $LOG
echo "Hardlinking from " $PREV                          >> $LOG
echo "================================================" >> $LOG

#=====================================================
# rsync aufrufen und bei Fehler neu starten
# die Sicherung wird hier erstmal in ein temporäres
# Verzeichnis geschrieben
#=====================================================
while ! \
  rsync -av $HARDLINK $SRC $BUS >> $LOG  2>&1
do
  sleep 60
done

#=====================================================
# Sicherungsverzechnis in endgültigen Namen umbenennen
# und mit touch auf die aktuelle Uhrzeit setzen
#=====================================================
mv $BUS $DST
touch $DST

#=====================================================
# Ende der Logdate erzeugen
#=====================================================
CURRENTTIME=`date -u`
echo "================================================" >> $LOG
echo "Finished at      " $CURRENTTIME                   >> $LOG
echo "================================================" >> $LOG

#=====================================================
# Logdate HTML umsetzen, damit man sie leichter in
# einem Browser lesen kann.
#=====================================================
awk '
BEGIN {
  print "<!DOCTYPE html>"
  print "<html>"
  print "  <head>"
  print "  <meta charset="UTF-8">"
  print "  <title>TimAchine Backup Log</title>"
  print "  </head>"
  print "  <body>"
}
{
  print "    "$0"<br>"
}
END{
  print "  </body>"
  print "</html>"
}' $LOG > $HTMLLOG

#=====================================================
# originale Logdate komprimieren, um Platz zu sparen
#=====================================================
gzip -9 $LOG
sync

Welche Rechte sollte man hdd1 zuweisen?

Bei meinem rdiff-backup System hat nur root Schreibrechte und axel nur Leserechte.
axel kann nichts kaputt machen, Verschlüsselungstrojaner vermutlich auch nicht.
Sollte man das beim rsync-msfree-5.sh auch so einstellen?
Zur Zeit darf axel alles auf hdd1.

MSfree · Beitrag von **MSfree** » 18.01.2022 20:31:57

AxelMD hat geschrieben:
18.01.2022 19:37:56
Zur Zeit darf axel alles auf hdd1.

Wenn das Skript unter dem Benutzer "axel" ausgeführt wird, ist das auch sinnvoll und nötig. Anderenfalls könnte es sein, daß du einige Dateien gar nciht schreiben darfst.

AxelMD · Beitrag von **AxelMD** » 30.01.2022 21:11:29

https://www.pragmaticlinux.com/2021/05/ ... -in-linux/

rsync Option:

Code: Alles auswählen

--info=progress2

Hallo MSfree, kennst Du die Option?

MfG
AxelMD

schwedenmann · Beitrag von **schwedenmann** » 30.01.2022 21:41:45

hallo

siehe

https://unix.stackexchange.com/question ... dard-tools

mfg
schwedenmann

Beitrag von **JTH** » 30.01.2022 21:53:42

Oder einfach mal in der Doku von rsync selbst: man rsync.

MSfree · Beitrag von **MSfree** » 31.01.2022 09:39:27

AxelMD hat geschrieben:
30.01.2022 21:11:29
Hallo MSfree, kennst Du die Option?

Ja, ich kenne im Prinzip die Optionen, mit denen man den Fortschritt ausgeben kann. Allerdings sind solche Fortschrittsausgaben in meinem Anwendungsfall nicht sinnvoll. Ich lasse das Skript per cron laufen, also im Hintergrund ohne Terminalausgabe, da interessiert mich der Erfolg erst, wenn es fertig ist oder fehlerhaft abgebrochen ist.

AxelMD · Beitrag von **AxelMD** » 31.01.2022 11:29:03

Danke euch.

@MSfree

https://pastebin.com/PvibG52j

Line 79

Code: Alles auswählen

 rsync -av $HARDLINK $SRC $BUS >> $LOG  2>&1

abgeändert in

Line 79

Code: Alles auswählen

 rsync -av --info=progress2 $HARDLINK $SRC $BUS >> $LOG  2>&1

sind da irgendwelche Problem zu erwarten, bzw. weitere Anpassungen vor zu nehmen?

MfG
AxelMD

bluestar · Beitrag von **bluestar** » 31.01.2022 11:43:12

AxelMD hat geschrieben:
31.01.2022 11:29:03
Line 79
Code: Alles auswählen
 rsync -av --info=progress2 $HARDLINK $SRC $BUS >> $LOG  2>&1
sind da irgendwelche Problem zu erwarten, bzw. weitere Anpassungen vor zu nehmen?

Soweit ich das sehe wir dein Progress dennoch in die Datei $LOG geschrieben und erscheint somit nicht auf dem Bildschirm.

MSfree · Beitrag von **MSfree** » 31.01.2022 11:53:26

AxelMD hat geschrieben:
31.01.2022 11:29:03
Line 79
Code: Alles auswählen
 rsync -av --info=progress2 $HARDLINK $SRC $BUS >> $LOG  2>&1
sind da irgendwelche Problem zu erwarten,

Der Fortschritt wird normalerweise per stdout auf das Terminal geschrieben. Mit dem ">>" wird diese Ausgabe an die Datei $LOG angehängt.

Das bringt zwar keine Probleme, die Logdatei wird dadurch aber mit Fortschrittsausgaben geflutet. Auf dem Terminal selbst siehst du also nichts. Fortschritt in eine Datei umzuleiten, ist also sinnlos. Das Log selbst ist hinterher mit unnötigen Fortschrittsausgaben zugemüllt, der eigentliche Inhalt unübersichtlich irgendwo dazwischen.

AxelMD · Beitrag von **AxelMD** » 31.01.2022 12:22:46

Das gefällt mir nicht, gut das ich gefragt habe, danke.

Was wäre eine gute Lösung, wenn ich den aktuellen Status gerne sehen möchte?

Ober evtl. doch darauf verzichten, weil es verkompliziert?

MSfree · Beitrag von **MSfree** » 31.01.2022 13:32:45

AxelMD hat geschrieben:
31.01.2022 12:22:46
Was wäre eine gute Lösung, wenn ich den aktuellen Status gerne sehen möchte?

Ich glaube, du kannst nur entweder eine Fortschrittsanzeige ausgeben lassen oder ein Log mit Dateinamen, die kopiert wurden.

Für die Ausgabe eines Logs ist das Skript gemacht worden.
Wenn du eine Fortschrittsanzeige willst, mußt du die Ausgabe ins Log aus dem Skript ausbauen.

Ich kann es nachvollziehen, wenn du zwischendurch wissen willst, wie lange es noch dauern könnte. Für mich spielt das halt keine Rolle, da rödelt ein eigenständiger Rechner vollautomatisch vor sich hin. Mittlerweile weiß ich auch, daß mein täglicher Lauf 10-20 Minuten dauert, das sehe ich, wenn ich in das Log schaue und die protokolierte Startzeit und Endzeit ansehe.

Sammel doch erstmal mit ein paar Backups Erfahrungen. Dann weißt du auch, wie lange das dauern wird und brauchst nicht ungeduldig auf das Terminal zu starren und auf das Ende des Skripts zu warten.

Du kannst auch in einem zweiten Terminal das bisher erstellte Log mit

Code: Alles auswählen

tail -f <Logdateiname>

mitverfolgen. Normalerweise arbeitet rsync die Unterverzeichnisse alphabetisch sortiert ab, so daß man auch so den ungefähren Fortschritt sieht. Vor allem sieht man aber, daß sich überhaupt noch was tut.

AxelMD · Beitrag von **AxelMD** » 17.06.2023 10:57:05

https://www.oehl.tv/udev-systemd/
http://jasonwryan.com/blog/2014/01/20/udev/

Hallo Forum,

wie muss ich herangehen, wenn ich das Script von MSfree mit einsteken einer USB Hdd ausführen möchte?

Es sollen drei unerschiedliche HDDs in drei Gehäusen genutzt werden.

Wie stelle ich die udev Regeln auf?

MfG
AxelMD

AxelMD · Beitrag von **AxelMD** » 02.05.2024 05:09:32

juribel hat geschrieben:
01.05.2024 21:54:03
Meine erste Wahl für die Datensicherung ist ein Skript mit rsync. Es gibt dazu im Ubuntu-Wiki einen guten Artikel: https://wiki.ubuntuusers.de/Skripte/Backup_mit_RSYNC/. Dort wird ein Skript vorgestellt, das ich für mich übernommen, abgespeckt und angepasst habe.

Während die Erstsicherung auf eine USB-SSD zweieinhalb Stunden lief, dauern die nachfolgenden Tagessicherungen so zwischen 2 und 4 Minuten. Für jede Tagessicherung wird ein Tagesordner angelegt, der aus Benutzersicht eine komplette Sicherung darstellt, dank hard links trotzdem absolut Platz sparend.

Hauptvorteil von rsync: um die Daten zu verwenden oder zurückzuspeichern, sind ausser einem Dateimanager oder dem "cp"-Befehl keinerlei Tools erforderlich. Die Sicherung ist "datei-inkrementell": geänderte Dateien werden 1:1 kopiert, unveränderte Dateien werden gelinkt.

Hallo Juribel, zeigst Du mir deine abgespeckte Variante?

Mein Wunsch wäre Backup-Zugriff auf die letzten 5 Tages-Backups, zugriff auf die letzten 6 Monatsbackups.

juribel · Beitrag von **juribel** » 02.05.2024 08:43:36

Im Prinzip gerne, aber aus einem "abgespeckten" bash-Skript ist mittlerweile ein arg "aufgespecktes" Perl-Programm geworden, in dem ich viele Anpassungen auf meine individuellen Belange eingefügt habe. Eignet sich nicht so gut für eine Veröffentlichung.

In dem von mir verlinkten Artikel befindet sich aber auch eine absolute Minimal-Variante unter https://wiki.ubuntuusers.de/Skripte/Bac ... l-Variante. In dieser Variante ist eine Sicherung mit rsync auf ihr zugrunde liegendes Prinzip reduziert. Ich halte dies für einen sehr brauchbaren Ausgangspunkt, weil man es sehr gut erweitern kann, z. B. um eine Schleife für mehrere Quell- und Ziel-Ordner oder durch simples Wiederholen des rsync-Befehls mit verschiedenen Angaben.

Beitrag von **Tintom** » 02.05.2024 09:01:42

Sind wir dann nicht wieder an dem Punkt, wo wir vor 2,5 Jahren schon einmal waren?

AxelMD · Beitrag von **AxelMD** » 02.05.2024 09:13:31

Zwischenezeitlich hatte ich mich mit rdiff-backup arrangiert, es war kein Bedarf an einem rsync-script.
Scripte findet man viele für rsync, so das richtige Maß für mich habe ich bisher nicht gefunden.
Das Script wolte ich irgendwie doch schon etwas verstehen.

Beitrag von **TRex** » 02.05.2024 09:25:40

Die ganzen Scripte kompensieren nur die Lücke zwischen der vollständigen Orchestrierung deiner Ansprüche und dem gewählten Tool. Wenn man die Ansprüche erstmal verstanden hat, lesen sich die Lösungen auch einfacher.

MSfree · Beitrag von **MSfree** » 02.05.2024 09:29:37

juribel hat geschrieben:
02.05.2024 08:43:36
Im Prinzip gerne, aber aus einem "abgespeckten" bash-Skript ist mittlerweile ein arg "aufgespecktes" Perl-Programm geworden

Das ist das typische Problem, ein One-Size-Fits-All in ganz klein, ganz übersichtlich, ganz einfach und tut-alles-was-ich-will gibt es leider nicht. Selbst das Skript, das ich hier mal ins Forum gestellt habe, scheint einige Leute zu überfordern, obwohl es mit 120 Zeilen Code und hoffentlich genug Komemntaren in meinen Augen noch einigermassen leicht verständlich ist.

AxelMD · Beitrag von **AxelMD** » 02.05.2024 09:33:04

Das Script von MSfree finde ich schon gut, nur wenn irgendwas war, stehe ich immer mit offenem Mund da und ein *ähm
Mir fehlt irgendwie der sanfte Einstieg, die Range vom Wissenstand zu rsync ist hier erheblich.

Selbst das Skript, das ich hier mal ins Forum gestellt habe, scheint einige Leute zu überfordern, obwohl es mit 120 Zeilen Code und hoffentlich genug Komemntaren in meinen Augen noch einigermassen leicht verständlich ist.

@MSfree
Beziehst Du dich auf das Script? --> pastebin/?mode=view&s=41572

Evtl. sollte ich da wieder einsteigen.

MSfree · Beitrag von **MSfree** » 02.05.2024 09:50:16

AxelMD hat geschrieben:
02.05.2024 09:33:04
Das Script von MSfree finde ich schon gut, nur wenn irgendwas war, stehe ich immer mit offenem Mund da und ein *ähm

Das Skript hatte ich geschrieben, um es mit cron, also automatisch zu einer bestimmten Uhrzeit täglich laufen zu lassen. Dabei sollte nur ein bestimmtes Verzeichnis meines Heimservers auf ein Backupsystem kopiert werden.

Man kann es natürlich auch von Hand aufrufen, was ich in der Anfangsphase auch gemacht habe, um direkt nachschauen zu können, ob alles berücksichtigt wurde, was ich wollte, ohne warten zu müssen, bis cron das Skript ausführt.

Mir fehlt irgendwie der sanfte Einstieg, die Range vom Wissenstand zu rsync ist hier erheblich.

So kompliziert ist rsync nun wirklich nicht, Beispiele für den Aufruf findet man unter man rsync.

Man stellt aber beim manuellen Aufruf von rsync schnell fest, daß die Anzahl der zu übergebeneden Parameter groß werden kann, wenn man z.B. bestimmte Dateien oder Verzeichnisse nicht mitsichern will. Um das nicht immer und immer wieder ins Terminal tippen zu müssen, bietet sich ein Skript halt an, das man im Editor ändern kann und das man auf der kommandozeile ohne Parameter aufrufen kann.

juribel · Beitrag von **juribel** » 02.05.2024 10:00:43

Im Prinzip laufen Sicherungsskripte doch auf so etwas hinaus:

Code: Alles auswählen

rsync --delete -avR "/media/juribel/intern/DATEN/" /media/juribel/Datensicherung/240502 --link-dest=../last 
...
ln -nsf /media/juribel/Datensicherung/240502 /media/juribel/Datensicherung/last

Dabei steht "intern" für mein internes Datenlaufwerk bzw. die Partition darauf, "DATEN" ist einer der zu sichernden Ordner. "Datensicherung" ist das eingehängte Sicherungslaufwerk, und "240502" ist das vom Skript eingesetzte jedes mal neu bestimmte Tagesdatum. An den rsync-Befehl können mit "--exclude" noch Ordner angegeben werden, die nicht mit gesichert werden sollen.

Das Skript geht in einer Schleife eine Liste mit den Namen der zu sichernden Ordner durch, und für jeden dieser Ordner in der Liste wird der rsync-Befehl zusammengestellt und rsync aufgerufen.

Mit dem "ln"-Befehl wird ein Link namens "last" erzeugt, der jeweils auf den aktuellen Tagesordner der Datensicherung verweist und auf den rsync mit "--link-dest" für den Vergleich zugreift, um zu ermitteln, was überhaupt alles kopiert werden muss. Es werden ja nur geänderte Daten kopiert.

AxelMD · Beitrag von **AxelMD** » 04.05.2024 07:56:20

OT MacOS
rsync GUI, gibt es so etwas auch für Linux?
RsyncUI: Eine GUI für rsync RsyncUI https://stadt-bremerhaven.de/rsyncui-ei ... uer-rsync/
https://github.com/rsyncOSX/RsyncUI

Linux
Grsync https://store.kde.org/p/1130419
Grsync https://www.youtube.com/watch?v=_WUFSpvg06s
Rosenberg Grsync https://ro-kom.de/grsync/

Grsync ist ein Programm mit grafischer Schnittstelle und das zum Synchronisieren von Daten sowie für die Datensicherung geeignet. Egal, ob innerhalb des Hauses oder auf entfernte Computer und Server, dieses Programm unterstützt diese Aufgabe hervorragend.

Grsync, die grafische Schnittstelle, setzt auf das Terminal-Kommando „rsync“ auf.

Haltet Ihr es für sinnvoll sich damit weiter in Grsync einzuarbeiten und wenn es vorerst nur dazu dient als Hilfe Scripte zu erstellen?

juribel hat geschrieben:Während die Erstsicherung auf eine USB-SSD zweieinhalb Stunden lief, dauern die nachfolgenden Tagessicherungen so zwischen 2 und 4 Minuten. Für jede Tagessicherung wird ein Tagesordner angelegt, der aus Benutzersicht eine komplette Sicherung darstellt, dank hard links trotzdem absolut Platz sparend.

Warum ist rsync nach dem Erstdurchlauf so superschnell? rdiff-backup benötigt erheblich länger.

juribel · Beitrag von **juribel** » 04.05.2024 21:00:24

Wenn ich rsync richtig verstanden habe, werden ab dem zweiten Lauf nur die Dateiattribute verglichen, nicht die Inhalte. Es kann sein, dass es dafür eine Option gibt. Wenn ja, würde dies natürlich erheblich länger dauern.

Eine grafische Oberfläche für rsync halte ich für vollkommen überflüssig. Ich habe die Aufrufe von rsync in ein Skript gegossen, und rufe es täglich abends im Terminal mit "bak" auf. Während eines Laufs "rauschen" die Ausgaben von rsync über den Terminalbildschirm; es werden die Namen der gelöschten und neu gesicherten Dateien angezeigt. Mir persönlich würde eine grafische Oberfläche nur im Wege stehen. Und wer unbedingt klicken will, kann sich ja ein Starter-Icon dafür bauen, welches ein Terminal öffnet, in dem dann das Skript läuft.

debianforum.de

[] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [gelöst] rsync Backup von /home/user - Script von MSfree

Re: [gelöst] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree - Script von juribel

Re: [] rsync Backup von /home/user - Script von MSfree - Script von juribel

Re: [] rsync Backup von /home/user - Script von MSfree - Script von juribel

Re: [] rsync Backup von /home/user - Script von MSfree - Script von juribel

Re: [] rsync Backup von /home/user - Script von MSfree - Script von juribel

Re: [] rsync Backup von /home/user - Script von MSfree - Script von juribel

Re: [] rsync Backup von /home/user - Script von MSfree - Script von juribel

Re: [] rsync Backup von /home/user - Script von MSfree - Script von juribel

Re: [] rsync Backup von /home/user - Script von MSfree

Re: [] rsync Backup von /home/user - Script von MSfree