rsync immer wieder defunct

Du hast Probleme mit Deinem eMail-Programm, Webbrowser oder Textprogramm? Dein Lieblingsprogramm streikt?
Benutzeravatar
Taomon
Beiträge: 627
Registriert: 08.03.2011 16:34:38
Lizenz eigener Beiträge: GNU Free Documentation License

Re: rsync immer wieder defunct

Beitrag von Taomon » 06.06.2017 20:55:35

scientific hat geschrieben:Ich genieße meine 2 usb3-Buchsen am Laptop schon SEHR.
USB2 ist nur für die Maus u. ä. im Einsatz.
Pffft. :twisted:

Sieht so aus, als wenn meine interne Festplatte grätscht.
Bitte gelegentliche Schreibfehler übersehen. Ich habe ADHS. Danke.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: rsync immer wieder defunct

Beitrag von MSfree » 06.06.2017 22:49:56

Taomon hat geschrieben:Sieht so aus, als wenn meine interne Festplatte grätscht.
30GB sollten auch über USB2 in 1000 bis 1500 Sekunden übertragen sein, also in 17 bis 25 Minuten.

OK, über USB3 schafft man das dann in 5-10 Mintuen, aber ist das wirklich relevant?
Wenn es bei dir deutlich länger als eine halbe Stunde dauert, könnte wirklich irgendetwas nicht in Ordnung sein.

Benutzeravatar
Taomon
Beiträge: 627
Registriert: 08.03.2011 16:34:38
Lizenz eigener Beiträge: GNU Free Documentation License

Re: rsync immer wieder defunct

Beitrag von Taomon » 22.06.2017 11:08:08

So, ich habe jetzt eine neue Platte, aber rsync mag immer noch nicht.

Beim nächsten Mal stoppe ich meine Unit und stoße das Backup von Hand an. Mal schauen ob es dann durchläuft. :evil:


Taomon
Bitte gelegentliche Schreibfehler übersehen. Ich habe ADHS. Danke.

Cae
Beiträge: 6349
Registriert: 17.07.2011 23:36:39
Wohnort: 2130706433

Re: rsync immer wieder defunct

Beitrag von Cae » 22.06.2017 14:09:57

Doofe Frage, aber wo siehst du da ein "defunct"? Das S oder D im ps-Output kann nicht gemeint sein, da es fuer "sleep" (Prozess tut nix) und "uninterruptible sleep" (Prozess tut nix, wartet auf die Platte) steht.

Die drei rsync-Prozesse sind leicht erklaert: Der aus der Shell gestartete Prozess (Master) startet fuer Quelle und Ziel jeweils noch einen Client-Prozess. Der Quell-Client liest nur, der Ziel-Client schreibt nur auf die Platte. Der Master-Prozess tunnelt die Kommunikation zwischen den Clients und ueberwacht sie (z.B. wird der zweite Client gekillt, wenn der erste stirbt). Man hat bei diesem Aufbau den Vorteil, dass man "rsync --sender" (Quell-Client) auch durch "ssh user@host rsync --sender" ersetzen kann, wodurch transparent von einem remote-Host kopiert wird.

Wenn im --log-file nichts sinnvolles steht, wuerde ich mich mit strace draufhaengen:

Code: Alles auswählen

$ pgrep rsync | sed 's/^/-p /' | xargs strace -f
oder jeweils einzeln per strace -fp PID. Tun' die da wirklich nix? Dann steht da vermutlich read(0, (blockt im read(2)-Syscall) oder dasselbe fuer wait4(2).

Gruss Cae
If universal surveillance were the answer, lots of us would have moved to the former East Germany. If surveillance cameras were the answer, camera-happy London, with something like 500,000 of them at a cost of $700 million, would be the safest city on the planet.

—Bruce Schneier

Benutzeravatar
Taomon
Beiträge: 627
Registriert: 08.03.2011 16:34:38
Lizenz eigener Beiträge: GNU Free Documentation License

Re: rsync immer wieder defunct

Beitrag von Taomon » 22.06.2017 17:28:19

Nach weit über 2 stunden sollte rsync doch mal fertig werden. So viel Daten habe ich nicht auf /home

Code: Alles auswählen

alex@Taomon:~$ df -h /home/
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/sda3       879G    386G  448G   47% /home
Ich weiß nicht was da schief geht. Ich klemm mal meine Vor-Platte ran und versuch von dort das Backup nochmal auf meine alte Backup-Platte. Vielleicht hat die Installation einen Schuß weg.


Gruß Taomon
Bitte gelegentliche Schreibfehler übersehen. Ich habe ADHS. Danke.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: rsync immer wieder defunct

Beitrag von MSfree » 22.06.2017 20:11:36

Taomon hat geschrieben:Nach weit über 2 stunden sollte rsync doch mal fertig werden. So viel Daten habe ich nicht auf /home

Code: Alles auswählen

alex@Taomon:~$ df -h /home/
Dateisystem    Größe Benutzt Verf. Verw% Eingehängt auf
/dev/sda3       879G    386G  448G   47% /home
Naja, wenn bei dir 386GB nicht "so viel" ist, weiß ich auch nicht weiter. :facepalm:

Ich hatte ja schon weiter oben geschrieben, daß man für 30GB etwa 20 Minuten benötigt. Wenn nun wirklich so gut wie alles von den 386GB synchronisiert werden müssen, dauert es wohl mindestens 12 mal so lange, also 240 Minuten bzw. 4 Stunden.

Manchmal hilft es, mal eine Überschlagsrechnung zu machen statt ungeduldig Frust zu schieben. :mrgreen:

Benutzeravatar
Taomon
Beiträge: 627
Registriert: 08.03.2011 16:34:38
Lizenz eigener Beiträge: GNU Free Documentation License

Re: rsync immer wieder defunct

Beitrag von Taomon » 23.06.2017 08:30:35

Also ich habe die Option

Code: Alles auswählen

 --ignore-existing 
so verstanden, das rsync die Finger von Dateien läßt die im Ziel schon vorhanden sind. Und nur neue Dateien überträgt, die es noch nicht gibt. Liege ich da falsch?
MSfree hat geschrieben:Manchmal hilft es, mal eine Überschlagsrechnung zu machen statt ungeduldig Frust zu schieben. :mrgreen:
Ich habe auch schon mal den ganzen Nachmittag abgewartet. 8)

Das hat doch vorher auch gut funktioniert.

Code: Alles auswählen

alex@Taomon:~$ cat /usr/local/bin/backup-home-skript
#!/bin/bash

/bin/sleep 60 && rsync  -aAXEovvchx --ignore-existing --exclude=/home/alex/iso-images/ /home/alex/ /media/debianhome/alex && /usr/bin/aplay -q /home/alex/Musik/Wave/game-over.wav

exit 0
Irgendwas falsch daran? Das Backup wird als User gestartet.

Code: Alles auswählen

alex@Taomon:~$ cat /etc/systemd/system/backup-home-skript.service 
[Unit]
Description=backup-home-skript 
RequiresMountsFor=/media/debianhome
After=media-debianhome.mount

[Service]
Type=simple
User=alex
ExecStart=/usr/local/bin/backup-home-skript
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartSec=15s

[Install]
WantedBy=multiuser.target 


alex@Taomon:~$ 
Die Partition wird über udev an den Mountpunkt

Code: Alles auswählen

/media/debianhome
gemountet über udisks2. Da bei mir nur selten neue Dateien hinzukommen, habe ich vorher das Zeugs mit cp einfach rübergezogen, d.h. ich arbeite noch nicht lange mit rsync.

Gruß Taomon
Bitte gelegentliche Schreibfehler übersehen. Ich habe ADHS. Danke.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: rsync immer wieder defunct

Beitrag von MSfree » 23.06.2017 09:18:47

Taomon hat geschrieben:

Code: Alles auswählen

alex@Taomon:~$ cat /usr/local/bin/backup-home-skript
#!/bin/bash

/bin/sleep 60 && rsync  -aAXEovvchx --ignore-existing --exclude=/home/alex/iso-images/ /home/alex/ /media/debianhome/alex && /usr/bin/aplay -q /home/alex/Musik/Wave/game-over.wav

exit 0
Irgendwas falsch daran?
Wozu soll das sleep 60 vor dem rsync gut sein?
Warum kein Loging?

Code: Alles auswählen

#!/bin/bash

while ! \
  rsync  -aAXEovvchx --ignore-existing --verbose \
       --exclude=/home/alex/iso-images/ \
       --exclude=/home/alex/rsync.log \
       /home/alex/ /media/debianhome/alex >> /home/alex/rsync.log
do
  sleep 60
  echo "retrying" >> /home/alex/rsync.log
done

/usr/bin/aplay -q /home/alex/Musik/Wave/game-over.wav

exit 0
Dabei wird bei einem Fehler einer Minute gewartet und nochmal probiert.
Während des rsyncs entsteht eine Log in der Datei /home/alex/rsync.log, das auch schon während des rsyncs beobachtet werden kann, z.B. mit tail -f /home/alex/rsync.log.

Das Log sollte dann auch Aufschluß darüber geben, was wie lange dauert, wie oft es abbricht und retrying in Log schreibt.

Benutzeravatar
Taomon
Beiträge: 627
Registriert: 08.03.2011 16:34:38
Lizenz eigener Beiträge: GNU Free Documentation License

Re: rsync immer wieder defunct

Beitrag von Taomon » 23.06.2017 09:54:26

MSfree hat geschrieben:Wozu soll das sleep 60 vor dem rsync gut sein?
Warum kein Loging?
Als Vorsichtsmaßnahme, Es dauert manchmal bis die Partition startklar eingebunden ist, und mir die /-Partition vollgelaufen ist. Ich hatte schon mal geloggt, und hätte fast die Datei nicht mehr losgekriegt, weil sie ein irgendein append-flag hatte.

Code: Alles auswählen

lsattr damalige Log-Datei -----a-------e--
deshalb habe ich das Logging rausgenommen.

Ich werde das Skript entsprechend Deines Vorschlags anpassen. Und es nochmal probieren.


Gruß und Danke Taomon
Bitte gelegentliche Schreibfehler übersehen. Ich habe ADHS. Danke.

Benutzeravatar
MSfree
Beiträge: 10686
Registriert: 25.09.2007 19:59:30

Re: rsync immer wieder defunct

Beitrag von MSfree » 23.06.2017 10:04:11

Taomon hat geschrieben:Als Vorsichtsmaßnahme, Es dauert manchmal bis die Partition startklar eingebunden ist
OK, dann solltest du das Skript von mir dahingehend ergänzen, indem du ein Sleep vor das while steckst:

Code: Alles auswählen

#!/bin/bash

echo "wating for device to become ready" >> /home/alex/rsync.log

# mehr als 30 Sekunden sollte es hier eigentlich nicht benötigen
Sleep 30

while ! \
  rsync  -aAXEovvchx --ignore-existing --verbose \
       --exclude=/home/alex/iso-images/ \
       --exclude=/home/alex/rsync.log \
       /home/alex/ /media/debianhome/alex >> /home/alex/rsync.log
do
  sleep 60
  echo "retrying" >> /home/alex/rsync.log
done

/usr/bin/aplay -q /home/alex/Musik/Wave/game-over.wav
echo "rsync done" >> /home/alex/rsync.log

exit 0

Benutzeravatar
seep
Beiträge: 544
Registriert: 31.10.2004 14:21:08
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: HSK

Re: rsync immer wieder defunct

Beitrag von seep » 23.06.2017 14:14:12

Statt sleep besser schauen, ob die Platte gemountet ist oder nicht (mount | grep -c)

Cae
Beiträge: 6349
Registriert: 17.07.2011 23:36:39
Wohnort: 2130706433

Re: rsync immer wieder defunct

Beitrag von Cae » 28.06.2017 11:23:46

Und statt mount | grep lieber das richtige Tool dafuer verwenden:

Code: Alles auswählen

if ! findmnt >/dev/null /media/debianhome/; then
    # nicht gemountet, Error-Handling hier
fi
Gruss Cae
If universal surveillance were the answer, lots of us would have moved to the former East Germany. If surveillance cameras were the answer, camera-happy London, with something like 500,000 of them at a cost of $700 million, would be the safest city on the planet.

—Bruce Schneier

Benutzeravatar
Taomon
Beiträge: 627
Registriert: 08.03.2011 16:34:38
Lizenz eigener Beiträge: GNU Free Documentation License

Re: rsync immer wieder defunct

Beitrag von Taomon » 28.06.2017 11:54:36

Danke , ich muß erstmal das ruhen lassen, da mein Notebook ein Problem mit dem Mainboard hat.

Um Fehlerquellen damit auszuschließen, probier ich alles erst aus wenn ich einen neues Notebook habe, was ein wenig dauern wird. :|



Gruß Taomon
Bitte gelegentliche Schreibfehler übersehen. Ich habe ADHS. Danke.

Benutzeravatar
seep
Beiträge: 544
Registriert: 31.10.2004 14:21:08
Lizenz eigener Beiträge: GNU Free Documentation License
Wohnort: HSK

Re: rsync immer wieder defunct

Beitrag von seep » 28.06.2017 13:07:13

Cae hat geschrieben:findmnt
Man lernt doch nie aus. :THX:

Benutzeravatar
Taomon
Beiträge: 627
Registriert: 08.03.2011 16:34:38
Lizenz eigener Beiträge: GNU Free Documentation License

Re: rsync immer wieder defunct

Beitrag von Taomon » 12.08.2017 17:59:09

Ich habe mal rsync.log mit tail -f vorbeisaußen lassen und festgestellt, das sich rsync am .cache und .thumbnails Ordner festgefressen hatte. Beide habe ich gelöscht und mit exclude rausgenommen.

Heute ist es durch gelaufen. Knapp 2 Stunden mit 1,5 GB Übertragung.

Ich werde das weiter im Auge behalten.

Danke erstmal Taomon
Bitte gelegentliche Schreibfehler übersehen. Ich habe ADHS. Danke.

Antworten