Dateikopieren funktioniert nicht zuverlässig

Du hast Probleme mit Deinem eMail-Programm, Webbrowser oder Textprogramm? Dein Lieblingsprogramm streikt?
Antworten
guennid

Dateikopieren funktioniert nicht zuverlässig

Beitrag von guennid » 14.11.2018 08:59:22

Ich habe mehrfach erfolglos versucht, den Erfolg der Kopie einer ca.3Giga große Datei via cp -v auf eine per USB angeschlossene externe IDE-Platte zu kontrollieren. Die md5-Prüfsumme, auf die Quelldatei losgelassen, zeigt keine Fehler, losgelassen auf die Zieldatei produziert das ständig Fehler. Angenommen, es gibt defekte Sektoren auf der Zielplatte: da dort noch ca. 15 Giga frei sind, hätte ich in meinem Laienverstand erwartet, dass cp genügend fehlerfreie Sektoren findet.

Grüße, Günther
Zuletzt geändert von guennid am 15.11.2018 09:46:05, insgesamt 1-mal geändert.

Benutzeravatar
hikaru
Moderator
Beiträge: 13559
Registriert: 09.04.2008 12:48:59

Re: Überprüfen einer Dateikopie via md5sum

Beitrag von hikaru » 14.11.2018 09:17:04

Betrifft deine eigentliche Frage jetzt md5sum (Warum spuckt das Fehler?) oder cp (Warum kopiert das nicht sauber?)?
Wie dem auch sei, um fehlerhafte Sektoren kümmert sich cp nicht. Das muss schon das darunterliegende Dateisystem machen, oder noch besser, die Datenträger-Firmware.

HDD an USB-Controller könnte auch ein Problem mit dem Controller sein.
Davon abgesehen, würde ich große Dateien eher via rsync kopieren. Das fliegt dir im Fehlerfall direkt um die Ohren, während das bei cp eher Glücksspiel ist.

guennid

Re: Überprüfen einer Dateikopie via md5sum

Beitrag von guennid » 14.11.2018 09:45:50

hikaru hat geschrieben:Betrifft deine eigentliche Frage jetzt md5sum (Warum spuckt das Fehler?) oder cp (Warum kopiert das nicht sauber?)?
Meine Frage betrifft eher Letzteres.
hikaru hat geschrieben:fehlerhafte Sektoren [...] muss schon [...] die Datenträger-Firmware ( machen).
Ach du liebes bisschen! Da habe ich doch keine Ahnung von. :wink: Dateisystem: ext4
hikaru hat geschrieben:Davon abgesehen, würde ich große Dateien eher via rsync kopieren.
Danke für den Tipp! Hatte ich bisher noch keinen Bedarf dafür.

Übrigens:Das Kopieren auf eine (wahrscheinlich!) nicht ganz so alte SATA-Platte hat cp zwischenzeitlich gemacht, ohne md5-Gemeckere. Ich glaube, das alte IDE-Schätzchen werde ich vielleicht ausmustern müssen.

Grüße, Günther

pferdefreund
Beiträge: 3791
Registriert: 26.02.2009 14:35:56

Re: Überprüfen einer Dateikopie via md5sum

Beitrag von pferdefreund » 14.11.2018 10:10:56

Schon mal im Log geschaut, ob da was mit bad sector usw auftaucht ? Wenn nein, dann das Teil auf jeden Fall entsorgen. Wenn das dem Betriebssystem schon keine Fehler mehr meldet - aber welche drauf sind, hat es keinen Zweck mehr. Entsorgen und vergessen.

guennid

Re: Überprüfen einer Dateikopie via md5sum

Beitrag von guennid » 14.11.2018 10:24:26

Zwischenstand:

Code: Alles auswählen

rsync -c Quelldatei /Zielpfad/
keine Fehlermeldung.

(Ich sehe nicht, wie mir andere im DF- oder Ubuntu-Wiki genannte Parameter hier genaueren Aufschluss geben könnten.)

Den Dateinamen der im Quellverzeichnis liegenden md5-Summen-Datei habe ich um den Zielpfad erweitert.

Code: Alles auswählen

md5sum -c md5-Summen-Datei
ohne Fehlermeldung.

Mal schauen, was die ins Zielverveichnis kopierte (originale, also ohne Zielpfad im Dateinamen) und auf Summenübereinstimmung kontrollierte md5-Summen-Datei jetzt meint. :wink:

Grüße, Günther

[edit]:

Code: Alles auswählen

md5sum: WARNUNG: die 1 berechnete Prüfsumme passte NICHT
Rätsel, rätsel. Womit wir dann wohl wieder bei der ersten von hikaru gestellten Frage wären:
Betrifft deine eigentliche Frage jetzt md5sum (Warum spuckt das einmal Fehler und das andere mal nicht?) :?

michaa7
Beiträge: 4611
Registriert: 12.12.2004 00:46:49
Lizenz eigener Beiträge: MIT Lizenz

Re: Überprüfen einer Dateikopie via md5sum

Beitrag von michaa7 » 14.11.2018 10:40:16

Hast du die *.md5 mit rüberkopiert?
gruß

michaa7

-------------------------------
Menschen ändern gelegentlich ihre Ansichten, aber nur selten ihre Motive. (Oskar Negt)

schwedenmann
Beiträge: 5525
Registriert: 30.12.2004 15:31:07
Wohnort: Wegberg

Re: Überprüfen einer Dateikopie via md5sum

Beitrag von schwedenmann » 14.11.2018 10:46:12

Hallo

Benutze doch rsync so

rsync -avc --progress /ordner1 /media/ordner2/

+ noch die option für eine logdatei.

mfg
schwedenmann

guennid

Re: Überprüfen einer Dateikopie via md5sum

Beitrag von guennid » 14.11.2018 17:27:07

Code: Alles auswählen

/opt/forum/filme$ rsync -avc --progress [datei].mkv /media/ust/
sending incremental file list

sent 98 bytes  received 19 bytes  0.69 bytes/sec
total size is 3,108,843,179  speedup is 26,571,309.22
/opt/forum/filme$ md5sum -c [datei].md5
/media/ust/[datei].mkv: FEHLSCHLAG
md5sum: WARNUNG: die 1 berechnete Prüfsumme passte NICHT
/opt/forum/filme$ md5sum -c [datei].md5
/media/ust/[datei].mkv: FEHLSCHLAG
md5sum: WARNUNG: die 1 berechnete Prüfsumme passte NICHT
/opt/forum/filme$ rsync -avc --progress [datei].mkv /media/ust/
sending incremental file list

sent 91 bytes  received 12 bytes  0.61 bytes/sec
total size is 3,108,843,179  speedup is 30,182,943.49
/opt/forum/filme$ md5sum -c [datei].md5
/media/ust/[datei].mkv: FEHLSCHLAG
md5sum: WARNUNG: die 1 berechnete Prüfsumme passte NICHT
/opt/forum/filme$ rsync -avc --progress [datei].mkv /media/ust/
sending incremental file list

sent 91 bytes  received 12 bytes  0.61 bytes/sec
total size is 3,108,843,179  speedup is 30,182,943.49
/opt/forum/filme$ md5sum -c [datei].md5
/media/ust/[datei].mkv: OK
Ärgerlicher Mist, wenn man mich fragt. Ich habe die Faxen ziemlich dicke. :twisted:

Grüße, Günther

guennid

Re: Dateikopieren funktioniert nicht zuverlässig

Beitrag von guennid » 15.11.2018 09:49:09

Ich habe heute morgen nochmal einen Kopiertest mit der problematischen Datei auf die problematische Platte unternommen, mit einer anderen Verbindung zum USB-Anschluss (Kabel+Contrroller(?)). Mehrfache md5-Überprüfungen zeigten keine Fehler mehr.

Der Thread erweist sich damit wohl im nachhinein als falsch betitelt und plaziert. Ersteres ändere ich hiermit. Verschiebung - falls gewünscht - müsste wohl ein Moderator besorgen.

Grüße, Günther

pferdefreund
Beiträge: 3791
Registriert: 26.02.2009 14:35:56

Re: Dateikopieren funktioniert nicht zuverlässig

Beitrag von pferdefreund » 15.11.2018 10:42:49

Das kenne ich - billig-USB-Kabel und dann vermeintlich fehlerhafter Stick oder Platte. Sch..ß China-Müll.

Benutzeravatar
Meillo
Moderator
Beiträge: 8782
Registriert: 21.06.2005 14:55:06
Wohnort: Balmora
Kontaktdaten:

Re: Dateikopieren funktioniert nicht zuverlässig

Beitrag von Meillo » 15.11.2018 11:01:59

... also vermutlich ein Hardwareproblem. Diese Faelle kenne ich auch. :-(
Use ed once in a while!

Benutzeravatar
heisenberg
Beiträge: 3473
Registriert: 04.06.2015 01:17:27
Lizenz eigener Beiträge: MIT Lizenz

Re: Dateikopieren funktioniert nicht zuverlässig

Beitrag von heisenberg » 15.11.2018 11:56:35

hikaru hat geschrieben:Davon abgesehen, würde ich große Dateien eher via rsync kopieren. Das fliegt dir im Fehlerfall direkt um die Ohren, während das bei cp eher Glücksspiel ist.
Wie begründest Du das? Wegen des geprüften Übertragungsweges? Der dürfte nur bei einer Netzwerkstrecke interessant sein(wobei eine TCP checksumme inkl. retransmit bei Fehler ja auch schon da ist, wenn's über TCP geht). Des Weiteren prüft dieser aber nicht ob die Daten tatsächlich korrekt auf der Platte gelandet sind. Dafür wäre ein erneutes lesen notwendig, was es nicht tut. Das ist jetzt so nicht explizit in der Manpage beschrieben, ist aber aus Berichten anderer z. B. hier zu lesen: https://unix.stackexchange.com/question ... cal-drives

Ich habe jetzt selbst kein strace angeworfen.

Ich vermute dass hier auch irgend eine Form von Hardwarefehler eine Rolle spielt. Und da wäre für mich md5sum auch die erste Wahl. Ansonsten auch mal ein schreibendes badblocks über das Gerät, wäre vielleicht auch nicht verkehrt. USB-Kabel wurde ja bereits erwähnt. Der Badblocks wäre auch deswegen interessant, weil dadurch defekte Sektoren erst einmal für die ganze Platte erkannt werden.

Wenn's zu viele sind, würde ich die Platte entsorgen, da das ein Anzeichen ist, dass die Platte an Ihrem sinnvollen Nutzungsende angekommen ist, d. h. die Fehlerhäufigkeit und Totalausfallwahrscheinlichkeit drastisch steigt.
... unterhält sich hier gelegentlich mangels wunschgemäßer Gesprächspartner mal mit sich selbst.

Antworten