(Video-)Dateienvergleich mit cmp ?

[Zenturio19]

Hallo,

Videodateien - Langzeitsicherung: ich hab' festgestellt, dass sich einige Videodateien schwer kopieren ließen, d.h. die Leserate stark einbrach. Ich vermute, dass da einige Bits auf der zu lange gelagerten HDD verbogen sind - Gott sei Dank hab' ich mehrere Sicherungen und die Dateien auch am Debian-Server liegen, der alle x Jahre eine neue Medien-HDD bekam, d.h. die Daten wurden am Server regelmäßig umkopiert.

Jetzt möchte ich Dateivergleiche mit anderen Sicherungen machen, um festzustellen, welche noch i.o. sind. Bevor ich was falsch mache möchte ich fragen: ist es richtig, dass ich mit 'cmp' auch Videodateien binär vergleichen kann? Und wenns nix raus schreibt ist's OK?

Thx

[MSfree]

Ich würde das mittels Prüfsummen machen. Mit

Code: Alles auswählen

sha512sum Videodatei.avi

kannst du die Prüfsumme einer Videodatei ermitteln. Wenn du das auf allen Sicherungsmedien machst, brauchst du nur die Prüfsummen miteinander vergleichen.

Man kann das auch mit find rekursiv laufen lassen:

Code: Alles auswählen

find . -name \*.avi -exec sha512sum {} \; | sort > AlleSummen.txt

Danach kannst du die individuallen txt-Dateien vergleichen udn weißt, ob es ein Problem gab.

[Zenturio19]

Danke.

Danach kannst du die individuallen txt-Dateien vergleichen udn weißt, ob es ein Problem gab.

Was meinst Du damit? Ich hab' ja Video- und keine Textdateien.?

Ist's grundsätzlich falsch, wenn ich den Vergleich mit cmp mache? Ich hab' seit 6 Uhr Früh schon ca. 2 Dutzend Videofilme zwischen 7 und 30 GB mit 'cmd' verglichen (sind aber noch lange nicht alle) - Gott sei Dank ohne Befund. Passen die jetzt?

Thx

[MSfree]

Was meinst Du damit? Ich hab' ja Video- und keine Textdateien.?

Das hier

Code: Alles auswählen

find . -name \*.avi -exec sha512sum {} \; | sort > AlleSummen.txt

erzeugt die Datei AlleSummen.txt.

Wenn du das also mit jeder Festplatte machst, also Festplatte 1:

Code: Alles auswählen

find . -name \*.avi -exec sha512sum {} \; | sort > AlleSummen1.txt

Festplatte 2

Code: Alles auswählen

find . -name \*.avi -exec sha512sum {} \; | sort > AlleSumme2.txt

Festplatte 3

Code: Alles auswählen

find . -name \*.avi -exec sha512sum {} \; | sort > AlleSummen3.txt

...

Kannst du hinterher mit

Code: Alles auswählen

diff AlleSummen1.txt AlleSumme2.txt

und

Code: Alles auswählen

diff AlleSummen1.txt AlleSumme3.txt

...
prüfen, ob die txt-Dateie identisch sind.

[Zenturio19]

Danke.

Ich hab' einen ziemlichen Durcheinenader ... da gibt's Dateien, die auf hdd1 da sind, auf hdd2 nicht, auf hdd3 wieder doch. Auch stimmen z.T. die Datei-Erstellungsdatümer nicht (weil das Gerät, auf dem seinerzeit hin kopiert wurde, kein aktuelles Datum hatte). D.h. ich muss das dateienmäßig machen und eine Excel-Liste nebenbei führen, was wo da ist und welche Dateienvergleiche ok gegangen sind - ich geh' dann davon aus, wenn ein Datenvergleich ok gegangen ist, dass die auch ok sind.

Ich hab' oben nochmal ergänzt:

Ist's grundsätzlich falsch, wenn ich den Vergleich mit cmp mache? Ich hab' seit 6 Uhr Früh schon ca. 2 Dutzend Videofilme zwischen 7 und 30 GB mit 'cmd' verglichen (sind aber noch lange nicht alle) - Gott sei Dank ohne Befund. Passen die jetzt?

Also wie ist das jetzt mit cmp? Die Prüfsummen kann ich ja später noch machen, wenn mal alle Dateien in einem Verzeichnis liegen.

Thx

[MSfree]

Ich hab' einen ziemlichen Durcheinenader ...D.h. ich muss das dateienmäßig machen und eine Excel-Liste nebenbei führen

Autsch, so viel Aufwand für etwas, das man problemlos automatisieren kann?

Ist's grundsätzlich falsch, wenn ich den Vergleich mit cmp mache?

Nein, das ist nicht grundsätzlich falsch, aber meiner Meinung nach viel zu viel manuelle Arbeit.

Die Prüfsummen kann ich ja später noch machen, wenn mal alle Dateien in einem Verzeichnis liegen.

Ich würde mit Prüfsummen anfangen. Die kann man auch berechnen, wenn die Dateien keine einheitlchen Namen haben und vom Dateidateum sind die auch völlig unbeeindruckt.

Nochmal, du denkst viel zu kompliziert.

[GregorS]

Ich hab' einen ziemlichen Durcheinenader ... da gibt's Dateien, die auf hdd1 da sind, auf hdd2 nicht, auf hdd3 wieder doch. ...

Mein Erste-Hilfe-Vorschlag für's Aufräumen: Besorge Dir einen Datenträger, der groß und verlässlich ist. Ich habe mir mal eine 4 TB USB-Disk gekauft. Dann kopierst Du die fraglichen Verzeichnisse (die mit den evtl. doppelten Dateien) mit mc (!) in ein Verzeichnis auf der Riesenplatte. Sollte mc beim Kopieren auf eine schon vorhandene Datei treffen, fragt es, was es tun soll. Du kannst dann z.B. für alle schon vorhandenen Dateien sagen, dass es sie überspringen soll, wenn Quell- und Ziel-Datei gleich groß sind. Am Ende hast Du ein Verzeichnis, in dem sich zumindest keine doppelten Dateien mehr befinden.
Die große, neue Platte kannst Du im Weiteren dazu verwenden, Dir Dein eigenes „Archiv“ anzulegen. Und regelmäßig Backups zu machen, versteht sich, gell.

HTH

Gregor

[Tintom]

Du kannst dann z.B. für alle schon vorhandenen Dateien sagen, dass es sie überspringen soll, wenn Quell- und Ziel-Datei gleich groß sind. Am Ende hast Du ein Verzeichnis, in dem sich zumindest keine doppelten Dateien mehr befinden.

Und als Folge steigt das Risiko von inkonsistenten Daten, weil vermutlich nur nach Dateinamen und -größe aussortiert wird, aber der eigentliche Inhalt nicht beachtet wird. Oder führt der mc bei der Operation auch Prüfsummenchecks durch?

[Zenturio19]

Danke, Gregor.

Vorweg: ich hab' mal die ca. 3 Dutzend Videodateien (fertige MPGs) auf den 2 wichtigsten 2 Datenträgern mit 'cmp' vergleichen - kein Fehler festgestellt . Jetz hab' ich noch 4 Datenträger mit unkomprimiertem Material (*.AVI) - wenn die AVIs i.o. sind, könnte ich nochmals MPGs erzeugen (muss ich aber nicht, weil die MPGs anscheinend ok sind).

Ich hab' ohnedies für andere Zwecke eine 5 TB 2,5" bestellt - ich sollte sie heute oder morgen kriegen.

Ich hatte Bammel, weil mir vor > 20 Jahren mal einer gesagt hat, ich solle die Datenträger so alle 5-10 Jahre umkopieren - und ich hab's natürlich nicht gemacht .

Soll ich jetzt die weiteren vorhandenen 4 Datenträger (mit AVIs) mal hin- und herkopieren zwecks Auffrischung der Magnetisierung - oder so lassen? D.h. ich könnte unter Win& mit dem Total Commander (weil ich mir da leichter tu')

• jede der 2 TB HDDs erst mal auf die neue 2,5" % TB HDD kopieren,
• die alte 3,5" HDD neu formatieren
• und alles wieder zurück kopieren.

Ich könnte das natürlich auch unter Debian machen....

Also umkopieren?

Thx

[GregorS]

Du kannst dann z.B. für alle schon vorhandenen Dateien sagen, dass es sie überspringen soll, wenn Quell- und Ziel-Datei gleich groß sind. Am Ende hast Du ein Verzeichnis, in dem sich zumindest keine doppelten Dateien mehr befinden.

Und als Folge steigt das Risiko von inkonsistenten Daten, weil vermutlich nur nach Dateinamen und -größe aussortiert wird, aber der eigentliche Inhalt nicht beachtet wird. Oder führt der mc bei der Operation auch Prüfsummenchecks durch?

Nein, das tut es nicht. Aber wie wahrscheinlich ist es wohl, dass von zwei Dateien, die größen- und datumsmäßig identisch sind, eine beschädigt ist? Wenn es um Festplatten geht, die sonst unauffällig sind (smart), ist das dermaßen unwahrscheinlich, dass das vorgeschlagene Vorgehen IMO das effizienteste ist. Man kann natürlich mit Prüfsummen- und Script-Pipapo zum „besseren“ Ergebnis kommen, aber das würde ich nur jemandem vorschlagen, der sich nicht mehr im „Anfängerstadium“ befindet - und diesen Eindruck macht der OP auf mich. Zudem schrub ausdrücklich „Erste-Hilfe-Maßnahme“.

Gruß

Gregor

[Tintom]

Aber wie wahrscheinlich ist es wohl, dass von zwei Dateien, die größen- und datumsmäßig identisch sind, eine beschädigt ist?

Das war die Ausgangsfrage:

Ich vermute, dass da einige Bits auf der zu lange gelagerten HDD verbogen sind

Daher die Frage, wie mc arbeitet. Ich nutze es nicht, daher hat mich dein Lösungsvorschlag neugierig gemacht.

[GregorS]

Soll ich jetzt ...

Plattenplatz ist mittlerweile ja ziemlich erschwinglich. Wenn es größen- und geldmäßig nicht so knapp ist, würde die alten Platten einfach komplett mit auf die neue kopieren (halt in ein Unterverzeichnis, das Du z.B. „eiserne_reserve“ nennst oder so).

Die neue Riesenplatte benutzt Du dann, um dort nach und nach alle Deine Daten zusammenzutragen und zu einer allgemeinen „Datensammlung“ zu machen.

Wichtig ist halt, die Verzeichnisstruktur so anzulegen, dass die Dinge einerseits schnell gefunden werden, die Struktur andererseits aber nicht zu „fein verästelt“ wird. Ich habe in meiner Datensammlung einige Verzeichnisse, die ich im Laufe der Zeit weiter aufgeteilt habe, andere habe ich wiederum zusammenkopiert. Wichtig ist außerdem, regelmäßig aufzuräumen. Ich benutze z.B. ein Verzeichnis in meinem home-Verzeichnis, um dort die Sachen hinzutun, die vor dem nächsten Backup in die Datensammlung sollen.

Gruß

Gregor

PS: Nur mal zwei Beispiele:
- Es gibt in meiner Datensammlung ein Verzeichnis, das images heißt. Darin befinden sich dann ein Unterverzeichnis für CDs und DVDs (z.B. für Images von Debian CDs/DVDs), dd-Images (1-zu-1-Kopien von alten, kleineren Festplatten) und ein Verzeichnis, in dem ich dd-Images meiner Foto-SD-Karten ablege.
- Für aktuelles Zeug befindet sich in der Datensammlung auch ein Verzeichnis „in_arbeit“ (für alles Mögliche, z.B. einen Brief an ein Amt) sowie „in_arbeit_gewesen“ (wohin der Brief nach dem Abschicken kommt). Die Dateien in „in_arbeit“ sind immer nur vorübergehend dort.

Und noch aus dem Nähkästchen:
Ich habe mir angewöhnt, neue Verzeichnisse mit vorangestelltem Datum zu benennen (z.B. „230306_brief_ans_amt“). Dann bleibt das Datum der Erstellung auf jeden Fall erhalten, ganz egal, unter welchen Umständen sich die Datei-Daten ändern (Du hast ja schon gemerkt, dass man ins Schleudern kommen kann, wenn man sich nur auf das Dateisystem verlässt). Wenn man etwas sucht, weiß man normalerweise ungefähr, wann man es gemacht hat und mit solchen Verzeichnisnamen kann man sich schön anzeigen lassen, womit man sich so über die Zeit beschäftigt hat.

[Zenturio19]

Danke für Euren Input. Ich glaube, ich werde der Idee mit einer dicken HDD näher treten, d.h. eine 14-16TB HDD kaufen und meine 6 Stück 2TB-HDDs da mal drauf kopieren.

LG

[chrbr]

Also wie ist das jetzt mit cmp? Die Prüfsummen kann ich ja später noch machen, wenn mal alle Dateien in einem Verzeichnis liegen.

Das Programm cmp sollte funktionieren.

Code: Alles auswählen

CMP(1)                                                   Dienstprogramme für Benutzer                                                 
BEZEICHNUNG
       GNU cmp - vergleicht zwei Dateien Byte für Byte

Eine Berechnung von keys ist nützlich, um ungewollte Modifikationen zu erkennen. Sehr praktisch ist mtree aus dem Paket mtree-netbsd. Damit kann man problemlos alle Dateien einer Verzeichnisstruktur scannen und auch Checksumen in ein mtree-Spezifikationsfile schreiben. Später kann man die aktuelle Struktur mit den alten Daten vergleichen. Ausgegeben wird die Differenz.

Mit mtree kann man auch sehr einfach inkrementelle Backups skripten.