(Video-)Dateienvergleich mit cmp ?
-
- Beiträge: 231
- Registriert: 02.06.2011 11:45:33
(Video-)Dateienvergleich mit cmp ?
Hallo,
Videodateien - Langzeitsicherung: ich hab' festgestellt, dass sich einige Videodateien schwer kopieren ließen, d.h. die Leserate stark einbrach. Ich vermute, dass da einige Bits auf der zu lange gelagerten HDD verbogen sind - Gott sei Dank hab' ich mehrere Sicherungen und die Dateien auch am Debian-Server liegen, der alle x Jahre eine neue Medien-HDD bekam, d.h. die Daten wurden am Server regelmäßig umkopiert.
Jetzt möchte ich Dateivergleiche mit anderen Sicherungen machen, um festzustellen, welche noch i.o. sind. Bevor ich was falsch mache möchte ich fragen: ist es richtig, dass ich mit 'cmp' auch Videodateien binär vergleichen kann? Und wenns nix raus schreibt ist's OK?
Thx
Videodateien - Langzeitsicherung: ich hab' festgestellt, dass sich einige Videodateien schwer kopieren ließen, d.h. die Leserate stark einbrach. Ich vermute, dass da einige Bits auf der zu lange gelagerten HDD verbogen sind - Gott sei Dank hab' ich mehrere Sicherungen und die Dateien auch am Debian-Server liegen, der alle x Jahre eine neue Medien-HDD bekam, d.h. die Daten wurden am Server regelmäßig umkopiert.
Jetzt möchte ich Dateivergleiche mit anderen Sicherungen machen, um festzustellen, welche noch i.o. sind. Bevor ich was falsch mache möchte ich fragen: ist es richtig, dass ich mit 'cmp' auch Videodateien binär vergleichen kann? Und wenns nix raus schreibt ist's OK?
Thx
Re: (Video-)Dateienvergleich mit cmp ?
Ich würde das mittels Prüfsummen machen. Mit
kannst du die Prüfsumme einer Videodatei ermitteln. Wenn du das auf allen Sicherungsmedien machst, brauchst du nur die Prüfsummen miteinander vergleichen.
Man kann das auch mit find rekursiv laufen lassen:
Danach kannst du die individuallen txt-Dateien vergleichen udn weißt, ob es ein Problem gab.
Code: Alles auswählen
sha512sum Videodatei.avi
Man kann das auch mit find rekursiv laufen lassen:
Code: Alles auswählen
find . -name \*.avi -exec sha512sum {} \; | sort > AlleSummen.txt
-
- Beiträge: 231
- Registriert: 02.06.2011 11:45:33
Re: (Video-)Dateienvergleich mit cmp ?
Danke.
Ist's grundsätzlich falsch, wenn ich den Vergleich mit cmp mache? Ich hab' seit 6 Uhr Früh schon ca. 2 Dutzend Videofilme zwischen 7 und 30 GB mit 'cmd' verglichen (sind aber noch lange nicht alle) - Gott sei Dank ohne Befund. Passen die jetzt?
Thx
Was meinst Du damit? Ich hab' ja Video- und keine Textdateien.?MSfree hat geschrieben:06.03.2023 08:17:17Danach kannst du die individuallen txt-Dateien vergleichen udn weißt, ob es ein Problem gab.
Ist's grundsätzlich falsch, wenn ich den Vergleich mit cmp mache? Ich hab' seit 6 Uhr Früh schon ca. 2 Dutzend Videofilme zwischen 7 und 30 GB mit 'cmd' verglichen (sind aber noch lange nicht alle) - Gott sei Dank ohne Befund. Passen die jetzt?
Thx
Re: (Video-)Dateienvergleich mit cmp ?
Das hierZenturio19 hat geschrieben:06.03.2023 08:24:47Was meinst Du damit? Ich hab' ja Video- und keine Textdateien.?
Code: Alles auswählen
find . -name \*.avi -exec sha512sum {} \; | sort > AlleSummen.txt
Wenn du das also mit jeder Festplatte machst, also Festplatte 1:
Code: Alles auswählen
find . -name \*.avi -exec sha512sum {} \; | sort > AlleSummen1.txt
Code: Alles auswählen
find . -name \*.avi -exec sha512sum {} \; | sort > AlleSumme2.txt
Code: Alles auswählen
find . -name \*.avi -exec sha512sum {} \; | sort > AlleSummen3.txt
Kannst du hinterher mit
Code: Alles auswählen
diff AlleSummen1.txt AlleSumme2.txt
Code: Alles auswählen
diff AlleSummen1.txt AlleSumme3.txt
prüfen, ob die txt-Dateie identisch sind.
-
- Beiträge: 231
- Registriert: 02.06.2011 11:45:33
Re: (Video-)Dateienvergleich mit cmp ?
Danke.
Ich hab' einen ziemlichen Durcheinenader ... da gibt's Dateien, die auf hdd1 da sind, auf hdd2 nicht, auf hdd3 wieder doch. Auch stimmen z.T. die Datei-Erstellungsdatümer nicht (weil das Gerät, auf dem seinerzeit hin kopiert wurde, kein aktuelles Datum hatte). D.h. ich muss das dateienmäßig machen und eine Excel-Liste nebenbei führen, was wo da ist und welche Dateienvergleiche ok gegangen sind - ich geh' dann davon aus, wenn ein Datenvergleich ok gegangen ist, dass die auch ok sind.
Ich hab' oben nochmal ergänzt:
Thx
Ich hab' einen ziemlichen Durcheinenader ... da gibt's Dateien, die auf hdd1 da sind, auf hdd2 nicht, auf hdd3 wieder doch. Auch stimmen z.T. die Datei-Erstellungsdatümer nicht (weil das Gerät, auf dem seinerzeit hin kopiert wurde, kein aktuelles Datum hatte). D.h. ich muss das dateienmäßig machen und eine Excel-Liste nebenbei führen, was wo da ist und welche Dateienvergleiche ok gegangen sind - ich geh' dann davon aus, wenn ein Datenvergleich ok gegangen ist, dass die auch ok sind.
Ich hab' oben nochmal ergänzt:
Also wie ist das jetzt mit cmp? Die Prüfsummen kann ich ja später noch machen, wenn mal alle Dateien in einem Verzeichnis liegen.Ist's grundsätzlich falsch, wenn ich den Vergleich mit cmp mache? Ich hab' seit 6 Uhr Früh schon ca. 2 Dutzend Videofilme zwischen 7 und 30 GB mit 'cmd' verglichen (sind aber noch lange nicht alle) - Gott sei Dank ohne Befund. Passen die jetzt?
Thx
Re: (Video-)Dateienvergleich mit cmp ?
Autsch, so viel Aufwand für etwas, das man problemlos automatisieren kann?Zenturio19 hat geschrieben:06.03.2023 08:42:06Ich hab' einen ziemlichen Durcheinenader ...D.h. ich muss das dateienmäßig machen und eine Excel-Liste nebenbei führen
Nein, das ist nicht grundsätzlich falsch, aber meiner Meinung nach viel zu viel manuelle Arbeit.Ist's grundsätzlich falsch, wenn ich den Vergleich mit cmp mache?
Ich würde mit Prüfsummen anfangen. Die kann man auch berechnen, wenn die Dateien keine einheitlchen Namen haben und vom Dateidateum sind die auch völlig unbeeindruckt.Die Prüfsummen kann ich ja später noch machen, wenn mal alle Dateien in einem Verzeichnis liegen.
Nochmal, du denkst viel zu kompliziert.
Re: (Video-)Dateienvergleich mit cmp ?
Mein Erste-Hilfe-Vorschlag für's Aufräumen: Besorge Dir einen Datenträger, der groß und verlässlich ist. Ich habe mir mal eine 4 TB USB-Disk gekauft. Dann kopierst Du die fraglichen Verzeichnisse (die mit den evtl. doppelten Dateien) mit mc (!) in ein Verzeichnis auf der Riesenplatte. Sollte mc beim Kopieren auf eine schon vorhandene Datei treffen, fragt es, was es tun soll. Du kannst dann z.B. für alle schon vorhandenen Dateien sagen, dass es sie überspringen soll, wenn Quell- und Ziel-Datei gleich groß sind. Am Ende hast Du ein Verzeichnis, in dem sich zumindest keine doppelten Dateien mehr befinden.Zenturio19 hat geschrieben:06.03.2023 08:42:06Ich hab' einen ziemlichen Durcheinenader ... da gibt's Dateien, die auf hdd1 da sind, auf hdd2 nicht, auf hdd3 wieder doch. ...
Die große, neue Platte kannst Du im Weiteren dazu verwenden, Dir Dein eigenes „Archiv“ anzulegen. Und regelmäßig Backups zu machen, versteht sich, gell.
HTH
Gregor
Wenn man keine Probleme hat, kann man sich welche machen. ("Großes Lötauge", Medizinmann der M3-Hopi [und sog. Maker])
Re: (Video-)Dateienvergleich mit cmp ?
Und als Folge steigt das Risiko von inkonsistenten Daten, weil vermutlich nur nach Dateinamen und -größe aussortiert wird, aber der eigentliche Inhalt nicht beachtet wird. Oder führt der mc bei der Operation auch Prüfsummenchecks durch?GregorS hat geschrieben:06.03.2023 10:45:04Du kannst dann z.B. für alle schon vorhandenen Dateien sagen, dass es sie überspringen soll, wenn Quell- und Ziel-Datei gleich groß sind. Am Ende hast Du ein Verzeichnis, in dem sich zumindest keine doppelten Dateien mehr befinden.
-
- Beiträge: 231
- Registriert: 02.06.2011 11:45:33
Re: (Video-)Dateienvergleich mit cmp ?
Danke, Gregor.
Vorweg: ich hab' mal die ca. 3 Dutzend Videodateien (fertige MPGs) auf den 2 wichtigsten 2 Datenträgern mit 'cmp' vergleichen - kein Fehler festgestellt . Jetz hab' ich noch 4 Datenträger mit unkomprimiertem Material (*.AVI) - wenn die AVIs i.o. sind, könnte ich nochmals MPGs erzeugen (muss ich aber nicht, weil die MPGs anscheinend ok sind).
Ich hab' ohnedies für andere Zwecke eine 5 TB 2,5" bestellt - ich sollte sie heute oder morgen kriegen.
Ich hatte Bammel, weil mir vor > 20 Jahren mal einer gesagt hat, ich solle die Datenträger so alle 5-10 Jahre umkopieren - und ich hab's natürlich nicht gemacht .
Soll ich jetzt die weiteren vorhandenen 4 Datenträger (mit AVIs) mal hin- und herkopieren zwecks Auffrischung der Magnetisierung - oder so lassen? D.h. ich könnte unter Win& mit dem Total Commander (weil ich mir da leichter tu')
Also umkopieren?
Thx
Vorweg: ich hab' mal die ca. 3 Dutzend Videodateien (fertige MPGs) auf den 2 wichtigsten 2 Datenträgern mit 'cmp' vergleichen - kein Fehler festgestellt . Jetz hab' ich noch 4 Datenträger mit unkomprimiertem Material (*.AVI) - wenn die AVIs i.o. sind, könnte ich nochmals MPGs erzeugen (muss ich aber nicht, weil die MPGs anscheinend ok sind).
Ich hab' ohnedies für andere Zwecke eine 5 TB 2,5" bestellt - ich sollte sie heute oder morgen kriegen.
Ich hatte Bammel, weil mir vor > 20 Jahren mal einer gesagt hat, ich solle die Datenträger so alle 5-10 Jahre umkopieren - und ich hab's natürlich nicht gemacht .
Soll ich jetzt die weiteren vorhandenen 4 Datenträger (mit AVIs) mal hin- und herkopieren zwecks Auffrischung der Magnetisierung - oder so lassen? D.h. ich könnte unter Win& mit dem Total Commander (weil ich mir da leichter tu')
- jede der 2 TB HDDs erst mal auf die neue 2,5" % TB HDD kopieren,
- die alte 3,5" HDD neu formatieren
- und alles wieder zurück kopieren.
Also umkopieren?
Thx
Re: (Video-)Dateienvergleich mit cmp ?
Nein, das tut es nicht. Aber wie wahrscheinlich ist es wohl, dass von zwei Dateien, die größen- und datumsmäßig identisch sind, eine beschädigt ist? Wenn es um Festplatten geht, die sonst unauffällig sind (smart), ist das dermaßen unwahrscheinlich, dass das vorgeschlagene Vorgehen IMO das effizienteste ist. Man kann natürlich mit Prüfsummen- und Script-Pipapo zum „besseren“ Ergebnis kommen, aber das würde ich nur jemandem vorschlagen, der sich nicht mehr im „Anfängerstadium“ befindet - und diesen Eindruck macht der OP auf mich. Zudem schrub ausdrücklich „Erste-Hilfe-Maßnahme“.Tintom hat geschrieben:06.03.2023 10:54:04Und als Folge steigt das Risiko von inkonsistenten Daten, weil vermutlich nur nach Dateinamen und -größe aussortiert wird, aber der eigentliche Inhalt nicht beachtet wird. Oder führt der mc bei der Operation auch Prüfsummenchecks durch?GregorS hat geschrieben:06.03.2023 10:45:04Du kannst dann z.B. für alle schon vorhandenen Dateien sagen, dass es sie überspringen soll, wenn Quell- und Ziel-Datei gleich groß sind. Am Ende hast Du ein Verzeichnis, in dem sich zumindest keine doppelten Dateien mehr befinden.
Gruß
Gregor
Wenn man keine Probleme hat, kann man sich welche machen. ("Großes Lötauge", Medizinmann der M3-Hopi [und sog. Maker])
Re: (Video-)Dateienvergleich mit cmp ?
Das war die Ausgangsfrage:GregorS hat geschrieben:06.03.2023 11:08:31Aber wie wahrscheinlich ist es wohl, dass von zwei Dateien, die größen- und datumsmäßig identisch sind, eine beschädigt ist?
Daher die Frage, wie mc arbeitet. Ich nutze es nicht, daher hat mich dein Lösungsvorschlag neugierig gemacht.Zenturio19 hat geschrieben:06.03.2023 07:30:45Ich vermute, dass da einige Bits auf der zu lange gelagerten HDD verbogen sind
Re: (Video-)Dateienvergleich mit cmp ?
Plattenplatz ist mittlerweile ja ziemlich erschwinglich. Wenn es größen- und geldmäßig nicht so knapp ist, würde die alten Platten einfach komplett mit auf die neue kopieren (halt in ein Unterverzeichnis, das Du z.B. „eiserne_reserve“ nennst oder so).
Die neue Riesenplatte benutzt Du dann, um dort nach und nach alle Deine Daten zusammenzutragen und zu einer allgemeinen „Datensammlung“ zu machen.
Wichtig ist halt, die Verzeichnisstruktur so anzulegen, dass die Dinge einerseits schnell gefunden werden, die Struktur andererseits aber nicht zu „fein verästelt“ wird. Ich habe in meiner Datensammlung einige Verzeichnisse, die ich im Laufe der Zeit weiter aufgeteilt habe, andere habe ich wiederum zusammenkopiert. Wichtig ist außerdem, regelmäßig aufzuräumen. Ich benutze z.B. ein Verzeichnis in meinem home-Verzeichnis, um dort die Sachen hinzutun, die vor dem nächsten Backup in die Datensammlung sollen.
Gruß
Gregor
PS: Nur mal zwei Beispiele:
- Es gibt in meiner Datensammlung ein Verzeichnis, das images heißt. Darin befinden sich dann ein Unterverzeichnis für CDs und DVDs (z.B. für Images von Debian CDs/DVDs), dd-Images (1-zu-1-Kopien von alten, kleineren Festplatten) und ein Verzeichnis, in dem ich dd-Images meiner Foto-SD-Karten ablege.
- Für aktuelles Zeug befindet sich in der Datensammlung auch ein Verzeichnis „in_arbeit“ (für alles Mögliche, z.B. einen Brief an ein Amt) sowie „in_arbeit_gewesen“ (wohin der Brief nach dem Abschicken kommt). Die Dateien in „in_arbeit“ sind immer nur vorübergehend dort.
Und noch aus dem Nähkästchen:
Ich habe mir angewöhnt, neue Verzeichnisse mit vorangestelltem Datum zu benennen (z.B. „230306_brief_ans_amt“). Dann bleibt das Datum der Erstellung auf jeden Fall erhalten, ganz egal, unter welchen Umständen sich die Datei-Daten ändern (Du hast ja schon gemerkt, dass man ins Schleudern kommen kann, wenn man sich nur auf das Dateisystem verlässt). Wenn man etwas sucht, weiß man normalerweise ungefähr, wann man es gemacht hat und mit solchen Verzeichnisnamen kann man sich schön anzeigen lassen, womit man sich so über die Zeit beschäftigt hat.
Wenn man keine Probleme hat, kann man sich welche machen. ("Großes Lötauge", Medizinmann der M3-Hopi [und sog. Maker])
-
- Beiträge: 231
- Registriert: 02.06.2011 11:45:33
Re: (Video-)Dateienvergleich mit cmp ?
Danke für Euren Input. Ich glaube, ich werde der Idee mit einer dicken HDD näher treten, d.h. eine 14-16TB HDD kaufen und meine 6 Stück 2TB-HDDs da mal drauf kopieren.
LG
LG
Re: (Video-)Dateienvergleich mit cmp ?
Das Programm cmp sollte funktionieren.Zenturio19 hat geschrieben:06.03.2023 08:42:06Also wie ist das jetzt mit cmp? Die Prüfsummen kann ich ja später noch machen, wenn mal alle Dateien in einem Verzeichnis liegen.
Code: Alles auswählen
CMP(1) Dienstprogramme für Benutzer
BEZEICHNUNG
GNU cmp - vergleicht zwei Dateien Byte für Byte
Mit mtree kann man auch sehr einfach inkrementelle Backups skripten.