Doppelte Dateien finden und separieren

[Kolibri]

Im Forum gibt es schon einige Threads zum Thema in denen es um das Aufspüren von Duplikaten geht, aber das dort empfohlene fdupes scheint mir nicht ideal. Vielleicht bin ich etwas paranoid, aber für den Vergleich nehme ich lieber SHA256 statt MD5, wie es fdupes nutzt. Ich habe mich dabei an dieser Anleitung orientiert: theHacker's Blog - Doppelte Dateien finden

Code: Alles auswählen

find . -type f -exec sha256sum "{}" + | tee ~/hashes.txt

Die Duplikate lassen sich dann so auflisten:

Code: Alles auswählen

cat ~/hashes.txt | sort | uniq -w64 -D --all-repeated=separate

Da ich einen Datenbestand von mehreren tausend Dateien vergleiche, ist manuelles hin- und herkopieren anhand der ausgegebenen Liste nicht wirklich praktikabel. Hat jemand eine Idee, wie ich anhand der hashes.txt einzigartige Dateien in einen Ordner verschiebe und die Duplikate im ursprünglichen Ordner?

[MSfree]

Da ich einen Datenbestand von mehreren tausend Dateien vergleiche

Bei so wenig Dateien ist die Wahrscheinlichkeit einer MD5-Kollision praktisch Null, da kannst du beruhigt auf fdupes zurückgreifen.

Selbst bei dem 200TB Datenbestand (>10 Millionen Dateien) in der Firma hatte ich bisher noch keine MD5-Kollision.

[ernohl]

Ähnliches mache ich in einem kleinen Script. Dabei wird die sortierte Liste der Checksummen mit der sortierten Liste der unique-Checksummen verglichen und die Abweichungen werden anders behandelt als die Übereinstimmungen.

[Kolibri]

Bei fdupes kann ich die Dateien über -d aber nur löschen lassen, nicht verschieben. Wie bewerkstellige ich das?

[JTH]

Nur noch als Anmerkung wegen des Hashalgorithmus’: Du solltest dir da keine Sorgen machen müssen. Nach dem Hashvergleich findet als letzter Schritt anscheinend noch ein byteweiser Vergleich statt. Damit kann ja nichts mehr schiefgehen

Searches the given path for duplicate files. Such files are found by comparing file sizes and MD5 signatures, followed by a byte-by-byte comparison.

[tobo]

Bei fdupes kann ich die Dateien über -d aber nur löschen lassen, nicht verschieben. Wie bewerkstellige ich das?

Du könntest dir mit

Code: Alles auswählen

fdupes -1 ...

alle entsprechenden Dubletten pro Zeile ausgeben lassen. Ausgabe wäre dann z.B. so :

Code: Alles auswählen

./fa1 ./fa2
./fb1 ./fb2 ./fb3

Dann veränderst du Zeilenanfang und -ende:

Code: Alles auswählen

mv ./fa1 ./fa2 $DIR
mv ./fb1 ./fb2 ./fb3 $DIR

und führst das mit sh aus:

Code: Alles auswählen

DIR=/dir/to/backup/; fdupes -1 ... | sed "s/^/mv /; s#\$# $DIR#" | sh

Das verschiebt alle Dubletten in das von dir angebene, existierende Verzeichnis $DIR. Soll eine Datei im ursprünglichen Verzeichnis erhalten bleiben, dann so:

Code: Alles auswählen

... | sed -E "s/^[^ ]+/mv/; s#\$# $DIR#" | sh

PS: Diese letzte Variante setzt voraus, dass sich im jeweils ersten Dateinamen - in jeder fdupes-Zeile - keine Leerzeichen befinden.

[Kolibri]

Ich habe schlussendlich tatsächlich fdupes verwendet. Ich fand die Bedienung nicht intuitiv und die Beschreibungen in der Hilfe könnten präziser formuliert sein, aber mit ein wenig Ausprobieren an Kopien habe ich eine zufriedenstellende Lösung gefunden.

Falls jemand irgendwann mal das gleiche Problem hat:

1. Kopien erstellen
2. Zu vergleichende Ordner in ein Verzeichnis kopieren

3. Code: Alles auswählen

   fdupes -rd ./

4. Ordner benennen, den man nicht erhalten will (nähere Spezifikation möglich, z. B. mit selb für Wortanfänge):

   Code: Alles auswählen

   sel Ordner

5. Zum Löschen markieren:

   Code: Alles auswählen

   ds

6. Backspace drücken