Alternative zu fdupes

Du suchst ein Programm für einen bestimmten Zweck?
Antworten
Benutzeravatar
minimike
Beiträge: 5594
Registriert: 26.03.2003 02:21:19
Lizenz eigener Beiträge: neue BSD Lizenz
Wohnort: Köln
Kontaktdaten:

Alternative zu fdupes

Beitrag von minimike » 01.05.2017 18:21:32

Hi

Gibt es etwas vergleichbares zu Debianfdupes? Ich habe ein ca 700 GB großes Verzeichnis mit einigen hundertausend an Dateien das kaputt ist. Mein Plan war mit fdupes die Dubletten zu entfernen und dann nochmal nach Filet-Stücken manuel zu Suchen. Leider verabschieded sich fdupes nach einigen Stunden weil der Kernel mit der OOM-Killler-Keule zuschlägt. Ich habe aktuell 64 GB Ram.....

Code: Alles auswählen

fdupes -rdNs /mnt/museum/
Alterantive muss in der Shell laufen weil keine grafische Oberfläche installiert.
"Lennart Poettering is one of those typical IT leaders..." "like Linus Torvalds and Theo de Raadt?" "more like Bozo the Clown" After all, now a good employee of Microsoft

Benutzeravatar
schorsch_76
Beiträge: 2535
Registriert: 06.11.2007 16:00:42
Lizenz eigener Beiträge: MIT Lizenz

Re: Alternative zu fdupes

Beitrag von schorsch_76 » 01.05.2017 18:29:00

Wie wäre es mit md5sum die Checksummen in eine Datei eintragen zu lassen und dann anhand der Summen zu sortieren?

Code: Alles auswählen

find -type f . | xargs md5sum
c5878f25db786599d68292545962cd77  ./Import/2011-04-24_11-47-32.jpg
d228e75c860fa19020ad13d5a2916950  ./Import/2011-04-24_11-52-46.jpg
a06518312d9f50421a5ccc85c4d459ff  ./Import/2011-04-24_12-07-54.jpg
0627c3a0cc41c9653271c6f0b8d17928  ./Import/2012-02-21_19-23-52.jpg
ed434c6ba791eb3f9856dc1f2b664d6f  ./Import/2012-03-02_12-00-06.jpg
f51c0295e7a3be6d068327f63b134bfc  ./Import/2011-04-22_10-54-20.jpg
e321cc67639a10bcfd47dd4eb81a5043  ./Import/2011-04-24_12-08-52.jpg
24d892c7710bb8614ca9757e503dd44b  ./Import/2012-02-21_19-22-58.jpg
a146f79f9a0fb02dc4c5ec3d52d6a030  ./Import/2011-04-22_10-55-10.jpg
b7d8bbe3070d01f3317db632efc01a76  ./Import/2012-04-16_08-08-38.jpg
Danach geht ein sort drüber und du hast doppelte Dateien erkannt.

Benutzeravatar
minimike
Beiträge: 5594
Registriert: 26.03.2003 02:21:19
Lizenz eigener Beiträge: neue BSD Lizenz
Wohnort: Köln
Kontaktdaten:

Re: Alternative zu fdupes

Beitrag von minimike » 02.05.2017 10:49:16

ja aber dann müsste man ja die Dateien immer noch mühsam von Hand löschen oder? Es sind weniger als eine Million so gefühlt 900000
"Lennart Poettering is one of those typical IT leaders..." "like Linus Torvalds and Theo de Raadt?" "more like Bozo the Clown" After all, now a good employee of Microsoft

Benutzeravatar
hikaru
Moderator
Beiträge: 13559
Registriert: 09.04.2008 12:48:59

Re: Alternative zu fdupes

Beitrag von hikaru » 02.05.2017 11:12:16

minimike hat geschrieben:ja aber dann müsste man ja die Dateien immer noch mühsam von Hand löschen oder?
Die mit sort (ohne -u) erstellte Liste schreibst du in eine Datei. Darüber schickst du sort -u und schreibst das Ergebnis in eine andere Datei.
Dann machst du ein diff der beiden Dateien und schreibst es in eine dritte Datei. Der Inhalt dieser dritten Datei ist die Liste der Dubletten. Da ersetzt du die md5sums durch rm und führst die Datei aus.

Antworten