Duplikate und Dateiabgleich

Du suchst ein Programm für einen bestimmten Zweck?
Antworten
kalamazoo
Beiträge: 286
Registriert: 28.08.2017 11:31:49

Duplikate und Dateiabgleich

Beitrag von kalamazoo » 27.07.2018 18:55:20

Hi,

Wie gleicht ihr große Datenmengen ab bzw. scheidet ihr Duplikate aus? Verwendet ihr dazu Programme (und wenn "Ja", welche?) oder Standardbefehle (und wenn "Ja", welche?)?

Problemstellung: ich möchte die doppelten und mehrfachen Dateien meiner unzähligen Sicherheitskopien, Backups, Festplatten und sonstigen Speichermedien, etc. 1. finden und gegebenenfalls 2. löschen. Was empfiehlt ihr hinsichtlich Zuverlässigkeit (sehr wichtig), Geschwindigkeit (weniger wichtig) und auch Komfort (auch wichtig). Es handlet sich um Datenmengen von mehreren Terabytes (alleine mehr als 300.000 Fotos), die sich im Laufe der Zeit angesammelt haben.

Danke im Vorhinein für eure zahlreichen Antworten!
kalamazoo

DeletedUserReAsG

Re: Duplikate und Dateiabgleich

Beitrag von DeletedUserReAsG » 27.07.2018 19:08:46

Debianfdupes hat bei mir ’nen guten Eindruck hinterlassen. Mittlerweile stelle ich langsam auf btrfs um, da scheint’s noch ein paar elegantere Methoden zur Deduplikation zu geben.

Was Backups angeht: man kann sich ’ne Backupstrategie basteln, bei der’s keine oder nur wenige Duplikate (etwa bei monatlichen Vollbackups zusätzlich zum täglichen inkrementellen Backup) gibt.

Benutzeravatar
jph
Beiträge: 1049
Registriert: 06.12.2015 15:06:07
Lizenz eigener Beiträge: MIT Lizenz
Wohnort: Greven/Westf.

Re: Duplikate und Dateiabgleich

Beitrag von jph » 28.07.2018 12:54:06

kalamazoo hat geschrieben: ↑ zum Beitrag ↑
27.07.2018 18:55:20
Wie gleicht ihr große Datenmengen ab bzw. scheidet ihr Duplikate aus? Verwendet ihr dazu Programme (und wenn "Ja", welche?) oder Standardbefehle (und wenn "Ja", welche?)?
Nchau dir mal Debianfslint an. Das erlaubt die Duplikaterkennung und -bearbeitung per GUI. Die Erkennung erfolgt über Vergleich der Dateiinhalte, d.h. die Dateinamen sind irrelevant. (Doubletten von Fotos werden demnach auch bei gleichen Namen nicht gefunden, wenn ein Exemplar bearbeitet wurde. Eine solche „Ähnlichkeitssuche“ suche ich selbst noch.)

kalamazoo
Beiträge: 286
Registriert: 28.08.2017 11:31:49

Re: Duplikate und Dateiabgleich

Beitrag von kalamazoo » 30.07.2018 23:23:40

Sorry, dass ich mich nicht früher zurückgemeldet habe und noch nicht auf eure Beiträge eingeht (Danke dafür!!! werde mir alles anschauen und dann antworten), aber mich beschäftigt derzeit ein massives Hardwareproblem:
viewtopic.php?f=13&t=170413

rendegast
Beiträge: 15041
Registriert: 27.02.2006 16:50:33
Lizenz eigener Beiträge: MIT Lizenz

Re: Duplikate und Dateiabgleich

Beitrag von rendegast » 31.07.2018 00:59:04

mfg rendegast
-----------------------
Viel Eifer, viel Irrtum; weniger Eifer, weniger Irrtum; kein Eifer, kein Irrtum.
(Lin Yutang "Moment in Peking")

Antworten