Anwendungs-Software und Apps 14.414 Themen, 72.557 Beiträge

Verfolgung starten Optionen

Tool zum Finden von doppelten Bilddateien

RogerWorkman / 35 Antworten / Flachansicht Nickles

Hi, benötige eine Software , die

1. gleiche Dateinamen in unterschiedlichen Ordnern aufspürt und anzeigt

2. gleiche/ähnliche Bilder (jpg,raw, tif) in unterschiedlichen Ordnern aufspürt und als Thumbnail anzeigt.

3. duplizierte Ordner/Unterordner aufspürt und anzeigt

Das ganze dient dem Zweck, überflüssig duplizierte Aufnahmen aufzufinden um zu löschen. Es geht hierbei um ca. 33TB Bilddaten eines Archivs.

Nach Jahren muss Ordnung mal sein... gibt es solche Software?

Gruß Roger

bei Antwort benachrichtigen
Bin grad auch am Entrümpeln, verwende seit geraumer Zeit dieses Tool hier, schon älter aber erledigt exakt diesen Job ... Michael Nickles
Danke Mike, scheint ein gutes altes Programm zu sein. Aber, habe versuchsweise nur die kleine Platte mit ca. 35000 Dateien ... RogerWorkman
Wenn Deine Bilddateien bis zu 250 MByte groß sind und 33 Terabyte verglichen werden sollen, dann dauert das natürlich. Da ... Michael Nickles
Also ich würde Schritt 1 und 3 als erstes durchführen. Das wird potenziell wesentlich schneller gehen als die unscharfe ... Borlander
Danke, das hilft. Selbst 1000 Dateien vergleichen dauert... was solls, denn wie soll man sonst gleiche Dateien in ... RogerWorkman
Man kann durch Datei-Hashes eine Vorauswahl treffen und muss dann nur noch Dateien Vergleichen die die selbe Hashsumme ... Borlander
Dasselbe Bild in verschiedenen Varianten ist nicht dasselbe Bild! Ja, denn auch das ist nicht dasselbe. Einmal mit ... RogerWorkman
Dasselbe Bild in verschiedenen Varianten ist nicht dasselbe Bild! Egal ob Inhalt oder Dateiname. Ja, denn auch das ist ... RogerWorkman
Nach dem was Du schreibst brauchst Du nur eine Lösung die binär identische Dateien identifiziert. Ob Bilddatei oder ... Borlander
Ich möchte zu diesem Zweck WinMerge vorschlagen. http://winmerge.org/?lang de Bei dem doch recht großen Datenvolumen ... mawe2
WinMerge ist aber soweit ich das bislang feststellen konnte nur zum Vergleich von Verzeichnisbäumen mit identischer ... Borlander
Nein. Hatten wir nicht erst vor Kurzem über WinMerge diskutiert? Ich persönlich nutze es hauptsächlich zum Vergleichen ... mawe2
Die aufgeführten Funktionen helfen im Vorliegenden Fall aber nicht weiter. Hatten wir. Borlander
Es ist sehr aufwendig, Das besagte Programm schafft es sehr präzise innerhalb eines Ordners und Unterordnern Duplikate zu ... RogerWorkman
Man muss aber auch sagen, dass das Problem, in das Du Dich da manövriert hast, ein sehr spezielles ist. Im Web hast Du ja ... mawe2
Ohh ja, und finde haufenweise Programme, die zu einer zeit geschrieben wurden, wo Bilder noch in kB-Größe waren, die ... RogerWorkman
Ich weiß ja nicht, in welchem Kontext Du vor dem beschrieben Problem stehst. Wenn man sich vorstellt, dass jemand ... mawe2
Richtig, aber wer konnte es ab etwa 1995 wissen, wann und mit wieviel Dateien man überrollt wird. Mein Archiv mit derzeit ... RogerWorkman
Es wundert mich ernsthaft, dass Fotografen, die wirklich gute Fotos machen, sich derart ausbeuten lassen. Für solche ... mawe2
Er hat doch schon geschrieben, dass es billiger ist neue Photos zu machen als zu sortieren Borlander
Weihnachten... sorry war ironisch gemeint. RogerWorkman
Hier ein Spitzenverdiener: https://omr.com/de/so-verdient-man-10-000-euro-monatlich-mit-stockfotos/ Nur was für Fotos ... RogerWorkman
Individualentwicklung ist tendenziell sehr teuer. Borlander
Hast Du mal eine Liste sämlicher Bilddateien erstellt? Ich würde wohl zunächst alle Dateinamen zzgl. kompletten Pfad ... Borlander
Nein, bis dato nicht benötigt. Suche Bilddateien nach eigenen, definierten Ordnernamen. Im letzten Ordner geh ich in die ... RogerWorkman
Ich denke, dass das Problem von verteilten Duplikaten gar nicht so selten ist. Das Finden von doppelten Dateien ist ... Borlander
Was würdest Du dir denn in Fällen wünschen in denen das Bild in beiden Verzeichnissen sinnvoll aufgehoben ist? Borlander
Gleiche Bilder finden sollte machbar sein, für alle Dateien den Hash berechnen, und schauen ob hashes mehrmals auftauchen. ... Hellspawn
Hallo, sorry, wenn ich vielleicht eine blöde ?! Frage stelle... Kann ich hier ALLES blau markierte ohne grav. Folgen ... Martina61
Welche Dateien gelöscht werden sollen, legt der Anwender selber fest - auf das Kästchen klicken ergibt das weiße Kreuz ... gelöscht_323936
So mach ich das auch, zumeist ist die Dateigröße bei Duplikaten gleich. Layoutdateien werden auch als identisch ... RogerWorkman
Borlander Hellspawn „Gleiche Bilder finden sollte machbar sein, für alle Dateien den Hash berechnen, und schauen ob hashes mehrmals auftauchen. ...“
Optionen
"Ähnliche Bilder finden" […] wie implementiert man das Effizient? Denn eigentlich müsste man jedes Bild mit jedem vergleichen, da dürfte die Rechenzeit ganz schön nach oben gehen (auch bei einer 16 Kern CPU) + was ist ähnlich? Man müsste sich auf ein Threshold einigen, dieser ist aber immer ein Kompromiss zwischen Erkennungsrate VS FalsePositives

Ähnlich ist tatsächlich gar nicht so einfach. Zwei Identische Bilder sind sicher ähnlich und einer großer Ausschnitt eines Bildes ist sicher auch ähnlich zum Gesamtbild. Im einfachsten Fall nimmst Du halt die gemittelte Farbe des Bildes als Vergleichsbasis und führst nur noch einen Detailvergleich durch wenn die Distanz hinreichend klein ist. Da sorgt dann allerdings ein unterschiedlicher Weißabgleich für einen großen Abstand. Kannst auf Basis des Histogramms nach ähnlichen Bildern suchen. Wenn das Verfahren skalieren soll, dann brauchst Du auch wieder eine Aggregation der Bilder auf ein kompakte Repräsentation die grobe Ähnlichkeitsaussagen erlaubt. Also ein bisschen ähnlich wie die Hashes für die exakte Suche.

bei Antwort benachrichtigen
ich find es spannend, wie meine Frage technisch durchleuchtet wird. Ein Sichtvergleich von einem Mensch, der Thumbnails ... RogerWorkman
Es gibt da durchaus einige Lösungen die sehr gut darin sind Bilder oder Bildteile zu finden. Siehe ... Borlander
Danke Borlander, seinerzeit hab ich bei dem verlinkten Thread auch meinen Beitrag geleistet. Dort geht es aber nur um ... RogerWorkman