Jakie duplikaty wyszukiwarek plików i folderów istnieją dla systemu Windows? [Zamknięte]

57

Potrzebuję bezpłatnej aplikacji do znajdowania / usuwania duplikatów plików, z możliwością wyszukiwania duplikatów plików / folderów według nazwy i / lub rozmiaru oraz usuwania jednego z duplikatów.

Andrija
źródło
Można to zrobić za pomocą skryptu powłoki BASH: superuser.com/questions/386199/...
Anderson Green,

Odpowiedzi:

9

Przez pewien czas dostępna była Wyszukiwarka duplikatów plików, ale teraz jest ona dostępna tylko w witrynach dodatkowych, takich jak ta referencja Softpedia .

Witryna Wareseeker pokazuje prawidłowe odniesienie, http://dff.nazrashid.com/którego już nie ma. Byłbym jednak ostrożny przy pobieraniu plików wykonywalnych z takich stron.

Może wyszukiwać duplikaty w wielu drzewach katalogów na podstawie,

  • zawartość (myślę, że pasuje do md5)
  • rozmiar
  • imię
  • nazwa i rozmiar
  • treść i nazwa

Pozwala też filtrować wyszukiwanie według minimalnego i maksymalnego rozmiaru plików (przyspiesza rzeczy, gdy znasz granice).

Bardzo przemyślane oprogramowanie. Nie wiem, czy istnieje coś tak szybkiego i oferowanego za darmo w tych dniach.


Komentarze odnoszą się do podobnego narzędzia Sourceforge o nazwie Doubles

nik
źródło
2
Właściwie jest dostępny na SourceForge tutaj: doubles.sourceforge.net
BinaryMisfit
3
Czy mogę zasugerować usunięcie łącza Wareseaker. Myślę, że musimy być ostrożni, odnosząc się ogólnie do stron Warez.
BinaryMisfit,
Zgadzam się z Tobą Diago. Próbowałem znaleźć narzędzie DupeFinder i nigdy go nie znalazłem. doublesNarzędzie wygląda podobnie, ale to nie to samo.
nik
1
Za to, co jest warte, znalazłem stronę internetową (przynajmniej stronę główną) w Wayback Machine: wayback.archive.org/web/20070115135708/http://dff.nazrashid.com z innym linkiem do pobrania: wayback.archive.org /web/20061207062803/http://dff.nazrashid.com/…
seanf
25

Próbowałem dosłownie dziesiątek zduplikowanych wyszukiwarek plików (nadal mam instalatory / pliki ZIP dla około 20 z nich siedzących wokół). Przez pewien czas korzystałem z CloneMaster 2.19, ponieważ był najlepszy, jaki mogłem znaleźć, chociaż nawet to nie byłoby idealne (chciałem takiego, który mógłby wykrywać duplikaty plików MP3 na podstawie zawartości audio, ignorując tagi). Wszystkie z nich miały problemy, które na tyle frustrowały mnie, że zdecydowałem się napisać własny i przedstawiłem listę funkcji, których wymagam od DFF.

A potem znalazłem AllDup . Jest to pierwszy i jedyny, który faktycznie zmusił mnie do porzucenia projektu (technicznie mój nie jest całkowicie porzucony, po prostu nie jest już nad nim pracowany, ponieważ nie muszę go już pisać, ponieważ AllDup robi wszystko, czego chcę). W każdym razie AllDup szuka zduplikowanych plików, ale w przeciwieństwie do innych, wykorzystuje wiele sztuczek i technik, które zamierzałem zastosować we własnym DFF. Jako taki jest bardzo szybki: może na przykład skanować> 250 000 rozmiarów z 1B-5 GB w ~ 30 minut (kilka razy zrobiłem to na swoim systemie).

Inną świetną (i z jakiegoś powodu rzadkiego) funkcją AllDup jest to, jak wspomniałem, że może skanować w poszukiwaniu duplikatów MP3 według ich danych audio, ignorując znaczniki, więc dwa pliki MP3, które są takie same, ale mają różne znaczniki (bardzo częste podczas pobierania), będą być wykrywanym jako duplikaty. (Mógł nawet wykryć, kiedy zgrałem dwie identyczne piosenki z dwóch różnych płyt CD - oczywiście z różnymi znacznikami). Oczywiście może wykryć duplikaty na podstawie innych czynników oprócz zawartości bajt po bajcie, takich jak nazwy plików, daty itp.

Inne wspaniałe funkcje AllDup obejmują możliwość filtrowania (włączania lub wyłączania) na podstawie nazwy pliku i / lub nazwy folderu i / lub rozmiaru pliku. Ekran wyników jest również bardzo wszechstronny z opcjami wybierania plików na podstawie daty, ścieżki, nazwy, tego, tamtego, innego… Ma także różnorodne funkcje związane z wykrytymi duplikatami

Michael Thummerer jest również bardzo otwarty. Kilka razy zgłosiłem mu błędy i zasugerowałem funkcje, które bardzo szybko rozwiązał (do tego stopnia, że ​​kazał mi pobrać i wypróbować wersję beta z aktualizacjami w kolejnych wiadomościach e-mail tego samego dnia).

Och, i to za darmo.

HTH

Synetech
źródło
Link nie działa.
Joseph
Dzięki za powiadomienie. Chyba musiałem ręcznie wpisać adres URL i prześledzić GTLD.
Synetech,
Nie, to, co się stało, to automatyczne poprawianie Chrome odwróciło „e” i „d” (tak jak dzieje się, gdy próbuję wpisać dr. ) Grrr. (To jest ustalone, dla
przypomnienia
Użyłem również wielu i na tym właśnie się zdecydowałem. Interfejs jest trochę niezgrabny, ale ma wiele przydatnych opcji.
endolith
Czy wypróbowałeś wersję 3? Jest całkiem sprzedany.
Synetech,
14

Duplicate Cleaner jest bardzo szybki i ma szerokie możliwości filtrowania zestawu wyników.

Dimitri C.
źródło
To ładnie wygląda. Jest darmowy, działa w systemie Windows 7, ma wiele metod filtrowania i obsługuje tworzenie twardych dowiązań NTFS zamiast usuwania.
endolith
1
Nie może jednak obsługiwać nazw plików Unicode?
endolith
1
Czy obsługuje zduplikowane foldery?
Anderson Green
1
W rzeczywistości obsługuje duplikaty folderów. Jest to pierwszy program, który znalazłem (jak dotąd), który może identyfikować duplikaty folderów, a także duplikaty plików.
Anderson Green,
Wersja Pro obsługuje obrócone pliki obrazów. Wspaniały! W końcu mogę posortować moje zdjęcie na iOS z automatycznych kopii zapasowych Dropbox.
JcMaco,
8

Clonespy http://www.clonespy.com

Uważam to za bardzo pomocne i bardziej przydatne niż doublekiller. Szczególnie miłą funkcją jest funkcja „Pule”, w której można porównać jedną grupę katalogów z inną grupą katalogów, ignorując duplikaty w grupach.

Na przykład mój partner lubi przechowywać zduplikowane pliki obrazów podczas pracy z obrazami. Chcę sprawdzić, czy mam kopie tych plików w swoich katalogach.

Pula 1 - Katalog domowy partnera Pula 2 - Mój katalog domowy.

Znaleziono tylko duplikaty, jeśli plik jest obecny zarówno w moich katalogach, jak i katalogach mojego partnera. Pliki zduplikowane tylko w katalogach mojego partnera są ignorowane.

pcapademic
źródło
Czy możesz użyć CloneSpy, aby znaleźć wszystkie zduplikowane pliki (lub zduplikowane foldery) w określonym katalogu?
Anderson Green,
@AndersonGreen Tak dla duplikatów plików
FelipeAls
Jest to jedyna wyszukiwarka dupe, na którą się natknąłem, która umożliwia porównanie krzyżowe pojedynczego pliku (pod warunkiem, że umieścisz go w odpowiedniej lokalizacji folderu) lub struktury drzewa folderów z inną strukturą drzewa folderów (lub zestawu folderów lub struktury drzew). Wszystkie inne narzędzia, które wypróbowałem przez lata, zawiodły właśnie w tym momencie! Tylko ten robi to dobrze.
Samir,
Często znajduję się w sytuacji, w której wiem, że patrzę na plik, który ma zduplikowaną kopię w innym miejscu, ale nie pamiętam, gdzie ta druga kopia jest przechowywana. Brzmi znajomo? Albo wiem, że plik jest kopią innego pliku, a nawet znam lokalizację tej drugiej kopii, ale muszę ją porównać z tym, aby zobaczyć, który z nich chcę zachować. Mogę nawet mieć dwie lub trzy inne kopie lub wersje w tej drugiej lokalizacji. Jest to punkt krytyczny, w którym rozróżnienie między narzędziem różnicowym a narzędziem duplikacji staje się mgliste.
Samir,
Porównanie basen do basenu jest po prostu zabójcą! Jest to duża zaleta w porównaniu z innymi narzędziami. Jeśli chodzi o narzędzia do porównywania i kopiowania, muszę jeszcze znaleźć takie, które łączy oba programy w jedno oprogramowanie. Myślę, że Beyond Compare zbliża się do tego, ale wciąż jest o milę. Zdecydowanie ma potencjał i jest to najlepsze narzędzie różnicowe, jakiego użyłem.
Samir,
7

Mam pewien plik wsadowy leżący przez jakiś czas:

@ECHO OFF
REM TODO: Help when run with /? and switch for recursion
REM Furthermore check whether we might have enough files to hit the envvar length limit
REM and switch strategies accordingly (slower but finds all dupes then)
SETLOCAL ENABLEEXTENSIONS ENABLEDELAYEDEXPANSION
REM This method speeds up comparison but suffers from long file lists
REM as environment variables have a length limit
SET FILELIST=
FOR %1 %%i IN (*) DO (
    FOR %%j IN (!FILELIST!) DO (
        IF %%~zi EQU %%~zj (
            fc /b "%%~i" "%%~j">NUL && echo "%%~i" = "%%~j"
        )
    )
    SET FILELIST=!FILELIST! "%%~i"
)
ENDLOCAL
GOTO :EOF

Możesz uruchomić go /rjako argument, aby uruchomić rekurencyjnie przez drzewo katalogów.

Joey
źródło
1
Niesamowite rozwiązanie dla maniaków!
JBRWilkinson,
Downvoter: Byłoby pomocne, gdybyś powiedział, dlaczego to nie pomogło twoim zdaniem.
Joey
Małe słowo ostrzeżenia polega na tym, że zagnieżdżenie pętli w systemie Windows czasami powoduje przedwczesne zakończenie pętli zewnętrznej w dużych strukturach katalogów. Miałem więcej szczęścia, mając zewnętrzną pętlę callw osobnym pliku wsadowym zawierającym wewnętrzną pętlę.
mikewse
4

Total Commander ma genialne narzędzie do wyszukiwania duplikatów plików. Niestety nie jest za darmo.

Jak wspomniano nik, istnieje Duplicate File Finder, który jest oprogramowaniem typu open source i działa na wielu platformach. Jest dostępny na SourceForge tutaj

BinaryMisfit
źródło
3

Winmerge http://winmerge.org/

Porównaj bardzo podobne katalogi, być może między folderem „Dokumenty” a improwizowanym „kopią zapasową”, folderem „Kopia dokumentów”, który utworzyłeś kilka tygodni temu „na wszelki wypadek”.

Możesz dowiedzieć się, które pliki są nadal identyczne, które pliki są najnowsze (lub najstarsze, jeśli napotkałeś problem), a które pliki istnieją tylko w jednym miejscu. Następnie możesz „scalić” katalogi i usunąć duplikaty.

pcapademic
źródło
Czy możesz użyć WinMerge, aby uzyskać listę zduplikowanych plików i folderów w jednym określonym katalogu?
Anderson Green,
2

Duplocator . Wieloplatformowy skrypt pythonowy znajdujący duplikaty.

mutewinter
źródło
1
Link jest zepsuty.
Nifle
1

Zawsze korzystałem ze starego programu Znajdź duplikaty , ale teraz, gdy Geocities zostało zabite, myślę, że już nie istnieje, więc oto kopia pliku .

Wyświetla pliki w łatwych do zobaczenia grupach oddzielonych kolorem. Ostrzega cię, jeśli zaznaczyłeś wszystkie kopie pliku do usunięcia, może je automatycznie oznaczyć, może selektywnie oznaczyć wszystkie pliki w katalogu (często tego używałem), może usunąć katalogi, które stają się puste po usunięciu itp. Bądź uważaj na linki, jeśli używasz go w Wine. Usunie wszystkie kopie pliku, nie wiedząc, że są to linki.

endolitu
źródło
Zmieniłem na AllDup.
endolith
1

Znalazłem Yet Another Duplicate File Remover, który jest niesamowity. Jest całkiem nowy i bardzo łatwy w użyciu. Użyłem go do porównania ponad 50 000 plików z projektu odzyskiwania dysku twardego, aby mógł obsłużyć dużą liczbę plików.

Joseph
źródło
1

Najlepszym rozwiązaniem, które przetestowałem na Windowsie był wspomniany już Alldup . Rekwizyty dla Synetech inc. za udostępnienie. Genialne i bardzo profesjonalne narzędzie typu freeware.

W poście przedstawiam przetestowane rozwiązania bash, które będą działać pod Cygwin, Linux i OS X (lub cokolwiek, co używa powłoki typu bash).

Poszukuję zduplikowanych plików przy użyciu darmowych i otwartych narzędzi

Kyle
źródło
2
Czy AllDup może wygenerować listę zduplikowanych folderów zamiast duplikatów plików?
Anderson Green,
nie, że jestem świadomy
Kyle
1

Kolejne narzędzie:

http://yurichev.com/ddff.html

* Comparison to other duplicate finding utilities:

+ Very fast
+ Comparing directories too.
+ Often, two directories contain, let's say, 4 equal files and 5th file is different.
  We handle it too and output these as "common files in directories"
+ Absence of unnecessary switches.

- Win32 only
- Command-line only
rev Dennis Yurichev
źródło
1

Szybka wyszukiwarka duplikatów plików:

  • Całkowicie za darmo
  • Może identyfikować duplikaty niezależnie od tego, gdzie są one w katalogu / folderu struktury
  • Łatwy w użyciu interfejs użytkownika systemu Windows
  • Potrafi tworzyć raporty w formie XML
  • Może przenieść duplikaty do kosza lub innego folderu głównego, zachowując oryginalną strukturę folderów, np. Jeśli duplikat znajdował się w folderze w innym folderze, ścieżka ta byłaby zachowana: plik nadal istniałby w folderze w folderze, i struktura, która zostanie przeniesiona do folderu wybranego przez użytkownika - niezależnie od tego, czy będzie to kosz do recyklingu, czy folder określony przez użytkownika
  • Algorytm szybkiego porównywania binarnego, a także sprawdzanie nazwy pliku i rozmiaru.

http://www.mindgems.com/products/Fast-Duplicate-File-Finder/Fast-Duplicate-File-Finder-About.htm

therobyouknow
źródło
czy możesz wyjaśnić punkty 2 i 5?
Milind R
zaktualizowano @MilindR daj mi znać, jeśli to pomoże
therobyouknow
Dzięki .. Nadal nie dostaję punktu 2. Jednak zduplikowane pliki należy znaleźć gdziekolwiek, prawda?
Milind R
Tak, poprawnie. Na przykład: rozważ 2 pliki o dokładnie takiej samej treści. Plik 1 znajduje się w ścieżce / folder1 / folder2 / plik1, a plik 2 znajduje się w ścieżce / folder3 / folder4 / folder5 / plik2 - Szybka wyszukiwarka duplikatów plików znajdzie je oba i zgłosi je jako takie same, a użytkownik może wybrać, który z nich chcę usunąć.
therobyouknow
Ach, tak, to wyjaśnia. Chociaż myślę, że jest to zwykle brane za pewnik, gdy rozważamy program szukający duplikatów plików.
Milind R