Klasyfikowanie, organizowanie i deduplikacja plików rozproszonych na dyskach twardych [zamknięte]

1

Mam setki tysięcy plików rozrzuconych na dyskach twardych wielu systemów, wszystkie z systemem Linux, i muszę je uporządkować (klasyfikować, deduplikować itp.). Mam różnego rodzaju pliki, audio, wideo, tekst itp. Czy ktoś może zaproponować rozwiązanie lepsze niż „spędzić kilka miesięcy pisząc idealny program do tego” i „po prostu usunąć je wszystkie”?

Ignacio Vazquez-Abrams
źródło
5
kusi mnie, by „zamknąć pytanie: zbyt szerokie” ... :)
akira
W przeszłości sam stawiałem czoła wyzwaniu deduplikacji i opracowałem kilka linii kodu skryptowego bash. Mam to opublikować?
artistoex
@artistoex: Proste deduplikacja to rozwiązany problem. Szukam większego rozwiązania, które zbiera statystyki plików z wielu systemów i pozwala mi wykonywać różne operacje (przenosić, usuwać, oznaczać itp.) Na danych / plikach, a następnie wypychać zmiany z powrotem.
Ignacio Vazquez-Abrams
Czy znasz narzędzie, które może ci pomóc w tej samej sytuacji na innym systemie operacyjnym? Windows, Mac itp. ...? Jakie kryteria sortowania?
wrzesień
Czy możesz podać trochę więcej szczegółów na temat swoich wymagań? Pytanie jest albo całkowicie nie na temat, jak żądanie oprogramowania, albo zbyt niejasne, jak widać na podstawie jednej otrzymanej odpowiedzi. Co dokładnie rozumiesz przez „tagowanie”? Czy jest to tag, który można przekazać do systemu operacyjnego, czy jest on specyficzny dla oprogramowania, które planujesz? Jakaś baza danych wszystkich twoich plików?
terdon

Odpowiedzi:

2

Jakie kryteria sortowania? Wideo / audio / tekst ...? Jeśli tak, spróbuj czegoś takiego:

~# find / -name "*.avi" -exec mv -i {} ~/video/ \;
~# find / -name "*.mkv" -exec mv -i {} ~/video/ \;
~# find / -name "*.wav" -exec mv -i {} ~/audio/ \;
~# find / -name "*.mp3" -exec mv -i {} ~/MP3/ \;
    ...
wrzesień
źródło
Nie jest to zła odpowiedź sama w sobie, ale w moim przypadku nie obsługuje zduplikowanych nazw plików i zduplikowanych treści ani wielu systemów.
Ignacio Vazquez-Abrams
OK, dodano -iopcję dla mv. Będziesz mógł porównać zawartość przed nadpisaniem.
września