Linux: obliczyć pojedynczy skrót dla danego folderu i zawartości?

Question 1

Z pewnością musi istnieć sposób, aby to łatwo zrobić!

Wypróbowałem aplikacje wiersza poleceń systemu Linux, takie jak sha1sumi, md5sumale wydaje się, że są w stanie obliczyć skróty poszczególnych plików i wyprowadzić listę wartości skrótu, po jednej dla każdego pliku.

Muszę wygenerować jeden skrót dla całej zawartości folderu (nie tylko nazw plików).

Chciałbym zrobić coś takiego

sha1sum /folder/of/stuff > singlehashvalue

Edycja: aby wyjaśnić, moje pliki znajdują się na wielu poziomach w drzewie katalogów, nie wszystkie znajdują się w tym samym folderze głównym.

Question 2

Jednym z możliwych sposobów byłoby:

sha1sum ścieżka / do / folderu / * | sha1sum

Jeśli istnieje całe drzewo katalogów, prawdopodobnie lepiej będzie użyć funkcji find i xargs. Jednym z możliwych poleceń byłoby

znajdź ścieżkę / do / folderu -type f -print0 | sort -z | xargs -0 suma sha1 | sha1sum

I na koniec, jeśli musisz również wziąć pod uwagę uprawnienia i puste katalogi:

(find path/to/folder -type f -print0  | sort -z | xargs -0 sha1sum;
 find path/to/folder \( -type f -o -type d \) -print0 | sort -z | \
   xargs -0 stat -c '%n %a') \
| sha1sum

Argumenty do statspowodują, że wypisze nazwę pliku, po której następują ósemkowe uprawnienia. Te dwa znalezienia zostaną uruchomione jedno po drugim, powodując podwojenie ilości operacji we / wy dysku, pierwsze wyszukując wszystkie nazwy plików i sumując zawartość, a drugie znajdując wszystkie nazwy plików i katalogów, drukując nazwę i tryb. Lista „nazw plików i sum kontrolnych”, po której następują „nazwy i katalogi z uprawnieniami”, zostanie sprawdzona jako suma kontrolna, aby uzyskać mniejszą sumę kontrolną.

Question 3

Użyj narzędzia do wykrywania włamań do systemu plików, takiego jak aide .
haszuj kulkę tar z katalogu:

tar cvf - /path/to/folder | sha1sum
Zakoduj coś samemu, na przykład oneliner Vatine :

find /path/to/folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum

Question 4

Możesz to zrobić tar -c /path/to/folder | sha1sum

Question 5

Jeśli chcesz tylko sprawdzić, czy coś w folderze się zmieniło, polecam ten:

ls -alR --full-time /folder/of/stuff | sha1sum

Po prostu da ci hash wyjścia ls, który zawiera foldery, podfoldery, ich pliki, ich znacznik czasu, rozmiar i uprawnienia. Prawie wszystko, czego potrzebujesz, aby ustalić, czy coś się zmieniło.

Zwróć uwagę, że to polecenie nie wygeneruje skrótu dla każdego pliku, ale dlatego powinno być szybsze niż użycie find.

Question 6

Solidne i czyste podejście

Po pierwsze, nie marnuj dostępnej pamięci ! Zamiast podawać cały plik, należy haszować plik fragmentami.
Różne podejścia do różnych potrzeb / celów (wszystkie z poniższych lub wybierz to, co ma zastosowanie):
- Hashuj tylko nazwy wszystkich pozycji w drzewie katalogów
- Haszuj zawartość pliku wszystkich wpisów (pozostawiając meta jak, numer i-węzła, ctime, atime, mtime, rozmiar itp., Masz pomysł)
- W przypadku linku symbolicznego jego zawartością jest nazwa odniesienia. Haszuj lub wybierz pominięcie
- Śledź lub nie śledź (rozwiązana nazwa) dowiązania symbolicznego podczas haszowania zawartości wpisu
- Jeśli jest to katalog, jego zawartość to tylko wpisy katalogu. Podczas przechodzenia rekurencyjnego zostaną one ostatecznie zaszyfrowane, ale czy nazwy pozycji katalogów tego poziomu powinny być zaszyfrowane, aby oznaczyć ten katalog? Pomocne w przypadkach użycia, w których hash jest wymagany do szybkiego zidentyfikowania zmiany bez konieczności głębokiego przemierzania zawartości. Przykładem może być zmiana nazwy pliku, ale reszta zawartości pozostaje taka sama i wszystkie są dość dużymi plikami
- Dobrze obsługuj duże pliki (ponownie pamiętaj o pamięci RAM)
- Obsługuj bardzo głębokie drzewa katalogów (pamiętaj o deskryptorach otwartych plików)
- Obsługuj niestandardowe nazwy plików
- Jak postępować z plikami, które są gniazdami, potokami / FIFO, urządzeniami blokowymi, urządzeniami char? Czy też trzeba je mieszać?
- Nie aktualizuj czasu dostępu do żadnego wpisu podczas przemierzania, ponieważ będzie to efekt uboczny i przyniesie efekt przeciwny do zamierzonego (intuicyjny?) W niektórych przypadkach użycia.

To jest to, co mam na głowie, każdy, kto spędził trochę czasu nad tym, praktycznie złapałby inne pułapki i przypadki narożne.

Oto narzędzie , bardzo mało pamięci, które dotyczy większości przypadków, może być nieco szorstkie na krawędziach, ale było całkiem pomocne.

Przykładowe użycie i dane wyjściowe `dtreetrawl`.

Usage:
  dtreetrawl [OPTION...] "/trawl/me" [path2,...]

Help Options:
  -h, --help                Show help options

Application Options:
  -t, --terse               Produce a terse output; parsable.
  -j, --json                Output as JSON
  -d, --delim=:             Character or string delimiter/separator for terse output(default ':')
  -l, --max-level=N         Do not traverse tree beyond N level(s)
  --hash                    Enable hashing(default is MD5).
  -c, --checksum=md5        Valid hashing algorithms: md5, sha1, sha256, sha512.
  -R, --only-root-hash      Output only the root hash. Blank line if --hash is not set
  -N, --no-name-hash        Exclude path name while calculating the root checksum
  -F, --no-content-hash     Do not hash the contents of the file
  -s, --hash-symlink        Include symbolic links' referent name while calculating the root checksum
  -e, --hash-dirent         Include hash of directory entries while calculating root checksum

Fragment przyjaznego dla człowieka wyniku:

...
... //clipped
...
/home/lab/linux-4.14-rc8/CREDITS
        Base name                    : CREDITS
        Level                        : 1
        Type                         : regular file
        Referent name                :
        File size                    : 98443 bytes
        I-node number                : 290850
        No. directory entries        : 0
        Permission (octal)           : 0644
        Link count                   : 1
        Ownership                    : UID=0, GID=0
        Preferred I/O block size     : 4096 bytes
        Blocks allocated             : 200
        Last status change           : Tue, 21 Nov 17 21:28:18 +0530
        Last file access             : Thu, 28 Dec 17 00:53:27 +0530
        Last file modification       : Tue, 21 Nov 17 21:28:18 +0530
        Hash                         : 9f0312d130016d103aa5fc9d16a2437e

Stats for /home/lab/linux-4.14-rc8:
        Elapsed time     : 1.305767 s
        Start time       : Sun, 07 Jan 18 03:42:39 +0530
        Root hash        : 434e93111ad6f9335bb4954bc8f4eca4
        Hash type        : md5
        Depth            : 8
        Total,
                size           : 66850916 bytes
                entries        : 12484
                directories    : 763
                regular files  : 11715
                symlinks       : 6
                block devices  : 0
                char devices   : 0
                sockets        : 0
                FIFOs/pipes    : 0

Question 7

Jeśli chcesz po prostu zaszyfrować zawartość plików, ignorując nazwy plików, możesz użyć

cat $FILES | md5sum

Upewnij się, że masz pliki w tej samej kolejności podczas obliczania skrótu:

cat $(echo $FILES | sort) | md5sum

Ale nie możesz mieć katalogów na liście plików.

Question 8

Kolejne narzędzie do osiągnięcia tego:

http://md5deep.sourceforge.net/

Jak to brzmi: jak md5sum, ale także rekurencyjne, plus inne funkcje.

Question 9

Jeśli to jest repozytorium git i chcesz zignorować wszystkie pliki w programie .gitignore, możesz użyć tego:

git ls-files <your_directory> | xargs sha256sum | cut -d" " -f1 | sha256sum | cut -d" " -f1

To działa dobrze dla mnie.

Question 10

Jest do tego skrypt w Pythonie:

http://code.activestate.com/recipes/576973-getting-the-sha-1-or-md5-hash-of-a-directory/

Jeśli zmienisz nazwy pliku bez zmiany ich kolejności alfabetycznej, skrypt skrótu go nie wykryje. Ale jeśli zmienisz kolejność plików lub zawartość dowolnego pliku, uruchomienie skryptu da inny skrót niż poprzednio.

Question 11

Musiałem sprawdzić cały katalog w poszukiwaniu zmian plików.

Ale z wykluczaniem, sygnaturami czasowymi, właścicielami katalogów.

Celem jest uzyskanie wszędzie identycznej sumy, jeśli pliki są identyczne.

W tym hostowane na innych komputerach, niezależnie od wszystkiego oprócz plików lub zmian w nich.

md5sum * | md5sum | cut -d' ' -f1

Generuje listę skrótów według pliku, a następnie łączy te skróty w jeden.

Jest to o wiele szybsze niż metoda tar.

Aby zapewnić większą prywatność w naszych hashach , możemy użyć sumy sha512 w tej samej recepturze.

sha512sum * | sha512sum | cut -d' ' -f1

Hasze są również identyczne wszędzie przy użyciu sumy sha512, ale nie ma znanego sposobu, aby to odwrócić.

Question 12

Spróbuj zrobić to w dwóch krokach:

utwórz plik z hashami dla wszystkich plików w folderze
hasz ten plik

Tak jak to:

# for FILE in `find /folder/of/stuff -type f | sort`; do sha1sum $FILE >> hashes; done
# sha1sum hashes

Lub zrób to wszystko na raz:

# cat `find /folder/of/stuff -type f | sort` | sha1sum

Question 13

Przepuściłbym wyniki dla poszczególnych plików sort(aby zapobiec zwykłej zmianie kolejności plików w celu zmiany skrótu) do md5sumlub sha1sum, cokolwiek wybierzesz.

Question 14

Napisałem skrypt Groovy, aby to zrobić:

import java.security.MessageDigest

public static String generateDigest(File file, String digest, int paddedLength){
    MessageDigest md = MessageDigest.getInstance(digest)
    md.reset()
    def files = []
    def directories = []

    if(file.isDirectory()){
        file.eachFileRecurse(){sf ->
            if(sf.isFile()){
                files.add(sf)
            }
            else{
                directories.add(file.toURI().relativize(sf.toURI()).toString())
            }
        }
    }
    else if(file.isFile()){
        files.add(file)
    }

    files.sort({a, b -> return a.getAbsolutePath() <=> b.getAbsolutePath()})
    directories.sort()

    files.each(){f ->
        println file.toURI().relativize(f.toURI()).toString()
        f.withInputStream(){is ->
            byte[] buffer = new byte[8192]
            int read = 0
            while((read = is.read(buffer)) > 0){
                md.update(buffer, 0, read)
            }
        }
    }

    directories.each(){d ->
        println d
        md.update(d.getBytes())
    }

    byte[] digestBytes = md.digest()
    BigInteger bigInt = new BigInteger(1, digestBytes)
    return bigInt.toString(16).padLeft(paddedLength, '0')
}

println "\n${generateDigest(new File(args[0]), 'SHA-256', 64)}"

Możesz dostosować użycie, aby uniknąć drukowania każdego pliku, zmienić skrót wiadomości, usunąć mieszanie katalogów itp. Przetestowałem to z danymi testowymi NIST i działa zgodnie z oczekiwaniami. http://www.nsrl.nist.gov/testdata/

gary-macbook:Scripts garypaduana$ groovy dirHash.groovy /Users/garypaduana/.config
.DS_Store
configstore/bower-github.yml
configstore/insight-bower.json
configstore/update-notifier-bower.json
filezilla/filezilla.xml
filezilla/layout.xml
filezilla/lockfile
filezilla/queue.sqlite3
filezilla/recentservers.xml
filezilla/sitemanager.xml
gtk-2.0/gtkfilechooser.ini
a/
configstore/
filezilla/
gtk-2.0/
lftp/
menus/
menus/applications-merged/

79de5e583734ca40ff651a3d9a54d106b52e94f1f8c2cd7133ca3bbddc0c6758

Question 15

Możesz sha1sumwygenerować listę wartości skrótu, a następnie sha1sumtę listę ponownie, zależy to od tego, co dokładnie chcesz osiągnąć.

Question 16

Oto prosty, krótki wariant w Pythonie 3, który działa dobrze w przypadku małych plików (np. Drzewo źródłowe lub coś takiego, gdzie każdy plik z osobna można łatwo zmieścić w pamięci RAM), ignorując puste katalogi, w oparciu o pomysły z innych rozwiązań:

import os, hashlib

def hash_for_directory(path, hashfunc=hashlib.sha1):                                                                                            
    filenames = sorted(os.path.join(dp, fn) for dp, _, fns in os.walk(path) for fn in fns)         
    index = '\n'.join('{}={}'.format(os.path.relpath(fn, path), hashfunc(open(fn, 'rb').read()).hexdigest()) for fn in filenames)               
    return hashfunc(index.encode('utf-8')).hexdigest()

Działa to tak:

Znajdź rekursywnie wszystkie pliki w katalogu i posortuj je według nazwy
Oblicz hash (domyślnie: SHA-1) każdego pliku (wczytuje cały plik do pamięci)
Utwórz indeks tekstowy z liniami „filename = hash”
Zakoduj ten indeks z powrotem do ciągu bajtów UTF-8 i użyj skrótu

Możesz przekazać inną funkcję skrótu jako drugi parametr, jeśli SHA-1 nie jest twoją filiżanką herbaty.

Question 17

Jak dotąd najszybszym sposobem jest nadal użycie smoły. Dzięki kilku dodatkowym parametrom możemy również pozbyć się różnicy spowodowanej przez metadane.

Aby użyć tar do haszowania katalogu, należy upewnić się, że sortujesz ścieżkę podczas tar, w przeciwnym razie zawsze jest inaczej.

tar -C <root-dir> -cf - --sort=name <dir> | sha256sum

ignoruj czas

Jeśli nie zależy Ci na czasie dostępu lub modyfikacji czasu, użyj czegoś takiego jak, --mtime='UTC 2019-01-01' aby upewnić się, że wszystkie znaczniki czasu są takie same.

ignoruj własność

Zwykle musimy dodać, --group=0 --owner=0 --numeric-owneraby ujednolicić metadane właściciela.

zignoruj niektóre pliki

posługiwać się --exclude=PATTERN

Answer 1

Z pewnością musi istnieć sposób, aby to łatwo zrobić!

Wypróbowałem aplikacje wiersza poleceń systemu Linux, takie jak sha1sumi, md5sumale wydaje się, że są w stanie obliczyć skróty poszczególnych plików i wyprowadzić listę wartości skrótu, po jednej dla każdego pliku.

Muszę wygenerować jeden skrót dla całej zawartości folderu (nie tylko nazw plików).

Chciałbym zrobić coś takiego

sha1sum /folder/of/stuff > singlehashvalue

Edycja: aby wyjaśnić, moje pliki znajdują się na wielu poziomach w drzewie katalogów, nie wszystkie znajdują się w tym samym folderze głównym.

Answer 2

1

Czy przez „całą zawartość” masz na myśli dane logiczne wszystkich plików w katalogu lub jego dane wraz z meta podczas docierania do głównego skrótu? Ponieważ kryteria wyboru twojego przypadku użycia są dość szerokie, w mojej odpowiedzi starałem się odnieść do kilku praktycznych.

Six-k

Answer 3

124

Jednym z możliwych sposobów byłoby:

sha1sum ścieżka / do / folderu / * | sha1sum

Jeśli istnieje całe drzewo katalogów, prawdopodobnie lepiej będzie użyć funkcji find i xargs. Jednym z możliwych poleceń byłoby

znajdź ścieżkę / do / folderu -type f -print0 | sort -z | xargs -0 suma sha1 | sha1sum

I na koniec, jeśli musisz również wziąć pod uwagę uprawnienia i puste katalogi:

(find path/to/folder -type f -print0  | sort -z | xargs -0 sha1sum;
 find path/to/folder \( -type f -o -type d \) -print0 | sort -z | \
   xargs -0 stat -c '%n %a') \
| sha1sum

Argumenty do statspowodują, że wypisze nazwę pliku, po której następują ósemkowe uprawnienia. Te dwa znalezienia zostaną uruchomione jedno po drugim, powodując podwojenie ilości operacji we / wy dysku, pierwsze wyszukując wszystkie nazwy plików i sumując zawartość, a drugie znajdując wszystkie nazwy plików i katalogów, drukując nazwę i tryb. Lista „nazw plików i sum kontrolnych”, po której następują „nazwy i katalogi z uprawnieniami”, zostanie sprawdzona jako suma kontrolna, aby uzyskać mniejszą sumę kontrolną.

Watyna
źródło

2

i nie zapomnij ustawić LC_ALL = POSIX, aby różne narzędzia tworzyły wyjście niezależne od lokalizacji.

David Schmitt,

2

Bruno Bronosky

5

@RichardBronosky - Załóżmy, że mamy dwa pliki, A i B. A zawiera „foo”, a B zawiera „bar był tutaj”. Waszą metodą nie bylibyśmy w stanie oddzielić tego od dwóch plików C i D, gdzie C zawiera „foobar”, a D zawiera „było tutaj”. Haszując każdy plik osobno, a następnie łącząc wszystkie pary „hash nazw plików”, możemy zobaczyć różnicę.

Vatine,

2

Aby to działało niezależnie od ścieżki katalogu (tj. Gdy chcesz porównać skróty dwóch różnych folderów), musisz użyć ścieżki względnej i przejść do odpowiedniego katalogu, ponieważ ścieżki są zawarte w końcowym haszu:find ./folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum

robbles

3

@robbles To prawda i dlaczego nie umieściłem inicjału /na wędzidle path/to/folder.

Watyna

Answer 4

2

i nie zapomnij ustawić LC_ALL = POSIX, aby różne narzędzia tworzyły wyjście niezależne od lokalizacji.

David Schmitt,

Answer 5

2

Bruno Bronosky

Answer 6

5

@RichardBronosky - Załóżmy, że mamy dwa pliki, A i B. A zawiera „foo”, a B zawiera „bar był tutaj”. Waszą metodą nie bylibyśmy w stanie oddzielić tego od dwóch plików C i D, gdzie C zawiera „foobar”, a D zawiera „było tutaj”. Haszując każdy plik osobno, a następnie łącząc wszystkie pary „hash nazw plików”, możemy zobaczyć różnicę.

Vatine,

Answer 7

2

Aby to działało niezależnie od ścieżki katalogu (tj. Gdy chcesz porównać skróty dwóch różnych folderów), musisz użyć ścieżki względnej i przejść do odpowiedniego katalogu, ponieważ ścieżki są zawarte w końcowym haszu:find ./folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum

robbles

Answer 8

3

@robbles To prawda i dlaczego nie umieściłem inicjału /na wędzidle path/to/folder.

Watyna

Answer 9

26

Użyj narzędzia do wykrywania włamań do systemu plików, takiego jak aide .
haszuj kulkę tar z katalogu:

tar cvf - /path/to/folder | sha1sum
Zakoduj coś samemu, na przykład oneliner Vatine :

find /path/to/folder -type f -print0 | sort -z | xargs -0 sha1sum | sha1sum

David Schmitt
źródło

3

+1 za roztwór smoły. To jest najszybsze, ale porzucenie b. Gadatliwości tylko je spowalnia.

Bruno Bronosky,

7

zwróć uwagę, że rozwiązanie tar zakłada, że pliki są w tej samej kolejności, gdy je porównujesz. To, czy są, zależy od systemu plików, w którym znajdują się pliki podczas porównywania.

nr

5

Skrót git nie jest odpowiedni do tego celu, ponieważ zawartość pliku jest tylko częścią jego danych wejściowych. Nawet w przypadku początkowego zatwierdzenia gałęzi, na wartość skrótu wpływa komunikat o zatwierdzeniu i metadane zatwierdzenia, takie jak czas zatwierdzenia. Jeśli wielokrotnie zatwierdzisz tę samą strukturę katalogów, za każdym razem otrzymasz inny hash, a zatem wynikowy hash nie jest odpowiedni do określenia, czy dwa katalogi są dokładnymi kopiami siebie nawzajem, tylko przesyłając hash.

Zoltan

1

@Zoltan hasz git jest całkowicie w porządku, jeśli używasz hasha drzewa, a nie skrótu zatwierdzenia.

hobbs

1

@hobbs Pierwotnie odpowiedź brzmiała „commit hash”, co z pewnością nie nadaje się do tego celu. Hash drzewa brzmi jak znacznie lepszy kandydat, ale nadal mogą istnieć ukryte pułapki. Przychodzi mi do głowy, że ustawienie bitu wykonywalnego w niektórych plikach zmienia skrót drzewa. Musisz wydać git config --local core.fileMode falseprzed zobowiązaniem, aby tego uniknąć. Nie wiem, czy jest więcej takich zastrzeżeń.

Zoltan

Answer 10

3

+1 za roztwór smoły. To jest najszybsze, ale porzucenie b. Gadatliwości tylko je spowalnia.

Bruno Bronosky,

Answer 11

7

zwróć uwagę, że rozwiązanie tar zakłada, że pliki są w tej samej kolejności, gdy je porównujesz. To, czy są, zależy od systemu plików, w którym znajdują się pliki podczas porównywania.

nr

Answer 12

5

Skrót git nie jest odpowiedni do tego celu, ponieważ zawartość pliku jest tylko częścią jego danych wejściowych. Nawet w przypadku początkowego zatwierdzenia gałęzi, na wartość skrótu wpływa komunikat o zatwierdzeniu i metadane zatwierdzenia, takie jak czas zatwierdzenia. Jeśli wielokrotnie zatwierdzisz tę samą strukturę katalogów, za każdym razem otrzymasz inny hash, a zatem wynikowy hash nie jest odpowiedni do określenia, czy dwa katalogi są dokładnymi kopiami siebie nawzajem, tylko przesyłając hash.

Zoltan

Answer 13

1

@Zoltan hasz git jest całkowicie w porządku, jeśli używasz hasha drzewa, a nie skrótu zatwierdzenia.

hobbs

Answer 14

1

@hobbs Pierwotnie odpowiedź brzmiała „commit hash”, co z pewnością nie nadaje się do tego celu. Hash drzewa brzmi jak znacznie lepszy kandydat, ale nadal mogą istnieć ukryte pułapki. Przychodzi mi do głowy, że ustawienie bitu wykonywalnego w niektórych plikach zmienia skrót drzewa. Musisz wydać git config --local core.fileMode falseprzed zobowiązaniem, aby tego uniknąć. Nie wiem, czy jest więcej takich zastrzeżeń.

Zoltan

Answer 15

14

Możesz to zrobić tar -c /path/to/folder | sha1sum

S.Lott
źródło

17

Jeśli chcesz powielić tę sumę kontrolną na innym komputerze, tar może nie być dobrym wyborem, ponieważ format wydaje się mieć miejsce na niejednoznaczność i istnieje w wielu wersjach, więc tar na innym komputerze może generować inne dane wyjściowe z tych samych plików.

slowdog

2

ważne kwestie slowdog za Niezależnie od tego, czy dbasz o zawartości plików, prawa, itp, ale nie modyfikacja czasu, można dodać --mtimeopcję tak: tar -c /path/to/folder --mtime="1970-01-01" | sha1sum.

Plik binarny

@ S.Lott, jeśli rozmiar katalogu jest duży, mam na myśli, jeśli rozmiar katalogu jest tak duży, spakowanie go i pobranie md5 zajmie więcej czasu

Kasun Siyambalapitiya

Answer 16

17

Jeśli chcesz powielić tę sumę kontrolną na innym komputerze, tar może nie być dobrym wyborem, ponieważ format wydaje się mieć miejsce na niejednoznaczność i istnieje w wielu wersjach, więc tar na innym komputerze może generować inne dane wyjściowe z tych samych plików.

slowdog

Answer 17

2

ważne kwestie slowdog za Niezależnie od tego, czy dbasz o zawartości plików, prawa, itp, ale nie modyfikacja czasu, można dodać --mtimeopcję tak: tar -c /path/to/folder --mtime="1970-01-01" | sha1sum.

Plik binarny

Answer 18

@ S.Lott, jeśli rozmiar katalogu jest duży, mam na myśli, jeśli rozmiar katalogu jest tak duży, spakowanie go i pobranie md5 zajmie więcej czasu

Kasun Siyambalapitiya

Answer 19

13

Jeśli chcesz tylko sprawdzić, czy coś w folderze się zmieniło, polecam ten:

ls -alR --full-time /folder/of/stuff | sha1sum

Po prostu da ci hash wyjścia ls, który zawiera foldery, podfoldery, ich pliki, ich znacznik czasu, rozmiar i uprawnienia. Prawie wszystko, czego potrzebujesz, aby ustalić, czy coś się zmieniło.

Zwróć uwagę, że to polecenie nie wygeneruje skrótu dla każdego pliku, ale dlatego powinno być szybsze niż użycie find.

Shumoapp
źródło

1

Nie jestem pewien, dlaczego nie ma więcej głosów pozytywnych, biorąc pod uwagę prostotę rozwiązania. Czy ktoś może wyjaśnić, dlaczego to nie działałoby dobrze?

Dave C

1

Przypuszczam, że to nie jest idealne, ponieważ wygenerowany hash będzie oparty na właścicielu pliku, konfiguracji formatu daty itp.

Ryota

1

Polecenie ls można dostosować, aby wyświetlało cokolwiek chcesz. Możesz zamienić -l na -gG, aby pominąć grupę i właściciela. Możesz zmienić format daty za pomocą opcji --time-style. Zasadniczo sprawdź stronę podręcznika ls i zobacz, co odpowiada Twoim potrzebom.

Shumoapp

@DaveC Ponieważ jest to prawie bezużyteczne. Jeśli chcesz porównać nazwy plików, po prostu porównaj je bezpośrednio. Nie są tak duże.

Navin

7

@Navin Z pytania nie jest jasne, czy konieczne jest haszowanie zawartości pliku, czy też wykrycie zmiany w drzewie. Każdy przypadek ma swoje zastosowania. Na przykład przechowywanie nazw plików 45K w drzewie jądra jest mniej praktyczne niż pojedynczy hash. ls -lAgGR --block-size = 1 --time-style = +% s | sha1sum działa świetnie dla mnie

yashma

Answer 20

1

Nie jestem pewien, dlaczego nie ma więcej głosów pozytywnych, biorąc pod uwagę prostotę rozwiązania. Czy ktoś może wyjaśnić, dlaczego to nie działałoby dobrze?

Dave C

Answer 21

1

Przypuszczam, że to nie jest idealne, ponieważ wygenerowany hash będzie oparty na właścicielu pliku, konfiguracji formatu daty itp.

Ryota

Answer 22

1

Polecenie ls można dostosować, aby wyświetlało cokolwiek chcesz. Możesz zamienić -l na -gG, aby pominąć grupę i właściciela. Możesz zmienić format daty za pomocą opcji --time-style. Zasadniczo sprawdź stronę podręcznika ls i zobacz, co odpowiada Twoim potrzebom.

Shumoapp

Answer 23

@DaveC Ponieważ jest to prawie bezużyteczne. Jeśli chcesz porównać nazwy plików, po prostu porównaj je bezpośrednio. Nie są tak duże.

Navin

Answer 24

7

@Navin Z pytania nie jest jasne, czy konieczne jest haszowanie zawartości pliku, czy też wykrycie zmiany w drzewie. Każdy przypadek ma swoje zastosowania. Na przykład przechowywanie nazw plików 45K w drzewie jądra jest mniej praktyczne niż pojedynczy hash. ls -lAgGR --block-size = 1 --time-style = +% s | sha1sum działa świetnie dla mnie

yashma

Answer 25

Solidne i czyste podejście

Po pierwsze, nie marnuj dostępnej pamięci ! Zamiast podawać cały plik, należy haszować plik fragmentami.
Różne podejścia do różnych potrzeb / celów (wszystkie z poniższych lub wybierz to, co ma zastosowanie):
- Hashuj tylko nazwy wszystkich pozycji w drzewie katalogów
- Haszuj zawartość pliku wszystkich wpisów (pozostawiając meta jak, numer i-węzła, ctime, atime, mtime, rozmiar itp., Masz pomysł)
- W przypadku linku symbolicznego jego zawartością jest nazwa odniesienia. Haszuj lub wybierz pominięcie
- Śledź lub nie śledź (rozwiązana nazwa) dowiązania symbolicznego podczas haszowania zawartości wpisu
- Jeśli jest to katalog, jego zawartość to tylko wpisy katalogu. Podczas przechodzenia rekurencyjnego zostaną one ostatecznie zaszyfrowane, ale czy nazwy pozycji katalogów tego poziomu powinny być zaszyfrowane, aby oznaczyć ten katalog? Pomocne w przypadkach użycia, w których hash jest wymagany do szybkiego zidentyfikowania zmiany bez konieczności głębokiego przemierzania zawartości. Przykładem może być zmiana nazwy pliku, ale reszta zawartości pozostaje taka sama i wszystkie są dość dużymi plikami
- Dobrze obsługuj duże pliki (ponownie pamiętaj o pamięci RAM)
- Obsługuj bardzo głębokie drzewa katalogów (pamiętaj o deskryptorach otwartych plików)
- Obsługuj niestandardowe nazwy plików
- Jak postępować z plikami, które są gniazdami, potokami / FIFO, urządzeniami blokowymi, urządzeniami char? Czy też trzeba je mieszać?
- Nie aktualizuj czasu dostępu do żadnego wpisu podczas przemierzania, ponieważ będzie to efekt uboczny i przyniesie efekt przeciwny do zamierzonego (intuicyjny?) W niektórych przypadkach użycia.

To jest to, co mam na głowie, każdy, kto spędził trochę czasu nad tym, praktycznie złapałby inne pułapki i przypadki narożne.

Oto narzędzie , bardzo mało pamięci, które dotyczy większości przypadków, może być nieco szorstkie na krawędziach, ale było całkiem pomocne.

Przykładowe użycie i dane wyjściowe `dtreetrawl`.

Usage:
  dtreetrawl [OPTION...] "/trawl/me" [path2,...]

Help Options:
  -h, --help                Show help options

Application Options:
  -t, --terse               Produce a terse output; parsable.
  -j, --json                Output as JSON
  -d, --delim=:             Character or string delimiter/separator for terse output(default ':')
  -l, --max-level=N         Do not traverse tree beyond N level(s)
  --hash                    Enable hashing(default is MD5).
  -c, --checksum=md5        Valid hashing algorithms: md5, sha1, sha256, sha512.
  -R, --only-root-hash      Output only the root hash. Blank line if --hash is not set
  -N, --no-name-hash        Exclude path name while calculating the root checksum
  -F, --no-content-hash     Do not hash the contents of the file
  -s, --hash-symlink        Include symbolic links' referent name while calculating the root checksum
  -e, --hash-dirent         Include hash of directory entries while calculating root checksum

Fragment przyjaznego dla człowieka wyniku:

...
... //clipped
...
/home/lab/linux-4.14-rc8/CREDITS
        Base name                    : CREDITS
        Level                        : 1
        Type                         : regular file
        Referent name                :
        File size                    : 98443 bytes
        I-node number                : 290850
        No. directory entries        : 0
        Permission (octal)           : 0644
        Link count                   : 1
        Ownership                    : UID=0, GID=0
        Preferred I/O block size     : 4096 bytes
        Blocks allocated             : 200
        Last status change           : Tue, 21 Nov 17 21:28:18 +0530
        Last file access             : Thu, 28 Dec 17 00:53:27 +0530
        Last file modification       : Tue, 21 Nov 17 21:28:18 +0530
        Hash                         : 9f0312d130016d103aa5fc9d16a2437e

Stats for /home/lab/linux-4.14-rc8:
        Elapsed time     : 1.305767 s
        Start time       : Sun, 07 Jan 18 03:42:39 +0530
        Root hash        : 434e93111ad6f9335bb4954bc8f4eca4
        Hash type        : md5
        Depth            : 8
        Total,
                size           : 66850916 bytes
                entries        : 12484
                directories    : 763
                regular files  : 11715
                symlinks       : 6
                block devices  : 0
                char devices   : 0
                sockets        : 0
                FIFOs/pipes    : 0

Answer 26

1

Czy możesz podać krótki przykład, jak uzyskać solidny i czysty sha256 folderu, może dla folderu Windows z trzema podkatalogami i kilkoma plikami w każdym?

Ferit

Answer 27

3

Jeśli chcesz po prostu zaszyfrować zawartość plików, ignorując nazwy plików, możesz użyć

cat $FILES | md5sum

Upewnij się, że masz pliki w tej samej kolejności podczas obliczania skrótu:

cat $(echo $FILES | sort) | md5sum

Ale nie możesz mieć katalogów na liście plików.

źródło

2

Przeniesienie końca jednego pliku na początek pliku, który następuje po nim w kolejności alfabetycznej, nie wpłynie na skrót, ale powinno. W skrócie musiałby być zawarty separator pliku lub długości plików.

Jason Stangroome

Answer 28

2

Przeniesienie końca jednego pliku na początek pliku, który następuje po nim w kolejności alfabetycznej, nie wpłynie na skrót, ale powinno. W skrócie musiałby być zawarty separator pliku lub długości plików.

Jason Stangroome

Answer 29

3

Kolejne narzędzie do osiągnięcia tego:

http://md5deep.sourceforge.net/

Jak to brzmi: jak md5sum, ale także rekurencyjne, plus inne funkcje.

Jacek
źródło

1

Chociaż ten link może odpowiedzieć na pytanie, lepiej jest zawrzeć tutaj zasadnicze części odpowiedzi i podać link do odniesienia. Odpowiedzi zawierające tylko łącze mogą stać się nieprawidłowe, jeśli połączona strona ulegnie zmianie.

Mamoun Benghezal

Answer 30

1

Chociaż ten link może odpowiedzieć na pytanie, lepiej jest zawrzeć tutaj zasadnicze części odpowiedzi i podać link do odniesienia. Odpowiedzi zawierające tylko łącze mogą stać się nieprawidłowe, jeśli połączona strona ulegnie zmianie.

Mamoun Benghezal

Answer 31

3

Jeśli to jest repozytorium git i chcesz zignorować wszystkie pliki w programie .gitignore, możesz użyć tego:

git ls-files <your_directory> | xargs sha256sum | cut -d" " -f1 | sha256sum | cut -d" " -f1

To działa dobrze dla mnie.

ndbroadbent
źródło

Wielkie dzięki! :)

visortelle

W przypadku wielu zastosowań to podejście jest lepsze. Haszowanie tylko plików z kodem źródłowym powoduje uzyskanie wystarczająco unikalnego skrótu w znacznie krótszym czasie.

John McGehee,

Answer 32

Wielkie dzięki! :)

visortelle

Answer 33

W przypadku wielu zastosowań to podejście jest lepsze. Haszowanie tylko plików z kodem źródłowym powoduje uzyskanie wystarczająco unikalnego skrótu w znacznie krótszym czasie.

John McGehee,

Answer 34

Jest do tego skrypt w Pythonie:

http://code.activestate.com/recipes/576973-getting-the-sha-1-or-md5-hash-of-a-directory/

Jeśli zmienisz nazwy pliku bez zmiany ich kolejności alfabetycznej, skrypt skrótu go nie wykryje. Ale jeśli zmienisz kolejność plików lub zawartość dowolnego pliku, uruchomienie skryptu da inny skrót niż poprzednio.

Answer 35

2

Musiałem sprawdzić cały katalog w poszukiwaniu zmian plików.

Ale z wykluczaniem, sygnaturami czasowymi, właścicielami katalogów.

Celem jest uzyskanie wszędzie identycznej sumy, jeśli pliki są identyczne.

W tym hostowane na innych komputerach, niezależnie od wszystkiego oprócz plików lub zmian w nich.

md5sum * | md5sum | cut -d' ' -f1

Generuje listę skrótów według pliku, a następnie łączy te skróty w jeden.

Jest to o wiele szybsze niż metoda tar.

Aby zapewnić większą prywatność w naszych hashach , możemy użyć sumy sha512 w tej samej recepturze.

sha512sum * | sha512sum | cut -d' ' -f1

Hasze są również identyczne wszędzie przy użyciu sumy sha512, ale nie ma znanego sposobu, aby to odwrócić.

NVRM
źródło

Wydaje się to o wiele prostsze niż akceptowana odpowiedź na haszowanie katalogu. Nie stwierdziłem, że zaakceptowana odpowiedź jest wiarygodna. Jeden problem ... czy jest szansa, że skróty mogą pojawić się w innej kolejności? sha256sum /tmp/thd-agent/* | sortto jest to, czego staram się w celu uzyskania niezawodnego zamówienia, a następnie po prostu to wszystko.

thinktt

Cześć, wygląda na to, że skróty są domyślnie uporządkowane alfabetycznie. Co masz na myśli mówiąc o rzetelnym zamawianiu? Musisz to wszystko zorganizować samodzielnie. Na przykład przy użyciu tablic asocjacyjnych wpis + hash. Następnie sortujesz tę tablicę według wpisu, co daje listę obliczonych skrótów w kolejności sortowania. Uważam, że w przeciwnym razie można użyć obiektu json i bezpośrednio zhaszować cały obiekt.

NVRM

Jeśli rozumiem, mówisz, że haszuje pliki w porządku alfabetycznym. Wydaje się słuszne. Coś w zaakceptowanej odpowiedzi powyżej dawało mi czasami różne rozkazy, więc staram się tylko upewnić, że to się nie powtórzy. Na koniec będę się trzymał sortowania. Wydaje się, że działa. Jedyny problem z tą metodą w porównaniu z zaakceptowaną odpowiedzią, który widzę, to nie dotyczy zagnieżdżonych folderów. W moim przypadku nie mam żadnych folderów, więc działa świetnie.

thinktt

o czym ls -r | sha256sum?

NVRM

@NVRM wypróbował to i sprawdził tylko zmiany nazwy pliku, a nie zawartości pliku

Gi0rgi0s

Answer 36

Wydaje się to o wiele prostsze niż akceptowana odpowiedź na haszowanie katalogu. Nie stwierdziłem, że zaakceptowana odpowiedź jest wiarygodna. Jeden problem ... czy jest szansa, że skróty mogą pojawić się w innej kolejności? sha256sum /tmp/thd-agent/* | sortto jest to, czego staram się w celu uzyskania niezawodnego zamówienia, a następnie po prostu to wszystko.

thinktt

Answer 37

Cześć, wygląda na to, że skróty są domyślnie uporządkowane alfabetycznie. Co masz na myśli mówiąc o rzetelnym zamawianiu? Musisz to wszystko zorganizować samodzielnie. Na przykład przy użyciu tablic asocjacyjnych wpis + hash. Następnie sortujesz tę tablicę według wpisu, co daje listę obliczonych skrótów w kolejności sortowania. Uważam, że w przeciwnym razie można użyć obiektu json i bezpośrednio zhaszować cały obiekt.

NVRM

Answer 38

Jeśli rozumiem, mówisz, że haszuje pliki w porządku alfabetycznym. Wydaje się słuszne. Coś w zaakceptowanej odpowiedzi powyżej dawało mi czasami różne rozkazy, więc staram się tylko upewnić, że to się nie powtórzy. Na koniec będę się trzymał sortowania. Wydaje się, że działa. Jedyny problem z tą metodą w porównaniu z zaakceptowaną odpowiedzią, który widzę, to nie dotyczy zagnieżdżonych folderów. W moim przypadku nie mam żadnych folderów, więc działa świetnie.

thinktt

Answer 39

o czym ls -r | sha256sum?

NVRM

Answer 40

@NVRM wypróbował to i sprawdził tylko zmiany nazwy pliku, a nie zawartości pliku

Gi0rgi0s

Answer 41

1

Spróbuj zrobić to w dwóch krokach:

utwórz plik z hashami dla wszystkich plików w folderze
hasz ten plik

Tak jak to:

# for FILE in `find /folder/of/stuff -type f | sort`; do sha1sum $FILE >> hashes; done
# sha1sum hashes

Lub zrób to wszystko na raz:

# cat `find /folder/of/stuff -type f | sort` | sha1sum

Joao da Silva
źródło

for F in 'find ...' ...nie działa, gdy masz spacje w nazwach (co zawsze robisz w dzisiejszych czasach).

mivk

Answer 42

for F in 'find ...' ...nie działa, gdy masz spacje w nazwach (co zawsze robisz w dzisiejszych czasach).

mivk

Answer 43

1

Przepuściłbym wyniki dla poszczególnych plików sort(aby zapobiec zwykłej zmianie kolejności plików w celu zmiany skrótu) do md5sumlub sha1sum, cokolwiek wybierzesz.

Rafał Dowgird
źródło

Answer 44

Napisałem skrypt Groovy, aby to zrobić:

import java.security.MessageDigest

public static String generateDigest(File file, String digest, int paddedLength){
    MessageDigest md = MessageDigest.getInstance(digest)
    md.reset()
    def files = []
    def directories = []

    if(file.isDirectory()){
        file.eachFileRecurse(){sf ->
            if(sf.isFile()){
                files.add(sf)
            }
            else{
                directories.add(file.toURI().relativize(sf.toURI()).toString())
            }
        }
    }
    else if(file.isFile()){
        files.add(file)
    }

    files.sort({a, b -> return a.getAbsolutePath() <=> b.getAbsolutePath()})
    directories.sort()

    files.each(){f ->
        println file.toURI().relativize(f.toURI()).toString()
        f.withInputStream(){is ->
            byte[] buffer = new byte[8192]
            int read = 0
            while((read = is.read(buffer)) > 0){
                md.update(buffer, 0, read)
            }
        }
    }

    directories.each(){d ->
        println d
        md.update(d.getBytes())
    }

    byte[] digestBytes = md.digest()
    BigInteger bigInt = new BigInteger(1, digestBytes)
    return bigInt.toString(16).padLeft(paddedLength, '0')
}

println "\n${generateDigest(new File(args[0]), 'SHA-256', 64)}"

Możesz dostosować użycie, aby uniknąć drukowania każdego pliku, zmienić skrót wiadomości, usunąć mieszanie katalogów itp. Przetestowałem to z danymi testowymi NIST i działa zgodnie z oczekiwaniami. http://www.nsrl.nist.gov/testdata/

gary-macbook:Scripts garypaduana$ groovy dirHash.groovy /Users/garypaduana/.config
.DS_Store
configstore/bower-github.yml
configstore/insight-bower.json
configstore/update-notifier-bower.json
filezilla/filezilla.xml
filezilla/layout.xml
filezilla/lockfile
filezilla/queue.sqlite3
filezilla/recentservers.xml
filezilla/sitemanager.xml
gtk-2.0/gtkfilechooser.ini
a/
configstore/
filezilla/
gtk-2.0/
lftp/
menus/
menus/applications-merged/

79de5e583734ca40ff651a3d9a54d106b52e94f1f8c2cd7133ca3bbddc0c6758

Answer 45

0

Możesz sha1sumwygenerować listę wartości skrótu, a następnie sha1sumtę listę ponownie, zależy to od tego, co dokładnie chcesz osiągnąć.

Ronny Vindenes
źródło

Answer 46

Oto prosty, krótki wariant w Pythonie 3, który działa dobrze w przypadku małych plików (np. Drzewo źródłowe lub coś takiego, gdzie każdy plik z osobna można łatwo zmieścić w pamięci RAM), ignorując puste katalogi, w oparciu o pomysły z innych rozwiązań:

import os, hashlib

def hash_for_directory(path, hashfunc=hashlib.sha1):                                                                                            
    filenames = sorted(os.path.join(dp, fn) for dp, _, fns in os.walk(path) for fn in fns)         
    index = '\n'.join('{}={}'.format(os.path.relpath(fn, path), hashfunc(open(fn, 'rb').read()).hexdigest()) for fn in filenames)               
    return hashfunc(index.encode('utf-8')).hexdigest()

Działa to tak:

Znajdź rekursywnie wszystkie pliki w katalogu i posortuj je według nazwy
Oblicz hash (domyślnie: SHA-1) każdego pliku (wczytuje cały plik do pamięci)
Utwórz indeks tekstowy z liniami „filename = hash”
Zakoduj ten indeks z powrotem do ciągu bajtów UTF-8 i użyj skrótu

Możesz przekazać inną funkcję skrótu jako drugi parametr, jeśli SHA-1 nie jest twoją filiżanką herbaty.

Answer 47

Jak dotąd najszybszym sposobem jest nadal użycie smoły. Dzięki kilku dodatkowym parametrom możemy również pozbyć się różnicy spowodowanej przez metadane.

Aby użyć tar do haszowania katalogu, należy upewnić się, że sortujesz ścieżkę podczas tar, w przeciwnym razie zawsze jest inaczej.

tar -C <root-dir> -cf - --sort=name <dir> | sha256sum

ignoruj czas

Jeśli nie zależy Ci na czasie dostępu lub modyfikacji czasu, użyj czegoś takiego jak, --mtime='UTC 2019-01-01' aby upewnić się, że wszystkie znaczniki czasu są takie same.

ignoruj własność

Zwykle musimy dodać, --group=0 --owner=0 --numeric-owneraby ujednolicić metadane właściciela.

zignoruj niektóre pliki

posługiwać się --exclude=PATTERN

Linux: obliczyć pojedynczy skrót dla danego folderu i zawartości?

Odpowiedzi:

Solidne i czyste podejście

Przykładowe użycie i dane wyjściowe dtreetrawl.

ignoruj ​​czas

ignoruj ​​własność

zignoruj ​​niektóre pliki

Przykładowe użycie i dane wyjściowe `dtreetrawl`.

ignoruj czas

ignoruj własność

zignoruj niektóre pliki