Najszybszy sposób na sprawdzenie, czy dwa pliki mają tę samą zawartość w systemach Unix / Linux?

Mam skrypt powłoki, w którym muszę sprawdzić, czy dwa pliki zawierają te same dane, czy nie. Robię to dla wielu plików, aw moim skrypcie diffpolecenie wydaje się być wąskim gardłem wydajności.

Oto linia:

diff -q $dst $new > /dev/null

if ($status) then ...

Czy może istnieć szybszy sposób porównywania plików, może niestandardowy algorytm zamiast domyślnego diff?

Wierzę, cmpże zatrzyma się przy pierwszej bajcie różnicy:

cmp --silent $old $new || echo "files are different"

Lubię @Alex Howansky użył do tego „cmp --silent”. Ale potrzebuję zarówno pozytywnej, jak i negatywnej odpowiedzi, więc używam:

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###'

Następnie mogę uruchomić to w terminalu lub za pomocą ssh, aby sprawdzić pliki względem stałego pliku.

Dlaczego nie masz skrótu zawartości obu plików?

Wypróbuj ten skrypt, wywołaj go na przykład script.sh, a następnie uruchom w następujący sposób: script.sh plik1.txt plik2.txt

#!/bin/bash

file1=`md5 $1`
file2=`md5 $2`

if [ "$file1" = "$file2" ]
then
    echo "Files have the same content"
else
    echo "Files have NOT the same content"
fi

Ponieważ ssę i nie mam wystarczającej liczby punktów reputacji, nie mogę dodać tego smakołyka jako komentarza.

Ale jeśli zamierzasz użyć cmppolecenia (i nie potrzebujesz / nie chcesz być gadatliwy), możesz po prostu pobrać status wyjścia. Na cmpstronę podręcznika :

Jeśli PLIK jest „-” lub go brakuje, przeczytaj standardowe wejście. Status wyjścia wynosi 0, jeśli wejścia są takie same, 1 jeśli są różne, 2 jeśli występują problemy.

Więc możesz zrobić coś takiego:

STATUS="$(cmp --silent $FILE1 $FILE2; echo $?)"  # "$?" gives exit status for each comparison

if [[$STATUS -ne 0]]; then  # if status isn't equal to 0, then execute code
    DO A COMMAND ON $FILE1
else
    DO SOMETHING ELSE
fi

W przypadku plików, które nie są różne, każda metoda będzie wymagać całkowitego odczytania obu plików, nawet jeśli odczyt był w przeszłości.

Nie ma alternatywy. Tak więc tworzenie skrótów lub sum kontrolnych w pewnym momencie wymaga odczytania całego pliku. Duże pliki wymagają czasu.

Pobieranie metadanych pliku jest znacznie szybsze niż czytanie dużego pliku.

Czy istnieją jakieś metadane plików, których można użyć do ustalenia, że ​​pliki są różne? Rozmiar pliku ? a nawet wyniki polecenia file, które odczytuje tylko niewielką część pliku?

Fragment kodu przykładowego rozmiaru pliku:

  ls -l $1 $2 | 
  awk 'NR==1{a=$5} NR==2{b=$5} 
       END{val=(a==b)?0 :1; exit( val) }'

[ $? -eq 0 ] && echo 'same' || echo 'different'  

Jeśli pliki są tego samego rozmiaru, oznacza to, że nie możesz odczytać pełnych plików.

Spróbuj także użyć polecenia cksum:

chk1=`cksum <file1> | awk -F" " '{print $1}'`
chk2=`cksum <file2> | awk -F" " '{print $1}'`

if [ $chk1 -eq $chk2 ]
then
  echo "File is identical"
else
  echo "File is not identical"
fi

Polecenie cksum wyświetli liczbę bajtów pliku. Zobacz „man cksum”.

Przeprowadzając testy z Raspberry Pi 3B + (używam nakładkowego systemu plików i muszę okresowo synchronizować), uruchomiłem własne porównanie dla diff -q i cmp -s; zwróć uwagę, że jest to dziennik z wnętrza / dev / shm, więc prędkości dostępu do dysku nie stanowią problemu:

[root@mypi shm]# dd if=/dev/urandom of=test.file bs=1M count=100 ; time diff -q test.file test.copy && echo diff true || echo diff false ; time cmp -s test.file test.copy && echo cmp true || echo cmp false ; cp -a test.file test.copy ; time diff -q test.file test.copy && echo diff true || echo diff false; time cmp -s test.file test.copy && echo cmp true || echo cmp false
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 6.2564 s, 16.8 MB/s
Files test.file and test.copy differ

real    0m0.008s
user    0m0.008s
sys     0m0.000s
diff false

real    0m0.009s
user    0m0.007s
sys     0m0.001s
cmp false
cp: overwrite âtest.copyâ? y

real    0m0.966s
user    0m0.447s
sys     0m0.518s
diff true

real    0m0.785s
user    0m0.211s
sys     0m0.573s
cmp true
[root@mypi shm]# pico /root/rwbscripts/utils/squish.sh

Uruchomiłem to kilka razy. cmp -s konsekwentnie miał nieco krótsze czasy na polu testowym, którego używałem. Więc jeśli chcesz używać cmp -s do robienia rzeczy między dwoma plikami ...

identical (){
  echo "$1" and "$2" are the same.
  echo This is a function, you can put whatever you want in here.
}
different () {
  echo "$1" and "$2" are different.
  echo This is a function, you can put whatever you want in here, too.
}
cmp -s "$FILEA" "$FILEB" && identical "$FILEA" "$FILEB" || different "$FILEA" "$FILEB"