Mam wget
duże pliki (ponad 100 GB), a następnie porównuję sumę md5 z sumą zaksięgowaną w repozytorium. Wierzcie lub nie, md5sum
uruchomienie nieoczekiwanego czasu na pliku o tym rozmiarze, więc chciałbym uzyskać sumę równolegle z pobieraniem.
Jak najlepiej to zrobić? Nie widzę wget
opcji, aby obliczyć MD5 podczas pobierania (co zaskakujące), więc myślę, że użycie tee
byłoby dobrym rozwiązaniem ?!
Odpowiedzi:
W rzeczywistości może to być możliwe:
Zakłada się jednak, że masz wcześniej skrót w pliku.
źródło
md5sum
(i każdy inny popularny algorytm skrótu, taki jak rodzina SHA) działa w stałej pamięci. Są zaprojektowane do pracy na strumieniach.awk
na końcu możesz automatycznie usunąć `-` a koniec.wget -O - "https://example.org/myFile.jpg" | tee file | md5sum | awk '{print $1}' > md5.txt