Jak rekurencyjnie grepować poprzez pliki .gz?

Korzystam ze skryptu, aby regularnie pobierać wiadomości Gmaila, które kompresują nieprzetworzony plik .eml do plików .gz. Skrypt tworzy folder na każdy dzień, a następnie kompresuje każdą wiadomość do własnego pliku.

Chciałbym znaleźć sposób na przeszukanie tego archiwum pod kątem „ciągu”.

Wydaje się, że sam Grep tego nie robi. Próbowałem także SearchMonkey.

Jeśli chcesz rekurencyjnie grepować we wszystkich plikach .eml.gz w bieżącym katalogu, możesz użyć:

find . -name \*.eml.gz -print0 | xargs -0 zgrep "STRING"

Musisz uciec od pierwszego, *aby powłoka go nie interpretowała. -print0każe programowi find wypisać znak zerowy po każdym znalezionym pliku; xargs -0odczytuje ze standardowego wejścia i uruchamia polecenie po nim dla każdego pliku; zgrepdziała jak grep, ale najpierw rozpakowuje plik.

Jest tu wiele zamieszania, ponieważ nie ma tylko jednego zgrep. Mam dwie wersje w moim systemie, zgrepod gzipi zgrepod zutils. Ten pierwszy jest tylko skryptem otoki, który wywołuje gzip -cdfq. Nie obsługuje -r, --recursiveprzełącznika. ¹
Ten ostatni jest c++programem i obsługuje tę -r, --recursiveopcję.
Uruchomienie zgrep --version | head -n 1ujawni, który z nich (jeśli w ogóle) jest domyślny:

zgrep (gzip) 1.6

to skrypt otoki,

zgrep (zutils) 1.3

jest cppplikiem wykonywalnym.
Jeśli masz ten drugi, możesz uruchomić:

zgrep 'pattern' -r --format=gz /path/to/dir

W każdym razie, zgodnie z sugestią, find+ zgrepbędzie działać równie dobrze z każdą wersją zgrep:

find /path/to/dir -name '*.gz' -exec zgrep -- 'pattern' {} +

Jeśli zgrepbrakuje w twoim systemie (bardzo mało prawdopodobne), możesz spróbować z:

find /path/to/dir -name '*.gz' -exec sh -c 'gzip -cd "$0" | grep -- "pattern"' {} \;

ale ma to poważną wadę: nie będziesz wiedział, gdzie są dopasowania, ponieważ do pasujących wierszy nie ma nazwy pliku.

^{1: ponieważ byłoby to problematyczne}

agjest wariantem grepz kilkoma ładnymi dodatkowymi funkcjami.

• ma opcję -z dla skompresowanych plików,
• ma wiele funkcji potwierdzenia.
• to jest szybkie

Więc:

ag -r -z your-pattern-goes-here   folder

Jeśli nie jest zainstalowany,

apt-get install silversearcher-ag   (debian and friends)
yum install the_silver_searcher     (fedora)
brew install the_silver_searcher    (mac)

Sama rekursja jest łatwa:

   -r, --recursive
          Read all files  under  each  directory,  recursively,  following
          symbolic  links  only  if they are on the command line.  This is
          equivalent to the -d recurse option.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

Jednak w przypadku plików skompresowanych potrzebujesz czegoś takiego:

shopt globstar 
for file in /path/to/directory/**/*gz; do zcat ""$file" | grep pattern; done

path/to/directory powinien być katalogiem nadrzędnym, który zawiera podkatalogi na każdy dzień.

zgrepjest oczywistą odpowiedzią, ale niestety nie obsługuje -rflagi. Od man zgrep:

Te opcje grep spowodują zakończenie zgrep z kodem błędu: (- [d rR zZ] | --di * | --exc * | --inc * | --rec * | --nu *).

Jeśli twój system ma zgrep, możesz po prostu

zgrep -irs your-pattern-goes-here the-folder-to-search-goes-here/

Jeśli twój system nie ma zgrep, możesz użyć polecenia find, aby uruchomić zcat i grep dla każdego pliku w następujący sposób:

find the-folder-to-search-goes-here/ -name '*.gz' \ -exec sh -c 'echo "Searching {}" ; zcat "{}" | grep your-pattern-goes-here ' \;

xzgrep -l "string" ./*/*.eml.gz

xzgrep jest pochodną narzędzia zgrep (mniej / bin / xzgrep)

Ze strony Man:

xzgrep wywołuje grep (1) na plikach, które mogą być nieskompresowane lub skompresowane za pomocą xz (1), lzma (1), gzip (1), bzip2 (1) lub lzop (1). Wszystkie określone opcje są przekazywane bezpośrednio do grep (1).

-l wypisz pasującą nazwę pliku

-R rekurencja nie będzie działać, ponieważ jest to wyraźnie zabronione w skrypcie, jednak proste globowanie powłoki powinno nas tam doprowadzić

./*/*.eml.gz

ze ścieżki względnej, gdzie ./today/sample.eml.gz, dopasuj we wszystkich instancjach o jeden poziom poniżej naszej względnej pozycji w powłoce, która kończy się na „.eml.gz”