Dlaczego nie wszystkie pliki są skompresowane i jak poprawić rozwiązanie

Mam folder z około 20 000 plików. Pliki są nazywane zgodnie ze wzorem xy_{\d1,5}_{\d4}\.abc, np xy_12345_1234.abc. Chciałem skompresować pierwsze 10 KB z nich za pomocą tego polecenia:

ls | sort -n -k1.4,1.9 | head -n10000 | xargs tar -czf xy_0_10000.tar.gz

jednak plik wynikowy zawierał tylko około 2 KB plików.

ls | sort -n -k1.4,1.9 | head -n10000 | wc -l zwraca jednak 10000, zgodnie z oczekiwaniami.

Wydaje mi się, że nie rozumiem tutaj czegoś podstawowego ...

Używam zsh 5.0.2 na Linux Mint 17.1, GNU tar 1.27.1

EDYTOWAĆ:

rozwidlenie, jak sugeruje @Archemar, wydaje się bardzo prawdopodobne, z najnowszym rozwidleniem nadpisującym wynikowy plik - plik zawiera „ogon” plików - od 7773 do 9999 .

wynik xargs --show-limit: Your environment variables take up 3973 bytes POSIX upper limit on argument length (this system): 2091131 POSIX smallest allowable upper limit on argument length (all systems): 4096 Maximum length of command we could actually use: 2087158 Size of command buffer we are actually using: 131072

zastępując -cz -rlub -unie działa w moim przypadku. Komunikat o błędzie totar: Cannot update compressed archives

użycie obu -ri -ujest nieprawidłowe i kończy się niepowodzeniemtar: You may not specify more than one '-Acdtrux', '--delete' or '--test-label' option

zastępując -cze -awydaje się być nieważne jak dobrze i nie z tym samym tar: You must specify one of the '-Acdtrux', '--delete' or '--test-label' optionschociaż dont uznaję problem azfi Acdtruxwydaje dysjunktywnej do mnie.

EDYCJA 2:

-T wygląda jak dobry sposób, ja też znalazłem przykład tutaj .

Jednak kiedy spróbuję

ls | sort -n -k1.4,1.9 | head -n10000 | tar -czf xy_0_10000.tar.gz -T - dostaję tar: option requires an argument -- 'T'

cóż, może nazwy plików nie docierają do tar? Ale wygląda na to, że robią, bo kiedy wykonuję

ls | sort -n -k1.4,1.9 | head -n10000 | tar --null -czf xy_0_10000.tar.gz -T - dostaję tar: xy_0_.ab\nxy_1_...<the rest of filenames separated by literal \n>...998.ab Cannot stat: File name too long

Dlaczego więc tar nie widzi nazw plików?

osiągnąłeś limit xargs?

xargs --show-limit

próbować :

• utwórz .tgzplik fikcyjnytar czf xy_0_10000.tar.gz /hello/world
• zastąpić -czfprzez -Azf

kiedy xarg osiągnie swój limit, rozwidli polecenie, więc było to polecenie, które ostatecznie wykonałeś

  tar czf xy_0_10000.tar.gz file1 file2 .... file666
  tar czf xy_0_10000.tar.gz file667 file668 ... file1203
  tar czf xy_0_10000.tar.gz file1024 ... file2000

ponieważ każda smoła wykracza poza poprzednią, możesz dostać tylko ostatni tar cbieg.

Edytować:

1) zgodnie z man tarunbuntu, -ai -r wydaje się, że równoważne dołączanie jest wykonywane przez (albo) -A, --catenate, --concatenate

2) zip(nie gzip) można użyć do dodania pliku, może załatwi go opcja gzip. (użyj | xargs zip -qr xy_0_0000.zip, spowoduje to utworzenie pliku zip, a nie pliku .tar.gz)

3) korzystanie z rozwiązania @ rsanchez
Ważne jest, aby dodać opcję tar w odpowiedni sposób, spróbuj

ls | sort -n -k1.4,1.9 | head -n10000 |tar -czf xy_0_10000.tar.gz -T -

gdzie - -T -oznacza opcję użycia -Ti użyj -jako argumentu do -T(możesz wygenerować listę plików /tmp/foo.lst, a następnie użyć -T /tmp/foo.lst)

Nie ma takiej potrzeby xargs. Jeśli bezpośrednio dać tarz -T -opcji będzie czytać nazwy plików ze standardowego wejścia.

Na przykład:

... | tar -T - -czf xy_0_10000.tar.gz

Chcę uzupełnić dwie pozostałe odpowiedzi rozwiązaniem zsh , które ani nie analizuje ls , ani nie potrzebuje xargs . Jednak nie jestem teraz pewien, czy cierpi to również z powodu ograniczenia długości linii poleceń.

1. Zdefiniuj funkcję, która generuje pożądany klucz sortowania poprzez modyfikację $REPLY.

   sortkey() { REPLY=${REPLY[4,9]} }

   Jest to równoważne z twoim sort -n -k1.4,1.9

2. Wygeneruj tablicę $filesz nazwami plików posortowanymi za pomocą powyższej funkcji:

   files=(*(o+sortkey))

   Jest to równoważne z ls | sort -n -k1.4,1.9

3. Zwróć pierwsze 10 000 plików za pomocą

   ${files[0,9999]}

   Jest to równoważne z ls | sort -n -k1.4,1.9 | head -n10000

Podsumowując, powinno to załatwić sprawę:

sortkey() { REPLY=${REPLY[4,9]} }
files=(*(o+sortkey))
tar -czf xy_0_10000.tar.gz ${files[0,9999]}