Lista argumentów jest za długa dla ls

Podczas próby otwarcia ls *.txt | wc -lkatalogu zawierającego wiele plików pojawia się następujący błąd :

-bash: /bin/ls: Argument list too long

Czy próg tej „listy argumentów” zależy od dystrybucji lub specyfikacji komputera? Zwykle przesyłam wynik tak dużego wyniku do niektórych innych poleceń ( wc -lna przykład), więc nie interesują mnie ograniczenia terminala.

Twój komunikat o błędzie lista argumentów zbyt długo pochodzi z * o ls *.txt.

Ograniczenia te stanowią bezpieczeństwo zarówno dla programów binarnych, jak i dla jądra. Na tej stronie zobaczysz więcej informacji o tym, a także o tym, jak jest wykorzystywany i obliczany.

Nie ma takiego ograniczenia rozmiaru rury. Możesz więc po prostu wydać to polecenie:

find -type f -name '*.txt'  | wc -l

Uwaga: we współczesnym systemie Linux dziwne znaki w nazwach plików (np. Nowe wiersze) będą oznaczone znakami ucieczki za pomocą narzędzi takich jak lslub find, ale nadal wyświetlane z * . Jeśli korzystasz ze starego Uniksa, będziesz potrzebować tego polecenia

find -type f -name '*.txt' -exec echo \;  | wc -l

NB2: Zastanawiałem się, jak stworzyć plik z nową linią w nazwie. To nie jest takie trudne, kiedy znasz już sztuczkę:

touch "hello
world"

Zależy to głównie od twojej wersji jądra Linux.

Powinieneś być w stanie zobaczyć limit swojego systemu, uruchamiając

getconf ARG_MAX

która określa maksymalną liczbę bajtów, jaką wiersz poleceń może mieć po rozwinięciu przez powłokę.

W Linuksie <2.6.23 limit wynosi zwykle 128 KB.

W Linuksie> = 2.6.25 limit wynosi 128 KB lub 1/4 wielkości stosu (patrz ulimit -s), w zależności od tego, która wartość jest większa.

Zobacz stronę manuala execve (2), aby poznać wszystkie szczegóły.

Niestety, potokowanie ls *.txtnie rozwiąże problemu, ponieważ limit jest w systemie operacyjnym, a nie w powłoce.

Powłoka rozszerza *.txt, a następnie próbuje zadzwonić

exec("ls", "a.txt", "b.txt", ...)

i masz tyle pasujących plików *.txt, że przekraczasz limit 128 KB.

Będziesz musiał zrobić coś takiego

find . -maxdepth 1 -name "*.txt" | wc -l

zamiast.

(I zobacz poniższe komentarze Shawna J. Goffa na temat nazw plików zawierających nowe linie).

Kolejne obejście:

ls | grep -c '\.txt$'

Mimo że lsprodukuje więcej danych wyjściowych niż ls *.txtprodukuje (lub próbuje produkować), nie napotyka problemu „zbyt długich argumentów”, ponieważ nie przekazujesz żadnych argumentów ls. Zauważ, że grepbierze wyrażenie regularne zamiast wzorca pasującego do pliku.

Możesz użyć:

ls -U | grep -c '\.txt$'

(zakładając, że Twoja wersja lsobsługuje tę opcję). Mówi lsto, aby nie sortować danych wyjściowych, co może zaoszczędzić zarówno czas, jak i pamięć - w tym przypadku kolejność nie ma znaczenia, ponieważ tylko zliczasz pliki. Zasoby wydane na sortowanie danych wyjściowych zwykle nie są znaczące, ale w tym przypadku wiemy już, że masz bardzo dużą liczbę *.txtplików.

I powinieneś rozważyć reorganizację swoich plików, aby nie było ich tak wiele w jednym katalogu. To może, ale nie musi być wykonalne.

MAX_ARG_PAGES wydaje się być parametrem jądra. Używanie findi xargsjest typową kombinacją do ograniczenia tego limitu, ale nie jestem pewien, czy to zadziała wc.

Pipingowanie wyjścia find . -name \*\.txtdo pliku i zliczanie linii w tym pliku powinno służyć jako obejście.

To może być brudne, ale działa na moje potrzeby i w ramach moich kompetencji. Nie sądzę, że działa bardzo szybko, ale pozwoliło mi to kontynuować.

ls | grep jpg | <something>

Otrzymywałem listę 90 000 plików JPG i przesyłałem je do avconv, aby wygenerować upływ czasu.

Wcześniej używałem ls * .jpg | avconv, zanim natknąłem się na ten problem.