Przetwarzanie skryptu Bash równolegle ograniczonej liczby poleceń

Mam skrypt bash, który wygląda następująco:

#!/bin/bash
wget LINK1 >/dev/null 2>&1
wget LINK2 >/dev/null 2>&1
wget LINK3 >/dev/null 2>&1
wget LINK4 >/dev/null 2>&1
# ..
# ..
wget LINK4000 >/dev/null 2>&1

Ale przetwarzanie każdej linii, aż do zakończenia polecenia, a następnie przejście do następnej jest bardzo czasochłonne, chcę przetworzyć na przykład 20 linii na raz, a po ich zakończeniu przetwarzanych jest kolejnych 20 linii.

Myślałem o wget LINK1 >/dev/null 2>&1 &wysłaniu polecenia w tle i kontynuowaniu, ale jest tutaj 4000 linii, co oznacza, że ​​będę mieć problemy z wydajnością, nie wspominając o ograniczeniu liczby procesów, które powinienem uruchomić w tym samym czasie, więc to nie jest dobre pomysł.

Jednym z rozwiązań, o których teraz myślę, jest sprawdzenie, czy jedno z poleceń nadal działa, na przykład po 20 wierszach mogę dodać tę pętlę:

while [  $(ps -ef | grep KEYWORD | grep -v grep | wc -l) -gt 0 ]; do
sleep 1
done

Oczywiście w tym przypadku będę musiał dołączyć i na końcu linii! Ale czuję, że to nie jest właściwy sposób, aby to zrobić.

Jak więc właściwie pogrupować każde 20 wierszy razem i poczekać, aż zakończą się, zanim przejdą do następnych 20 wierszy, ten skrypt jest generowany dynamicznie, więc mogę robić dowolną matematykę na nim podczas generowania, ale NIE musi to robić użyj wget, to był tylko przykład, więc każde rozwiązanie, które jest specyficzne dla wget, nic mi nie da.

Użyj waitwbudowanego:

process1 &
process2 &
process3 &
process4 &
wait
process5 &
process6 &
process7 &
process8 &
wait

W powyższym przykładzie 4 procesy process1... process4zostałyby uruchomione w tle, a powłoka poczekałaby na ich zakończenie przed uruchomieniem następnego zestawu.

Z podręcznika GNU :

wait [jobspec or pid ...]

Poczekaj, aż proces potomny określony przez każdy identyfikator procesu pid lub specyfikacja zadania specyfikacja zadania zakończy działanie i zwróć status wyjścia ostatniej oczekującej komendy. Jeśli podano specyfikację zadania, wszystkie procesy w zadaniu są oczekiwane. Jeśli nie podano żadnych argumentów, czekane są wszystkie aktualnie aktywne procesy potomne, a zwracany status to zero. Jeśli ani specyfika zadania, ani pid nie określają aktywnego procesu potomnego powłoki, zwracany status to 127.

Zobacz równolegle . Jego składnia jest podobna do xargs, ale uruchamia polecenia równolegle.

W rzeczywistości xargs może uruchamiać polecenia równolegle dla Ciebie. Jest do tego specjalna -P max_procsopcja wiersza poleceń. Zobaczyć man xargs.

Możesz uruchomić 20 procesów i użyć polecenia:

wait

Twój skrypt będzie czekał i będzie kontynuowany po zakończeniu wszystkich zadań w tle.