Próbowałem zrównoleglić następujący skrypt, a konkretnie każdą z trzech instancji pętli FOR, używając GNU Parallel, ale nie byłem w stanie. 4 polecenia zawarte w pętli FOR działają szeregowo, każda pętla zajmuje około 10 minut. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for...
Jestem zdezorientowany co do różnicy lub zalet (jeśli w ogóle) uruchamiania zestawu zadań za .shpomocą skryptuGNU parallel Np. Odpowiedź Ole Tange'a : parallel ./pngout -s0 {} R{} ::: *.png zamiast powiedzieć, że je przewijamy, umieszczając je w tle &. Np. Odpowiedź frostschutza : #copied...
Mam problem ze skryptem powłoki, w którym dostaję katalog pełen plików wejściowych (każdy plik zawiera wiele wierszy wejściowych) i muszę przetwarzać je osobno, przekierowując każde z ich wyników do unikalnego pliku (aka, plik_1.input potrzebuje do przechwycenia w pliku_1.output itd.). Przed...
Używam rsyncskryptu do synchronizacji danych na jednym hoście z danymi na innym hoście. Dane zawierają wiele małych plików, które przyczyniają się do prawie 1,2 TB. Aby zsynchronizować te pliki, użyłem rsyncpolecenia w następujący sposób: rsync -avzm --stats --human-readable --include-from...
W większym skrypcie do przetworzenia niektórych danych symulacyjnych miałem następujący wiersz: parallel bnzip2 -- *.bz2 Co, jeśli dobrze rozumiem parallel(a może nie rozumiem ), powinno uruchamiać n-rdzeniowe wątki programu na wszystkich plikach z wymienionym rozszerzeniem. Możesz zauważyć, że...
Mam więc pętlę while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Ale może to zająć dużo czasu. Jak miałbym używać GNU Parallel do tej pętli
Ładuję dość gigantyczny plik do bazy danych postgresql. Aby to zrobić, najpierw używam splitw pliku, aby uzyskać mniejsze pliki (30 Gb każdy), a następnie ładuję każdy mniejszy plik do bazy danych za pomocą GNU Paralleli psql copy. Problem polega na tym, że dzielenie pliku zajmuje około 7 godzin,...
% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Spodziewałbym się, że druga linia zachowa się tak