Wykonywanie zadań równolegle, aby korzystać z wielu procesorów
W pliku .txt znajduje się lista adresów IP, np .: 1.1.1.1 2.2.2.2 3.3.3.3 Za każdym adresem IP znajduje się serwer, a na każdym serwerze znajduje się sshd działający na porcie 22. Nie każdy serwer znajduje się na known_hostsliście (na moim komputerze, Ubuntu 10.04 LTS / bash). Jak uruchomić...
Używam czterordzeniowego procesora IMX6 Freescale. Chcę wiedzieć, czy toppolecenie wyświetla użycie procesora przez wszystkie 4 rdzenie lub pojedynczy rdzeń. Widzę, że użycie procesora aplikacji jest takie samo w przypadku 4 rdzeni i jednego rdzenia. Zgadywałem, że użycie procesora przez aplikację...
Mam folder zawierający ponad 250 plików o wielkości 2 GB każdy. Muszę wyszukać ciąg / wzorzec w tych plikach i wyświetlić wynik w outputpliku. Wiem, że mogę uruchomić następujące polecenie, ale jest ono zbyt wolne !! grep mypattern * > output Chcę to przyspieszyć. Jako programista w Javie...
Muszę pobrać duży plik (1 GB). Mam również dostęp do wielu komputerów z systemem Linux, ale zasady administratora ograniczają każdy z nich do prędkości pobierania 50 kB / s. Jak mogę dystrybuować pobieranie tego pliku na kilka komputerów i scalać je po pobraniu wszystkich segmentów, aby szybciej...
Czy jest jakieś narzędzie / polecenie w systemie Linux, którego można użyć do uruchomienia polecenia na więcej niż jednej karcie jednocześnie? Chcę uruchomić to samo polecenie: ./myprog argument1 argument2jednocześnie w więcej niż jednej powłoce, aby sprawdzić, czy muteksy działają poprawnie w...
Chcę skompilować tak szybko, jak to możliwe. Domyśl. I chciałby zautomatyzować wybór numeru po -jopcji. Jak mogę programowo wybrać tę wartość, np. W skrypcie powłoki? Czy wynik jest nprocrównoważny liczbie wątków, z którymi mogę się skompilować? make -j1 make...
Zakładając, że dyskowe operacje we / wy i wolna pamięć RAM stanowią wąskie gardło (choć czas procesora nie jest ograniczeniem), czy istnieje narzędzie, które może obliczyć wiele skrótów wiadomości jednocześnie? Szczególnie interesuje mnie obliczanie skrótów MD-5 i SHA-256 dużych plików (rozmiar w...
Mam kilka obrazów PNG w katalogu. Mam aplikację o nazwie pngout, którą uruchamiam w celu skompresowania tych obrazów. Ta aplikacja jest wywoływana przez skrypt, który zrobiłem. Problem polega na tym, że ten skrypt wykonuje jeden po drugim, mniej więcej tak: FILES=(./*.png) for f in...
Załóżmy, że mam trzy (lub więcej) skrypty bash: script1.sh, script2.sh, i script3.sh. Chciałbym wywołać wszystkie trzy skrypty i uruchomić je równolegle . Jednym ze sposobów jest wykonanie następujących poleceń: nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh...
Mam problem ze skryptem powłoki, w którym dostaję katalog pełen plików wejściowych (każdy plik zawiera wiele wierszy wejściowych) i muszę przetwarzać je osobno, przekierowując każde z ich wyników do unikalnego pliku (aka, plik_1.input potrzebuje do przechwycenia w pliku_1.output itd.). Przed...
Mam skrypt powłoki bash, w którym przepuszczam dane przez około 5 lub 6 różnych programów, a następnie końcowe wyniki do pliku rozdzielanego tabulatorami. Następnie robię to samo dla osobnego podobnego zestawu danych i wyprowadzam do drugiego pliku. Następnie oba pliki są wprowadzane do innego...
Używam xargsz opcją --max-args=0(alternatywnie -P 0). Jednak wyniki procesów są scalane ze stdoutstrumieniem bez uwzględnienia właściwego rozdzielenia linii. Więc często kończę liniami takimi jak: <start-of-line-1><line-2><end-of-line-1> Ponieważ używam egrepz ^moim wzorem na...
Rozważ następujący scenariusz. Mam dwa programy A i B. Program A wyprowadza na standardowe linie ciągów, a program B na linie standardowe ze standardowego wejścia. Oczywiście sposobem na użycie tych dwóch programów jest: foo @ bar: ~ $ A | b Teraz zauważyłem, że zjada to tylko jeden rdzeń;...
Mogę ssh na zdalnej maszynie, która ma 64 rdzenie. Powiedzmy, że muszę uruchomić 640 skryptów powłoki równolegle na tym komputerze. Jak mam to zrobic? Widzę podział 640 skryptów na 64 grupy, każdy po 10 skryptów. Jak miałbym następnie uruchomić każdą z tych grup równolegle , tj. Jedną grupę na...
Znalazłem tylko puf (moduł pobierania równoległego adresu URL), ale nie mogłem zmusić go do odczytania adresów URL z pliku; coś jak puf < urls.txt też nie działa. System operacyjny zainstalowany na serwerze to
Załóżmy, że mam dwa zasoby, o nazwie 0i 1, do których można uzyskać dostęp wyłącznie. Czy jest jakiś sposób na odzyskanie „indeksu” „procesora równoległego”, który xargsuruchamia się w celu wykorzystania go jako bezpłatnej usługi wzajemnego wykluczania? Np. Rozważ następujące obliczenia...
Mam zadanie, które przetwarza listę plików na stdin. Czas uruchamiania programu jest znaczny, a ilość czasu, jaką zajmuje każdy plik, jest bardzo różna. Chcę odrodzić znaczną liczbę tych procesów, a następnie wysłać pracę do tych, które nie są zajęte. Istnieje kilka różnych narzędzi wiersza...
Mam trzy rodzaje danych, które są w różnych formatach; dla każdego typu danych istnieje skrypt w języku Python, który przekształca go w pojedynczy zunifikowany format. Ten skrypt w języku Python jest powolny i związany z procesorem (z jednym rdzeniem na komputerze wielordzeniowym), dlatego chcę...
Napisałem skrypt bash, który ma następujący format: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in...
Używam xargsdo wywołania skryptu Pythona w celu przetworzenia około 30 milionów małych plików. Mam nadzieję, że wykorzystam to xargsdo zrównoleglenia procesu. Polecenie, którego używam to: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Zasadniczo...