Używam Pythona na Ubuntu do analizy tekstu. Pomimo dużej ilości pracy program wykonuje użycie procesora, jak pokazano na monitorze systemowym, stale wynosi 12%.
Zmieniłem priorytet programu z Normalna, Very Highale to nie przyniosło efektu.
Co ogranicza wykorzystanie procesora przez mój program python i jak mogę to zmienić, aby program mógł zużywać więcej mocy procesora?
Zakładam, że masz procesor z 8 wirtualnymi rdzeniami (prawdopodobnie czterordzeniowy z hiperwątkowością)? Oznacza to, że jeden w pełni obciążony wątek procesora / wirtualny rdzeń wynosi 12,5% całkowitego obciążenia.
Interpretator Python jest aplikacją, która domyślnie działa tylko jako jeden proces i dlatego nie może korzystać z więcej niż jednego wirtualnego rdzenia. Nawet jeśli kod, który uruchamiasz z nim, korzysta z wielowątkowości, nadal będzie używał tylko jednego wątku procesora / wirtualnego rdzenia, z powodu GIL (globalnej blokady interpretera) .
Tylko wtedy, gdy używa programu Python wieloprocesorowe , które w rzeczywistości zaczyna się wiele wystąpień interpreter Pythona i pozwala im wykonywać twoje zadania prawdziwie równoległe, można skorzystać z wielu wirtualnych rdzeni / wątków procesora. (Jak zauważył @SargeBorsch w swoim komentarzu, istnieją również zaawansowane sposoby osiągnięcia tego bez wieloprocesowego przetwarzania, ale zwykle nie jest to coś, co szybko piszesz sam.)
JythonlubIronPython, które nie mają GIL.Inną możliwością, mniej prawdopodobną w tym przypadku, jest to, że program jest związany z dyskiem, tj. Odczytuje i zapisuje na / z dysku, który jest wolny, a procesor czeka na dysk.
źródło
iotopmonitorować programy powiązane z iowait