Kiedy powinniśmy wywołać metodę multiprocessing.Pool.join?

Używam „multiprocess.Pool.imap_unordered” w następujący sposób

from multiprocessing import Pool
pool = Pool()
for mapped_result in pool.imap_unordered(mapping_func, args_iter):
    do some additional processing on mapped_result

Czy muszę dzwonić, pool.closeczy pool.joinpo pętli for?

Nie, nie możesz, ale to prawdopodobnie dobry pomysł, jeśli nie zamierzasz już korzystać z basenu.

Powody, dla których warto dzwonić pool.closelub pool.joinsą dobrze opisane przez Tima Petersa w tym poście SO :

Jeśli chodzi o Pool.close (), powinieneś wywołać to wtedy, gdy - i tylko wtedy - nigdy nie będziesz przesyłać więcej pracy do instancji Pool. Tak więc Pool.close () jest zwykle wywoływana po zakończeniu pracującej równolegle części programu głównego. Wówczas procesy robocze zostaną zakończone, gdy wszystkie już przypisane prace zostaną zakończone.

Doskonałą praktyką jest również wywołanie metody Pool.join () w celu oczekiwania na zakończenie procesu roboczego. Między innymi często nie ma dobrego sposobu zgłaszania wyjątków w kodzie równoległym (wyjątki występują w kontekście tylko niejasno związanym z tym, co robi twój główny program), a Pool.join () udostępnia punkt synchronizacji, który może zgłosić niektóre wyjątki, które wystąpiły w procesach roboczych, których inaczej nigdy byś nie zobaczył.

Miałem ten sam problem pamięci jako Memory użytkowania stale rosnąć z multiprocessing.pool Pythona , kiedy nie używać pool.close(), a pool.join()podczas korzystania pool.map()z funkcji, która oblicza Odległość Levenshteina. Funkcja działała dobrze, ale nie była poprawnie zbierana na komputerze z systemem Win7 64, a zużycie pamięci wymykało się spod kontroli za każdym razem, gdy funkcja była wywoływana, aż do wyłączenia całego systemu operacyjnego. Oto kod, który naprawił wyciek:

stringList = []
for possible_string in stringArray:
    stringList.append((searchString,possible_string))

pool = Pool(5)
results = pool.map(myLevenshteinFunction, stringList)
pool.close()
pool.join()

Po zamknięciu i wejściu do puli wyciek pamięci zniknął.