Załóżmy, że mam dużą tablicę numpy w pamięci, mam funkcję, funcktóra przyjmuje tę gigantyczną tablicę jako dane wejściowe (wraz z kilkoma innymi parametrami). funcz różnymi parametrami mogą działać równolegle. Na przykład: def func(arr, param): # do stuff to arr, param # build array arr pool =...
Mam mały problem z jednym z moich projektów. Próbowałem znaleźć dobrze udokumentowany przykład użycia pamięci współdzielonej, fork()ale bezskutecznie. Zasadniczo scenariusz jest taki, że kiedy użytkownik uruchamia program, muszę przechowywać dwie wartości w pamięci współdzielonej:...
Często muszę zastosować funkcję do grup o bardzo dużych DataFrame(mieszanych typach danych) i chciałbym skorzystać z wielu rdzeni. Mogę utworzyć iterator z grup i użyć modułu wieloprocesorowego, ale nie jest to wydajne, ponieważ każda grupa i wyniki funkcji muszą być marynowane do przesyłania...
Mam 60 GB SciPy Array (Matrix), które muszę udostępniać między 5+ multiprocessing Processobiektami. Widziałem numpy-sharedmem i przeczytałem tę dyskusję na liście SciPy. Wydaje się, że są dwa podejścia - numpy-sharedmemi używając a multiprocessing.RawArray()oraz mapując NumPy dtypes na ctypes....