Mam program do modelowania i oceniania, który intensywnie wykorzystuje DataFrame.isinfunkcję pand, przeszukując listy „podobnych” rejestrów Facebooka dla poszczególnych użytkowników dla każdej z kilku tysięcy konkretnych stron. Jest to najbardziej czasochłonna część programu, bardziej niż...
Jaka jest (są) różnica (-y) między obliczeniami równoległymi i rozproszonymi? Jeśli chodzi o skalowalność i wydajność, bardzo często spotyka się rozwiązania dotyczące obliczeń w klastrach maszyn, a czasem nazywa się je przetwarzaniem równoległym lub przetwarzaniem rozproszonym. W pewnym sensie...
Pracując nad czymś, co często można nazwać projektami „średnich danych”, byłem w stanie zrównoleglać mój kod (głównie do modelowania i prognozowania w Pythonie) na jednym systemie w dowolnym miejscu od 4 do 32 rdzeni. Teraz patrzę na skalowanie do klastrów w EC2 (prawdopodobnie z StarCluster /...
Obecnie piszę artykuł na temat Big Data, który mocno wykorzystuje R do analizy danych. Zdarza mi się mieć GTX1070 w komputerze z powodów związanych z grami. Pomyślałem więc, że byłoby naprawdę fajnie, gdybym mógł to wykorzystać, aby przyspieszyć przetwarzanie niektórych rzeczy, które robią moi...
Pracuję na modelu Seq2Seq przy użyciu LSTM z Keras (przy użyciu tła Theano) i chciałbym zrównoleglić procesy, ponieważ nawet kilka MB danych potrzebuje kilku godzin na szkolenie. Oczywiste jest, że procesory graficzne są znacznie lepsze w równoległości niż procesory. W tej chwili mam tylko...