Czytam w tym poście Czy język R jest odpowiedni dla dużych 5TBzbiorów danych, które stanowią duże zbiory danych , i chociaż dobrze się spisuje, dostarczając informacji o możliwościach pracy z tego typu danymi w Rnim, zapewnia bardzo mało informacji na jego temat Python. Zastanawiałem się, czy Pythonmoże pracować z tak dużą ilością danych.
Aby to wyjaśnić, wydaje mi się, że oryginalne odniesienia do pytań OP prawdopodobnie nie są najlepsze dla formatu typu SO, ale z pewnością będę reprezentować pythonw tym konkretnym przypadku.
Zacznę od stwierdzenia, że niezależnie od wielkości danych, pythonnie powinno to być twoje ograniczenie. W rzeczywistości istnieje tylko kilka głównych problemów, z którymi będziesz mieć do czynienia w przypadku dużych zestawów danych:
1TBzaczniesz o tym mówić, zaczniesz szukać innego miejsca do przechowywania. AWS S3 jest najpopularniejszym zasobem i pythonma fantastyczną botobibliotekę ułatwiającą prowadzenie z dużymi fragmentami danych.W przypadku dużych zbiorów danych musisz zrozumieć kilka rzeczy -
Być może znasz słynne litery Big data - objętość, szybkość, różnorodność ... Python może nie być odpowiedni dla wszystkich. I pasuje do wszystkich dostępnych narzędzi do analizy danych. Musisz wiedzieć, które narzędzie jest odpowiednie do jakiego celu.
W przypadku dużej ilości danych:
Teraz możesz używać R / Python na etapach pośrednich, ale zdasz sobie sprawę, że stają się one wąskim gardłem w całym procesie.
W przypadku prędkości danych:
Ludzie próbują tutaj R / Python, ale znowu zależy to od rodzaju pożądanej równoległości i złożoności modelu.
Jeśli Twój model wymaga, aby najpierw wszystkie dane zostały wprowadzone do pamięci, wówczas model nie powinien być skomplikowany, ponieważ jeśli dane pośrednie są duże, kod się zepsuje. A jeśli pomyślisz o zapisaniu go na dysku, napotkasz dodatkowe opóźnienie, ponieważ odczyt / zapis dysku jest powolny w porównaniu z pamięcią RAM.
Zdecydowanie możesz używać Pythona w obszarze Big Data (Zdecydowanie, ponieważ ludzie próbują z R, dlaczego nie Python), ale najpierw poznaj swoje wymagania dotyczące danych i biznesu. Mogą być dostępne lepsze narzędzia do tego samego i zawsze pamiętaj:
Twoje narzędzia nie powinny decydować o tym, jak odpowiadasz na pytania. Twoje pytania powinny określić, jakich narzędzi używasz.
Python ma kilka bardzo dobrych narzędzi do pracy z dużymi danymi:
Tablice odwzorowane pamięciowo Numpy umożliwiają dostęp do pliku zapisanego na dysku, jakby to była tablica. Do pamięci należy załadować tylko te części tablicy, z którymi aktywnie pracujesz. Można go używać tak samo jak zwykłej tablicy.
Te dwie biblioteki zapewniają dostęp do plików HDF5. Pliki te umożliwiają dostęp tylko do części danych. Ponadto, dzięki bazowym bibliotekom używanym do uzyskiwania dostępu do danych, można wykonywać wiele operacji matematycznych i innych manipulacji danymi bez ładowania ich do struktury danych w języku Python. Możliwe są ogromne, wysoce ustrukturyzowane pliki, znacznie większe niż 5 TB. Umożliwia także płynną, bezstratną kompresję.
Istnieją różne typy baz danych, które pozwalają przechowywać duże zbiory danych i ładować tylko potrzebne części. Wiele baz danych pozwala na dokonywanie manipulacji bez ładowania danych do struktury danych w języku Python.
Umożliwia to dostęp na wyższym poziomie do różnych rodzajów danych, w tym danych HDF5, plików csv, baz danych, a nawet stron internetowych. W przypadku dużych zbiorów danych zapewnia otoki wokół dostępu do plików HDF5, co ułatwia analizę zestawów dużych zbiorów danych.
Jest to narzędzie do uruchamiania kodu Pythona w sposób rozproszony na wielu procesorach lub nawet na wielu komputerach. Umożliwia to jednoczesną pracę nad częściami danych.
Zapewnia wersję normalnej tablicy numpy, która obsługuje wiele normalnych operacji numpy w sposób wielordzeniowy, który może pracować na danych zbyt dużych, aby zmieściły się w pamięci.
Narzędzie zaprojektowane specjalnie dla dużych zbiorów danych. Jest to po prostu opakowanie wokół powyższych bibliotek, zapewniające spójne interfejsy do różnych metod przechowywania dużych ilości danych (takich jak HDF5 lub bazy danych) oraz narzędzia ułatwiające manipulowanie, wykonywanie operacji matematycznych i analizowanie danych, które jest zbyt duży, aby zmieścił się w pamięci.
Absolutnie. Podczas pracy z danymi na taką skalę często stosuje się strukturę dużych zbiorów danych, w którym to przypadku python lub inny używany język jest jedynie interfejsem. Zobacz na przykład Przewodnik programowania w języku Python Spark . Jakie masz dane i co chcesz z nimi zrobić?
Aby poradzić sobie z taką ilością danych, język programowania nie jest głównym problemem, ale ramy programowania. Frameworki, takie jak MapReduce lub Spark, mają powiązania z wieloma językami, w tym z Pythonem. Ramy te z pewnością mają wiele gotowych pakietów do zadań analizy danych. Ale ostatecznie wszystko sprowadza się do twoich wymagań, tj. Jakie jest twoje zadanie? Ludzie mają różne definicje zadań analizy danych, niektóre z nich można łatwo rozwiązać za pomocą relacyjnych baz danych. W takim przypadku SQL jest znacznie lepszy niż wszystkie inne alternatywy.
Uważam, że sam język ma niewiele wspólnego z wydajnością, jeśli chodzi o duże dane. Liczy się:
W każdym razie Python jest dobrze przyjęty w społecznościach zajmujących się badaniami danych.
Używałem Anaconda Python 3.4 i Pandas do przeszukiwania bazy danych o wielkości 10 milionów wierszy w celu dopasowania do 20 tysięcy danych logowania. Trwa około minuty. Wewnętrzne pandy doskonale wykorzystują pamięć. To powiedziawszy, naprawdę duże zbiory danych wymagają architektury przetwarzania dopasowanej do problemu. Pandy to po prostu klej (logika) w tym równaniu, a inne narzędzia mogą to zrobić. R, Scala, Haskell, SAS itp. Mogą powielać część logiki - być może wystarczy, by szybciej odpowiedzieć na pytania. Ale Python jest dobrym (najlepszym?) Narzędziem ogólnego zastosowania. Możesz uruchomić kod R w Pythonie, a także w większości innych języków. Chociaż są interpretacyjne, istnieją techniki i narzędzia o wysokiej wydajności, takie jak pypy, które mogą sprawić, że Python będzie działał prawie tak szybko, jak narzędzia do testów porównawczych przy jedynie nieco większym wysiłku. Python ma wiele bibliotek, które robią wszystko - patrz powyższa lista.
Jeśli pytasz, czy powinieneś się uczyć i używać Pythona, moja odpowiedź brzmi tak. Artykuły wskazują, że python jest używany częściej niż R wśród osób, które używają obu. Ale tylko kilka narzędzi rozwiązuje kilka problemów związanych z nauką danych. To może stać się Twoim podstawowym narzędziem, ale tylko to - narzędziem. I tak jak żadna rozsądna osoba nie buduje domu za pomocą młotka, tak żaden rozsądny specjalista ds. Danych nie używa tylko jednego narzędzia.
To zabawne, jak ludzie łączą duże zbiory danych z analizą danych i inteligencją biznesową.
Po pierwsze, duże zbiory danych oznaczają „dużo danych”, tyle informacji, że nie mieszczą się w konwencjonalnej bazie danych. Czasami jednak duże zbiory danych nie są nawet odpowiednimi „wartościowymi” informacjami, ale dokumentami, obrazami i tak dalej.
Aby przetwarzać duże zbiory danych, POTRZEBUJEMY PRĘDKOŚCI. Python jest poza ligą, więc R. Jeśli jednak zadanie jest tak proste, jak pobranie pliku CSV i wstawienie go do bazy danych, to jest to ETL, nie potrzebujemy do tego programowania.
A kiedy informacje zostaną zmniejszone, możemy zastosować Python, r lub cokolwiek chcesz. Nawet Excel. Jednak na tym etapie Big Data nie jest już dużymi danymi, ale danymi konwencjonalnymi.
IMHO, Java jest bardziej odpowiednia dla Big Data (dla całego łańcucha), ale ludzie traktują Python jako domyślny z jakiegoś niepraktycznego powodu.