Jak oszacować, ile pamięci będzie potrzebować DataFrame Pandy?

Zastanawiałem się ... Jeśli czytam, powiedzmy, plik csv o wielkości 400 MB w ramce danych pandy (używając read_csv lub read_table), czy istnieje sposób, aby oszacować, ile pamięci będzie to potrzebne? Próbuję tylko lepiej poznać ramki danych i pamięć ...

df.memory_usage() zwróci, ile zajmuje każda kolumna:

>>> df.memory_usage()

Row_ID            20906600
Household_ID      20906600
Vehicle           20906600
Calendar_Year     20906600
Model_Year        20906600
...

Aby dołączyć indeksy, przekaż index=True.

Aby uzyskać ogólne zużycie pamięci:

>>> df.memory_usage(index=True).sum()
731731000

Ponadto przekazanie deep=Trueumożliwi dokładniejszy raport o wykorzystaniu pamięci, który uwzględnia pełne wykorzystanie zawartych obiektów.

Dzieje się tak, ponieważ użycie pamięci nie obejmuje pamięci używanej przez elementy, które nie są składnikami tablicy if deep=False(przypadek domyślny).

Oto porównanie różnych metod - sys.getsizeof(df)jest najprostsze.

W tym przykładzie dfjest to ramka danych z 814 wierszami, 11 kolumnami (2 int, 9 obiektów) - odczytana z pliku kształtu o rozmiarze 427 kb

sys.getsizeof (df)

>>> import sys
>>> sys.getsizeof (df)
(daje wyniki w bajtach)
462456

df.memory_usage ()

>>> df.memory_usage ()
...
(wyświetla każdą kolumnę z 8 bajtami / wiersz)

>>> df.memory_usage (). sum ()
71712
(z grubsza wiersze * cols * 8 bajtów)

>>> df.memory_usage (deep = True)
(wyświetla pełne wykorzystanie pamięci dla każdej kolumny)

>>> df.memory_usage (deep = True) .sum ()
(daje wyniki w bajtach)
462432

df.info ()

Wyświetla informacje o ramce danych na standardowe wyjście. Z technicznego punktu widzenia są to kibibajty (KiB), a nie kilobajty - jak głosi dokument: „Wykorzystanie pamięci jest pokazane w czytelnych dla człowieka jednostkach (reprezentacja podstawowa-2)”. Zatem aby uzyskać bajty, należy pomnożyć przez 1024, np. 451,6 KiB = 462,438 bajtów.

>>> df.info ()
...
użycie pamięci: 70,0+ KB

>>> df.info (memory_usage = 'deep')
...
użycie pamięci: 451,6 KB

Pomyślałem, że przyniosę więcej danych do dyskusji.

Przeprowadziłem serię testów w tej sprawie.

Używając resourcepakietu python , uzyskałem wykorzystanie pamięci przez mój proces.

Zapisując csv w StringIObuforze, mogłem łatwo zmierzyć jego rozmiar w bajtach.

Przeprowadziłem dwa eksperymenty, z których każdy utworzył 20 ramek danych o rosnących rozmiarach od 10 000 do 1 000 000 wierszy. Obie mają 10 kolumn.

W pierwszym eksperymencie użyłem tylko liczb zmiennoprzecinkowych w moim zbiorze danych.

W ten sposób pamięć wzrosła w porównaniu z plikiem csv jako funkcja liczby wierszy. (Rozmiar w megabajtach)

W drugim eksperymencie miałem takie samo podejście, ale dane w zbiorze danych składały się tylko z krótkich ciągów.

Wygląda na to, że zależność między wielkością csv a rozmiarem ramki danych może się znacznie różnić, ale rozmiar w pamięci zawsze będzie 2-3 razy większy (dla rozmiarów ramek w tym eksperymencie)

Chciałbym uzupełnić tę odpowiedź o więcej eksperymentów, proszę o komentarz, jeśli chcesz, żebym spróbował czegoś specjalnego.

Musisz to zrobić w odwrotnej kolejności.

In [4]: DataFrame(randn(1000000,20)).to_csv('test.csv')

In [5]: !ls -ltr test.csv
-rw-rw-r-- 1 users 399508276 Aug  6 16:55 test.csv

Technicznie chodzi o pamięć (która obejmuje indeksy)

In [16]: df.values.nbytes + df.index.nbytes + df.columns.nbytes
Out[16]: 168000160

Więc 168 MB pamięci z plikiem 400 MB, 1 mln wierszy po 20 kolumn typu float

DataFrame(randn(1000000,20)).to_hdf('test.h5','df')

!ls -ltr test.h5
-rw-rw-r-- 1 users 168073944 Aug  6 16:57 test.h5

ZNACZNIE bardziej kompaktowy, gdy jest zapisywany jako binarny plik HDF5

In [12]: DataFrame(randn(1000000,20)).to_hdf('test.h5','df',complevel=9,complib='blosc')

In [13]: !ls -ltr test.h5
-rw-rw-r-- 1 users 154727012 Aug  6 16:58 test.h5

Dane były losowe, więc kompresja nie pomaga zbytnio

Jeśli znasz dtypes swojej tablicy, możesz bezpośrednio obliczyć liczbę bajtów potrzebnych do przechowywania danych + trochę dla samych obiektów Pythona. Przydatnym atrybutem numpytablic jest nbytes. Możesz uzyskać liczbę bajtów z tablic w pandach DataFrame, wykonując

nbytes = sum(block.values.nbytes for block in df.blocks.values())

objectTablice dtype przechowują 8 bajtów na obiekt (obiekt tablice dtype przechowują wskaźnik do nieprzezroczystego PyObject), więc jeśli masz ciągi w swoim csv, musisz wziąć pod uwagę, że read_csvprzekształcą je w objecttablice dtype i odpowiednio dostosujesz obliczenia.

EDYTOWAĆ:

Zobacz numpystronę typów skalarnych, aby uzyskać więcej informacji na temat object dtype. Ponieważ przechowywane są tylko referencje, należy również wziąć pod uwagę rozmiar obiektu w tablicy. Jak mówi ta strona, tablice obiektów są nieco podobne do listobiektów Pythona .

Tak jest. Pandy będą przechowywać twoje dane w dwuwymiarowych ndarraystrukturach numpy , grupując je według typów. ndarrayjest w zasadzie surową tablicą danych w C z małym nagłówkiem. Możesz więc oszacować jego rozmiar, mnożąc rozmiar tego elementu dtypeprzez wymiary tablicy.

Na przykład: jeśli masz 1000 wierszy z 2 np.int32i 5 np.float64kolumnami, twoja DataFrame będzie miała jedną np.int32tablicę 2x1000 i jedną np.float64tablicę 5x1000, czyli:

4 bajty * 2 * 1000 + 8 bajtów * 5 * 1000 = 48000 bajtów

Myślę, że to daje rozmiar w pamięci dowolnego obiektu w Pythonie. Wewnętrzne należy sprawdzić pod kątem pand i drętwienia

>>> import sys
#assuming the dataframe to be df 
>>> sys.getsizeof(df) 
59542497