Pytania oznaczone «h5py»

Wejście i wyjście tablic numpy do h5py

Mam kod w Pythonie, którego wynikiem jest macierz o rozmiarze, którego wszystkie wpisy są tego typu float. Jeśli zapiszę go z rozszerzeniem .dat, rozmiar pliku będzie rzędu 500 MB. Czytałem, że użycie h5pyznacznie zmniejsza rozmiar pliku. Więc powiedzmy, że mam nazwaną tablicę numpy 2D A. Jak...

Czy korzystanie z HDF5 do przechowywania dużych tablic (zamiast płaskich plików binarnych) ma przewagę nad szybkością analizy lub zużyciem pamięci?

Przetwarzam duże tablice 3D, które często muszę ciąć na różne sposoby, aby przeprowadzić różnorodną analizę danych. Typowa „kostka” może mieć ~ 100 GB (i prawdopodobnie będzie większa w przyszłości) Wydaje się, że typowym zalecanym formatem plików dla dużych zbiorów danych w Pythonie jest...