Czy są jakieś narzędzia zaprojektowane specjalnie do kompresji danych naukowych zmiennoprzecinkowych? Jeśli funkcja jest płynna, istnieje oczywiście duża korelacja między liczbami reprezentującymi tę funkcję, więc dane powinny być dobrze kompresowane. Binarne dane zmiennoprzecinkowe zip /...
Korzystam z HDF5 od lat, ale wraz ze wzrostem rozmiaru zbioru danych zaczynam doświadczać tych samych problemów wymienionych tutaj http://cyrille.rossant.net/moving-away-hdf5/ Czy możesz wskazać mi format taki jak HDF5 z - Dobra obsługa zapisu równoległego - Obsługa dostępu fragmentarycznego...
TL, DR Jaka jest sprawdzona najlepsza praktyka w naukowych kręgach obliczeniowych do przechowywania dużych ilości danych o strukturze hierarchicznej? Na przykład SQL nie działa dobrze z dużymi rzadkimi macierzami. Czy istnieje dobre narzędzie do strukturyzacji, magazynowania i analizy tego rodzaju...
Nie znam formatu pliku używanego w HDF5, ale zastanawiam się, czy pliki HDF5 nadają się do kontroli wersji za pomocą git (lub na przykład Mercurial lub Subversion)? Wydaje mi się, że mam na myśli: czy pliki HDF5 nadają się do różnicowania na podstawie linii, czy też git będzie musiał traktować HDF5...