Pytania oznaczone «data-management»

14
Jak radzić sobie ze zbyt dużą ilością danych?

Nasze symulacje dynamiki plazmy często generują zbyt wiele informacji. Podczas symulacji rejestrujemy różne właściwości fizyczne na siatce (x, y, z, t), która jest tak duża jak (8192x1024x1024x1500), dla co najmniej 10 właściwości. Informacje te są przetwarzane po zakończeniu symulacji. Dzięki temu...

13
Czy pliki HDF5 nadają się do kontroli wersji git?

Nie znam formatu pliku używanego w HDF5, ale zastanawiam się, czy pliki HDF5 nadają się do kontroli wersji za pomocą git (lub na przykład Mercurial lub Subversion)? Wydaje mi się, że mam na myśli: czy pliki HDF5 nadają się do różnicowania na podstawie linii, czy też git będzie musiał traktować HDF5...

11
Ograniczenia pand i ich alternatywy w Pythonie

Czytałem gdzieś, że Pandy po raz pierwszy opracowano dla świata finansów, a przynajmniej nie dla nauk przyrodniczych (fizyki, biologii itd.), Więc czy jest jakiś podobny pakiet do analizy danych Pythona bardziej „zorientowany na nauki przyrodnicze”? Właśnie zacząłem używać Pand i napotkałem już...

9
sugestia do zarządzania przebiegami symulacji?

Te pytania mogą być nieco nie na temat w comp-sci. jeśli to konieczne, proszę wskazać, gdzie to pasuje. Pytanie dotyczy tego, jak skutecznie zarządzać wszystkimi przebiegami symulacji. powiedzmy, na przykład, że symulacja wymaga ustalenia 2 parametrów, które należy zdefiniować w pewnym...