Często mam do czynienia z rozsądną ilością danych szeregów czasowych, 50-200 milionów podwójnych z powiązanymi znacznikami czasu i chciałbym je wizualizować dynamicznie.
Czy istnieje oprogramowanie umożliwiające to skutecznie? Co powiesz na biblioteki i formaty danych? Zoom-cache jest jednym z przykładów bibliotek skupiających się na dużych seriach czasowych. W Zoom-cache dane są podsumowane w kilku rozdzielczościach, aby ułatwić przeglądanie w różnych rozdzielczościach.
Edycja: Również jeśli jest gdzieś indziej, powinienem zadać to pytanie lub poszukać odpowiedzi, daj mi znać.
Odpowiedzi:
Istnieje zestaw narzędzi badawczych o nazwie TimeSearcher 1--3, które dostarczają przykładów radzenia sobie z dużymi zestawami danych szeregów czasowych. Poniżej kilka przykładowych zdjęć z TimeSearcher 2 i 3.
źródło
Przepraszamy za autoportretę, ale Thunderplot (thunderplot.com) byłby dobrym kandydatem do tego. Napisałem to dokładnie do interaktywnego drukowania dużych zbiorów danych. Nie testowałem tego przy użyciu zestawów danych wierszy 200KK, ale działa dobrze z wierszami ~ 10KK. Dostępna jest również funkcja „czytaj co n-ty wiersz”, dzięki czemu można zmniejszyć ilość danych do przechowywania / wizualizacji. Mogę przesłać ci klucz rejestracyjny w zamian do jednego z tych dużych zestawów danych. :-)
źródło
Kolejny post z autopromocją, ponieważ pracuję dla tej firmy, ale SensorCloud (sensorcloud.com) używa inteligentnych algorytmów do szybkiego tworzenia wykresów ogromnych zbiorów danych. Został pierwotnie zaprojektowany z myślą o naszych fizycznych czujnikach, ale ma program do przesyłania plików CSV do obsługi danych z dowolnego przedziału czasu.
Na przykład przesłaliśmy zestaw danych, który zawierał 100 miliardów punktów danych (ponad 1 terabajt znacznika czasu + wartości danych), i możesz go wykreślić i bardzo szybko z nim współdziałać.
Oto publiczny link do tego zestawu danych: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/
Powyższy link używa naszej przeglądarki Flash. Jeśli nie chcesz używać Flasha, oto przeglądarka javascript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/
Użyj kółka przewijania lub Shift + lewy przycisk myszy, aby powiększyć.
źródło