Tło problemu: Pracuję nad projektem, który obejmuje pliki dziennika podobne do plików znalezionych w przestrzeni monitorowania IT (według mojego najlepszego zrozumienia przestrzeni IT). Te pliki dziennika są danymi szeregów czasowych, uporządkowanymi w setki / tysiące wierszy o różnych...
Czy przed klastrowaniem konieczna jest standaryzacja danych? W przykładzie z scikit learnokoło DBSCAN tutaj robią to w wierszu: X = StandardScaler().fit_transform(X) Ale nie rozumiem, dlaczego jest to konieczne. W końcu klastrowanie nie zakłada żadnej szczególnej dystrybucji danych - jest to...
Czy istnieje kompleksowy pakiet open source (najlepiej w Pythonie lub R), który może być wykorzystywany do wykrywania anomalii w szeregach czasowych? W scikit-learn znajduje się pakiet SVM jednej klasy, ale nie dotyczy on danych szeregów czasowych. Szukam bardziej wyrafinowanych pakietów, które na...
Mam duży, wielowymiarowy zestaw danych, który jest generowany każdego dnia. Jakie byłoby dobre podejście do wykrycia jakiejkolwiek „anomalii” w porównaniu z poprzednimi dniami? Czy to odpowiedni problem, który można rozwiązać za pomocą sieci neuronowych? Wszelkie sugestie są mile...
Mam dużą tabelę SQL, która jest w zasadzie dziennikiem. Dane są dość złożone i staram się znaleźć sposób na zidentyfikowanie anomalii bez zrozumienia wszystkich danych. Znalazłem wiele narzędzi do wykrywania anomalii, ale większość z nich wymaga „pośredniego człowieka”, tj. Elastic Search, Splunk...