W ciągu ostatnich kilku lat od czasu do czasu czytając niektóre prace rynku masowego dotyczące teorii chaosu, zacząłem się zastanawiać, w jaki sposób można zastosować różne aspekty jej eksploracji danych i powiązanych dziedzin, takich jak sieci neuronowe, rozpoznawanie wzorców, zarządzanie niepewnością itp. Do tej pory natknąłem się na tak mało przykładów takich zastosowań w opublikowanych badaniach, że zastanawiam się, czy a) faktycznie zostały one wprowadzone w życie w znanych, opublikowanych eksperymentach i projektach oraz b) jeśli nie, dlaczego są tak mało stosowane w tych powiązanych ze sobą powiązaniach pola?

Większość dyskusji na temat teorii chaosu, które do tej pory widziałem, dotyczy aplikacji naukowych, które są całkowicie przydatne, ale mają niewiele wspólnego z eksploracją danych i pokrewnymi dziedzinami, takimi jak rozpoznawanie wzorców; jednym z archetypicznych przykładów jest problem trzech ciał z fizyki. Chcę zrezygnować z dyskusji na temat zwykłych zastosowań naukowych tego rodzaju i ograniczyć pytanie wyłącznie do tych aplikacji, które są oczywiście istotne dla eksploracji danych i pokrewnych dziedzin, które wydają się być bardzo nieliczne w literaturze. Poniższą listę potencjalnych aplikacji można wykorzystać jako punkt wyjścia do opublikowania badań, ale interesują mnie tylko te aplikacje, które faktycznie zostały wdrożone, jeśli takie istnieją. To, czego szukam, to znane implementacje teorii chaosu do eksploracji danych, w przeciwieństwie do listy potencjalnych zastosowań, która jest znacznie szersza. Oto mała próbka nieszablonowych pomysłów na aplikacje do eksploracji danych, które przyszły mi do głowy podczas czytania; być może żaden z nich nie jest pragmatyczny, być może niektóre z nich są praktyczne, kiedy mówimy, ale używaj terminów, których jeszcze nie znam:

1. Identyfikacja struktur podobnych do siebie w rozpoznawaniu wzorów, tak jak to zrobił Mandelbrot w przypadku wybuchów błędów w analogowych liniach telefonicznych kilka dekad temu.
2. Spotkanie stałej Feigenbauma z wynikami wyszukiwania (być może w sposób podobny do zaskoczenia teoretyków strun, gdy równania Maxwella pojawiały się w nieoczekiwanych miejscach w trakcie badań).
3. Określenie optymalnej głębokości bitu dla masy sieci neuronowej i różnych badań górniczych. Zastanawiałem się nad tym ze względu na znikomą skalę liczbową, w której wchodzi wrażliwość na warunki początkowe, które są częściowo odpowiedzialne za nieprzewidywalność funkcji związanych z chaosem.
4. Używanie pojęcia wymiarów ułamkowych na inne sposoby niekoniecznie związane z fascynującymi fraktalnymi ciekawostkami, takimi jak Gąbki Mengera, Krzywe Kocha czy Dywany Sierpińskiego. Być może tę koncepcję można zastosować do wymiarów modeli wydobywczych w jakiś korzystny sposób, traktując je jako ułamkowe?
5. Wyprowadzanie praw mocy, takich jak te, które wchodzą w grę we fraktalach.
6. Ponieważ funkcje spotykane we fraktalach są nieliniowe, zastanawiam się, czy jest jakieś praktyczne zastosowanie do regresji nieliniowej.
7. Teoria chaosu ma pewne styczne (a czasem zawyżone) związki z entropią, więc zastanawiam się, czy jest jakiś sposób na obliczenie Entropii Shannona (lub jej ograniczenia i jej krewnych) na podstawie funkcji używanych w teorii chaosu lub odwrotnie.
8. Identyfikacja podwojenia okresu w danych.
9. Określenie optymalnej struktury sieci neuronowej poprzez inteligentne wybranie takich, które najprawdopodobniej „samoorganizują się” w użyteczny sposób.
10. Chaos i fraktale itp. Są również stycznie związane ze złożonością obliczeniową, więc zastanawiam się, czy złożoność mogłaby zostać wykorzystana do zidentyfikowania chaotycznych struktur, lub odwrotnie.
11. Po raz pierwszy usłyszałem o wykładniku Lapunowa w kategoriach teorii chaosu i zauważyłem go kilka razy od tego czasu w przepisach na określone sieci neuronowe i dyskusje na temat entropii.

Prawdopodobnie istnieją dziesiątki innych relacji, których tu nie wymieniłem; wszystko to spadło mi z głowy. Nie jestem zainteresowana konkretnymi odpowiedziami na te konkretne spekulacje, ale po prostu wyrzucam je jako przykłady rodzajów aplikacji, które mogą istnieć na wolności. Chciałbym zobaczyć odpowiedzi zawierające przykłady bieżących badań i istniejących wdrożeń takich pomysłów, o ile aplikacje mają szczególne zastosowanie do eksploracji danych.

Prawdopodobnie istnieją inne istniejące implementacje, o których nie wiem, nawet w obszarach, które znam bardziej (takich jak teoria informacji, zbiory rozmyte i sieci neuronowe) i innych, w których mam jeszcze mniejsze kompetencje, jak regresja, więc większy wkład jest mile widziany. Moim praktycznym celem tutaj jest ustalenie, czy zainwestować więcej w naukę o określonych aspektach teorii chaosu, którą włożę na drugi plan, jeśli nie znajdę jakiejś oczywistej użyteczności.

Przeszukałem CrossValidated, ale nie widziałem żadnych tematów, które bezpośrednio odnoszą się do utylitarnych zastosowań teorii chaosu do eksploracji danych itp. Najbliższe, co mogłem przyjść, to wątek Teoria chaosu, modelowanie bez równań i statystyka nieparametryczna , która dotyczy z określonym podzbiorem.

Wydobywanie danych (DM) jako podejście praktyczne wydaje się prawie uzupełniać podejścia do modelowania matematycznego (MM), a nawet być sprzeczne z teorią chaosu (CT). Najpierw porozmawiam o DM i ogólnym MM, a potem skupię się na CT.

Modelowanie matematyczne

W modelowaniu ekonomicznym DM do niedawna był uważany za prawie tabu, hack do poszukiwania korelacji zamiast poznania związku przyczynowego i związków, zobacz ten post na blogu SAS. To podejście się zmienia, ale istnieje wiele pułapek związanych z fałszywymi relacjami , pogłębianiem danych , hakowaniem p itp.

W niektórych przypadkach DM wydaje się być uzasadnionym podejściem nawet w obszarach o ustalonych praktykach MM. Na przykład DM można wykorzystać do poszukiwania interakcji między cząstkami w eksperymentach fizycznych, które generują wiele danych, np. Rozbijaczy cząstek. W takim przypadku fizycy mogą mieć pojęcie o wyglądzie cząstek i wyszukiwać wzorce w zestawach danych.

Teoria chaosu

Układ chaotyczny jest prawdopodobnie szczególnie odporny na analizy za pomocą technik DM. Rozważmy znaną liniową metodę kongruentalną ( LCG ) stosowaną we wspólnych generatorach liczb psudo-losowych . Jest to zasadniczo system chaotyczny . Dlatego służy do „fałszowania” liczb losowych. Dobry generator będzie nie do odróżnienia od losowej sekwencji liczb. Oznacza to, że nie będziesz w stanie ustalić, czy jest on losowy, czy nie przy użyciu metod statystycznych. Dołączę tu także eksplorację danych. Spróbuj znaleźć wzorzec w sekwencji generowanej przez RAND () z eksploracją danych! Znów jest to sekwencja całkowicie deterministyczna, a jej równania są również niezwykle proste.

Teoria chaosu nie polega na losowym poszukiwaniu wzorców podobieństwa. Teoria chaosu polega na poznawaniu procesów i relacji dynamicznych, tak że małe zakłócenia wzmacniają się w systemie, tworząc niestabilne zachowania, podczas gdy w tym chaosie pojawiają się stabilne wzorce. Wszystko to dzieje się dzięki właściwościom równań. Następnie naukowcy badają te równania i ich układy. To bardzo różni się od zestawu mentalnego stosowanego eksploracji danych.

Na przykład możesz rozmawiać o wzorcach samopodobieństwa podczas badania układów chaotycznych i zauważyć, że eksploratorzy danych mówią również o poszukiwaniu wzorców. Jednak te koncepcje „wzoru” bardzo różnie się zachowują. Układ chaotyczny generowałby te wzory z równań. Mogą próbować wymyślić swój zestaw równań, obserwując rzeczywiste układy itp., Ale zawsze mają do czynienia z równaniami w pewnym momencie. Eksperci danych pochodziliby z drugiej strony i nie wiedząc ani nie zgadując wiele na temat wewnętrznej struktury systemu, próbowali szukać wzorców. Nie sądzę, aby te dwie grupy kiedykolwiek patrzyły na te same rzeczywiste systemy lub zestawy danych.

Innym przykładem jest najprostsza mapa logistyczna, z którą Feigenbaum współpracował, aby stworzyć swoją słynną podwójną bifurkację okresu.

Najdziwniejszą rzeczą, którą odkryłem, czytając teorię chaosu, aby odpowiedzieć na to pytanie, był zadziwiający brak opublikowanych badań, w których eksploracja danych i jej krewni wykorzystują teorię chaosu. Stało się tak pomimo wspólnych wysiłków na rzecz ich znalezienia poprzez konsultacje z takimi źródłami, jak AB Ҫambel's Applied Chaos Theory: A Paradigm for Complexity and Alligood, i in., Chaos: An Introduction to Dynamical Systems (ta ostatnia jest niezwykle przydatna jako książka źródłowa dla ten temat) i przeglądanie ich bibliografii. Po tym wszystkim miałem tylko wymyślić jedno badanie, które może się zakwalifikować i musiałem rozszerzyć granice „eksploracji danych” tylko po to, aby uwzględnić ten przypadek na krawędzi: zespół z University of Texas przeprowadzający badania nad reakcjami Belousova-Zhabotinsky'ego (BZ) (o których już wiadomo, że są podatne na aperiodyczność) przypadkowo odkrył rozbieżności w kwasie malonowym stosowanym w ich eksperymentach z powodu chaotycznych wzorców, skłaniając ich do poszukiwania nowego dostawca. [1] Prawdopodobnie są jeszcze inni - nie jestem specjalistą od teorii chaosu i nie mogę dać wyczerpującej oceny literatury - ale wyraźna dysproporcja w zwykłych zastosowaniach naukowych, takich jak problem trzech ciał z fizyki, niewiele by się zmieniła, gdybyśmy wymienili je wszystkie. Tymczasem w międzyczasie, kiedy to pytanie zostało zamknięte, Zastanawiałem się nad przepisaniem go pod tytułem „Dlaczego jest tak mało implementacji teorii chaosu w eksploracji danych i powiązanych polach?” Jest to niezgodne ze źle zdefiniowanym, ale powszechnym przekonaniem, że powinno być wiele zastosowań w eksploracji danych i powiązanych dziedzinach, takich jak sieci neuronowe, rozpoznawanie wzorców, zarządzanie niepewnością, zbiory rozmyte itp .; w końcu teoria chaosu jest również najnowocześniejszym tematem o wielu przydatnych zastosowaniach. Musiałem długo i intensywnie zastanowić się, gdzie dokładnie leżą granice między tymi polami, aby zrozumieć, dlaczego moje poszukiwania były bezowocne, a moje wrażenie błędne.

Odpowiedź; tldr

Krótkie wyjaśnienie tej rażącej nierównowagi w liczbie badań i odchyleń od oczekiwań można przypisać temu, że teoria chaosu i eksploracja danych itp. Odpowiadają na dwie starannie oddzielone klasy pytań; ostra dychotomia między nimi jest oczywista, kiedy ją wskazano, ale jest tak fundamentalna, że ​​pozostaje niezauważona, podobnie jak spojrzenie na własny nos. Może istnieć jakieś uzasadnienie dla przekonania, że ​​względna nowość teorii chaosu i dziedzin takich jak eksploracja danych wyjaśnia niektóre z braków wdrożeń, ale możemy oczekiwać, że względna nierównowaga utrzyma się, nawet gdy te pola dojrzeją, ponieważ dotyczą one wyraźnie różnych stron ta sama moneta. Niemal wszystkie dotychczasowe implementacje były w badaniach znanych funkcji o dobrze określonych wynikach, które okazały się mieć kilka zagadkowych chaotycznych aberracji, podczas gdy eksploracja danych i poszczególne techniki, takie jak sieci neuronowe i drzewa decyzyjne, wymagają określenia nieznanej lub źle zdefiniowanej funkcji. Powiązane pola, takie jak rozpoznawanie wzorców i zestawy rozmyte, mogą być również postrzegane jako organizacja wyników funkcji, które są często nieznane lub źle zdefiniowane, gdy środki tej organizacji również nie są łatwo widoczne. Stwarza to praktycznie nie do pokonania przepaść, którą można przekroczyć tylko w niektórych rzadkich okolicznościach - ale nawet te można zgrupować razem według rubryki jednego przypadku użycia: zapobiegając aperiodycznej ingerencji w algorytmy eksploracji danych. Powiązane pola, takie jak rozpoznawanie wzorców i zestawy rozmyte, mogą być również postrzegane jako organizacja wyników funkcji, które są często nieznane lub źle zdefiniowane, gdy środki tej organizacji również nie są łatwo widoczne. Stwarza to praktycznie nie do pokonania przepaść, którą można przekroczyć tylko w niektórych rzadkich okolicznościach - ale nawet te można zgrupować razem według rubryki jednego przypadku użycia: zapobiegając aperiodycznej ingerencji w algorytmy eksploracji danych. Powiązane pola, takie jak rozpoznawanie wzorców i zestawy rozmyte, mogą być również postrzegane jako organizacja wyników funkcji, które są często nieznane lub źle zdefiniowane, gdy środki tej organizacji również nie są łatwo widoczne. Stwarza to praktycznie nie do pokonania przepaść, którą można przekroczyć tylko w niektórych rzadkich okolicznościach - ale nawet te można zgrupować razem według rubryki jednego przypadku użycia: zapobiegając aperiodycznej ingerencji w algorytmy eksploracji danych.

Niezgodność z obiegiem nauki Chaosu

Typowy przepływ pracy w „nauce chaosu” polega na przeprowadzeniu analizy obliczeniowej wyników znanej funkcji, często obok pomocy wizualnych przestrzeni fazowej, takich jak diagramy bifurkacyjne, mapy Hénona, sekcje Poincarégo, diagramy fazowe i trajektorie faz. Fakt, że naukowcy opierają się na eksperymentach obliczeniowych, pokazuje, jak trudno jest znaleźć chaotyczne efekty; nie jest to coś, co zwykle można ustalić za pomocą pióra i papieru. Występują również wyłącznie w funkcjach nieliniowych. Ten przepływ pracy nie jest możliwy, chyba że mamy znaną funkcję do pracy. Eksploracja danych może dawać równania regresji, funkcje rozmyte i tym podobne, ale wszystkie mają te same ograniczenia: są to tylko ogólne przybliżenia, z dużo szerszym oknem błędu. Natomiast znane funkcje podlegające chaosowi są stosunkowo rzadkie, podobnie jak zakresy danych wejściowych, które dają chaotyczne wzory, tak więc wymagany jest wysoki stopień specyficzności nawet w celu przetestowania efektów chaotycznych. Wszelkie dziwne atraktory obecne w przestrzeni fazowej nieznanych funkcji z pewnością przesuną się lub znikną całkowicie wraz ze zmianą ich definicji i danych wejściowych, co znacznie komplikuje procedury wykrywania opisane przez autorów takich jak Alligood i in.

Chaos jako zanieczyszczenie w wynikach wyszukiwania danych

W rzeczywistości związek eksploracji danych i jej krewnych z teorią chaosu jest praktycznie przeciwny. Jest to dosłownie prawdziwe, jeśli szeroko rozumiemy kryptoanalizę jako specyficzną formę eksploracji danych, biorąc pod uwagę, że natknąłem się na co najmniej jeden artykuł badawczy na temat wykorzystania chaosu w schematach szyfrowania (obecnie nie mogę znaleźć cytatu, ale mogę polować to na żądanie). Dla eksploratora danych obecność chaosu jest zwykle złą rzeczą, ponieważ pozornie bezsensowne zakresy wartości, które wyprowadza, mogą znacznie skomplikować i tak już uciążliwy proces przybliżania nieznanej funkcji. Najczęstszym zastosowaniem chaosu w eksploracji danych i powiązanych dziedzinach jest wykluczenie tego, co nie jest żadnym wyczynem. Jeśli chaotyczne efekty są obecne, ale nie są wykrywane, ich wpływ na przedsięwzięcie eksploracji danych może być trudny do przezwyciężenia. Pomyśl tylko, jak łatwo zwykła sieć neuronowa lub drzewo decyzyjne może przewyższyć pozornie bezsensowne wyniki chaotycznego atraktora, lub jak nagłe skoki wartości wejściowych mogą z pewnością zakłócić analizę regresji i mogą być przypisane do złych próbek lub innych źródeł błędów. Rzadkość efektów chaotycznych między wszystkimi funkcjami i zakresami wejściowymi oznacza, że ​​badanie ich byłoby poważnie zdeprioryzowane przez eksperymentatorów.

Metody wykrywania chaosu w wynikach wyszukiwania danych

Pewne miary związane z teorią chaosu są przydatne w identyfikowaniu efektów aperiodycznych, takie jak Entropia Kołmogorowa i wymóg, aby przestrzeń fazowa wykazywała dodatni wykładnik Lapunowa. Oba znajdują się na liście kontrolnej wykrywania chaosu [2] podanej w Teorii Stosowanego Chaosu AB Ҫambela, ale większość z nich nie jest przydatna dla przybliżonych funkcji, takich jak wykładnik wykładnika Lapunowa, który wymaga określonych funkcji ze znanymi granicami. Jednak ogólna procedura, którą nakreśla, może być jednak przydatna w sytuacjach eksploracji danych; Ostatecznym celem Ҫambela jest program „kontroli chaosu”, czyli eliminacji przeszkadzających efektów aperiodycznych. [3] Inne metody, takie jak obliczanie wymiarów zliczania i korelacji wymiarów do wykrywania wymiarów ułamkowych, które prowadzą do chaosu, mogą być bardziej praktyczne w zastosowaniach eksploracji danych niż Lyapunov i inni na jego liście. Innym charakterystycznym znakiem chaotycznych efektów jest obecność wzorów podwojenia okresu (lub potrojenia i dalej) w wynikach funkcji, które często poprzedza zachowanie aperiodyczne (tj. „Chaotyczne”) na diagramach fazowych.

Zróżnicowanie aplikacji stycznych

Ten podstawowy przypadek użycia należy odróżnić od osobnej klasy aplikacji, które są tylko stycznie związane z teorią chaosu. Po bliższym przyjrzeniu się lista „potencjalnych zastosowań”, które podałem w swoim pytaniu, w rzeczywistości składała się prawie w całości z pomysłów na wykorzystanie koncepcji, od których zależy teoria chaosu, ale które można zastosować niezależnie przy braku zachowania aperiodycznego (z wyjątkiem podwojenia okresu). Ostatnio pomyślałem o nowatorskim zastosowaniu w niszach potencjalnych, generującym aperiodyczne zachowanie sieci neuronowych z lokalnych minimów, ale to również należałoby do listy aplikacji stycznych. Wiele z nich zostało odkrytych lub rozwiniętych w wyniku badań nad nauką o chaosie, ale można je zastosować w innych dziedzinach. Te „styczne aplikacje” mają ze sobą tylko rozmyte połączenia, ale tworzą odrębną klasę, oddzielone twardą granicą od głównego przypadku użycia teorii chaosu w eksploracji danych; pierwszy wykorzystuje pewne aspekty teorii chaosu bez aperiodycznych wzorców, podczas gdy drugi poświęca się wyłącznie wykluczeniu chaosu jako komplikującego czynnika w wynikach eksploracji danych, być może z wykorzystaniem warunków wstępnych, takich jak dodatni wykładnik Lapunowa i wykrywanie podwojenia okresu . Jeśli rozróżnimy teorię chaosu od innych pojęć, z których właściwie się korzysta, łatwo zauważyć, że zastosowania tych pierwszych są z natury ograniczone do znanych funkcji w zwykłych badaniach naukowych. Naprawdę istnieje dobry powód do ekscytowania się potencjalnymi zastosowaniami tych wtórnych koncepcji przy braku chaosu, ale także powód do niepokoju o szkodliwy wpływ nieoczekiwanego aperiodycznego zachowania na próby eksploracji danych, gdy jest on obecny. Takie okazje będą rzadkie, ale ta rzadkość może również oznaczać, że pozostaną niewykryte. Metoda Ҫambela może być jednak przydatna w zapobieganiu takim problemom.

[1] s. 143–147, Alligood, Kathleen T .; Sauer, Tim D. i Yorke, James A., 2010, Chaos: An Introduction to Dynamical Systems, Springer: New York. [2] s. 208–213, Ҫambel, AB, 1993, Applied Chaos Theory: A Paradigm for Complexity, Academic Press, Inc .: Boston. [3] s. 215, Ҫambel.