Jaka jest różnica między analizą danych funkcjonalnych a analizą danych wielowymiarowych

10

W literaturze statystycznej istnieje wiele odniesień do „ danych funkcjonalnych ” (tj. Danych, które są krzywymi), a równolegle do „ danych wielowymiarowych ” (tj. Gdy dane są wektorami wielowymiarowymi). Moje pytanie dotyczy różnicy między tymi dwoma typami danych.

Mówiąc o zastosowanych metodologiach statystycznych, które mają zastosowanie w przypadku 1, można rozumieć jako przeformułowanie metodologii z przypadku 2 poprzez rzut na skończoną podprzestrzeń wymiarową przestrzeni funkcji, mogą to być wielomiany, splajny, falka, Fouriera, ... ... i przełoży problem funkcjonalny na skończony wymiarowy problem wektorowy (ponieważ w stosowanej matematyce wszystko staje się w pewnym momencie skończone).

Moje pytanie brzmi: czy możemy powiedzieć, że jakakolwiek procedura statystyczna, która ma zastosowanie do danych funkcjonalnych, może być również stosowana (prawie bezpośrednio) do danych o dużych wymiarach i że każda procedura dedykowana do danych o dużych wymiarach może być (prawie bezpośrednio) stosowana do danych funkcjonalnych?

Jeśli odpowiedź brzmi „nie”, czy możesz to zilustrować?

EDYCJA / AKTUALIZACJA za pomocą odpowiedzi Simona Byrne'a:

  • lplpp<1
  • „gładkość” jest stosowana jako strukturalne założenie w funkcjonalnej analizie danych.

Z drugiej strony odwrotna transformata Fouriera i odwrotna transformata falkowa przekształcają rzadkość w gładkość, a gładkość jest przekształcana w rzadkość przez falkę i transformatę Fouriera. Czy to sprawia, że ​​krytyczna różnica wspomniana przez Simona nie jest tak istotna?

data-mining signal-processing curve-fitting wavelet Robin Girard
źródło
1
Wygładzanie jest dużą częścią analizy danych funkcjonalnych i może zostać przekształcone w problem estymacji średniej wektorowej przez projekcję na odpowiednią podstawę (np. Fouriera lub falkę), ale istnieją inne problemy w analizie danych funkcjonalnych w zależności od struktury funkcjonalnej, która tłumaczyć tak łatwo. Weźmy na przykład regresję funkcjonalną, gdzie jesteś zainteresowany prognozowaniem funkcjonalnej odpowiedzi na podstawie zmiennych towarzyszących.
vqv,

Odpowiedzi:

12

Dane funkcjonalne często dotyczą różnych pytań. Czytam Analiza danych funkcjonalnych, Ramseya i Silvermana, i spędzają oni wiele czasu na omawianiu rejestracji krzywej, wypaczaniu funkcji i szacowaniu pochodnych krzywych. Są to zwykle inne pytania niż pytania osób zainteresowanych badaniem danych wielowymiarowych.

użytkownik549
źródło
W pełni zgadzam się ! zadawane pytania są różne. Rejestracja, przełomowanie, szacowanie instrumentów pochodnych może wynikać z widoku funkcjonalnego. To mnie przekonuje! więc wielka sprawa z danymi funkcjonalnymi (jak to ma miejsce w literaturze statystycznej) nie polegałaby na tym, że są one zdefiniowane na zbiorze ciągłym, ale bardziej, że są one indeksowane na zbiorze uporządkowanym?
robin girard
Nie chodzi tylko o to, że jest zdefiniowany w uporządkowanym zestawie. W przeciwnym razie, jak odróżniłbyś analizę szeregów czasowych od analizy danych funkcjonalnych? Zgadzam się z @ user549, ponieważ sprowadza się do rodzajów zadawanych pytań. Są one specyficzne dla struktury danych.
vqv,
15

Tak i nie. Na poziomie teoretycznym oba przypadki mogą korzystać z podobnych technik i ram (doskonałym przykładem jest regresja procesu Gaussa).

Krytyczną różnicą są założenia zastosowane w celu zapobiegania nadmiernemu dopasowaniu (regularyzacji):

  • W przypadku funkcjonalnym zwykle przyjmuje się pewne założenie gładkości, innymi słowy wartości występujące blisko siebie powinny być w pewien systematyczny sposób podobne. Prowadzi to do zastosowania technik takich jak splajny, lessy, procesy gaussowskie itp.

  • W przypadku wielowymiarowym zwykle zakłada się rzadkość: to znaczy, tylko podzbiór wymiarów będzie miał jakikolwiek sygnał. Prowadzi to do technik mających na celu identyfikację tych wymiarów (Lasso, LARS, priory typu slab-and-spike itp.)

AKTUALIZACJA:

Tak naprawdę nie myślałem o metodach wavelet / Fouriera, ale tak, techniki progowe stosowane w takich metodach mają na celu rzadkość w rzutowanej przestrzeni. I odwrotnie, niektóre techniki wielowymiarowe zakładają rzut na wielowymiarowy rozmaitość (np. Analiza głównego składnika), co jest rodzajem założenia gładkości.

Simon Byrne
źródło