Analiza funkcjonalnego głównego elementu (FPCA): o co w tym wszystkim chodzi?

Funkcjonalna analiza głównych składników (FPCA) to coś, na co natknąłem się i nigdy nie zrozumiałem. O co w tym wszystkim chodzi?

Patrz „Badanie funkcjonalnej analizy głównych składników” autorstwa Shang, 2011 i cytuję:

PCA napotyka poważne trudności w analizie danych funkcjonalnych z powodu „klątwy wymiarowości” (Bellman 1961). „Klątwa wymiarowości” pochodzi od rzadkości danych w przestrzeni wielowymiarowej. Nawet jeśli właściwości geometryczne PCA pozostają aktualne, a nawet jeśli techniki numeryczne zapewniają stabilne wyniki, próbka macierzy kowariancji jest czasem słabym oszacowaniem macierzy kowariancji populacji. Aby pokonać tę trudność, FPCA zapewnia znacznie bardziej pouczający sposób badania przykładowej struktury kowariancji niż PCA [...]

Po prostu tego nie rozumiem. Jaką wadę opisuje ten artykuł? Czy PCA nie powinno być najlepszą metodą radzenia sobie w sytuacjach takich jak „klątwa wymiarowości”?

Dokładnie, jak podajesz w pytaniu i jak podaje @tdc w swojej odpowiedzi, w przypadku wyjątkowo wysokich wymiarów, nawet jeśli geometryczne właściwości PCA pozostają aktualne, macierz kowariancji nie jest już dobrym oszacowaniem rzeczywistej kowariancji populacji.

Istnieje bardzo interesujący artykuł „Analiza funkcjonalnej głównej składowej danych fMRI” ( pdf ), w którym wykorzystują funkcjonalny PCA do wizualizacji wariancji:

... Podobnie jak w przypadku innych technik eksploracyjnych, celem jest zapewnienie wstępnej oceny, która da danym szansę „mówić za siebie”, zanim zostanie wybrany odpowiedni model. [...]

W artykule wyjaśniają, jak dokładnie to zrobili, a także przedstawiają teoretyczne uzasadnienie:

Decydującą zaletą tego podejścia jest możliwość określenia zestawu założeń przy wyborze zestawu funkcji bazowych i funkcji błędu zminimalizowanej przez dopasowanie. Założenia te będą słabsze niż specyfikacja określonej funkcji hemodynamicznej i zestawu zdarzeń lub warunków jak w przypadku maskowania F, zachowując w ten sposób eksploracyjny charakter procedury; założenia mogą jednak pozostać wystarczająco rygorystyczne, aby przezwyciężyć trudności związane ze zwykłą PCA.

Uważam, że „funkcjonalny PCA” jest niepotrzebnie mylącym pojęciem. To wcale nie jest osobna sprawa, to standardowe PCA stosowane do szeregów czasowych.

$n$$t$$n \times t$$t\gg n$$20$$1000$$t$

Tutaj zdecydowanie można zastosować standardową PCA. Najwyraźniej w swoim cytacie autor obawia się, że wynikowe szeregi czasowe własne będą zbyt hałaśliwe. To może się zdarzyć naprawdę! Dwa oczywiste sposoby radzenia sobie z tym to (a) wygładzenie powstałych szeregów czasowych własnych po PCA lub (b) wygładzenie pierwotnych szeregów czasowych przed wykonaniem PCA.

$k$$t$$k$

Samouczki na temat FPCA zwykle przechodzą do długich dyskusji o tym, jak uogólnić PCA w funkcjonalne przestrzenie o nieskończonej wymiarowości, ale praktyczne znaczenie tego jest całkowicie poza mną , ponieważ w praktyce dane funkcjonalne są zawsze dyskretne.

Oto ilustracja pochodzi z Ramsay i Silverman „Functional Analysis” podręcznik, który wydaje się być na ostateczne monografię „funkcjonalnej analizy danych” w tym FPCA:

Widać, że robienie PCA na „dyskretnych danych” (punktach) daje praktycznie to samo, co robienie FPCA na odpowiednich funkcjach w oparciu o Fouriera (linie). Oczywiście można najpierw wykonać dyskretny PCA, a następnie dopasować funkcję na tej samej podstawie Fouriera; przyniosłoby mniej więcej taki sam wynik.

$t=12$$n>t$

Pracowałem przez kilka lat z Jimem Ramsayem przy FDA, więc może dodam kilka wyjaśnień do odpowiedzi @ amoeba. Myślę, że na poziomie praktycznym @amoeba ma w zasadzie rację. Przynajmniej do takiego wniosku doszedłem w końcu po studiach FDA. Jednak struktura FDA daje ciekawy teoretyczny wgląd w to, dlaczego wygładzanie wektorów własnych jest czymś więcej niż tylko kludge. Okazuje się, że optymalizacja w przestrzeni funkcyjnej, podlegająca iloczynowi wewnętrznej, która zawiera karę za wygładzenie, daje skończone wymiarowe rozwiązanie splajnów bazowych. FDA używa nieskończonej przestrzeni funkcji wymiarowej, ale analiza nie wymaga nieskończonej liczby wymiarów. To jest jak sztuczka jądra w procesach Gaussa lub SVM. W rzeczywistości przypomina sztuczkę jądra.

Oryginalna praca Ramsaya dotyczyła sytuacji, w których główna historia danych jest oczywista: funkcje są mniej więcej liniowe lub mniej lub bardziej okresowe. Dominujące wektory własne standardowego PCA będą po prostu odzwierciedlać ogólny poziom funkcji i trend liniowy (lub funkcje sinusoidalne), mówiąc w zasadzie, co już wiemy. Ciekawe cechy leżą w resztkach, które są teraz kilkoma wektorami własnymi z góry listy. A ponieważ każdy kolejny wektor własny musi być ortogonalny względem poprzednich, konstrukty te w coraz większym stopniu zależą od artefaktów analizy, a mniej od odpowiednich cech danych. W analizie czynnikowej skośna rotacja czynników ma na celu rozwiązanie tego problemu. Ramsay nie chciał obracać komponentów, ale raczej zmienić definicję ortogonalności w taki sposób, aby lepiej odzwierciedlała potrzeby analizy. Oznaczało to, że jeśli zajmujesz się komponentami okresowymi, wygładzasz na podstawie$D^3-D$$D^2$

Ktoś mógłby sprzeciwić się, że łatwiej byłoby usunąć trend z OLS i zbadać resztki tej operacji. Nigdy nie byłem przekonany, że wartość dodana FDA była warta ogromnej złożoności metody. Ale z teoretycznego punktu widzenia warto rozważyć związane z tym kwestie. Wszystko, co robimy z danymi, psuje wszystko. Resztki OLS są skorelowane, nawet jeśli oryginalne dane były niezależne. Wygładzenie szeregów czasowych wprowadza autokorelacje, których nie było w szeregach surowych. Ideą FDA było dopilnowanie, aby pozostałości, które otrzymaliśmy z początkowej rezygnacji, były dostosowane do analizy zainteresowania.

Trzeba pamiętać, że FDA powstało na początku lat 80., kiedy badano funkcje splajnu - pomyśl o Grace Wahba i jej zespole. Od tego czasu pojawiło się wiele podejść do danych wielowymiarowych - takich jak SEM, analiza krzywej wzrostu, procesy Gaussa, dalszy rozwój teorii procesów stochastycznych i wiele innych. Nie jestem pewien, czy FDA pozostaje najlepszym podejściem do postawionych pytań. Z drugiej strony, kiedy widzę zastosowania FDA, często zastanawiam się, czy autorzy naprawdę rozumieją, co FDA próbowało zrobić.

Nie jestem pewien co do FPCA, ale jedną rzeczą do zapamiętania jest to, że w ekstremalnie wysokich wymiarach jest o wiele więcej „przestrzeni”, a punkty w przestrzeni zaczynają wyglądać równomiernie rozmieszczone (tj. Wszystko jest dalekie od wszystkiego innego). W tym momencie macierz kowariancji zacznie wyglądać zasadniczo jednorodnie i będzie bardzo wrażliwa na szum. Staje się zatem złym oszacowaniem „prawdziwej” kowariancji. Być może FPCA jakoś sobie z tym radzi, ale nie jestem pewien.