Modelowe założenia regresji cząstkowej metodą najmniejszych kwadratów (PLS)

Próbuję znaleźć informacje dotyczące założeń regresji PLS (pojedynczy $y$ ). Szczególnie interesuje mnie porównanie założeń PLS z regresją OLS.

Przeczytałem / przejrzałem wiele literatury na temat PLS; artykuły Wolda (Svante i Herman), Abdiego i wielu innych, ale nie znalazły zadowalającego źródła.

Wold i in. (2001) Regresja PLS: podstawowe narzędzie chemometrii wspomina o założeniach PLS, ale wspomina tylko, że

1. Xs nie muszą być niezależne,
2. system jest funkcją kilku ukrytych zmiennych ukrytych,
3. system powinien wykazywać jednorodność w całym procesie analitycznym, oraz
4. błąd pomiaru w jest dopuszczalny. $X$

Nie ma wzmianki o jakichkolwiek wymaganiach dotyczących obserwowanych danych lub reszt modelowych. Czy ktoś wie o źródle, które rozwiązuje którekolwiek z tych problemów? Biorąc pod uwagę, że podstawowa matematyka jest analogiczna do PCA (w celu maksymalizacji kowariancji między i ) czy założenie jest wielowymiarowe normalności ? Czy reszty modelu muszą wykazywać jednorodność wariancji?$y$$X$$(y, X)$

Uważam też, że gdzieś czytałem, że obserwacje nie muszą być niezależne; co to oznacza w kontekście badań z powtarzanymi pomiarami?

Kiedy mówimy, że standardowa regresja OLS ma pewne założenia, mamy na myśli, że te założenia są potrzebne, aby uzyskać pewne pożądane właściwości estymatora OLS, takie jak np. Że jest to najlepszy liniowy obiektywny estymator - patrz twierdzenie Gaussa-Markowa i doskonała odpowiedź autor: @mpiktas w Jaka jest pełna lista typowych założeń regresji liniowej? Brak założenia są potrzebne, aby po prostu regres na . Założenia pojawiają się tylko w kontekście oświadczeń o optymalności.$y$$X$

Mówiąc bardziej ogólnie, „założenia” są czymś, co może mieć tylko wynik teoretyczny (twierdzenie).

Podobnie w przypadku regresji PLS. Zawsze można zastosować regresję PLS do regresji$y$ na . Kiedy więc pytasz, jakie są założenia regresji PLS, o czym myślisz o optymalnościach? W rzeczywistości nie jestem świadomy żadnego. Regresja PLS jest jedną z form regularyzacji skurczu, zobacz moją odpowiedź w Teorii za częściową regresją najmniejszych kwadratów dla pewnego kontekstu i przeglądu. Uregulowane estymatory są stronnicze, więc żadna liczba założeń nie udowodni np. Obiektywności.$X$

Ponadto rzeczywisty wynik regresji PLS zależy od liczby elementów PLS zawartych w modelu, co działa jako parametr regularyzacji. Mówienie o jakichkolwiek założeniach ma sens tylko wtedy, gdy procedura wyboru tego parametru jest całkowicie określona (i zwykle tak nie jest). Nie sądzę więc, aby w ogóle były jakieś wyniki optymalności dla PLS, co oznacza, że regresja PLS nie ma żadnych założeń. Myślę, że to samo dotyczy innych metod regresji karnej, takich jak regresja głównego składnika lub regresja kalenicy.

Aktualizacja: Rozszerzyłem ten argument w odpowiedzi na Jakie są założenia regresji grzbietu i jak je przetestować?

Oczywiście nadal mogą istnieć praktyczne zasady, które mówią, kiedy regresja PLS może się przydać, a kiedy nie. Zapoznaj się z moją odpowiedzią podaną powyżej w celu omówienia; doświadczeni praktykujący PLSR (nie jestem jednym z nich) z pewnością mogą powiedzieć coś więcej.

Najwyraźniej PLS nie przyjmuje „twardych” założeń dotyczących wspólnego rozkładu twoich zmiennych. Oznacza to, że musisz uważać, aby wybrać odpowiednie statystyki testowe (zakładam, że ten brak zależności od rozkładów zmiennych klasyfikuje PLS jako technikę nieparametryczną). Sugestie, które znalazłem dla odpowiednich statystyk, to: 1) użycie kwadratu r dla zależnych zmiennych ukrytych i 2) metody ponownego próbkowania do oceny stabilności oszacowań.

Główna różnica między OLS / MLS a PLS polega na tym, że zazwyczaj wykorzystuje szacowanie maksymalnego prawdopodobieństwa parametrów populacji w celu przewidywania zależności między zmiennymi, podczas gdy PLS szacuje wartości zmiennych dla prawdziwej populacji w celu przewidywania związków między grupami zmiennych (poprzez powiązanie grup predyktorów / zmienne odpowiedzi ze zmiennymi ukrytymi).

Interesuje mnie również obsługa eksperymentów powielonych / powtarzanych, w szczególności eksperymentów wieloczynnikowych, jednak nie jestem pewien, jak podejść do tego przy użyciu PLS.

Podręcznik częściowych najmniejszych kwadratów: koncepcje, metody i zastosowania (strona 659, sekcja 28.4)

Wold, H. 2006. Specyfikacja predyktora. Encyklopedia nauk statystycznych. 9

http://www.rug.nl/staff/tkdijkstra/latentvariablesandindices.pdf (strony 4 i 5)

Znalazłem badanie symulacyjne dotyczące wpływu nienormalności i małej wielkości próby na PLS; autorzy podsumowują: „Wszystkie trzy techniki [łącznie z PLS] były wyjątkowo odporne na umiarkowane odstępstwa od normalności i tak samo”.

Jednak do kwalifikacji: „Wygląda na to, że wszystkie trzy techniki są dość odporne na małe lub umiarkowane przekrzywienie lub kurtozę (do skosu = 1,1 i kurtoza = 1,6). Jednak z bardziej ekstremalnie wypaczonymi danymi (skośność = 1,8 i kurtoza = 3,8) , wszystkie trzy techniki cierpią na znaczną i statystycznie znaczącą utratę mocy zarówno dla n = 40, jak i n = 90 (dwie badane wielkości próbek). Na przykład przy n = 90 i średniej wielkości efektu moc regresji wynosi 76% przy normalnych danych , ale spada do 53% przy ekstremalnie wypaczonych danych. W tych samych warunkach moc PLS spada z 75% do 48%, podczas gdy LISREL spada z 79% do 50%. ”

(Osobiście rozważałbym te dość skromne odstępstwa od normalności z dość gwałtownymi spadkami mocy).

Cytowanie: Dale L. Goodhue, William Lewis i Ron Thompson. Czy PLS ma zalety w przypadku małych próbek lub danych niestandardowych? MIS Kwartalny 2012; 36 (3): 891–1001.