Jeśli regresja wielomianowa modeluje relacje nieliniowe, to jak można to uznać za szczególny przypadek wielokrotnej regresji liniowej?
Wikipedia zauważa, że „Chociaż regresja wielomianowa pasuje do danych do modelu nieliniowego, jako problem estymacji statystycznej jest ona liniowa, w tym sensie, że funkcja regresji jest liniowa dla nieznanych parametrów, które są szacowane z danych ”.
W jaki sposób regresja wielomianowa jest liniowa dla nieznanych parametrów, jeśli parametry są współczynnikami dla terminów z porządkiem 2?
Odpowiedzi:
Po dopasowaniu modelu regresji, takiego jak , model i estymator OLS nie „wiedzą”, że jest po prostu kwadratem , po prostu „myśli”, że to inna zmienna. Oczywiście istnieje pewna kolinearność, która włącza się w dopasowanie (np. Standardowe błędy są większe, niż mogłyby być), ale wiele par zmiennych może być nieco kolinearnych, przy czym jedna z nich nie jest funkcją drugiej.y^i=β^0+β^1xi+β^2x2i x2i xi
Nie uznajemy, że istnieją naprawdę dwa oddzielne zmienne w modelu, bo my wiemy, że jest ostatecznie taka sama zmienna jak że przekształcone i zawarte w celu uchwycenia krzywoliniowy związek między i . Ta wiedza o prawdziwej naturze w połączeniu z naszym przekonaniem o istnieniu krzywoliniowej zależności między i jest tym, co utrudnia nam zrozumienie, że jest ona nadal liniowa z perspektywy modelu. Ponadto wizualizujemy ix2i xi xi yi x2i xi yi xi x2i razem, patrząc na marginalną projekcję funkcji 3D na płaszczyznę 2D . x,y
Jeśli masz tylko i , możesz spróbować wizualizować je w pełnej przestrzeni 3D (chociaż nadal trudno jest naprawdę zobaczyć, co się dzieje). Jeśli spojrzysz na dopasowaną funkcję w pełnej przestrzeni 3D, zobaczysz, że dopasowana funkcja jest płaszczyzną 2D, a ponadto jest płaską płaszczyzną. Jak mówię, trudno jest dobrze widzieć, ponieważ dane istnieją tylko wzdłuż zakrzywionej linii przechodzącej przez tę przestrzeń 3D (fakt ten jest wizualną manifestacją ich kolinearności). Możemy spróbować to zrobić tutaj. Wyobraź sobie, że to dopasowany model:xi x2i xi,x2i
Łatwiej jest zobaczyć te obrazy, które są zrzutami ekranu obróconej figury 3D wykonanej z tych samych danych przy użyciu
rgl
pakietu.Kiedy mówimy, że model „liniowy w parametrach” jest naprawdę liniowy, to nie jest to tylko matematyka. Za pomocą zmiennych dopasowuje się wymiarową hiperpłaszczyznę w hiperprzestrzeni wymiarowej (w naszym przykładzie płaszczyzna 2D w przestrzeni 3D). Ta hiperpłaszczyzna naprawdę jest „płaska” / „liniowa”; to nie jest tylko metafora.p p p+1
źródło
Zatem ogólny model liniowy jest funkcją liniową dla nieznanych parametrów . Regresja wielomianowa, na przykład jest kwadratowa w funkcji ale liniowa we współczynnikach , i . Mówiąc bardziej ogólnie, ogólny model liniowy można wyrazić jako , gdzie są dowolnymi funkcjami wektorowych danych wejściowych - zobacz, że może zawierać dowolne warunki interakcji (między składniki ) i tym podobne.y=a+bx+cx2 x a b c y=∑Ni=0aihi(x) hi x hi x
źródło
Rozważ model
Można to przepisać
źródło