Dlaczego warto studiować regresję liniową?

Biorąc pod uwagę dwie zmienne losowe i \ eta , możemy obliczyć ich „współczynnik korelacji” c i utworzyć linię najlepszego dopasowania między tymi dwiema zmiennymi losowymi. Moje pytanie brzmi: dlaczego?η $\xi$$\eta$$c$

1) Istnieją zmienne losowe, $\xi$ i $\eta$ które są zależne w najgorszy możliwy sposób, tj. $\xi = f(\eta)$ i pomimo tego $c=0$ . Gdyby pomyśleć tylko o regresji liniowej, byłby na to całkowicie zaślepiony.

2) Dlaczego konkretnie liniowy? Istnieją inne rodzaje relacji, które mogą istnieć między zmiennymi losowymi. Po co wyróżniać tę spośród wszystkich innych?

Zgadzam się, że nie wszystkie relacje są same w sobie liniowe, ale całkiem sporo relacji można liniowo przybliżyć. Widzieliśmy wiele takich przypadków w matematyce, takich jak szereg Taylora lub szereg Fouriera itp. Kluczową kwestią jest tutaj, powiedział geomatt22 w komentarzu, można ogólnie przekształcić dane nieliniowe i zastosować pewnego rodzaju transformację z funkcjami podstawowymi i linearyzować związek. Powodem, dla którego uniwersytety zajmują się tylko „wieloma modelami regresji liniowej” (w tym prostymi modelami regresji), jest to, że stanowią one element składowy modeli bardziej zaawansowanego poziomu, które są również liniowe.

Z matematycznego punktu widzenia, o ile można udowodnić, że pewne przybliżenie liniowe jest gęste w przestrzeni Hilberta, będzie można użyć przybliżenia do przedstawienia funkcji w przestrzeni.

Model, o którym mówisz, prosta regresja liniowa, czyli „linia najlepszego dopasowania” (tutaj mylę model i metodę szacowania), jest wprawdzie bardzo prosta (jak sama nazwa wskazuje). Po co studiować? Widzę wiele powodów. Poniżej zakładam, że pojęcie zmiennej losowej zostało co najmniej nieformalnie wprowadzone, ponieważ wspomniałeś o tym w swoim pytaniu.

1. pedagogiczny: oczywiście dla ciebie jest oczywiste, że zmienne losowe o wartościach rzeczywistych ze skończonymi momentami drugiego rzędu tworzą przestrzeń Hilberta. Może było to już oczywiste, kiedy po raz pierwszy studiowałeś teorię prawdopodobieństwa. Ale statystyki są nie tylko uczone matematyki: istnieje szerokie grono odbiorców, od fizyki po ekonomię, informatykę, nauki społeczne itp. Studenci ci mogą napotkać statystyki na wczesnym etapie studiów. Być może zostali oni wyrzuceni z algebry liniowej i nawet w pierwszym przypadku mogli jej nie widzieć z bardziej abstrakcyjnego punktu widzenia kursu matematycznego. Dla tych studentów sama koncepcja przybliżenia zmiennej losowej inną zmienną losową nie jest tak bezpośrednia. Nawet podstawową właściwość prostego modelu liniowego, tj. Fakt, że błąd i predyktor są ortogonalnymi zmiennymi losowymi, czasem ich zaskakuje. Fakt, że możesz zdefiniować „kąt” między zmiennymi losowymi („nieprzyjemnymi” obiektami! Mierzalne funkcje od przestrzeni prawdopodobieństwa do mierzalnej przestrzeni) może być dla ciebie oczywisty, ale niekoniecznie dla początkującego. Zatem jeśli badanie przestrzeni wektorowych rozpoczyna się od dobrej starej płaszczyzny euklidesowej, czy nie ma sensu rozpoczęcie badania modeli statystycznych od najprostszej?
2. proceduralna : za pomocą prostej regresji liniowej można wprowadzić pojęcie szacowania parametrów, a tym samym metodę najmniejszych kwadratów, błędów standardowych itp. w najprostszym przypadku. Jeśli uważasz, że jest to trywialne, pamiętaj, że wielu specjalistów, którzy wykorzystują statystyki w swojej pracy / badaniach, ale nie są statystykami, jest głęboko zdezorientowanych co do częstego przedziału ufności! W każdym razie, gdy najprostszy przypadek zostanie omówiony, możesz przejść do wielu regresji liniowych. Po opanowaniu wszystkie modele liniowe są dostępne do oszacowania. Innymi słowy, jeśli mogę dopasować model (przez OLS lub LARS na wypadek konieczności uregulowania itp.), To mogę pasuje do wszystkich modeli tego rodzajuξ = ∑ N i = 0 β i ϕ ( η i ) + $\xi = \beta_0+\sum_{i=1}^N \beta_i \eta_i +\epsilon$$\xi = \sum_{i=0}^N \beta_i \phi(\eta_i) +\epsilon$. To naprawdę potężna klasa modeli, która, jak zauważył @DaeyoungLim, może aproksymować wszystkie funkcje w przestrzeni Hilberta, jeśli masz nieskończony zestaw funkcji bazowych i jeśli generują podprzestrzeń wektorów, która jest gęsta w przestrzeni Hilberta .
3. praktyczne : istnieje wiele udanych zastosowań prostej regresji liniowej. Prawo okuna ekonomia, prawo Hooke'a , prawo Ohma i prawo Karola w fizyce, związek między tętniczego ciśnienia skurczowego i wieku w medycynie (nie mam pojęcia, czy to ma imię!) To przykłady prostych regresji liniowej, z różnym precyzja.

Kolejnym powodem jest piękny sposób, w jaki regresja zapewnia jednolite traktowanie technik takich jak ANOVA. Dla mnie zwykłe „elementarne” leczenie ANOVA wydaje się dość niejasne, ale leczenie oparte na regresji jest krystalicznie czyste. Podejrzewam, że ma to wiele wspólnego ze sposobem, w jaki modele regresji jasno wyrażają pewne założenia, że ​​w „elementarnych” metodach leczenia są milczące i niezbadane. Ponadto jasności pojęciowej oferowanej przez taką perspektywę jednoczącą towarzyszą podobne praktyczne korzyści, gdy przychodzi czas na wdrożenie metod w oprogramowaniu statystycznym.

Zasada ta dotyczy nie tylko ANOVA, ale także rozszerzeń takich jak ograniczone splajny sześcienne - które w szczególności dotyczą drugiego pytania.

Popularność regresji liniowej wynika częściowo z jej interpretowalności - to znaczy, że osoby nietechniczne mogą zrozumieć współczynniki parametrów tylko z niewielkim wyjaśnieniem. Daje to dużą wartość w sytuacjach biznesowych, w których użytkownicy końcowi wyników lub prognoz mogą nie mieć głębokiego zrozumienia matematyki / statystyki.

Tak, istnieją założenia i ograniczenia dotyczące tej techniki (jak w przypadku wszystkich podejść) i w wielu przypadkach może ona nie zapewniać najlepszego dopasowania. Ale regresja liniowa jest bardzo solidna i często może działać całkiem dobrze nawet w przypadku naruszenia założeń.

Z tych powodów zdecydowanie warto się uczyć.

Coś może nie być bezpośrednio powiązane.

Jeśli masz dwie serie i to , i jeśli podejrzewasz, że istnieje związek między i . Możesz utworzyć wykres między i aby zbadać ich związek.y c o v ( x , y ) = 0 x y y $x$$y$$cov(x,y) = 0$$x$$y$$y$$x$