Jaka jest potrzeba założeń w regresji liniowej?

15

W regresji liniowej przyjmujemy następujące założenia

Średnia odpowiedzi,

E (Y_{i})

$E(Y_i)$ , dla każdego zestawu wartości predyktorów

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , jest funkcją liniową predyktorów.

Błędy

ε_{i}

$ε_i$ są niezależne.

Błędy

ε_{i}

$ε_i$ dla każdego zestawu wartości predyktorów

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ są rozkładem normalnym.

Błędy dla każdego zestawu wartości predyktorów mają jednakowe wariancje (oznaczone

).

ε_{i}

$ε_i$

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

σ 2

$σ2$

Jednym ze sposobów rozwiązania regresji liniowej są równania normalne, które możemy zapisać jako

θ = (X^{T} X)^{- 1} X^{T} Y

$\theta = (X^TX)^{-1}X^TY$

Z matematycznego punktu widzenia powyższe równanie wymaga tylko $X^TX$ aby być odwracalnym. Dlaczego więc potrzebujemy tych założeń? Zapytałem kilku kolegów, którzy wspominali, że jest to dobre wyniki, a równania normalne są algorytmem do osiągnięcia tego. Ale w takim przypadku, w jaki sposób te założenia pomagają? W jaki sposób ich utrzymanie pomaga uzyskać lepszy model?

regression assumptions Zegar Slave
źródło

2

Rozkład normalny jest potrzebny do obliczenia przedziałów ufności współczynnika przy użyciu zwykłych wzorów. Inne wzory obliczania CI (myślę, że to był biały) pozwalają na rozkład nienormalny.

keiv.fly

Te założenia nie zawsze są potrzebne do działania modelu. W sieciach neuronowych masz regresje liniowe i minimalizują one rmse, podobnie jak podana przez ciebie formuła, ale najprawdopodobniej żadne z tych założeń się nie sprawdza. Brak rozkładu normalnego, brak równej wariancji, brak funkcji liniowej, nawet błędy mogą być zależne.

keiv.fly

2

Zobacz stats.stackexchange.com/q/16381/35989

Tim

1

@Alexis Zmienne niezależne będące iid zdecydowanie nie są założeniem (a zmienna zależna będąca iid również nie jest założeniem - wyobraź sobie, że gdybyśmy przyjęli odpowiedź iid, nie ma sensu robić niczego poza oszacowaniem średniej). A „brak pominiętych zmiennych” nie jest tak naprawdę dodatkowym założeniem, chociaż dobrze jest unikać pomijania zmiennych - pierwsze wymienione założenie naprawdę zajmuje się tym.

Dason,

1

@Dason Myślę, że mój link stanowi dość mocny przykład „brak pominiętych zmiennych” jest wymagany do prawidłowej interpretacji. Uważam również, że iid (zależnie od predyktorów, tak) jest konieczny, a losowe spacery stanowią doskonały przykład tego, gdzie oszacowanie nieidoczne może się nie powieść (zawsze uciekając się do oszacowania tylko średniej).

Alexis,

19

Masz rację - nie musisz spełniać tych założeń, aby dopasować linię najmniejszych kwadratów do punktów. Potrzebujesz tych założeń do interpretacji wyników. Na przykład, zakładając, że nie ma związku między wejściem i , jakie jest prawdopodobieństwo uzyskania współczynnika co najmniej tak dużego, jak to, co widzieliśmy z regresji? $X_1$ $Y$ $\beta_1$

spłukać
źródło

17

Spróbuj wizerunku kwartet anscombe'a z Wikipedii aby zorientować się, niektóre z potencjalnych problemów z interpretacji regresji liniowej, gdy niektóre z tych założeń są wyraźnie fałszywe: większość podstawowych statystyk opisowych są takie same we wszystkich czterech (a osoba wartości są identyczne we wszystkich oprócz prawego dolnego rogu) $x_i$

Henz
źródło

Zrobiłem ilustrację po Anscombe pokazującą, jak może wyglądać naruszenie założenia braku pominiętych zmiennych . Nadal pracuję nad ilustracją przypominającą Anscombe naruszenia założenia iid .

Alexis

3

Nie potrzebujesz tych założeń, aby dopasować model liniowy. Jednak oszacowania parametrów mogą być stronnicze lub nie mieć minimalnej wariancji. Naruszenie założeń utrudni interpretację wyników regresji, na przykład konstruowanie przedziału ufności.

Witaj świecie
źródło

1

Ok, odpowiedzi jak dotąd są następujące: jeśli naruszymy założenia, mogą się zdarzyć złe rzeczy. Uważam, że interesującym kierunkiem jest: kiedy wszystkie założenia, których potrzebujemy (a właściwie trochę inne od powyższych), są spełnione, dlaczego i jak możemy być pewni, że regresja liniowa jest najlepszym modelem?

$p(y_i|x_i)$ $E[Y_i|X_i=x_i]$ $x_i$

Fabian Werner
źródło

0

Dwa kluczowe założenia to:

Niezależność obserwacji
Średnia nie jest związana z wariancją

Zobacz dyskusję w książce Juliana Faraway .

Jeśli oba są prawdziwe, OLS jest zaskakująco odporny na naruszenia innych wymienionych przez ciebie założeń.

astaines
źródło

Jaka jest potrzeba założeń w regresji liniowej?

Odpowiedzi: