Zamieszanie związane z normalizacją danych

Próbuję nauczyć się modelu regresji liniowej. Mam jednak pewne zamieszanie związane z normalizacją danych. Znormalizowałem cechy / predyktory do zera średniej i wariancji jednostkowej. Czy muszę zrobić to samo dla celu. Jeśli tak to dlaczego?

regression multiple-regression normalization użytkownik34790
źródło

Dlaczego znormalizowałeś funkcje / predyktory?

Peter Flom

BTW myślę, że „standaryzacja” jest na to lepszym określeniem.

Scortchi - Przywróć Monikę

Odpowiedzi:

Normalizacja celu w regresji liniowej nie ma znaczenia. W regresji liniowej dopasowanie będzie miało postać Kiedy predyktory są wyśrodkowane, stały składnik zawsze będzie średnią . Więc jeśli wyśrodkujesz przed uruchomieniem regresji, otrzymasz po prostu , ale wszystkie pozostałe współczynniki pozostaną niezmienione.

{\hat{y}}_{i} = a_{0} + a \cdot x_{i} .

$\hat{y}_i = a_0 + a \cdot x_i.$

x_{i}

$x_i$

a_{0}

$a_0$

y_{i}

$y_i$

y_{i}

$y_i$

a_{0} = 0

$a_0 = 0$

(To powiedziawszy, normalizacja predyktorów --- tak jak obecnie robisz --- jest dobrym pomysłem.)

Stefan Wager
źródło

Dlaczego normalizacja predyktorów to dobry pomysł?

Scortchi - Przywróć Monikę

@Stefan. Tak, kiedy centruję predyktory, otrzymuję stały który oznacza średnią y. Ale nie wiedziałem, dlaczego to się stało. Czy możesz mi powiedzieć matematykę?

a_{0}

$a_0$

user34790 21.04.13

@Scortchi Normalizacja predyktorów nie jest konieczna, ale może ułatwić interpretację współczynników regresji: Po normalizacji duże współczynniki odpowiadają ważnym predyktorom. Ponadto bez normalizacji współczynniki warunków interakcji mogą być bardzo mylące. To powiedziawszy, normalizacja nie wpłynie na prognozy uzyskane z modelu, więc normalizacja ma znaczenie tylko wtedy, gdy zamierzasz interpretować współczynniki w regresji.

Stefan Wager

@ user34790 Matematyka jest opracowywana na pmean.com/10/LeastSquares.html

Stefan Wager

Myślę, że teoretycznie to nie ma znaczenia, ale liczbowo ma to znaczenie. Spójrz na tę odpowiedź.

https://stats.stackexchange.com/a/111997/57240

Abhinav
źródło