Dlaczego regresja logistyczna jest modelem liniowym?

24

Chcę wiedzieć, dlaczego regresja logistyczna nazywana jest modelem liniowym. Wykorzystuje funkcję sigmoidalną, która nie jest liniowa. Dlaczego więc regresja logistyczna jest modelem liniowym?

regression logistic terminology użytkownik34790
źródło

6

Logit (log szans) jest liniowy w parametrach, ale ludzie nie odnoszą się do regresji logistycznej tak liniowo, o ile mi wiadomo. Czy możesz zacytować, kto to powiedział?

π

$\pi$

gung - Przywróć Monikę

@ gung-ReinstateMonica Na przykład w książce Deep Learning na stronie 169 ( deeplearningbook.org/contents/mlp.html ). W książce zauważają, że „Modele liniowe, takie jak regresja logistyczna i regresja liniowa, są atrakcyjne ...”. Myślę, że oznaczały one uogólniony model liniowy dla regresji logistycznej.

MŁODY

33

Model regresji logistycznej ma postać Nazywa się touogólnionymmodelem liniowym nie dlatego, że oszacowane prawdopodobieństwo zdarzenia odpowiedzi jest liniowe, ale ponieważ logit oszacowanej odpowiedzi prawdopodobieństwa jest funkcją liniowąparametrów~~predyktorów~~.

l o sol ja t (p_{ja}) = l n (\frac{p_{ja}}{1 - p_{ja}}) = β_{0} + β_{1} x_{1, ja} + β_{2)} x_{2), ja} + \dots + β_{p} x_{p, ja} .

$\mathrm{logit}(p_i) = \mathrm{ln}\left(\frac{p_i}{1-p_i}\right) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i}.$

Mówiąc bardziej ogólnie, uogólniony model liniowy ma postać gdzie jest wartością oczekiwaną odpowiedź udzielona przez zmienne towarzyszące.

sol (μ_{ja}) = β_{0} + β_{1} x_{1, ja} + β_{2)} x_{2), ja} + \dots + β_{p} x_{p, ja},

$\mathrm{g}(\mu_i) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i},$

μ

$\mu$

Edycja: Dziękuję fanom za korektę.

P. Schnell
źródło

7

Jeśli miałbyś napisać „uogólniony liniowy” zamiast „liniowy” i parametry zamiast predyktorów, byłoby to poprawne. (Wiele modeli regresji logistycznej w predyktorach nie jest liniowych. Na przykład żadna regresja logistyczna z terminem interakcji nie będzie liniowa w prdictors.)

whuber

Masz rację, dziękuję. Zaktualizowałem swoją odpowiedź, aby to odzwierciedlić.

P Schnell,

co to jest Pi?

Aerin

7

$Y=b_0+∑(b_i X_i)+\epsilon$ $Y$

$Y=1$

P. (Y = 1) = \frac{1}{1 + {mi}^{- (b_{0} + \sum (b_{ja} X_{ja}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

lennon310
źródło

7

Liniowy oznacza liniowy w betach (współczynniki), ale nie w x (zmienne niezależne), więc dopóki twoje bety nie są nieliniowe, twój model jest liniowy.

Yilun Zhang
źródło

3

To prawda - ale niestety regresji logistycznej jest uogólniony model liniowy i to nie liniowy w parametrach.

whuber

Dlaczego regresja logistyczna jest modelem liniowym?

Odpowiedzi: