Dlaczego regresja liniowa ma założenie dotyczące resztkowego, ale uogólnionego modelu liniowego ma założenia dotyczące reakcji?

14

Dlaczego regresja liniowa i model uogólniony mają niespójne założenia?

  • W regresji liniowej zakładamy, że reszta pochodzi z gaussowskiego
  • W innych regresjach (regresja logistyczna, regresja trucizny) zakładamy, że odpowiedź pochodzi z pewnego rozkładu (dwumianowy, pozycyjny itp.).

Dlaczego czasami zakładamy, że pozostały czas, a innym czas na odpowiedź? Czy dlatego, że chcemy uzyskać różne właściwości?


EDYCJA: Myślę, że mark999 pokazuje, że dwie formy są równe. Mam jednak dodatkowe wątpliwości dotyczące iid:

Moje inne pytanie: czy istnieje założenie dotyczące regresji logistycznej? pokazuje, że uogólniony model liniowy nie ma założenia iid (niezależny, ale nie identyczny)

Czy to prawda, że ​​w przypadku regresji liniowej, jeśli założymy założenie resztkowe , będziemy mieć iid, ale jeśli postawimy założenie na podstawieμ

Haitao Du
źródło
Zobacz także stats.stackexchange.com/questions/295340/…
kjetil b halvorsen

Odpowiedzi:

12

Prosta regresja liniowa z błędami Gaussa jest bardzo ładnym atrybutem, który nie uogólnia na uogólnione modele liniowe.

W uogólnionych modelach liniowych odpowiedź odpowiada pewnemu zadanemu rozkładowi, biorąc pod uwagę średnią . Regresja liniowa przebiega według tego wzoru; Jeśli mamy

yi=β0+β1xi+ϵi

ϵiN(0,σ)

wtedy też mamy

yiN(β0+β1xi,σ)

ϵix

yi

yi=0+2×xi+ϵi

ϵiN(0,0.2)xiBernoulli(p=0.5)

yi

Oto Rkod do zilustrowania.

x <- rbinom(1000, size = 1, prob = 0.5)
y <- 2 * x + rnorm(1000, sd = 0.2)
fit <- lm(y ~ x)
resids <- residuals(fit)
par(mfrow = c(1,2))
hist(y, main = 'Distribution of Responses')
hist(resids, main = 'Distribution of Residuals')

histogramy

Cliff AB
źródło
yi=1+2×xi+ϵi
3
@ hxd1011: tak, jest to różnica między rozkładem krańcowym (wyraźnie nie normalnym) a rozkładem warunkowym, biorąc pod uwagę x (wiemy, że jest to normalne, ponieważ go zasymulowaliśmy!). Niezbyt częstym błędem jest brak myślenia o różnicy między rozkładami warunkowymi a krańcowymi.
Cliff AB
14

i=1,,n

Yi=β0+β1Xi1++βkXik+ϵi,
ϵiσ2Xi1,,XikYiβ0+β1Xi1++βkXikσ2 .

Jest tak, ponieważ uzależnienie Xja1,,Xjak, traktujemy β0+β1Xja1++βkXjak jako stały.

Zwykłym modelem wielokrotnej regresji liniowej z błędami normalnymi jest uogólniony model liniowy z normalną odpowiedzią i łączem tożsamości.

mark999
źródło