Czy warto stosować regresję logistyczną z wynikiem binarnym i predyktorem?

18

Mam zmienną wyniku binarnego {0,1} i zmienną predykcyjną {0,1}. Uważam, że logistyka nie ma sensu, chyba że dołączę inne zmienne i obliczę iloraz szans.

Czy z jednym predyktorem binarnym wystarczające byłoby obliczenie prawdopodobieństwa vs iloraz szans?

r regression probability logistic odds-ratio Keval
źródło

26

W takim przypadku możesz zwinąć swoje dane do gdzie to liczba wystąpień dla oraz z . Załóżmy, że ogólnie jest obserwacji.

\begin{array}{ccc} X ∖ Y & 0 & 1 \\ 0 & S_{00} & S_{01} \\ 1 & S_{10} & S_{11} \end{array}

$\begin{array}{c|cc} X \backslash Y & 0 & 1 \\ \hline 0 & S_{00} & S_{01} \\ 1 & S_{10} & S_{11} \end{array}$

S_{i j}

$S_{ij}$

x = i

$x = i$

y = j

$y =j$

i, j \in {0, 1}

$i,j \in \{0,1\}$

n

$n$

Jeśli pasujemy do modelu (gdzie jest naszą funkcją łącza) że jest odsetka sukcesów, gdy a jest odsetka sukcesów, gdy . Innymi słowy, i $p_i = g^{-1}(x_i^T \beta) = g^{-1}(\beta_0 + \beta_1 1_{x_i = 1})$ $g$ $\hat \beta_0$ $x_i = 0$ $\hat \beta_0 + \hat \beta_1$ $x_i = 1$

{\hat{β}}_{0} = sol (\frac{{S.}_{01}}{{S.}_{00} + {S.}_{01}})

$\hat \beta_0 = g\left(\frac{S_{01}}{S_{00} + S_{01}}\right)$

{\hat{β}}_{0} + {\hat{β}}_{1} = sol (\frac{{S.}_{11}}{{S.}_{10} + {S.}_{11}}) .

$\hat \beta_0 + \hat \beta_1 = g\left(\frac{S_{11}}{S_{10} + S_{11}}\right).$

Sprawdźmy, czy to jest R.

n <- 54
set.seed(123)
x <- rbinom(n, 1, .4)
y <- rbinom(n, 1, .6)

tbl <- table(x=x,y=y)

mod <- glm(y ~ x, family=binomial())

# all the same at 0.5757576
binomial()$linkinv( mod$coef[1])
mean(y[x == 0])
tbl[1,2] / sum(tbl[1,])

# all the same at 0.5714286
binomial()$linkinv( mod$coef[1] + mod$coef[2])
mean(y[x == 1])
tbl[2,2] / sum(tbl[2,])

Zatem współczynniki regresji logistycznej są dokładnie transformacjami proporcji pochodzących z tabeli.

Rezultatem jest to, że z pewnością możemy przeanalizować ten zestaw danych za pomocą regresji logistycznej, jeśli mamy dane pochodzące z szeregu zmiennych losowych Bernoulliego, ale okazuje się, że nie różni się to od bezpośredniej analizy wynikowej tabeli zdarzeń.

Chcę skomentować, dlaczego działa to z teoretycznego punktu widzenia. Kiedy dopasowujemy regresję logistyczną, korzystamy z modelu . Następnie decydujemy się modelować średnią jako transformację predyktora liniowego w lub w symbolach . W naszym przypadku mamy tylko dwie unikalne wartości , a zatem istnieją tylko dwie unikalne wartości , powiedzmy i . Z powodu naszego założenia niezależności mamy i $Y_i | x_i \stackrel{\perp}{\sim} \text{Bern}(p_i)$ $x_i$ $p_i = g^{-1}\left( \beta_0 + \beta_1 x_i\right)$ $x_i$ $p_i$ $p_0$ $p_1$

\sum_{ja : x_{ja} = 0} Y_{ja} = {S.}_{01} \sim Kosz (n_{0}, p_{0})

$\sum \limits_{i : x_i = 0} Y_i = S_{01} \sim \text{Bin} \left(n_0, p_0\right)$

\sum_{ja : x_{ja} = 1} Y_{ja} = {S.}_{11} \sim Kosz (n_{1}, p_{1}) .

$\sum \limits_{i : x_i = 1} Y_i = S_{11} \sim \text{Bin} \left(n_1, p_1\right).$ Zauważ, że wykorzystujemy fakt, że , a z kolei i , są nielosowe: gdyby tak nie było, niekoniecznie byłyby dwumianowe.

x_{i}

$x_i$

n_{0}

$n_0$

n_{1}

$n_1$

Oznacza to, że

{S.}_{01} / n_{0} = \frac{{S.}_{01}}{{S.}_{00} + {S.}_{01}} \to_{p} p_{0} i {S.}_{11} / n_{1} = \frac{{S.}_{11}}{{S.}_{10} + {S.}_{11}} \to_{p} p_{1} .

$S_{01} / n_0 = \frac{S_{01}}{S_{00} + S_{01}} \to_p p_0 \hspace{2mm} \text{ and } \hspace{2mm} S_{11} / n_1 = \frac{S_{11}}{S_{10} + S_{11}} \to_p p_1.$

Kluczowy wgląd tutaj: nasze RV Bernoulli są podczas gdy nasze dwumianowe RV to , ale oba mają takie samo prawdopodobieństwo sukcesu. To jest powód, dla którego te proporcje tabeli kontyngencji szacują to samo, co regresja logistyczna na poziomie obserwacji. To nie tylko zbieg okoliczności z tabelą: to bezpośrednia konsekwencja przyjętych przez nas założeń dystrybucyjnych. $Y_i | x_i = j \sim \text{Bern}(p_j)$ $S_{j1} \sim \text{Bin}(n_j, p_j)$

jld
źródło

1

Jeśli masz więcej niż jeden predyktor, a wszystkie predyktory są zmiennymi binarnymi, możesz dopasować model za pomocą regresji logicznej [1] (zwróć uwagę, że jest to „logika”, a nie „logistyka”). Jest to przydatne, gdy uważasz, że efekty interakcji między predyktorami są znaczące. Istnieje implementacja w R ( LogicRegpakiet).

[1] Rucziński, I., Kooperberg, C., i LeBlanc, M. (2003). Regresja logiczna. Journal of Computational and grafist Statistics, 12 (3), 475-511.

horaceT
źródło

1

Pytanie dotyczy konkretnie jednego regresora, dlatego twoja odpowiedź lepiej posłużyłaby jako komentarz.

Richard Hardy

Czy warto stosować regresję logistyczną z wynikiem binarnym i predyktorem?

Odpowiedzi: