Różne sposoby tworzenia przedziału ufności dla ilorazu szans z regresji logistycznej

12

Studiuję, jak skonstruować 95% przedział ufności dla ilorazu szans ze współczynników uzyskanych w regresji logistycznej. Biorąc pod uwagę model regresji logistycznej,

log(p1p)=α+βx

tak, że x=0 dla grupy kontrolnej i x=1 dla grupy obserwacji.

Czytałem już, że najprostszym sposobem jest zbudowanie 95% CI dla β a następnie zastosowaliśmy funkcję wykładniczą, to znaczy

β^±1.96×SE(β^)exp{β^±1.96×SE(β^)}

Moje pytania to:

  1. Jaki jest teoretyczny powód uzasadniający tę procedurę? Wiem, że odds ratio=exp{β} i estymatory maksymalnego prawdopodobieństwa są niezmienne. Nie znam jednak związku między tymi elementami.

  2. Czy metoda delta powinna dawać taki sam 95% przedział ufności jak poprzednia procedura? Używając metody delta,

    exp{β^}˙N(β, exp{β}2Var(β^))

    Następnie,

    exp{β^}±1.96×exp{β}2Var(β^)

    Jeśli nie, jaka jest najlepsza procedura?

Márcio Augusto Diniz
źródło
1
Lubię też bootstrap dla CI, jeśli mam wartości parametrów lub dane treningowe o wystarczającej wielkości.
EngrStudent,
2
Jest lepszy sposób, aby to zrobić, zobacz stats.stackexchange.com/questions/5304/... w celu uzyskania szczegółowych informacji
mdewey

Odpowiedzi:

7
  1. Uzasadnieniem tej procedury jest asymptotyczna normalność MLE dla i wynika z argumentów dotyczących twierdzenia o granicy centralnej.β

  2. Metoda Delta pochodzi z liniowego (tj. Pierwszego rzędu Taylora) rozszerzenia funkcji wokół MLE. Następnie odwołujemy się do asymptotycznej normalności i bezstronności MLE.

Asymptotycznie obie dają tę samą odpowiedź. Ale praktycznie wolałbyś ten, który wygląda bardziej normalnie. W tym przykładzie wolałbym ten pierwszy, ponieważ ten drugi prawdopodobnie będzie mniej symetryczny.

Amir
źródło
3

Porównanie metod przedziałów ufności na przykładzie z ISL

Książka „Wprowadzenie do uczenia statystycznego” autorstwa Tibshirani, James, Hastie zawiera przykład na stronie 267 przedziałów ufności dla wielomianowej regresji logistycznej stopnia 4 na danych płacowych . Cytując książkę:

Modelujemy zdarzenie binarne za pomocą regresji logistycznej z wielomianem stopnia 4. Dopasowane prawdopodobieństwo tylnego wynagrodzenia przekraczającego 250 000 $ jest pokazane na niebiesko, wraz z szacunkowym 95% przedziałem ufności.wage>250

Poniżej znajduje się krótkie podsumowanie dwóch metod konstruowania takich przedziałów, a także komentarze na temat ich implementacji od zera

Przedziały transformacji Wald / Endpoint

  • Oblicz górne i dolne granice przedziału ufności dla kombinacji liniowej (używając Wald CI)xTβ
  • Zastosuj transformację monotoniczną do punktów końcowych aby uzyskać prawdopodobieństwa.F(xTβ)

Ponieważ jest monotoniczną transformacjąx T βPr(xTβ)=F(xTβ)xTβ

[Pr(xTβ)LPr(xTβ)Pr(xTβ)U]=[F(xTβ)LF(xTβ)F(xTβ)U]

Konkretnie oznacza to obliczenie a następnie zastosowanie transformacji logit do wyniku w celu uzyskania dolnej i górnej granicy:βTx±zSE(βTx)

[exTβzSE(xTβ)1+exTβzSE(xTβ),exTβ+zSE(xTβ)1+exTβ+zSE(xTβ),]

Obliczanie błędu standardowego

Teoria maksymalnego prawdopodobieństwa mówi nam, że przybliżoną wariancję można obliczyć za pomocą macierzy kowariancji współczynników regresji za pomocąΣxTβΣ

Var(xTβ)=xTΣx

Zdefiniuj macierz projektową i macierz jakoV.XV

X = [1x1,1x1,p1x2,1x2,p1xn,1xn,p]    V = [π^1(1π^1)000π^2(1π^2)000π^n(1π^n)]

gdzie jest wartością tej zmiennej dla obserwacji, a reprezentuje przewidywane prawdopodobieństwo obserwacji . j i π i jaxi,jjiπ^ii

Macierz kowariancji można następnie znaleźć jako: a błąd standardowy jako S E ( x T β ) = Σ=(XTVX)1SE(xTβ)=Var(xTβ)

95% przedziały ufności dla przewidywanego prawdopodobieństwa można następnie wykreślić jako

wprowadź opis zdjęcia tutaj


Przedziały ufności metody Delta

Podejście polega na obliczeniu wariancji aproksymacji liniowej funkcji i użyciu jej do skonstruowania dużych przedziałów ufności próbki.F

Var[F(xTβ^)]FT Σ F

Gdzie jest gradientem, a oszacowaną macierzą kowariancji. Pamiętaj, że w jednym wymiarze: Σ

F(xβ)β=F(xβ)xβxββ=xf(xβ)

Gdzie jest pochodną . Uogólnia się to w przypadku wielowymiarowymfF

Var[F(xTβ^)]fT xT Σ x f

W naszym przypadku F jest funkcją logistyczną (którą oznaczymy ), której pochodną jestπ(xTβ)

π(xTβ)=π(xTβ)(1π(xTβ))

Możemy teraz skonstruować przedział ufności, używając wariancji obliczonej powyżej.

C.I.=[Pr(xβ^)zVar[π(xβ^)]Pr(xβ^)+zVar[π(xβ^)]]

W postaci wektorowej dla przypadku wielowymiarowego

do.ja.=[π(xT.β^)±z(π(xT.β^)(1-π(xT.β^)))T.xT.  Var[β^]  x  π(xT.β^)(1-π(xT.β^))]
  • Zauważ, że reprezentuje pojedynczy punkt danych w , tj. Pojedynczy wiersz macierzy projektowejR p + 1 XxRp+1X

wprowadź opis zdjęcia tutaj


Konkluzja otwarta

Rzut oka na wykresy normalnej QQ zarówno dla prawdopodobieństw, jak i ujemnych szans na logarytmiczne wyniki pokazują, że żadne z nich nie jest normalnie rozłożone. Czy to może wyjaśnić różnicę?

wprowadź opis zdjęcia tutaj

Źródło:

Xavier Bourret Sicotte
źródło
1

Dla większości celów najprostszy sposób jest prawdopodobnie najlepszy, jak omówiono w kontekście transformacji dziennika na tej stronie . Pomyśl o zmiennej zależnej jako analizowanej w skali logit, z przeprowadzonymi testami statystycznymi i przedziałami ufności (CI) zdefiniowanymi w tej skali logit. Tylna transformacja do ilorazu szans polega na umieszczeniu tych wyników w skali, którą czytelnik mógłby łatwiej zrozumieć. Odbywa się to również na przykład w analizie przeżycia Coxa, w której współczynniki regresji (i 95% CI) są potęgowane w celu uzyskania współczynników ryzyka i ich CI.

EdM
źródło