Interpretacja exp (B) w wielomianowej regresji logistycznej

16

Jest to pytanie początkującego, ale jak interpretować wynik exp (B) 6.012 w wielomianowym modelu regresji logistycznej?

1) Czy jest to 6,012–1,0 = 5,012 = 5012% wzrostu ryzyka?

lub

2) 6,012 / (1 + 6,012) = 0,857 = 85,7% wzrost ryzyka?

W przypadku, gdy obie alternatywy są nieprawidłowe, czy ktoś może podać prawidłowy sposób?

Przeszukałem wiele zasobów w Internecie i docieram do tych dwóch alternatyw i nie jestem do końca pewien, która z nich jest poprawna.

użytkownik6911
źródło

Odpowiedzi:

35

Dotarcie do nas zajmie trochę czasu, ale podsumowując, zmiana o jedną jednostkę w zmiennej odpowiadającej B zwiększy względne ryzyko wyniku (w porównaniu do wyniku podstawowego) przez 6,012.

Można to wyrazić jako wzrost względnego ryzyka o „5012%” , ale jest to mylący i potencjalnie wprowadzający w błąd sposób, ponieważ sugeruje, że powinniśmy myśleć o zmianach w sposób addytywny, podczas gdy w rzeczywistości wielomianowy model logistyczny zdecydowanie zachęca nas do myśl multiplikatywnie. Modyfikator „względny” jest niezbędny, ponieważ zmiana zmiennej jednocześnie zmienia przewidywane prawdopodobieństwa wszystkich wyników, a nie tylko tego, o którym mowa, więc musimy porównać prawdopodobieństwa (za pomocą współczynników, a nie różnic).

Pozostała część tej odpowiedzi rozwija terminologię i intuicję potrzebną do prawidłowej interpretacji tych stwierdzeń.

tło

Zacznijmy od zwykłej regresji logistycznej, zanim przejdziemy do przypadku wielomianowego.

W przypadku zmiennej zależnej (binarnej) Y i zmiennej niezależnej Xi model to

Pr[Y=1]=exp(β1X1++βmXm)1+exp(β1X1++βmXm);

równoważnie, przyjmując 0Pr[Y=1]1 ,

log(ρ(X1,,Xm))=logPr[Y=1]Pr[Y=0]=β1X1++βmXm.

(Definiuje to po prostu ρ , czyli iloraz szans w funkcji Xi .)

Bez utraty ogólności indeksuj Xi , aby Xm była zmienną, a X m δβm jest „B” na pytanie (tak,exp(βm)=6.012 ). Mocowanie wartościXi,1i<m , a różneniewielką ilościąWydajnośćXmδ

log(ρ(,Xm+δ))log(ρ(,Xm))=βmδ.

Zatem jest marginalną zmianą szansy na log w stosunku do .X mβm Xm

Aby odzyskać , oczywiście musimy ustawić i potęgować lewą stronę:δ = 1exp(βm)δ=1

exp(βm)=exp(βm×1)=exp(log(ρ(,Xm+1))log(ρ(,Xm)))=ρ(,Xm+1)ρ(,Xm).

To pokazuje jako iloraz szans dla jednostkowego wzrostu . Aby rozwinąć intuicję dotyczącą tego, co to może znaczyć, tabeluj niektóre wartości zakresu początkowych szans, zaokrąglając mocno, aby wyróżnić wzorce:X mexp(βm)Xm

Starting odds  Ending odds  Starting Pr[Y=1]  Ending Pr[Y=1]
0.0001         0.0006       0.0001            0.0006
0.001          0.006        0.001             0.006
0.01           0.06         0.01              0.057
0.1            0.6          0.091             0.38
1.             6.           0.5               0.9
10.            60.          0.91              1.
100.           600.         0.99              1.

W przypadku naprawdę małych szans, które odpowiadają naprawdę małym prawdopodobieństwom, wzrost o jednej jednostki polega na pomnożeniu szansy lub prawdopodobieństwa przez około 6,012. Współczynnik multiplikatywny maleje wraz ze wzrostem prawdopodobieństwa (i prawdopodobieństwa) i zasadniczo zanika, gdy szanse przekraczają 10 (prawdopodobieństwo przekracza 0,9).Xm

Zmiana prawdopodobieństwa

Jako zmiana addytywna , nie ma dużej różnicy między prawdopodobieństwem 0,0001 a 0,0006 (to tylko 0,05%), ani też nie ma dużej różnicy między 0,99 a 1. (tylko 1%). Największy efekt addytywny występuje, gdy szanse wynoszą , gdzie prawdopodobieństwo zmienia się z 29% na 71%: zmiana o + 42%.1/6.0120.408

Addytywna zmiana prawdopodobieństwa

Widzimy zatem, że jeśli wyrażamy „ryzyko” jako iloraz szans, = „B” ma prostą interpretację - iloraz szans wynosi dla wzrostu jednostki ale kiedy wyrażamy ryzyko w niektórych inne mody, takie jak zmiana prawdopodobieństwa, interpretacja wymaga staranności, aby określić prawdopodobieństwo początkowe.β m X mβmβmXm

Wielomianowa regresja logistyczna

(Zostało to dodane jako późniejsza edycja).

Po rozpoznaniu wartości wykorzystania logarytmowych szans do wyrażenia szans przejdźmy do przypadku wielomianowego. Teraz zmienna zależna może być równa jednej z k 2 kategorii, indeksowanych przez i = 1 , 2 , , k . Względne prawdopodobieństwo, że w kategorii I jestYk2i=1,2,,ki

Pr[Yi]exp(β1(i)X1++βm(i)Xm)

z parametrami βj(i) które należy określić, i wpisując Yi dla Pr[Y=category i] . Jako skrót napiszmy prawe wyrażenie jako pja(X,β) lub, gdzie X ip iβ są jasne z kontekstu, po prostu . Normalizacja, aby wszystkie te względne prawdopodobieństwa sumowały się do jedności dajepja

Par[Yja]=pja(X,β)p1(X,β)++pm(X,β).

(Parametry są dwuznaczne: jest ich zbyt wiele. Konwencjonalnie wybiera się kategorię „podstawową” do porównania i wymusza wyzerowanie wszystkich jej współczynników. Jednak jest to konieczne, aby podać unikalne szacunki wartości beta, interpretacja współczynników nie jest potrzebna. Aby zachować symetrię - to znaczy uniknąć jakichkolwiek sztucznych rozróżnień między kategoriami - nie egzekwujmy takiego ograniczenia, chyba że musimy).

Jednym ze sposobów interpretacji tego modelu jest zapytanie o krańcowe tempo zmian logarytmicznych dla dowolnej kategorii (powiedzmy kategorii ) w odniesieniu do dowolnej z niezależnych zmiennych (powiedzmy ). Oznacza to, że gdy zmienimy to zmianę logarytmicznej . Jesteśmy zainteresowani stałą proporcjonalności związaną z tymi dwiema zmianami. Chain Rule of Calculus, wraz z małą algebrą, mówi nam, że ta szybkość zmian wynosiX j X j Y ijaXjotXjotYja

 log odds(Yi) Xj=βj(i)βj(1)p1++βj(i1)pi1+βj(i+1)pi+1++βj(k)pkp1++pi1+pi+1++pk.

Ten ma stosunkowo prostą interpretację jako współczynnik z we wzorze na prawdopodobieństwo, że należy do kategorii minus „regulacja”. Korekta jest średnią ważoną prawdopodobieństwem współczynników we wszystkich pozostałych kategoriach . Ciężary są obliczane przy użyciu prawdopodobieństw związanych z aktualnymi wartościami zmiennych niezależnych . Zatem marginalna zmiana logów niekoniecznie musi być stała: zależy od prawdopodobieństwa wszystkich innych kategorii, a nie tylko od prawdopodobieństwa danej kategorii (kategoria ).βj(i)XjYiXjXi

Gdy istnieją tylko kategorie, powinno to zostać zredukowane do zwykłej regresji logistycznej. Rzeczywiście, ważenie prawdopodobieństwa nic nie robi i (wybierając ) daje po prostu różnicę . Uznanie, że kategoria jest przypadkiem podstawowym, zmniejsza to dodatkowo do , ponieważ . Tak więc nowa interpretacja uogólnia to, co stare.k=2i=2βj(2)βj(1)iβj(2)βj(1)=0

Aby bezpośrednio zinterpretować , wyodrębnimy ją po jednej stronie poprzedniej formuły, prowadząc do:βj(i)

Współczynnik dla kategorii jest równy marginalnej zmianie logarytmicznych szans kategorii w odniesieniu do zmiennej , plus średnia ważona prawdopodobieństwem współczynników wszystkich pozostałych dla kategorii .XjiiXjXji

Inną interpretację, choć nieco mniej bezpośrednią, zapewnia (tymczasowo) ustawienie kategorii jako przypadku podstawowego, dzięki czemu dla wszystkich zmiennych niezależnych :iβj(i)=0Xj

Krańcowa stopa zmian szansy logarytmicznej przypadku podstawowego dla zmiennej jest ujemna ze średniej ważonej prawdopodobieństwem jej współczynników dla wszystkich pozostałych przypadków.Xj

W rzeczywistości stosowanie tych interpretacji zazwyczaj wymaga wyodrębnienia beta i prawdopodobieństwa z danych wyjściowych oprogramowania i wykonania obliczeń, jak pokazano.

Na koniec, w przypadku współczynników wykładniczych należy zauważyć, że stosunek prawdopodobieństwa między dwoma wynikami (czasami nazywany „ryzykiem względnym” porównaniu do ) wynosiii

YiYi=pi(X,β)pi(X,β).

Wzrost Chodźmy o jedną jednostkę do . To mnoży przez i przez , skąd ryzyko względne jest mnożone przez = . Uznanie kategorii za podstawowy przypadek sprowadza to do , co prowadzi nas do stwierdzenia:XjXj+1piexp(βj(i))piexp(βj(i))exp(βj(i))/exp(βj(i))exp(βj(i)βj(i))iexp(βj(i))

Potęgowania współczynnik jest wartością, w którym względne ryzyko jest mnożony gdy zmienna jest zwiększona o jedną jednostkę.exp(βj(i))Pr[Y=category i]/Pr[Y=base category]Xj

Whuber
źródło
1
Świetne wyjaśnienia, ale PO wyraźnie poprosił o model wielomianowy . Być może czytam więcej na pytanie, niż zamierzał PO, a wyjaśnienie przypadku binarnego może być odpowiednie, ale chciałbym, aby ta odpowiedź dotyczyła również ogólnego przypadku wielomianowego. Mimo że parametryzacja jest podobna, „iloraz logarytmiczny” odnosi się ogólnie do (arbitralnej) kategorii referencyjnej i tak naprawdę nie jest ilorazem logarytmicznym, a zmiana jednostkowa w powoduje łączną zmianę tych „ log-odds ”, a rosnący„ log-odds ”nie implikuje i zwiększa prawdopodobieństwa. Xi
NRH
@NRH To doskonały punkt. Jakoś przeczytałem „wielowymiarowy” zamiast „wielomianowy”. Jeśli mam szansę wrócić do tego, postaram się wyjaśnić te szczegóły. Na szczęście ten sam tryb analizy jest skuteczny w znalezieniu poprawnej interpretacji.
whuber
@NRH Gotowe. Z zadowoleniem przyjmuję twoje sugestie (lub kogokolwiek innego) na temat tego, jak uczynić interpretację jaśniejszą lub alternatywnych interpretacji.
whuber
1
dzięki za zapisanie tego. Pełna odpowiedź jest bardzo dobrym odniesieniem.
NRH
1

Spróbuj wziąć pod uwagę to wyjaśnienie oprócz tego, co @whuber już tak dobrze napisał. Jeżeli exp (B) = 6, to iloraz szans związany ze wzrostem 1 na danym predyktorze wynosi 6. W kontekście wielomianowym przez „iloraz szans” rozumiemy stosunek tych dwóch wielkości: a) iloraz szans ( nie prawdopodobieństwo, ale raczej p / [1-p]) przypadku przyjmującego wartość zmiennej zależnej wskazanej w danej tabeli wyjściowej, oraz b) prawdopodobieństwo przypadku przyjmującego wartość odniesienia zmiennej zależnej.

Wygląda na to, że chcesz oszacować prawdopodobieństwo, a nie prawdopodobieństwo, że sprawa należy do jednej lub drugiej kategorii. Aby to zrobić, musisz wiedzieć, z jakimi prawdopodobieństwami przypadek „zaczął się” - tj. Zanim założymy wzrost o 1 na danym predyktorze. Stosunki prawdopodobieństw będą się różnić w zależności od przypadku, podczas gdy stosunek szans związanych ze wzrostem 1 na predyktorze pozostaje taki sam.

rolando2
źródło
„Jeśli exp (B) = 6, to iloraz szans związany ze wzrostem 1 na predyktorze wynosi 6”, jeśli poprawnie przeczytam odpowiedź @ Whubera, to powie, że iloraz szans zostanie pomnożony przez 6 ze wzrostem o 1 na predyktorze. Oznacza to, że nowy iloraz szans nie będzie wynosił 6. Czy też źle interpretuję?
rbm
Gdzie można powiedzieć, że „nowy kurs stosunek nie będzie 6” Powiedziałbym, że „nowe kursy nie będą 6 ... ale stosunek nowego do starych kursów będzie 6.”
rolando2
Tak, zgadzam się z tym! Ale właśnie pomyślałem, że „iloraz szans związany ze wzrostem 1 na danym predyktorze wynosi 6”, tak naprawdę nie mówi. Ale może po prostu źle to interpretuję. Dziękuję za wyjaśnienie!
rbm
1

Szukałem również tej samej odpowiedzi, ale powyższe nie były dla mnie satysfakcjonujące. Wydawało się, że jest skomplikowane tak, jak naprawdę jest. Podam więc moją interpretację, proszę mnie poprawić, jeśli się mylę.

Czytaj jednak do końca, ponieważ jest to ważne.

Przede wszystkim szukasz wartości B i Exp (B). Jeśli B jest ujemne, twój Exp (B) będzie niższy niż jeden, co oznacza spadek szans. Jeśli wyższy Exp (B) będzie wyższy niż 1, co oznacza wzrost szans. Ponieważ mnożymy przez współczynnik Exp (B).

Niestety jeszcze cię tam nie ma. Ponieważ w regresji wielomianowej zmienna zależna ma wiele kategorii, nazwijmy te kategorie D1, D2 i D3. Z których ostatnia to kategoria referencyjna. Załóżmy, że twoją pierwszą niezależną zmienną jest płeć (mężczyźni vs. kobiety).

Powiedzmy, że wyjście dla D1 -> mężczyzn wynosi exp (B) = 1,21, oznacza to, że mężczyźni zwiększają szanse o współczynnik 1,21, ponieważ należą do kategorii D1 zamiast D3 (kategoria referencyjna) w porównaniu do kobiet (kategoria referencyjna).

Zawsze porównujesz swoją kategorię referencyjną zmiennych zależnych, ale także niezależnych. Nie jest to prawdą, jeśli masz zmienną towarzyszącą. W takim przypadku oznaczałoby to; wzrost X o jedną jednostkę zwiększa szanse o 1,21 bycia w kategorii D1 zamiast D3.

Dla osób ze zmienną zależną porządkową:

Jeśli masz zmienną zależną od liczby porządkowej i nie zrobiłeś regresji porządkowej z powodu założenia na przykład proporcjonalnych szans. Pamiętaj, że najwyższą kategorią jest kategoria referencyjna. Twój wynik jak wyżej jest ważny do zgłoszenia. Należy jednak pamiętać, że wzrost szans w rzeczywistości oznacza wzrost szans na znalezienie się w niższej kategorii niż w wyższej kategorii! Ale to tylko wtedy, gdy masz porządkową zależną zmienną.

Jeśli chcesz poznać wzrost procentowy, weź fikcyjną liczbę szans, powiedzmy 100 i pomnóż ją przez 1,21, czyli 121? W porównaniu do 100, jak bardzo zmieniło się to procentowo?

Fico
źródło
0

Powiedzmy, że exp (b) w mlogit wynosi 1,04. jeśli pomnożysz liczbę przez 1,04, to wzrośnie o 4%. Takie jest względne ryzyko bycia w kategorii a zamiast b. Podejrzewam, że ta część zamieszania może mieć związek z 4% (mnożeniem) i 4 punktami procentowymi (znaczenie addytywne). Interpretacja% jest poprawna, jeśli mówimy o zmianie procentowej, a nie zmianie procentowej. (To ostatnie nie miałoby sensu, ponieważ względne ryzyko nie jest wyrażone w procentach).

natalia
źródło