Informacje poza matrycą dla regresji logistycznej

Jest dla mnie jasne i dobrze wyjaśnione na wielu stronach, jakie informacje wartości na przekątnej macierzy kapelusza dają regresję liniową.

Macierz kapeluszowa modelu regresji logistycznej jest dla mnie mniej jasna. Czy jest identyczny z informacjami uzyskanymi z matrycy kapelusza przy zastosowaniu regresji liniowej? Oto definicja macierzy kapelusza, którą znalazłem na inny temat CV (źródło 1):

$H=VX ( X'V X)^-1 X' V$

z X wektor zmiennych predykcyjnych, a V jest macierzą diagonalną z $\sqrt{(π(1−π))}$ .

Czy innymi słowy, prawdą jest również to, że konkretna wartość macierzy kapelusza z obserwacji przedstawia także pozycję zmiennych towarzyszących w przestrzeni zmiennych towarzyszących i nie ma nic wspólnego z wartością końcową tej obserwacji?

Jest to zapisane w książce „Kategoryczna analiza danych” Agresti:

Im większa dźwignia obserwacji, tym większy potencjalny wpływ na dopasowanie. Podobnie jak w regresji zwykłej, dźwignie mieszczą się w przedziale od 0 do 1 i sumują się do liczby parametrów modelu. W przeciwieństwie do zwykłej regresji, wartości kapelusza zależą od dopasowania, a także od matrycy modelu, a punkty o ekstremalnych wartościach predykcyjnych nie muszą mieć dużej dźwigni.

Czyli z tej definicji nie możemy korzystać, ponieważ używamy jej w zwykłej regresji liniowej?

Źródło 1: Jak obliczyć macierz kapelusza dla regresji logistycznej w R?

Pozwól mi trochę zmienić notację i zapisać macierz kapelusza jako gdzie jest diagonalną macierzą symetryczną z elementami ogólnymi . Oznaczają w grupach osób o tej samej wartości współzmiennej . Możesz uzyskać element ukośny ( ) macierzy kapelusza jako Następnie suma daje liczbę parametrów jak w regresji liniowej. Teraz na twoje pytanie:

$$H = V^{\frac{1}{2}}X(X'VX)^{-1}X'V^{\frac{1}{2}}$$ $V$$v_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right]$$m_j$$x = x_j$$j^{th}$$h_j$ $$h_j = m_j \pi (x_j) \left[1 - \pi (x_j) \right] x'_j (X'VX)^{-1}x'_j$$ $h_j$

Interpretacja wartości dźwigni w macierzy kapelusza zależy od szacowanego prawdopodobieństwa . Jeśli , możesz interpretować wartości dźwigni w podobny sposób, jak w przypadku regresji liniowej, tj. Dalsze oddalenie od średniej daje wyższe wartości. Jeśli znajdujesz się na krańcowych krańcach rozkładu prawdopodobieństwa, te wartości dźwigni mogą nie mierzyć odległości w tym samym sensie. Jest to pokazane na poniższym rysunku z Hosmer i Lemeshow (2000):$\pi$$0.1 < \pi < 0.9$

W tym przypadku najbardziej ekstremalne wartości w przestrzeni współzmiennej mogą dać najmniejszą dźwignię, co jest sprzeczne z przypadkiem regresji liniowej. Powodem jest to, że dźwignia w regresji liniowej jest funkcją monotoniczną, co nie jest prawdą w przypadku nieliniowej regresji logistycznej. W powyższym sformułowaniu diagonalnych elementów matrycy kapelusza występuje monotonicznie rosnąca część, która reprezentuje odległość od średniej. To jest część , na którą możesz spojrzeć, jeśli interesuje Cię tylko odległość per se. Większość statystyk diagnostycznych dla regresji logistycznych wykorzystuje pełną dźwignię , więc ta oddzielna część monotoniczna rzadko jest uważana za samą.$x'_j (X'VX)^{-1}x'_j$$h_j$

Jeśli chcesz głębiej przeczytać ten temat, zapoznaj się z artykułem Pregibona (1981), który wyprowadził macierz kapelusza logistycznego, oraz książką Hosmer i Lemeshow (2000).

• Pregibon, D. (1981) „Diagnostyka regresji logistycznej”, Annals of Statistics, t. 9 (4), s. 705–724

• Hosmer, DW i Lemeshow, S. (2000) „Applied Logistic Regression”, wydanie drugie, John Wiley and Sons, Inc.