Czy mogę używać algorytmów glm do wielomianowej regresji logistycznej?

Używam Spotfire (S ++) do analizy statystycznej w moim projekcie i muszę uruchomić wielomianową regresję logistyczną dla dużego zestawu danych. Wiem, że najlepszym algorytmem byłby mlogit, ale niestety nie jest on dostępny w s ++. Mam jednak opcję użycia algorytmu glm dla tej regresji. Chcę tu wyjaśnić dwie rzeczy:

1. Czy rozumiem, że glm może być również używany do uruchamiania wielomianowej regresji logistycznej?

1. Jeśli odpowiedź na poprzednie pytanie brzmi „tak”, to jakie parametry należy zastosować w glm algo?

Dzięki,

Tak, dzięki Poisson GLM (logarytmiczny model liniowy) możesz dopasować modele wielomianowe. Stąd wielomianowe logistyczne lub logiczne liniowe modele Poissona są równoważne.

Musisz zobaczyć liczby losowe jako losowe zmienne Poissona ze średnimi μ_ {ij} i określić następujący model logarytmiczno-liniowyμ i $y_{ij}$$μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

Aby uzyskać wielomianowy model dziennika, parametry są następujące:

Parametr dla każdej obserwacji wielomianowej, na przykład osób lub grupy. Zapewnia to dokładne odtworzenie mianowników wielomianowych i faktycznie ustanawia równoważność modelu Poissona i modelu wielomianowego. Są ustalone na prawdopodobieństwie wielomianowym, ale losowe na prawdopodobieństwie Poissona.$p_i$

Parametr dla każdej kategorii odpowiedzi. W ten sposób liczby mogą być różne dla każdej kategorii odpowiedzi, a marginesy mogą być nierównomierne.$c_j$

To, co naprawdę Cię interesuje, to terminy interakcji które reprezentują wpływ na logarytmiczne szanse na odpowiedź .x i$x_iβ_j$$x_i$$j$

Log-odds można po prostu obliczyć za pomocą . Jest to logarytmiczne prawdopodobieństwo, że obserwacja i spadnie do kategorii odpowiedzi j względem kategorii odpowiedzi .$\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$$k$

Następnie parametry w wielomianowym modelu logit (oznaczonym literami łacińskimi) można uzyskać jako różnice między parametrami w odpowiednim logarytmicznym modelu liniowym, tj. i .b j = β j - β$a_j = α_j-α_k$$b_j = β_j-β_k$

Tak, możesz i tak właśnie robi pakiet R GLMNET dla wielomianowej regresji logistycznej. Zapisywanie funkcji wiarygodności dziennika jako:

$$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$$

Gdzie oznacza obserwacje, a oznacza kategorie wielomianowe to obserwowana liczba obserwacji w kategorii . Obserwacje są zdefiniowane przez ich unikalne kombinacje zmiennych towarzyszących - lub alternatywnie możemy zezwolić na duplikaty i ustawić każde , abyśmy mieli kategoryczne dane „binarne” (.... nie wiem, co to jest liczba mnoga binarna). ...) Dla regresji logistycznej prawdopodobieństwa są zdefiniowane jako:c n i c i c n i c = $i$$c$$n_{ic}$$i$$c$$n_{ic}=1$

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$$

Jest to parametryzacja niepełna rangi i może być użyteczna, jeśli używasz prawdopodobieństwa karanego (takiego jak GLMNET). Zasadniczo moglibyśmy użyć IRLS / newton rhapson na pełnej macierzy beta , jednak otrzymacie macierze nie przekątnej. Alternatywnie możemy zoptymalizować „styl Gibbsa”, ustawiając wszystkie kategorie bet z wyjątkiem jednej, a następnie optymalizując nieco powyżej tej kategorii. Następnie przejdź do następnej kategorii i tak dalej. Widać to, ponieważ prawdopodobieństwa mają formę$(\beta_1,\dots,\beta_{C})$

pic′=

$$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$$ $$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$$

Że kwadratowe rozwinięcie o będzie miało taką samą formę jak dla regresji logistycznej, ale z wagami IRLS obliczonymi inaczej - chociaż nadal mamy w zwykłej aktualizacji wersji beta.$\beta_c$$W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$$(X^TWX)^{-1}X^TWY$