Wybór modelu z regresją logistyczną Firtha

21

W małym zestawie danych ( ), z którym pracuję, kilka zmiennych daje mi idealne przewidywanie / separację . Dlatego do rozwiązania tego problemu używam regresji logistycznej Firtha .n∼100

Jeżeli wybiorę najlepszy model według AIC lub BIC , czy powinienem uwzględnić prawdopodobieństwo kary Firth przy obliczaniu tych kryteriów informacyjnych?

logistic model-selection aic separation StasK
źródło
2
Czy mógłbyś wyjaśnić, dlaczego jest to nieuniknione, ponieważ wybór zmiennych nie pomaga w problemie „zbyt wielu zmiennych, zbyt małej wielkości próby”?
Frank Harrell,
4
To jest tak złe, jak to możliwe.
Frank Harrell,
1
Czy rozważałeś potraktowanie tego problemu wnioskowania bayesowskiego? Regresja logistyczna Firth jest równoważna MAP z jeffreys wcześniej. Można użyć w pełni aproksymacji Laplace'a, aby ocenić krańcowe prawdopodobieństwa - które są jak skorygowany BIC (podobny do AICc)
prawdopodobieństwo prawdopodobieństwa
1
@ użytkownik, ponieważ takie zmienne zwykle przewidują tylko garstkę przypadków, a to jest nie do odtworzenia: prawdziwe prawdopodobieństwo dla tej komórki może być bliskie 90%, ale przy tylko dwóch przypadkach, dostaniesz dwa z nich 81% czasu .
StasK
1
Link do pobrania artykułu K&K (1996) znalezionego w Google Scholar, bemlar.ism.ac.jp/zhuang/Refs/Refs/kitagawa1996biometrika.pdf
Alecos Papadopoulos

Odpowiedzi:

1

n→∞

py(y)=∫L.(θ;y)π(θ)reθ
θ^

Na marginesie, regresja Firtha usuwa również uprzedzenie pierwszego rzędu w rodzinach wykładniczych.

lbelzile
źródło