Jak działa regresja krokowa?

11

Użyłem następującego kodu R, aby dopasować model probit:

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

Chcę wiedzieć, co dokładnie robi stepwisei co robi backward/forwardi jak wybierać zmienne?

Mahmoud
źródło
7
Kilka komentarzy Franka Harrella ( stats.stackexchange.com/users/4253/frank-harrell ) na temat tego, dlaczego regresja krokowa jest zła: stata.com/support/faqs/statistics/stepwise-regression-problems
4
Oprócz linków BabakP, spójrz również na ten post ze strony.
COOLSerdash
3
Kolejnym postem na temat problemów z krokami (a także do tyłu i do przodu) jest artykuł, który napisałem z Davidem Cassellem: Stopping Stepwise
Peter Flom - Reinstate Monica
@PeterFlom, w celu odniesienia się do tego artykułu, mam pewne problemy ze zrozumieniem właściwego cytowania. Czy mógłbyś wymienić to tutaj? Dzięki.
doug.numerers
2
@ doug.numbers Zostało przedstawione różne miejsca i opublikowane w ramach obrad konferencji. Jeśli Google „Flom, Cassell, Stepwise” dostaniesz miejsca, w których został zaprezentowany i możesz go sformatować, jednak formatujesz cytaty do opublikowanych prezentacji.
Peter Flom - Przywróć Monikę

Odpowiedzi:

10

Zasada stopniowego wyboru

  1. Pasujesz do modelu ze wszystkimi zmiennymi, które chcesz. To twój obecny najlepszy model.
  2. Usuwasz jedną zmienną (lub dodajesz jedną spośród zmiennych nieużywanych w bieżącym najlepszym modelu), a dla każdej z nich dopasowujesz nowy model i porównujesz je z każdą inną i oryginalną, zgodnie z BIC (lub dowolnym inne kryterium, takie jak AIC ). Otrzymasz kolejny „aktualny najlepszy model”.

Powtarzasz 2., dopóki nie nastąpi redukcja BIC. Masz tylko lokalne minimum BIC, co oznacza, że ​​możesz nie uzyskać najlepszego modelu spośród wszystkich możliwych wyborów podzbiorów zmiennych. Ale i tak zwykle jest ich zbyt wiele, więc jest to sposób na optymalizację, bez zbytniego nakładu pracy.

Zobacz także regresję krokową i wybór modelu na Wikipedii.


źródło
5

Regresja krokowa zasadniczo pasuje do modelu regresji, dodając / upuszczając zmienne towarzyszące pojedynczo na podstawie określonego kryterium (w powyższym przykładzie kryterium byłoby oparte na BIC).

Określając „naprzód” mówisz R, że chcesz zacząć od najprostszego modelu (tj. Jednej zmiennej towarzyszącej), a następnie dodawać jedną zmienną towarzyszącą na raz, zachowując tylko te, które skutkują ulepszeniem modeli BIC.

Podając wstecz, mówisz R, że chcesz zacząć od pełnego modelu (tj. Modelu ze wszystkimi zmiennymi towarzyszącymi), a następnie porzucać zmienne towarzyszące, po jednym, co spowoduje poprawę BIC.

Regresja krokowa może być bardzo niebezpieczną procedurą statystyczną, ponieważ nie jest optymalną procedurą wyboru modelu. Metoda może prowadzić do bardzo złego wyboru modelu, ponieważ nie chroni cię przed problemami, takimi jak wielokrotne porównania.


źródło
Dzięki. A co z „wstecz / do przodu”?
Mahmoud,
Co masz na myśli mówiąc o wstecz / do przodu?
Jedną z metod stpewise () w R jest „wstecz / do przodu”! Czy to połączenie obu?
Mahmoud,
2
Och przepraszam, teraz rozumiem o co pytasz. Tak, jeśli określisz oba, to będzie to miało zastosowanie zarówno do przodu, jak i do tyłu i wybierze ten z najlepszym kryterium.