Różnice między losową regresją logistyczną a zwykłą waniliową regresją logistyczną

Chciałbym poznać różnice pomiędzy randomizowanego regresja logistyczna (RLR) i zwykły regresja logistyczna (LR), dlatego czytam gazetę „Wybór Stabilność” przez Meinshausen, et al. ; jednak nie rozumiem, czym jest RLR i jakie są różnice między RLR i LR.

Czy ktoś mógłby wskazać, co powinienem przeczytać, aby zrozumieć RLR? Czy jest prosty przykład na początek?

Możesz sprawdzić to odniesienie . Sci-kit learn implementuje losową regresję logistyczną i tam opisano metodę.

Ale aby odpowiedzieć na twoje pytanie, te dwie metody różnią się znacznie pod względem celów. Regresja logistyczna polega na dopasowaniu modelu, a RLR polega na znalezieniu zmiennych, które trafiają do modelu.

Waniliowa regresja logistyczna jest uogólnionym modelem liniowym. W przypadku odpowiedzi binarnej zakładamy, że iloraz szans prawdopodobieństwa odpowiedzi jest funkcją liniową szeregu predyktorów. Współczynniki predyktorów są szacowane przy użyciu maksymalnego prawdopodobieństwa, a wnioskowanie na temat parametrów jest następnie oparte na właściwościach dużej próbki modelu. Aby uzyskać najlepsze wyniki, zazwyczaj zakładamy, że model jest dość prosty i dobrze zrozumiany. Wiemy, jakie zmienne niezależne wpływają na odpowiedź. Chcemy oszacować parametry modelu.

Oczywiście w praktyce nie zawsze wiemy, jakie zmienne powinny zostać uwzględnione w modelu. Jest to szczególnie prawdziwe w sytuacjach uczenia maszynowego, w których liczba potencjalnych zmiennych objaśniających jest ogromna, a ich wartości są rzadkie.

Przez lata wiele osób próbowało zastosować techniki dopasowania modelu statystycznego do celów selekcji zmiennych (czytaj „cecha”). Zwiększając poziom niezawodności:

1. Dopasuj duży model i upuść zmienne z nieistotnymi statystykami Walda. Nie zawsze produkuje najlepszy model.
2. Spójrz na wszystkie możliwe modele i wybierz „najlepsze”. Intensywnie obliczeniowe i mało odporne.
3. Dopasuj duży model z karą L1 (styl lasso). Bezużyteczne zmienne zostają upuszczone. Lepsze, ale niestabilne z rzadkimi matrycami.
4. Metoda randomizacji 3. Weź losowe podzbiory, dopasuj do nich model karany i zestaw wyniki. Często wybierane są zmienne. Gdy odpowiedź jest binarna, jest to losowa regresja logistyczna. Podobną technikę można wyciągnąć przy użyciu ciągłych danych i ogólnego modelu liniowego.