Prowadzimy wiele dobrych dyskusji na temat idealnej separacji w regresji logistycznej. Takich jak regresja logistyczna w R doprowadziła do idealnej separacji (zjawisko Haucka-Donnera). Co teraz? a model regresji logistycznej nie jest zbieżny .
Osobiście nadal uważam, że nie jest intuicyjne, dlaczego będzie to problem i dlaczego dodanie regularyzacji to rozwiąże. Zrobiłem kilka animacji i myślę, że będzie to pomocne. Zadaj więc swoje pytanie i sam odpowiedz na nie, aby podzielić się ze społecznością.
Odpowiedzi:
Demonstracja 2D z danymi zabawek zostanie wykorzystana do wyjaśnienia, co działo się w celu idealnej separacji regresji logistycznej z i bez regularyzacji. Eksperymenty rozpoczęły się od nakładającego się zestawu danych i stopniowo dzielimy dwie klasy. Kontur funkcji celu i optymima (utrata logistyczna) zostaną pokazane na prawej części rysunku. Dane i liniową granicę decyzyjną przedstawiono na lewej rycinie.
Najpierw próbujemy regresji logistycznej bez regularyzacji.
Następnie próbujemy regresji logistycznej z regularyzacją L2 (L1 jest podobny).
Przy tej samej konfiguracji dodanie bardzo małej regularyzacji L2 zmieni zmiany funkcji celu względem rozdzielenia danych.
W takim przypadku zawsze będziemy mieć cel „wypukły”. Bez względu na stopień separacji danych.
kod (używam tego samego kodu do tej odpowiedzi: metody regularyzacji dla regresji logistycznej )
źródło