Różnice między regresją logistyczną a perceptronami

Jak rozumiem, sztuczna sieć neuronowa perceptron / jednowarstwowa z funkcją aktywacji logistycznej sigmoidu jest tym samym modelem co regresja logistyczna. Oba modele podano w równaniu:

$F(x) = \frac{1}{1-e^{-\beta X}}$

Algorytm uczenia się perceptronu jest online i oparty na błędach, podczas gdy parametry regresji logistycznej można nauczyć przy użyciu różnych algorytmów wsadowych, w tym spadku gradientu i BFGS o ograniczonej pamięci, lub algorytmu online, takiego jak gradient gradientu stochastycznego. Czy są jakieś inne różnice między regresją logistyczną a sigmoidalnym perceptronem? Czy należy oczekiwać, że wyniki regresora logistycznego wyszkolonego ze stochastycznym spadkiem gradientu będą podobne do perceptronu?

Wspomniałeś już o ważnych różnicach. Wyniki nie powinny się tak bardzo różnić.

Uważam, że jedną różnicą, której brakuje, jest fakt, że regresja logistyczna zwraca zasadnicze prawdopodobieństwo klasyfikacji, podczas gdy perceptrony klasyfikują się według twardej granicy.

Jest to wspomniane w artykule Wiki na temat wielomianowej regresji logistycznej .

W rzeczywistości istnieje duża znacząca różnica, która jest związana z różnicami technicznymi, o których wspomniałeś. Regresja logistyczna modeluje funkcję średniej rozkładu Bernoulliego jako równanie liniowe (średnia jest równa prawdopodobieństwu p zdarzenia Bernoulliego). Stosując łącze logit jako funkcję średniej ( p ), logarytm szans (log-odds) można uzyskać analitycznie i wykorzystać jako odpowiedź na tak zwany uogólniony model liniowy. Oszacowanie parametrów w tym GLM jest następnie procesem statystycznym, który daje wartości p i przedziały ufności dla parametrów modelu. Oprócz przewidywania pozwala to na interpretację modelu na podstawie wnioskowania przyczynowego. Tego nie da się osiągnąć za pomocą liniowego Perceptronu.

Perceptron jest procesem inżynierii odwrotnej regresji logistycznej: zamiast logitu y przyjmuje odwrotną logit (logistyczną) funkcję wx i nie stosuje probabilistycznych założeń ani do oszacowania modelu, ani parametru. Szkolenie online da dokładnie takie same oszacowania dla wag / parametrów modelu, ale nie będziesz w stanie zinterpretować ich na podstawie wnioskowania przyczynowego z powodu braku wartości p, przedziałów ufności i cóż, podstawowego modelu prawdopodobieństwa.

Krótko mówiąc, regresja logistyczna jest GLM, która może wykonywać przewidywanie i wnioskowanie, podczas gdy liniowy Perceptron może tylko przewidywać (w takim przypadku będzie działał tak samo jak regresja logistyczna). Różnica między nimi jest również podstawową różnicą między modelowaniem statystycznym a uczeniem maszynowym.