Jak wyjaśnimy różnicę między regresją logistyczną a siecią neuronową odbiorcom, którzy nie mają doświadczenia w statystyce?
logistic
neural-networks
użytkownik16789
źródło
źródło
Odpowiedzi:
Zakładam, że myślisz o tym, co kiedyś było, i być może nadal są określane jako „wielowarstwowe perceptrony” w pytaniu dotyczącym sieci neuronowych. Jeśli tak, to wyjaśnię całość elastycznością dotyczącą formy granicy decyzji w funkcji zmiennych objaśniających. W szczególności dla tej grupy odbiorców nie wspomniałbym o funkcjach linków / logarytmach itp. Po prostu trzymaj się idei, że prawdopodobieństwo zdarzenia jest przewidywane na podstawie niektórych obserwacji.
Oto możliwa sekwencja:
Zaletą tego podejścia jest to, że tak naprawdę nie musisz wnikać w żaden matematyczny szczegół, aby podać właściwy pomysł. W rzeczywistości nie muszą już rozumieć regresji logistycznej ani sieci neuronowych, aby zrozumieć podobieństwa i różnice.
Wadą tego podejścia jest to, że musisz zrobić dużo zdjęć i zdecydowanie oprzeć się pokusie zejścia do algebry, aby wyjaśnić różne rzeczy.
źródło
Dla prostszego podsumowania:
Regresja logistyczna: najprostsza forma sieci neuronowej, która powoduje, że granice decyzji są linią prostą
Sieci neuronowe: nadzbiór, który obejmuje regresję logistyczną, a także inne klasyfikatory, które mogą generować bardziej złożone granice decyzyjne.
(uwaga: mam na myśli „prostą” regresję logistyczną, bez pomocy zintegrowanych jąder)
(odniesienie: kursy deeplearning.ai Andrew Ng, „Regresja logistyczna jako sieć neuronowa” i „Klasyfikacja danych planarnych z jedną ukrytą warstwą”)
źródło
Przyjmę pytanie dosłownie: ktoś bez doświadczenia w statystyce. I nie zamierzam dać tej osobie tła w statystykach. Załóżmy na przykład, że musisz wyjaśnić różnicę prezesowi firmy lub coś w tym rodzaju.
Zatem: Regresja logistyczna jest narzędziem do modelowania zmiennej kategorialnej pod względem innych zmiennych. Daje to sposoby, aby dowiedzieć się, jak zmiany w każdej z „innych” zmiennych wpływają na szanse różnych wyników w pierwszej zmiennej. Wynik jest dość łatwy do interpretacji.
Sieci neuronowe to zestaw metod pozwalających komputerowi uczyć się na przykładach w sposób, który niejasno przypomina sposób, w jaki ludzie dowiadują się o rzeczach. Może to skutkować modelami, które są dobrymi predyktorami, ale zwykle są znacznie bardziej nieprzejrzyste niż modele z regresji logistycznej.
źródło
Nauczono mnie, że można myśleć o sieciach neuronowych (z funkcjami aktywacji logistycznej) jako o średniej ważonej funkcji logit, z oszacowaniem samych wag. Wybierając dużą liczbę logów, możesz dopasować dowolną formę funkcjonalną. W blogu Econometric Sense jest trochę intuicji graficznej .
źródło
Inne odpowiedzi są świetne. Dodałbym tylko kilka zdjęć pokazujących, że można myśleć o regresji logistycznej i regresji logistycznej wielu klas (aka maxent, wielomianowa regresja logistyczna, regresja softmax, klasyfikator maksymalnej entropii) jako specjalnej architekturze sieci neuronowych.
Od Sebastiana Raschki z Michigan State University na temat KDnuggets :
Jeszcze kilka ilustracji dla wieloklasowej regresji logistycznej:
Podobna ilustracja pochodzi z http://www.deeplearningbook.org/ rozdział 1:
I jeszcze jeden z samouczków TensorFlow :
Np. W Caffe zaimplementowałbyś regresję logistyczną w następujący sposób :
źródło
Chciałbym skorzystać z przykładu skomplikowanego, ale konkretnego problemu, który rozumie publiczność. Używaj ukrytych węzłów, których interpretacje nie są szkolone, ale mają szczególne znaczenie.
Jeśli użyjesz pozycji szachowych (przewidując, czy biały wygra), możesz pozwolić, aby dane wejściowe były reprezentacją planszy (zignoruj, czy możesz zamykać lub przechwytywać en passant, a nawet czyje to ruchy), powiedz64 × 12 dane binarne wskazujące, czy na każdym kwadracie znajduje się element każdego typu.
Regresja liniowa określa, jak dobrze mieć białego rycerza na h4. Może nie być oczywiste, że jest w ogóle dobry, ale jeśli jest na h4, nie został przechwycony, co prawdopodobnie przeważa nad innymi względami. Regresja liniowa prawdopodobnie odzyskuje przybliżone wartości pionów i że lepiej jest trzymać je w kierunku środka planszy i po stronie przeciwnika. Regresja liniowa nie jest w stanie wycenić kombinacji, na przykład twoja królowa na b2 staje się nagle bardziej wartościowa, jeśli przeciwny król jest na a1.
Sieć neuronowa mogłaby mieć ukryte węzły dla pojęć, takich jak „przewaga materialna”, „bezpieczeństwo czarnego króla”, „kontrola centrum”, „obie wieże na teczce d”, „izolowany pion gawron królowej” lub „biskup” ruchliwość." Niektóre z nich można oszacować tylko na podstawie danych wejściowych płytki, podczas gdy inne mogą wymagać ukrytej warstwy. Sieć neuronowa może wykorzystać je jako dane wejściowe do ostatecznej oceny pozycji. Te pojęcia pomagają ekspertowi ocenić pozycję, więc sieć neuronowa powinna być w stanie dokonywać dokładniejszych ocen niż regresja liniowa. Jednak utworzenie sieci neuronowej wymaga więcej pracy, ponieważ musisz wybrać jej strukturę i trzeba trenować o wiele więcej parametrów.
źródło