Wydaje się, że w niektórych przypadkach można uzyskać podobne wyniki do sieci neuronowej z wielowymiarową regresją liniową, a wielowymiarowa regresja liniowa jest bardzo szybka i łatwa.
W jakich okolicznościach sieci neuronowe mogą dawać lepsze wyniki niż wielowymiarowa regresja liniowa?
źródło
Wspominasz o regresji liniowej. Jest to związane z regresją logistyczną , która ma podobny algorytm szybkiej optymalizacji. Jeśli masz granice wartości docelowych, na przykład problem z klasyfikacją, możesz zobaczyć regresję logistyczną jako uogólnienie regresji liniowej.
Sieci neuronowe są bardziej ogólne niż regresja logistyczna na oryginalnych wejściach, ponieważ odpowiada to sieci pomostowej (z połączeniami bezpośrednio łączącymi wejścia z wyjściami) z ukrytymi węzłami.0
Kiedy dodajesz funkcje takie jak , jest to podobne do wybierania wag kilku ukrytym węzłom w pojedynczej ukrytej warstwie. Nie ma dokładnie korespondencji , ponieważ modelowanie funkcji takiej jak z sigmoidami może wymagać więcej niż jednego ukrytego neuronu. Kiedy trenujesz sieć neuronową, pozwalasz jej znaleźć własne ukryte ciężary wejściowe do ukrytych, które mogą być lepsze. Może to również zająć więcej czasu i może być niespójne. Możesz zacząć od przybliżenia do regresji logistycznej z dodatkowymi funkcjami i powoli trenować wagi wejściowe do ukrytych, co ostatecznie powinno być lepsze niż regresja logistyczna z dodatkowymi funkcjami. W zależności od problemu czas szkolenia może być nieistotny lub wygórowany. 1 - 1 x 3x3 1−1 x3
Jedną strategią pośrednią jest wybranie dużej liczby losowych węzłów, podobnie jak w przypadku inicjalizacji sieci neuronowej i naprawienie obciążeń wejściowych do ukrytych. Optymalizacja w stosunku do * wag wyjściowych pozostaje liniowa. Nazywa się to maszyną do ekstremalnego uczenia się . Działa co najmniej tak dobrze, jak oryginalna regresja logistyczna.
źródło
Regresja liniowa ma na celu oddzielenie danych, które można oddzielić liniowo, tak, możesz użyć dodatkowych wielomianów trzeciego stopnia>, ale w ten sposób ponownie wskazałeś pewne założenia dotyczące danych, które masz od czasu zdefiniowania struktury funkcji celu. W sieci neuronowej. na ogół masz warstwę wejściową, która tworzy separatory liniowe dla danych, a ukrytą warstwę ORAZ regiony, które graniczą z niektórymi klasami i ostatnią warstwę LUB o wszystkie te regiony. W ten sposób wszystkie dane, które posiadasz, mogą być klasyfikowane w sposób nieliniowy, również wszystkie te procesy przebiegają z wewnętrznie wyuczonymi wagami i zdefiniowanymi funkcjami. Ponadto zwiększenie liczby cech dla regresji liniowej jest przeciwne do „Przekleństwa wymiarowości”. Ponadto niektóre aplikacje wymagają bardziej wyjściowych wyników probabilistycznych niż stałych liczb.
źródło