Czy „głębokie uczenie się” to kolejny termin na modelowanie wielopoziomowe / hierarchiczne?
Jestem znacznie bardziej zaznajomiony z tym drugim niż ten pierwszy, ale z tego, co mogę powiedzieć, podstawowa różnica nie polega na ich definicji, ale na tym, jak są one używane i oceniane w ich domenie aplikacji.
Wygląda na to, że liczba węzłów w typowej aplikacji „dogłębnego uczenia się” jest większa i wykorzystuje ogólną formę hierarchiczną, podczas gdy aplikacje modelowania wielopoziomowego zwykle używają relacji hierarchicznych, które naśladują modelowany proces generacyjny. Zastosowanie ogólnej hierarchii w dziedzinie statystyki stosowanej (modelowanie hierarchiczne) byłoby uważane za „niepoprawny” model zjawisk, podczas gdy modelowanie hierarchii specyficznej dla domeny można by uznać za obalenie celu stworzenia ogólnej maszyny do głębokiego uczenia się.
Czy te dwie rzeczy są naprawdę tą samą maszyną pod dwiema różnymi nazwami, używaną na dwa różne sposoby?
źródło
Chociaż to pytanie / odpowiedź jest już od dłuższego czasu, pomyślałem, że pomocne może być wyjaśnienie kilku punktów w odpowiedzi. Po pierwsze, fraza podniesiona jako główne rozróżnienie między metodami hierarchicznymi a głębokimi sieciami neuronowymi „Ta sieć jest stała”. jest nieprawidłowe. Metody hierarchiczne nie są bardziej „ustalone” niż alternatywne sieci neuronowe. Patrz na przykład artykuł Deep Learning with Hierarchical Convolutional Factor Analysis, Chen i in. glin.. Myślę, że przekonasz się również, że wymóg definiowania interakcji nie jest już punktem odróżniającym. Z mojego doświadczenia wynika, że kilka punktów, które nie są wymienione jako plus w modelowaniu hierarchicznym, to znacznie zmniejszony problem nadmiernego dopasowania i zdolność do radzenia sobie zarówno z bardzo dużymi, jak i bardzo małymi zestawami treningowymi. Najważniejsze jest to, że gdy stosuje się bayesowskie metody hierarchiczne, przedziały ufności i testowanie hipotez nie są na ogół metodami statystycznymi, które można by zastosować.
źródło