Szukałem w Google, Wikipedii, Google Scholar i innych, ale nie mogłem znaleźć źródła Autoencoderów. Być może jest to jedna z tych koncepcji, które ewoluowały bardzo stopniowo i nie można prześledzić wyraźnego punktu wyjścia, ale nadal chciałbym znaleźć jakieś podsumowanie głównych etapów ich rozwoju.
Rozdział o autoencoders w Ian Goodfellow, Yoshua Bengio i książki Aaron Courville Deep Learning mówi:
Idea autoencoderów jest częścią historycznego krajobrazu sieci neuronowych od dziesięcioleci (LeCun, 1987; Bourlard i Kamp, 1988; Hinton i Zemel, 1994). Tradycyjnie do redukcji wymiarów lub uczenia funkcji wykorzystywano autokodery.
Ta prezentacja Pascala Vincenta mówi:
Odmawianie za pomocą klasycznych autoencoderów zostało wprowadzone znacznie wcześniej (LeCun, 1987; Gallinari i in., 1987), jako alternatywa dla sieci Hopfield (Hopfield, 1982).
Wydaje się to sugerować, że „klasyczne autoencodery” istniały wcześniej: LeCun i Gallinari użyli ich, ale ich nie wymyślili. Nie widzę śladu „klasycznych autoencoderów” wcześniej niż w 1987 roku.
Jakieś pomysły?
źródło
Poniższy artykuł mówi o autoencoderze pośrednio i pochodzi z 1986 roku (czyli o rok wcześniej niż artykuł Ballarda z 1987 roku)
DE Rumelhart, GE Hinton i RJ Williams, „Uczenie się wewnętrznych reprezentacji poprzez propagację błędów”. , Równoległe przetwarzanie rozproszone. Vol 1: Fundations. MIT Press, Cambridge, MA, 1986.
Artykuł zasadniczo opisuje nowatorski rodzaj sieci przekazywania informacji w tamtym czasie i jej matematyczny formalizm.
źródło