Słuchałem rozmowy i zobaczyłem ten slajd:
Jak to jest prawda?
deep-learning
deep-belief-networks
Franck Dernoncourt
źródło
źródło
Odpowiedzi:
Przeglądałem AI StackExchange i natrafiłem na bardzo podobne pytanie: Co odróżnia „Głębokie uczenie się” od innych sieci neuronowych?
Ponieważ AI StackExchange zamknie się jutro (ponownie), skopiuję tutaj dwie najlepsze odpowiedzi (wkład użytkowników licencjonowany na licencji cc by-sa 3.0 z wymaganą atrybucją):
Autor: mommi84less
Autor: lejlot
Kolejny interesujący slajd:
źródło
źródło
Mówi się, że rezygnacja z Hinton w 2006 roku jest największą poprawą w głębokim uczeniu się w ciągu ostatnich 10 lat, ponieważ znacznie ogranicza nadmierne dopasowanie.
źródło
To z pewnością pytanie wzbudzi kontrowersje.
Kiedy sieci neuronowe są wykorzystywane w głębokim uczeniu się, zwykle są one szkolone w sposób, który nie był używany w latach 80. W szczególności strategie, które wstępnie trenują poszczególne warstwy sieci neuronowej w celu rozpoznawania cech na różnych poziomach, twierdzą, że ułatwiają szkolenie sieci z kilkoma warstwami. To z pewnością nowy rozwój od lat osiemdziesiątych.
źródło
Kluczem jest słowo „głębokie” w głębokim uczeniu się. Ktoś (zapomniał ref) w latach 80-tych okazało się, że wszystkie funkcje nieliniowe może być aproksymowane za pomocą pojedynczej warstwy sieci neuronowych, oczywiście dostatecznie dużej liczby jednostek ukrytych. Myślę, że wynik ten prawdopodobnie zniechęcił ludzi do szukania głębszej sieci we wcześniejszej erze.
Głębokość sieci okazała się jednak kluczowym elementem hierarchicznej reprezentacji, który napędza sukces wielu dzisiejszych aplikacji.
źródło
Nie do końca, ANN rozpoczyna się w latach 50. Sprawdź slajdy jednej z gwiazd rocka ML Yanna LeCuna, aby uzyskać autentyczne i kompleksowe wprowadzenie. http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf
źródło