Oto interesująca książka Neural Networks: Tricks of the Trade , zaktualizowana wersja książki z 2012 roku. Wiele artykułów autorstwa niektórych z pionierów sieci neuronowych.
Ypx wspaniale poruszył wiele praktycznych zagadnień związanych ze szkoleniem, więc aby poruszyć inne poruszone kwestie: wiele elitarnych laboratoriów przemysłowych wciąż publikuje swoje wyniki. Na przykład zespół Microsoft Research właśnie wygrał ImageNet 2015 i wydał raport techniczny opisujący ich nowy moduł głębokiej sieci: Deep Residual Learning for Image Recognition , zespół Google również opublikował architekturę Inception, Going Deeper with Convolutions . W nietrywialnym stopniu nadal istnieje kultura uczenia maszynowego (na razie) dzielenia się dużymi innowacjami. Być może dlatego, że kluczem jest dostęp do danych. Google i Facebook mają po prostu dostęp do danych, których my nie mamy. Trudno powiedzieć, ile przypisuje się surowym innowacjom algorytmicznym, a ile ogromnej ilości danych.
Co się stanie w przyszłości? Ciężko powiedzieć. Jest to problem, który wiele osób poruszyło, biorąc pod uwagę, jak cenne stały się te firmy oparte na danych i jak konkurencyjny jest rynek. Ale na razie uważam, że istnieje wystarczająca równowaga między tym, co przemysłowe laboratoria badawcze dzielą, a czego nie. Rozumiem, że nie udostępniają dokładnej implementacji kodu. Ale dzielą się kilkoma nowatorskimi innowacjami.
Znajdź badaczy, którzy publikują ważne wyniki i czytają, czytają, czytają. Wierzę w AMA Yanna LeCuna na Reddit, który wspomniał, że jest żarłocznym czytelnikiem. Uważam, że to jest najważniejsze. W zakresie, w jakim jest to praktyczne, spróbuj odtworzyć ich testy porównawcze lub zastosować ich metodę do zestawu danych, który mieści się w Twoim budżecie.
Myślę, że bez względu na to, gdzie jesteś i jaka jest Twoja stacja życiowa, jest to najlepszy sposób, aby zachować czujność i nadal rozwijać swoje umiejętności. Bądź żarłocznym czytelnikiem, wdrażaj rzeczy i buduj intuicję. Osobiście nie mam zasobów, aby brać udział w konkursach ImageNet, ale przeczytanie wszystkich artykułów grupy ImageNet, które osiągnęły najlepsze wyniki, bardzo mi pomogło.