Moje pytanie dotyczy związku między hipotezą efektywnego kodowania, która została opisana na stronie Wikipedii dotyczącej wydajnego kodowania i algorytmów uczenia sieci neuronowej.
Jaki jest związek między efektywną hipotezą kodowania a sieciami neuronowymi?
Czy są jakieś modele sieci neuronowych wyraźnie zainspirowane hipotezą wydajnego kodowania?
Czy może bardziej sprawiedliwym byłoby stwierdzenie, że wszystkie algorytmy uczenia sieci neuronowej są przynajmniej domyślnie oparte na wydajnym kodowaniu?
neural-networks
information-theory
Mike NZ
źródło
źródło
Odpowiedzi:
Uważam, że można argumentować, że nawiązano połączenie. Przepraszam, że nie opublikowałem mojego źródła, ponieważ nie mogłem go znaleźć, ale pochodziło ono ze starego slajdu, który przedstawił Hinton. Twierdził w nim, że jednym z podstawowych sposobów myślenia dla tych, którzy uczą się maszynowo (ponieważ prezentacja była wcześniejsza niż powszechne użycie słowa głębokie uczenie się) było to, że istnieje optymalna transformacja danych, dzięki czemu dane mogą być łatwo nauczyli. Uważam, że w przypadku sieci neuronowych „optymalna transformacja” danych za pomocą podpory tylnej jest skuteczną hipotezą kodowania w działaniu. W taki sam sposób, jak w przypadku właściwego jądra, wiele przestrzeni można łatwo sklasyfikować za pomocą modeli liniowych, ucząc się właściwego sposobu przekształcania i przechowywania danych JEST analogicznie do tego, w jaki sposób i jak neurony powinny być ustawione do reprezentowania danych.
źródło