Efekt NIE zmieniania ciężaru filtra CNN podczas korekcji zwrotnej

10

Jaki jest efekt NIE zmieniania ciężarów filtrów CNN podczas propagacji wstecznej? Zmieniłem tylko w pełni połączone wagi warstw podczas treningu w zbiorze danych MNIST i nadal osiągałem prawie 99 procent dokładności.

machine-learning cnn mnist Abhisek Dash
źródło
Ciekawe, czy zacząłeś od wag losowych, czy korzystałeś z wag z poprzedniej sieci? Czy twoja miara dokładności zależy od zestawu treningowego, czy zestawu testowego?
Neil Slater,
@Neil Slater: Zacząłem od losowych wag gaussowskich. Miarą dokładności jest zestaw testowy.
Abhisek Dash
@Neil Slater: Dokładność prawie pozostaje taka sama, nawet przy różnych inicjalizacjach filtrów. Użyłem 2 warstw splotu i maksymalnej puli oraz warstwy FC z 256 ukrytymi neuronami
Abhisek Dash

Odpowiedzi:

12

Nie zmieniając ciężaru warstw splotowych CNN, w zasadzie podajesz swoje klasyfikatory (warstwa w pełni połączona) losowymi cechami (tj. Nie optymalnymi cechami dla danego zadania klasyfikacyjnego).

MNIST jest dość łatwym zadaniem do klasyfikacji obrazów, które można w zasadzie przesłać pikselami wejściowymi do klasyfikatora bez wyodrębniania cech i nadal osiąga wyniki w wysokich latach 90-tych. Poza tym być może warstwy puli pomagają trochę ...

Spróbuj wyszkolić MLP (bez warstw konw / puli) na obrazie wejściowym i zobacz, jak się on układa. Oto przykład, w którym MLP (1 ukryta i 1 warstwa wyjściowa) osiągnęła 98% + bez wstępnego przetwarzania / ekstrakcji funkcji.

Edytować:

Chciałbym również zwrócić uwagę na inną odpowiedź, którą napisałem, która szczegółowo opisuje, dlaczego MNIST jest tak prosty jak zadanie klasyfikacji obrazów.

Djib2011
źródło