W poście na blogu „ Budowanie potężnych modeli klasyfikacji obrazów przy użyciu bardzo małej ilości danych” wspomniano o wąskich gardłach. Jakie są cechy wąskiego gardła? Czy zmieniają się wraz z używaną architekturą? Czy są one ostatecznym wyjściem warstw splotowych przed warstwą w pełni połączoną? Dlaczego są tak nazywane?
machine-learning
convolutional-neural-networks
terminology
definitions
Abhishek Bhatia
źródło
źródło
Odpowiedzi:
Jest to wyraźnie napisane w łączu, który podałeś „wąskie gardło” z modelu VGG16: ostatnie mapy aktywacyjne przed w pełni połączonymi warstwami .
Pewnie. Autor najprawdopodobniej zastosował wstępnie wyszkolony model (wyszkolony na dużych danych, a teraz używany tylko jako ekstraktor funkcji)
Tak.
Biorąc pod uwagę wielkość wejściową VGG, mapy funkcji wymiarów HxW stają się dwa razy mniejsze po każdej operacji puli maksymalnej. HxW jest najmniejsza na ostatniej warstwie splotowej.
źródło
Najpierw musimy porozmawiać o uczeniu się przez transfer. Wyobraź sobie, że trenowałeś sieć neuronową za pomocą zestawu danych obrazów do wykrywania kotów. Możesz wykorzystać część treningu, który wykonałeś, aby pracować nad innym wykrywaniem czegoś innego. Nazywa się to uczeniem się przez transfer.
Aby przeprowadzić naukę transferu, usuniesz ostatnią całkowicie połączoną warstwę z modelu i tam włączysz warstwy. „Skrócone” dane wyjściowe modelu będą funkcjami, które wypełnią Twój „model”. To są cechy wąskiego gardła.
VGG16 to model przedtreningowy w porównaniu z katalogiem ImageNet, który ma bardzo dobrą dokładność. W opublikowanym wpisie używa tego modelu jako podstawy do wykrywania kotów i psów z większą dokładnością.
Funkcje wąskiego gardła zależą od modelu. W tym przypadku używamy VGG16. Istnieją inne wstępnie przeszkolone modele, takie jak VGG19, ResNet-50
To tak, jakbyś wycinał model i dodawał własne warstwy. Głównie warstwa wyjściowa, aby zdecydować, co chcesz wykryć, końcowy wynik.
źródło