Dlaczego maksymalne tworzenie pul jest konieczne w splotowych sieciach neuronowych?

18

Najpopularniejsze splotowe sieci neuronowe zawierają pule warstw, aby zmniejszyć wymiary elementów wyjściowych. Dlaczego nie mogłem osiągnąć tego samego, po prostu zwiększając tempo warstwy splotowej? Co sprawia, że ​​warstwa puli jest konieczna?

deep-learning conv-neural-network pooling użytkownik3667089
źródło

Odpowiedzi:

16

Rzeczywiście możesz to zrobić, patrz Dążenie do prostoty: cała sieć konwergentna . Pula danych daje pewną niezmienność tłumaczenia, co może, ale nie musi być pomocne. Również pula jest szybsza do obliczenia niż zwoje. Mimo to zawsze możesz spróbować zastąpić pulę splotem krokiem i przekonać się, co działa lepiej.

Niektóre bieżące prace wykorzystują średnie pule ( Wide Residual Networks , DenseNets ), inne wykorzystują splot z krokiem ( DelugeNets )

robintibor
źródło
Zapytałem o to jednego z moich przyjaciół, a on powiedział, że warstwy puli są lepsze, ponieważ wprowadza nieliniowość. Czy sie zgadzasz?
user3667089
7
Hm, nie jestem pewien, czy się zgadzam. Pewna nieliniowość jest już obecna w sieci poprzez funkcje aktywacyjne. Średnia pula również nie wprowadza żadnej dodatkowej nieliniowości, jest to operacja liniowa, więc tylko maksymalna pula jest nieliniowa. I myślę, że pytanie brzmi bardziej, jeśli chcesz regularyzacji, którą przynosi pula - trochę więcej translacyjnej niezmienniczości.
robintibor
4

Najwyraźniej maksymalne buforowanie pomaga, ponieważ wydobywa najostrzejsze cechy obrazu. Zatem biorąc pod uwagę obraz, najostrzejsze cechy są najlepszą reprezentacją obrazu na niższym poziomie. https://www.quora.com/What-is-the-benefit-of-using-average-pooling-rather-than-max-pooling

Ale zgodnie z wykładem głębokiego uczenia się Andrew Ng maksymalne łączenie działa dobrze, ale nikt nie wie, dlaczego. Cytuj -> „Ale muszę przyznać, myślę, że głównym powodem, dla którego ludzie używają maksymalnego łączenia, jest to, że stwierdzono, że w wielu eksperymentach działa dobrze ... Nie znam nikogo, kto w pełni wie, czy to prawda podstawowy powód ”.

Yi Xiang Chong
źródło