Czy wiele filtrów w warstwie splotowej nie nauczyłby się tego samego parametru podczas treningu?

11

Na podstawie tego, czego się nauczyłem, używamy wielu filtrów w warstwie konwekcyjnej CNN, aby uczyć się różnych detektorów funkcji. Ale skoro filtry te są stosowane w podobny sposób (tzn. Przesuwane i mnożone do obszarów danych wejściowych), czy nie nauczyłyby się po prostu tych samych parametrów podczas treningu? Stąd użycie wielu filtrów byłoby zbędne?

cjbayron
źródło

Odpowiedzi:

6

Miałem to samo zamieszanie w zrozumieniu tego faktu. Zamieszanie powstaje dla początkujących, ponieważ w książce nie ma wzmianki, że filtry są różne.

ponieważ te filtry są stosowane podobnie

Filtry są stosowane podobnie, ale wartość komórki w matrycy różni się od siebie filtrami. Wyodrębniają więc różne funkcje z obrazu.

czy nie nauczyliby się tych samych parametrów podczas treningu?

Nie, nie uczą się tego samego parametru, ponieważ filtry są teraz inne. Dlatego użycie wielu filtrów nie jest zbędne.

człowiek z żelaza
źródło
Dziękuje za odpowiadanie. Co dokładnie ich wyróżnia? W jaki sposób zapewniamy, że uczą się różnych parametrów podczas treningu? Czy to ich wartości początkowe?
cjbayron
1
różne Wartości każdej komórki sprawiają, że są różne. Jak niektórzy wykrywają linię ukośną, niektórzy wykrywają linię krzywej 45 stopni itp. Więc wszystkie są różne.
ironman
1
Tak, rozumiem, że różne wartości powodują, że filtry wykrywają różne funkcje. Ale jak te filtry uczą się inaczej podczas treningu?
cjbayron
3
Jeśli wszystkie filtry zaczną się tak samo, pozostaną w ten sposób. Losowa inicjalizacja oznacza, że ​​zaczynają inaczej, a następnie uczą się różnych rzeczy. Poszukaj informacji na temat łamania symetrii w sieciach neuronowych.
Aaron
4

Znalazłem odpowiedź na to pytanie: https://www.quora.com/Why-does-each-filter-learn-different-features-in-a-convolutional-neural-network

Mówi tutaj: „... algorytm (optymalizacja) stwierdza, że ​​strata nie zmniejsza się, jeśli dwa filtry mają podobne wagi i tendencje, więc ostatecznie zmieni jeden z filtrów (wagi i tendencje), aby w ten sposób zmniejszyć straty uczenie się nowej funkcji ”.

Dziękuję za odpowiedzi. Doceniam to :)

cjbayron
źródło