Jakie są różnice między filtrami wyuczonymi w autoencoderze i splotowej sieci neuronowej?

9

W CNN poznamy filtry do tworzenia mapy obiektów w warstwie splotowej.

W programie Autoencoder pojedynczą ukrytą jednostkę każdej warstwy można uznać za filtr.

Jaka jest różnica między filtrami wyuczonymi w tych dwóch sieciach?

RockTheStar
źródło

Odpowiedzi:

7

W przypadku filtrów CNN nakładane są na małe łatki obrazu w każdej możliwej lokalizacji (co czyni je również niezmiennymi tłumaczeniami).

Ukryte warstwy Autoencodera otrzymują na wejściu cały obraz (wyjście poprzedniej warstwy), co nie wydaje się dobrym pomysłem dla obrazów: zwykle korelują tylko cechy lokalne, natomiast bardziej odległe są mniej skorelowane. Te ukryte neurony nie są niezmienne w tłumaczeniu.

Dlatego CNN są jak zwykłe ANN ze specjalnym rodzajem regularyzacji, która zeruje większość wag, aby korzystać z lokalizacji.

Artem Sobolev
źródło