Co oznacza „niezmiennik permutacyjny” w kontekście sieci neuronowych rozpoznających obrazy?

Widziałem termin „niezmiennicza permutacja” wersja zadania rozpoznawania cyfr MNIST. Co to znaczy?

machine-learning neural-networks terminology conv-neural-network definition RockTheStar
źródło

Odpowiedzi:

W tym kontekście odnosi się to do faktu, że model nie zakłada żadnych powiązań przestrzennych między cechami. Np. W przypadku perceptronu wielowarstwowego można permutować piksele, a wydajność byłaby taka sama. Nie dotyczy to sieci splotowych, które zakładają stosunki sąsiedzkie.

bayerj
źródło

tak, to jest zamieszanie. Czy nie powinno być związku przestrzennego w klasyfikacji cyfr?

RockTheStar

MNIST jest szeroko stosowany jako punkt odniesienia (lub kontrola poczytalności) w sieciach neuronowych. Jeśli twój model może otrzymać błąd <1% przy niezmiennej permutacji MNIST, jesteś na czymś.

bayerj

Tak, mam na myśli, czy nie ma również związku przestrzennego w cyfrach? Jeśli permutujesz piksele cyfrowe, zmieni to kolejność pikseli, co zasadniczo wpływa na wydajność !?

RockTheStar

Tylko jeśli model tak zakłada. mlps nie. Dlatego porównywanie sieci konwergentnej z MLP na mnist jest nieco niesprawiedliwe.

bayerj

Widzę! Czy w przypadku mnistycznego zestawu danych mlps działa lepiej czy działa w trybie konwekcyjnym?

RockTheStar

$f$ $x=(x_1, \dots,x_n)$ $f$ $x$ $n=3$

f ((x_{1}, x_{2}, x_{3})) = f ((x_{2}, x_{1}, x_{3})) = f ((x_{3}, x_{1}, x_{2}))

$f((x_1, x_2, x_3))=f((x_2, x_1,x_3))=f((x_3,x_1,x_2))$

kjetil b halvorsen
źródło

Ta odpowiedź jest nieco myląca, ponieważ algorytm uczenia maszynowego w uczeniu maszynowym często jest niezmienny w permutacji, a funkcja, którą zwraca, nie jest.

bayerj

@bayerj: To interesująca informacja, ale nie widzę, że sprawia, że definicja, którą podałem , jest myląca , jest to poprawna definicja, ale może nie pełna odpowiedź w tym kontekście.

kjetil b halvorsen

Masz rację, definicja jest poprawna. Ale nie ma zastosowania w sposób, w jaki zapisujesz. W kontekście permutacji niezmiennej MNIST, o którą pytał PO, funkcje zapisanej przez ciebie formy nie występują.

bayerj