Czy nie można teraz powiedzieć, że modele głębokiego uczenia się są interpretowalne? Czy funkcje węzłów?

W przypadku modeli statystycznych i uczenia maszynowego istnieje wiele poziomów interpretacji: 1) algorytm jako całość, 2) części algorytmu ogólnie 3) części algorytmu na poszczególnych wejściach, a te trzy poziomy są podzielone na dwie części, jeden do treningu, a drugi do oceny funkcji. Ostatnie dwie części są znacznie bliższe niż pierwsze. Pytam o # 2, co zwykle prowadzi do lepszego zrozumienia # 3). (jeśli nie są to „interpretowalność”, to o czym powinienem myśleć?)

Jeśli chodzi o interpretowalność, regresja logistyczna jest jedną z najłatwiejszych do interpretacji. Dlaczego ta instancja przekroczyła próg? Ponieważ to wystąpienie miało tę szczególną pozytywną cechę i ma większy współczynnik w modelu. To jest takie oczywiste!

Sieć neuronowa jest klasycznym przykładem modelu trudnego do interpretacji. Co oznaczają wszystkie te współczynniki ? Wszystkie składają się na tak skomplikowane szalone sposoby, że trudno jest powiedzieć, co naprawdę robi dany współczynnik.

Ale kiedy wychodzą wszystkie głębokie sieci neuronowe, wydaje się, że wszystko staje się wyraźniejsze. Modele DL (powiedzmy widzenie) wydają się przechwytywać takie elementy, jak krawędzie lub orientacja na wczesnych warstwach, a na późniejszych warstwach wydaje się, że niektóre węzły są w rzeczywistości semantyczne (jak przysłowiowa „komórka babci” ). Na przykład:

( z „Learning About Deep Learning” )

To grafika ( wielu z nich ) stworzona ręcznie do prezentacji, więc jestem bardzo sceptyczna. Ale to dowód na to, że ktoś tak myśli.

Może w przeszłości nie było wystarczającej liczby warstw, aby znaleźć rozpoznawalne cechy; modele były udane, po prostu niełatwe do analizy post-hoc poszczególne.

Ale może grafika to tylko pobożne życzenie. Może NN są naprawdę nieprzeniknione.

Ale wiele grafik z ich węzłami oznaczonymi obrazami również jest naprawdę przekonujących.

Czy węzły DL naprawdę odpowiadają funkcjom?

Interpretacja modeli głębokich nadal stanowi wyzwanie.

1. W twoim poście wymieniono tylko CNN do zastosowań w wizji komputerowej, ale (głębokie lub płytkie) sieci sprzężenia zwrotnego i sieci powtarzające się są trudne do zrozumienia.

2. Nawet w przypadku CNN, które mają oczywiste struktury „detektora cech”, takie jak krawędzie i orientacja łat pikselowych, nie jest całkowicie oczywiste, w jaki sposób te funkcje niższego poziomu są agregowane w górę, lub co dokładnie dzieje się, gdy te cechy widzenia są agregowane w całkowicie połączonej warstwie.

3. Przeciwne przykłady pokazują, jak trudna jest interpretacja sieci. Przeciwny przykład ma kilka drobnych modyfikacji, ale skutkuje radykalnym przesunięciem decyzji podjętej przez model. W kontekście klasyfikacji obrazu niewielka ilość szumu dodana do obrazu może zmienić wizerunek jaszczurki, aby uzyskać bardzo pewną klasyfikację jako inne zwierzę, takie jak (gatunek) psa.

Jest to związane z interpretowalnością w tym sensie, że istnieje silny, nieprzewidywalny związek między (małą) ilością hałasu a (dużą) zmianą decyzji w sprawie klasyfikacji. Myśląc o tym, jak działają te sieci, ma to pewien sens: obliczenia na poprzednich warstwach są propagowane do przodu, dzięki czemu liczba błędów - małe, nieistotne dla człowieka błędy - są powiększane i kumulują się, gdy coraz więcej obliczeń wykonuje się przy użyciu „uszkodzone” wejścia.

Z drugiej strony istnienie przeciwnych przykładów pokazuje, że interpretacja dowolnego węzła jako szczególnej cechy lub klasy jest trudna, ponieważ fakt, że węzeł jest aktywowany, może mieć niewiele wspólnego z faktyczną zawartością oryginalnego obrazu, i że ta relacja nie jest tak naprawdę przewidywalna pod względem oryginalnego obrazu. Ale na poniższych przykładowych obrazach nikt nie jest zwiedziony co do zawartości obrazów: nie pomyliłbyś psa z masztem flagowym. Jak możemy interpretować te decyzje, albo w ujęciu łącznym (mały wzór szumu „przekształca” jaszczurkę w psa, lub maszt flagowy w psa) lub w mniejsze kawałki (że kilka detektorów cech jest bardziej wrażliwych na wzór szumu niż rzeczywisty obraz zawartość)?

HAAM to obiecująca nowa metoda generowania obrazów przeciwnych przy użyciu funkcji harmonicznych. („Metoda harmonicznych ataków przeciwnika” Wen Heng, Shuchang Zhou, Tingting Jiang.) Obrazy wygenerowane tą metodą mogą być użyte do naśladowania efektów świetlnych / cieni i są dla ludzi jeszcze trudniejsze do wykrycia, że ​​zostały zmienione.

Jako przykład zobacz to zdjęcie zaczerpnięte z „ Uniwersalnych perturbacji przeciwników ” autorstwa Seyeda-Mohsena Moosaviego-Dezfooliego, Alhusseina Fawzi, Omara Fawzi i Pascala Frossarda. Wybrałem ten obraz tylko dlatego, że był to jeden z pierwszych przeciwnych obrazów, na które natknąłem się. Ten obraz pokazuje, że określony wzorzec szumu ma dziwny wpływ na decyzję o klasyfikacji obrazu, szczególnie że możesz wprowadzić niewielką modyfikację obrazu wejściowego i sprawić, by klasyfikator myślał, że wynikiem jest pies. Zauważ, że leżący u podstaw, oryginalny obraz jest nadal oczywisty: we wszystkich przypadkach człowiek nie pomyliłby się, sądząc, że którykolwiek z obrazów innych niż psy to psy.

Oto drugi przykład z bardziej kanonicznego artykułu, „ WYJAŚNIENIE I PRZENOSZENIE PRZYKŁADÓW NIEPOŻĄDANYCH ” Iana J. Goodfellowa, Jonathona Shlensa i Christiana Szegedy. Dodany szum jest całkowicie nierozróżnialny w otrzymanym obrazie, ale wynik jest bardzo pewnie sklasyfikowany jako zły wynik, gibon zamiast pandy. Przynajmniej w tym przypadku istnieje co najmniej przejściowe podobieństwo między dwiema klasami, ponieważ gibony i pandy są przynajmniej nieco biologicznie i estetycznie podobne w najszerszym tego słowa znaczeniu.

Ten trzeci przykład pochodzi z „ Uogólnionego wykrywania przeciwnych przykładów na podstawie niedopasowania decyzji w dwóch modelach ” João Monteiro, Zahida Akhtara i Tiago H. Falka. Ustalono, że wzorzec hałasu może być nie do odróżnienia dla człowieka, ale nadal myli klasyfikator.

Dla porównania, błotniak jest zwierzęciem w ciemnym kolorze, z czterema kończynami i ogonem, więc tak naprawdę nie przypomina on bardzo złotej rybki.

4. Właśnie znalazłem ten artykuł dzisiaj. Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus. „ Intrygujące właściwości sieci neuronowych ”. Streszczenie zawiera ten intrygujący cytat:

Po pierwsze, stwierdzamy, że nie ma rozróżnienia między poszczególnymi jednostkami wysokiego poziomu i losowymi liniowymi kombinacjami jednostek wysokiego poziomu, zgodnie z różnymi metodami analizy jednostek. Sugeruje to, że to przestrzeń, a nie poszczególne jednostki, zawiera informacje semantyczne w wysokich warstwach sieci neuronowych.

Tak więc, zamiast mieć „detektory cech” na wyższych poziomach, węzły jedynie reprezentują współrzędne w przestrzeni cech, której sieć używa do modelowania danych.

Warstwy nie są mapowane na kolejne, bardziej abstrakcyjne funkcje, tak czysto, jak byśmy chcieli. Dobrym sposobem na to jest porównanie dwóch bardzo popularnych architektur.

VGG16 składa się z wielu warstw splotowych ułożonych jeden na drugim z okazjonalną warstwą puli - bardzo tradycyjną architekturą.

Od tego czasu ludzie przeszli do projektowania resztkowych architektur, w których każda warstwa jest połączona nie tylko z poprzednią warstwą, ale także z jedną (lub więcej) warstwami w dalszej części modelu. ResNet był jednym z pierwszych, którzy to zrobili i ma około 100 warstw, w zależności od używanego wariantu.

Podczas gdy VGG16 i podobne sieci mają warstwy działające w sposób mniej lub bardziej możliwy do interpretacji - ucząc się funkcji wyższego i wyższego poziomu, ResNets tego nie robią. Zamiast tego ludzie zaproponowali, aby albo udoskonalali funkcje, aby uczynić je bardziej dokładnymi, albo że są tylko bandą płytkich sieci w przebraniu , z których żadne nie pasuje do „tradycyjnych poglądów” na temat tego, czego uczą się modele głębokie.

Podczas gdy ResNet i podobne architektury radzą sobie lepiej niż VGG w klasyfikacji obrazów i wykrywaniu obiektów, wydaje się, że istnieją pewne aplikacje, dla których prosta hierarchia cech VGG jest bardzo ważna. Zobacz tutaj dobrą dyskusję.

Biorąc pod uwagę, że bardziej nowoczesne architektury nie pasują już do tego obrazu, powiedziałbym, że nie możemy powiedzieć, że CNN są jeszcze możliwe do interpretacji.

Przedmiotem mojej pracy doktorskiej było ujawnienie właściwości czarnych skrzynek sieci neuronowych, w szczególności sieci neuronowych z jedną lub dwiema ukrytymi warstwami.

Podejmę wyzwanie, aby wyjaśnić wszystkim, co oznaczają pojęcia wag i stronniczości, w jednowarstwowej sieci neuronowej ze sprzężeniem zwrotnym. Uwzględnione zostaną dwie różne perspektywy: parametryczna i probabilistyczna.

$x_{input}=\alpha \cdot x + \beta$$\alpha$$\beta$$x_{input} \in (0,1)$

• $0$$1$
• $v$$v$$7$

Taka reprezentacja danych wejściowych jest wymagana, aby móc zinterpretować rozmiar (wartości bezwzględnej) wag w warstwie wejściowej.

Znaczenie parametryczne:

• $0$
• waga z ukrytego węzła do węzła wyjściowego wskazuje, że ważone wzmocnienie zmiennych wejściowych, które w absolutnym sensie są najbardziej wzmacniane przez ten ukryty neuron, promują lub tłumią dany węzeł wyjściowy. Znak masy wskazuje na awans (dodatni) lub zahamowanie (ujemny).
• $1$$3$$2$
• $\beta$

$1$$i$$l$$t$$s$$i$$l$$1$$\Delta_{j,k}=\mid w_{i,j} - w_{i,k}\mid$$i$$j$$k$

Ważniejsze ukryte węzły dotyczą węzła wyjściowego (rozmawiającego w częstotliwościach, w zestawie treningowym), które „wagi wejściowe razy częstotliwości wejściowe” są najważniejsze? Następnie zbliżamy się do znaczenia parametrów sieci neuronowych ze sprzężeniem zwrotnym.

Interpretacja probabilistyczna:

$x_{input}$

Indywidualny wzór - wzór

$x_{input}$$[1,0,0,0,0,0,0]$$[0,1,0,0,0,0,0]$lub w jakikolwiek inny dzień tygodnia) i najbardziej prawdopodobne zmiany wyniku, wówczas ta wyliczona zmienna ma potencjalny wpływ na wynik klasyfikacji.

$x_{input}$$x_{input}$$E(x_{input} \mid {\bf x}_{-input})$${\bf x}_{-input}$$x_{input}$

Głębokie pochylenie - i znaczenie parametrów NN

Po zastosowaniu do wizji komputerowej sieci neuronowe wykazały niezwykły postęp w ostatniej dekadzie. Okazało się, że splotowe sieci neuronowe wprowadzone przez LeCunn w 1989 roku osiągnęły naprawdę dobre wyniki w zakresie rozpoznawania obrazów. Doniesiono, że mogą one przewyższyć większość innych metod rozpoznawania opartego na komputerze.

Ciekawe pojawiające się właściwości pojawiają się podczas szkolenia splotowych sieci neuronowych w zakresie rozpoznawania obiektów. Pierwsza warstwa ukrytych węzłów reprezentuje detektory obiektów niskiego poziomu, podobne do operatorów przestrzeni kosmicznej T. Lindeberg, Wykrywanie cech z automatycznym wyborem skali, 1998 . Ci operatorzy przestrzeni kosmicznej wykrywają

• kwestia,
• rogi,
• Trójniki

i niektóre inne podstawowe funkcje obrazu.

Jeszcze bardziej interesujący jest fakt, że neurony percepcyjne w mózgach ssaków są podobne do tego sposobu pracy na pierwszych etapach (biologicznego) przetwarzania obrazu. W przypadku CNN społeczność naukowa zbliża się do tego, co czyni ludzką percepcję tak fenomenalną. Dlatego warto kontynuować tę linię badań.