Jakie są zalety korzystania z bayesowskiej sieci neuronowej

Ostatnio przeczytałem kilka artykułów na temat bayesowskiej sieci neuronowej (BNN) [Neal, 1992] , [Neal, 2012] , która podaje zależność prawdopodobieństwa między wejściem a wyjściem w sieci neuronowej. Trenowanie takiej sieci neuronowej odbywa się za pośrednictwem MCMC, która różni się od tradycyjnego algorytmu propagacji wstecznej.

Moje pytanie brzmi: Jaka jest zaleta korzystania z takiej sieci neuronowej? Mówiąc dokładniej, czy możesz podać kilka przykładów, które lepiej pasują do BNN zamiast NN?

Bayesowskie sieci neuronowe są przydatne do rozwiązywania problemów w domenach, w których danych jest mało, jako sposób na zapobieganie przeuczeniu. W takich sytuacjach często pokonują wszystkie inne metody. Przykładami zastosowań są biologia molekularna ( na przykład niniejszy artykuł ) i diagnoza medyczna (obszary, w których dane często pochodzą z kosztownej i trudnej pracy emerytalnej). W rzeczywistości sieci bayesowskie są niezwykle przydatne i mogą uzyskiwać lepsze wyniki dla wielu zadań, ale niezwykle trudno jest skalować je do dużych problemów.

Jedną z zalet BNN w porównaniu z NN jest to, że możesz automatycznie obliczyć błąd związany z Twoimi przewidywaniami, mając do czynienia z danymi nieznanych celów. Dzięki BNN dokonujemy teraz wnioskowania bayesowskiego. Zdefiniujmy naszą prognozę BNN jako , gdzie jest funkcją NN, to twoje dane wejściowe , są parametrami NN, a x, t są wejściowymi i docelowymi wartościami treningowymi. Powinno to być zgodne ze składnią używaną przez Neala w linkach dostarczonych przez @forecaster. Następnie możemy obliczyć standardowe odchylenie tylnego rozkładu predykcyjnego, którego naiwnie użyłbym jako dokładności prognozy:$\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$$f$$x'$$ω$$\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$