Co to jest Bayesian Deep Learning?

Co to jest Bayesian Deep Learning i jaki ma to związek z tradycyjnymi statystykami Bayesian i tradycyjnym Deep Learning?

Jakie są główne pojęcia i matematyka? Czy mogę powiedzieć, że to tylko nieparametryczne statystyki bayesowskie? Jakie są jego przełomowe prace, a także obecne główne zmiany i zastosowania?

PS: Bayesian Deep Learning zyskuje wiele uwagi, patrz warsztaty NIPS.

Wychodząc z linku do warsztatu NIPS, Yee Whye Teh wygłosił przemówienie na NIPS w Bayesian Deep Learning (wideo: https://www.youtube.com/watch?v=LVBvJsTr3rg , slajdy: http: //csml.stats. ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/). Myślę, że w pewnym momencie Teh podsumował głębokie nauczanie bayesowskie jako zastosowanie ram Bayesa do pomysłów z głębokiego uczenia się (jak uczenie się a posteriori ponad ciężarem sieci neuronowej), a głębokie nauczanie bayesowskie jako stosowanie pomysłów z głębokiego uczenia się do Struktura bayesowska (jak głębokie procesy gaussowskie lub głębokie rodziny wykładnicze). Istnieją oczywiście pomysły, które leżą na granicy dwóch pojęć, takie jak wariacyjne autoencodery. Kiedy większość ludzi mówi, że głębokie nauczanie bayesowskie, zwykle oznacza jedno z tych dwóch, co znajduje odzwierciedlenie w zaakceptowanych artykułach na warsztatach, które połączyłeś (wraz z warsztatami z poprzedniego roku). Choć pomysły wracają do pracy Neala na temat bayesowskiego uczenia się sieci neuronowych w latach 90-tych (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.44646.9306&rep=rep1&type=pdf ) i od tego czasu pracowano, prawdopodobnie jednym z ważniejszych ostatnich artykułów będzie oryginalny papier wariacyjny autoencodera ( https://arxiv.org/pdf/1312.6114.pdf ).

Sugerowałbym, aby najpierw dobrze zrozumieć, jaki jest podstawowy model probabilistyczny w tradycyjnej bayesowskiej sieci neuronowej. Poniżej niektóre terminy zostaną napisane pogrubioną czcionką . Spróbuj przejrzeć te warunki, aby znaleźć bardziej szczegółowe informacje. To tylko podstawowy przegląd. Mam nadzieję, że to pomoże.

Rozważmy przypadek regresji w sprzężonych sieciach neuronowych i ustalmy pewną notację.

$(x_1,\dots,x_p) =: \left(z^{(0)}_1,\dots,z^{(0)}_{N_0}\right)$$\left(z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell}\right)$$\ell=1,\dots,L-1$ $(y_1,\dots,y_k) =:\left(z^{(L)}_1,\dots,z^{(L)}_{N_L}\right)$

$i$$\ell$$w^{(\ell)}_{ij}$$b^{(\ell)}_i$$\ell=1,\dots,L$$i=1\dots,N_\ell$$j=1,\dots,N_{\ell-1}$

$g^{(\ell)}_i : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}$$i$$\ell$$\ell=1,\dots,L$$i=1\dots,N_\ell$

Często używanymi funkcjami aktywacyjnymi są logistyka , ReLU (aka część dodatnia ) i tanh .

$\ell=1,\dots,L$

$$G^{(\ell)} : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}^{N_\ell} : \left(z^{(\ell-1)}_1,\dots,z^{(\ell-1)}_{N_{\ell-1}} \right) \mapsto \left( z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell} \right),$$ $$z^{(\ell)}_i = g^{(\ell)}_i\!\left( \sum_{j=1}^{N_{\ell-1}} w^{(\ell)}_{ij} z^{(\ell-1)}_j + b^{(\ell)}_i\right),$$ $i=1,\dots,N_{\ell}$

$\theta$

$$\theta = \left\{ w^{(\ell)}_{ij},b^{(\ell)}_i : \ell=1,\dots,L \,;\, i=1\dots,N_\ell \,;\, j=1,\dots,N_{\ell-1} \right\},$$ $G_\theta : \mathbb{R}^p\to\mathbb{R}^k$ $$G_\theta = G^{(L)} \circ G^{(L-1)} \circ \dots \circ G^{(1)}.$$

W powyższym opisie nie ma żadnych prawdopodobieństw. Pierwotnym biznesem sieci neuronowych jest dopasowanie funkcji .

„Głębokie” w głębokim uczeniu się oznacza istnienie wielu wewnętrznych warstw w rozważanych sieciach neuronowych.

$\{ (\mathbf{x}_i,\mathbf{y}_i) \in \mathbb{R}^p\times\mathbb{R}^k : i = 1,\dots,n \}$

$$\sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2,$$ $\theta$$\mathbf{x}^*$$G_\hat{\theta}(\mathbf{x}^*)$$\hat{\theta}$jest rozwiązaniem problemu minimalizacji. Złotym standardem dla tej minimalizacji jest propagacja wsteczna zaimplementowana przez bibliotekę TensorFlow z wykorzystaniem możliwości równoległości dostępnych w nowoczesnych procesorach graficznych (dla swoich projektów sprawdź interfejs Keras ). Ponadto dostępny jest sprzęt umożliwiający enkapsulację tych zadań ( TPU ). Ponieważ sieć neuronowa jest na ogół zbyt sparametryzowana, aby uniknąć nadmiernego dopasowania do przepisu, do przepisu dodawana jest pewna forma regularyzacji, na przykład sumowanie kalenicy jak kara do funkcji celu lub używanie odpadania podczas treningu. Geoffrey Hinton(znany również jako ojciec chrzestny Deep Learning) i współpracownicy wymyślili wiele z tych rzeczy. Historie sukcesu głębokiego uczenia się są wszędzie.

Prawdopodobieństwa zostały wprowadzone na zdjęciu pod koniec lat 80. i na początku lat 90. z propozycją prawdopodobieństwa Gaussa i prosty (być może uproszczony) przeor Gaussa, zakładając niezależność a priori wszystkich wag i tendencyjności w sieci:

$$L_{\mathbf{x},\mathbf{y}}(\theta,\sigma^2)\propto \sigma^{-n} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2\right),$$ $$\pi(\theta,\sigma^2) \propto \exp\left( -\frac{1}{2\sigma_0^2} \sum_{\ell=1}^L \sum_{i=1}^{N_\ell} \left( \left(b^{(\ell)}_i\right)^2 + \sum_{j=1}^{N_{\ell-1}} \left(w^{(\ell)}_{ij}\right)^2 \right) \right) \times \pi(\sigma^2).$$

Dlatego marginalnymi priorytetami wag i odchyleń są rozkłady normalne o zerowej średniej i wspólnej wariancji . Ten oryginalny model połączenia może być znacznie bardziej zaangażowany, z kompromisem utrudniania wnioskowania.$\sigma_0^2$

Bayesian Deep Learning staje przed trudnym zadaniem pobierania próbek z odpowiadającego tylnego rozkładu. Po wykonaniu tego przewidywania są dokonywane naturalnie z tylnym rozkładem predykcyjnym , a niepewności związane z tymi przewidywaniami są w pełni kwantyfikowane. Święty Graal w Bayesian Deep Learning to konstrukcja wydajnego i skalowalnego rozwiązania. W tym zadaniu zastosowano wiele metod obliczeniowych: pobieranie próbek Metropolis-Hastings i Gibbs , Hamiltonian Monte Carlo , a ostatnio - wnioskowanie wariacyjne .

Zapoznaj się z filmami z konferencji NIPS, aby zapoznać się z historiami sukcesu: http://bayesiandeeplearning.org/