Hiperplany optymalnie klasyfikują dane, gdy dane wejściowe są warunkowo niezależne - dlaczego?

W artykule zatytułowanym Głębokie uczenie się i zasada wąskiego gardła informacji autorzy stwierdzają w sekcji II A), co następuje:

Pojedyncze neurony klasyfikują tylko liniowo separowalne dane wejściowe, ponieważ mogą implementować tylko hiperpłaszczyzny w swojej przestrzeni wejściowej $u = wh+b$. Hiperplany mogą optymalnie klasyfikować dane, gdy dane wejściowe są warunkowo niezależne.

Aby to pokazać, wyprowadzają następujące. Korzystając z twierdzenia Bayesa, uzyskują:

$p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$ (1)

Gdzie $x$ jest wejściem, $y$ jest klasą i $y'$ jest przewidywaną klasą (zakładam, $y'$Nie określono). Kontynuując, twierdzą, że:

$\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$ (2)

Gdzie $N$ jest wymiarem wejściowym i $n$Nie jestem pewien (znowu oba są niezdefiniowane). Biorąc pod uwagę neuron esicy, z funkcją aktywacji esicy$\sigma(u) = \frac{1}{1+exp(-u)}$ i wstępna aktywacja $u$, po wstawieniu (2) do (1) otrzymujemy optymalne wartości masy $w_j = log\frac{p(x_j|y)}{p(x_j|y')}$ i $b=log\frac{p(y)}{p(y')}$, gdy wartości wejściowe $h_j=np(x_j)$.

Teraz przejdź do moich pytań. Rozumiem, jak wstawianie (2) do (1) prowadzi do optymalnej masy i wartości wejściowych$w,b,h$. Jednak nie rozumiem, co następuje:

1. Jak powstaje (1) przy użyciu twierdzenia Bayesa?
2. Jak powstaje (2)? Co jest$n$? Jakie jest jego znaczenie? Zakładam, że ma to coś wspólnego z warunkową niezależnością
3. Nawet jeśli wymiary x są warunkowo niezależne, to jak można stwierdzić, że jest ono równe skalowanemu prawdopodobieństwu? (tj. jak możesz to stwierdzić$h_j=np(x_j)$?)

EDYCJA: zmienna $y$jest zmienną klasy binarnej. Z tego zakładam, że$y'$jest „inną” klasą. To rozwiązałoby pytanie 1. Zgadzasz się?

Przepraszam za brakujące szczegóły w naszym krótkim artykule, ale te relacje i powiązania między testem ilorazu wiarygodności a neuronami sigmoidalnymi z pewnością nie są nowe i można je znaleźć w podręcznikach (np. Bishop 2006). W naszym artykule „N” jest wymiarem wejściowym, a „n” jest rozmiarem próbki testowej (który faktycznie przełożył się na wejściowy SNR przy założeniu, że SNR rośnie jak sqrt (n)). Połączenie z funkcją sigmoidalną odbywa się za pomocą reguły Bayesa, jako a posteriori klasy. Reszta artykułu i nasz nowszy i ważniejszy artykuł z 2017 roku nie zależy od tego.

Naftali Tishby

Jest to konfiguracja modelu, w której autorzy używają specjalnej formy twierdzenia Bayesa, która ma zastosowanie, gdy masz interesującą zmienną binarną. Najpierw wyprowadzają tę specjalną formę twierdzenia Bayesa jako równanie (1), a następnie pokazują, że warunek w równaniu (2) prowadzi ich do postaci liniowej określonej dla ich sieci. Należy zauważyć, że to ostatnie równanie nie wywodzi się z poprzednich warunków - jest to raczej warunek dla postaci liniowej, której używają do swojej sieci.

---

Wyprowadzenie pierwszego równania: równanie (1) w pracy jest tylko formą twierdzenia Bayesa, która określa warunkowe prawdopodobieństwo zainteresowania w kategoriach standardowej funkcji logistycznej (sigmoidalnej) działającej na funkcjach prawdopodobieństwa i wcześniejszych. Nabierający$y$ i $y'$ być dwoma wynikami binarnymi zmiennej losowej $Y$i zastosowanie twierdzenia Bayesa daje:

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$$

Wykorzystanie równania (2) jako warunku dla formy lienarnej sieci: Jak stwierdzono powyżej, równanie to nie jest czymś, co wynika z wcześniejszych wyników. Jest to raczej wystarczający warunek, który prowadzi do formy liniowej, którą autorzy stosują w swoim modelu - tj. Autorzy twierdzą, że jeśli to równanie się zachowuje, to następują pewne kolejne wyniki. Pozwalając na wektor wejściowy$\mathbf{x} = (x_1,...,x_N)$ mieć długość $N$, jeśli równanie (2) się utrzymuje, to przyjęcie logarytmów obu stron daje:

$$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$$

Pod tym warunkiem otrzymujemy zatem formę tylną:

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$$

która jest formą używaną przez autorów w ich sieci. Jest to modelowa forma postulowana przez autorów w sekcji tła, przed podaniem równań (1) - (2). Artykuł nie definiuje$n$jest w konfiguracji tego modelu, ale jak zauważyłeś, odpowiedź prof Tishby mówi, że jest to wielkość próbki testowej. W odniesieniu do trzeciego pytania wydaje się, że wymóg równania (2) oznacza, że ​​wartości w$\mathbf{x}$nie są podane warunkowo niezależnie$y$.

Za 1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

Teraz jak $y_{i}$ jest binarny, staje się:

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

a stamtąd jego właściwością logarytmu jest przejście do ostatecznej formy (do tego momentu powinno być wystarczająco jasne, daj mi znać, jeśli nie).