Dlaczego średni błąd kwadratowy jest entropią krzyżową między rozkładem empirycznym a modelem Gaussa?

W 5.5, Deep Learning (autor: Ian Goodfellow, Yoshua Bengio i Aaron Courville) stwierdza, że

Każda strata polegająca na ujemnym logarytmicznym prawdopodobieństwie jest entropią krzyżową między rozkładem empirycznym określonym przez zestaw szkoleniowy a rozkładem prawdopodobieństwa określonym przez model. Na przykład średni błąd kwadratu jest entropią krzyżową między rozkładem empirycznym a modelem Gaussa.

Nie rozumiem, dlaczego są one równoważne, a autorzy nie zajmują się tym tematem.

Niech dane to . Napisz dla rozkładu empirycznego. Definicji dla każdej funkcji ,$\mathbf{x}=(x_1, \ldots, x_n)$$F(\mathbf{x})$$f$

$$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$$

Niech model ma gęstość gdzie jest zdefiniowane na podporze modelu. Przekroju entropia z , a jest zdefiniowane jako$M$$e^{f(x)}$$f$$F(\mathbf{x})$$M$

$$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$$

Zakładając, że jest prostą próbą losową, jej prawdopodobieństwo dziennika ujemnego wynosi$x$

$$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$$

ze względu na właściwości logarytmów (konwertują produkty na sumy). Wyrażenie jest stałym wyrażeniem razy . Ponieważ funkcje strat są wykorzystywane w statystykach tylko poprzez ich porównywanie, nie ma znaczenia, że ​​jedna jest (dodatnią) stałą razy druga. W tym sensie prawdopodobieństwo logarytmu ujemnego „jest” entropią krzyżową w cytacie.$(2)$$n$$(1)$

---

Potrzeba nieco więcej wyobraźni, aby uzasadnić drugie twierdzenie cytatu. Związek z błędem do kwadratu jest jasny, ponieważ dla „modelu Gaussa”, który przewiduje wartości w punktach , wartość w dowolnym takim punkcie wynosi$p(x)$$x$$f$

$$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$$

który jest kwadratem błędu ale przeskalowany o i przesunięty o funkcję . Jednym ze sposobów poprawienia wyceny jest założenie, że częścią „modelu” - musi być jakoś określona niezależnie od danych. W takim przypadku różnice między średnimi błędami do kwadratu są proporcjonalne do różnic między entropiami krzyżowymi lub prawdopodobieństwami logarytmicznymi, tym samym czyniąc wszystkie trzy równoważne dla celów dopasowania modelu.$(x-p(x))^2$ $1/(2\sigma^2)$$\sigma$$\sigma$$\sigma$

(Zwykle jednak nadaje się jako część procesu modelowania, w którym to przypadku cytat nie byłby całkiem poprawny.)$\sigma = \sigma(x)$

Dla czytelników książki Deep Learning chciałbym dodać do doskonale przyjętej odpowiedzi, którą autorzy szczegółowo wyjaśniają w swoich wypowiedziach w rozdziale 5.5.1, a mianowicie przykład: regresja liniowa jako maksymalne prawdopodobieństwo .

Podają tam dokładnie ograniczenie wymienione w zaakceptowanej odpowiedzi:

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$ . Funkcja daje prognozę średniej Gaussa. W tym przykładzie zakładamy, że wariancja jest ustalona na pewną stałą wybraną przez użytkownika.$\hat{y}(x; w)$$\sigma^2$

Następnie pokazują, że minimalizacja MSE odpowiada oszacowaniu maksymalnego prawdopodobieństwa, a tym samym minimalizacji entropii krzyżowej między rozkładem empirycznym a .$p(y|x)$