Obliczanie prawdopodobieństwa z RMSE

Błąd pierwiastkowy do kwadratu i prawdopodobieństwo są w rzeczywistości ściśle powiązane. Załóżmy, że masz zestaw danych z i chcesz modelować ich relacje za pomocą modelu . Decydujesz się zminimalizować błąd kwadratowy $\lbrace x_i, z_i \rbrace$ $f$

\sum_{i} {(f (x_{i}) - z_{i})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Czy ten wybór nie jest całkowicie arbitralny? Jasne, że chcesz karać szacunki, które są całkowicie błędne, bardziej niż te, które są prawidłowe. Ale jest bardzo dobry powód, aby użyć błędu kwadratu.

Zapamiętaj gęstość Gaussa: gdzie jest stałą normalizacji, na którą nam obecnie nie zależy. Załóżmy, że twoje docelowe dane są dystrybuowane według Gaussa. Możemy więc zapisać prawdopodobieństwo danych. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L = \prod_{i} \frac{1}{Z} \exp \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Teraz, jeśli weźmiesz logarytm tego ...

\log L = \sum_{i} \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... okazuje się, że jest bardzo ściśle związany z wartością skuteczną: jedynymi różnicami są pewne stałe warunki, pierwiastek kwadratowy i mnożenie.

Krótko mówiąc: minimalizacja średniego błędu do kwadratu jest równoznaczna z maksymalizacją prawdopodobieństwa dziennika danych.

bayerj
źródło

Dzięki za jasne wyjaśnienie. Więc jeśli chcę porównać dwa (niewbudowane) modele za pomocą BIC, mogę po prostu porzucić sigma ^ 2 i Z (efektywnie zakładając, że są takie same w różnych modelach) przy obliczaniu prawdopodobieństwa?

Jason

Tak. Oba warunki zależą tylko od , więc możesz je usunąć, jeśli oba są równe.

σ

$\sigma$

σ

$\sigma$

bayerj

Myślę, że w ostatnim kroku powyżej (biorąc dziennik prawdopodobieństwa) wystąpił błąd, powinien on wyglądać następująco: Nie zmienia to „dolnej linii”, ponieważ prawdopodobieństwo dziennika jest liniowo powiązane z RMSE, więc minimalizacja RMSE jest równoważna z minimalizacją prawdopodobieństwa dziennika

\log L = \sum_{i} \frac{(f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

Jason

Czy brakuje rozkładu ujemnego w rozkładzie Gaussa?

Manoj

Czy wniosek nie powinien być odwrotny? Minimalizowanie sumy kwadratów błędów maksymalizuje prawdopodobieństwo dziennika (dla stałej ), a tym samym maksymalizuje prawdopodobieństwo (ponieważ log jest monotoniczny).

σ

$\sigma$

Tim Goodman,

Obliczanie prawdopodobieństwa z RMSE

Odpowiedzi: