Porównywanie oszacowania maksymalnego prawdopodobieństwa (MLE) i twierdzenia Bayesa

12

W twierdzeniu bayesowskim , a z książki, którą czytam, nazywa się prawdopodobieństwo , ale zakładam, że to tylko prawdopodobieństwo warunkowe od podane , prawda?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

Do największej wiarygodności stara się maksymalizować , prawda? Jeśli tak, to jestem bardzo zdezorientowany, ponieważ są zmiennymi losowymi, prawda? Aby zmaksymalizować jest po prostu dowiedzieć się ? Jeszcze jeden problem, jeśli te 2 losowe zmienne są niezależne, to to tylko , prawda? Zatem maksymalizacja polega na maksymalizacji . $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

A może jest funkcją niektórych parametrów , czyli , a MLE próbuje znaleźć która może zmaksymalizować ? Czy nawet, że jest w rzeczywistości parametrami modelu, a nie zmienną losową, maksymalizując prawdopodobieństwo znalezienia ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

AKTUALIZACJA

Jestem nowicjuszem w uczeniu maszynowym, a ten problem jest pomieszany z treściami, które przeczytałem z samouczka uczenia maszynowego. Oto on, biorąc pod uwagę obserwowany zestaw danych , wartości docelowe to , a ja staram się dopasować model do tego zestawu danych , więc zakładam, że biorąc pod uwagę , ma formę rozkładu o nazwie sparametryzowaną przez , czyli , i zakładam, że jest to prawdopodobieństwo późniejsze , prawda? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

Teraz, aby oszacować wartość , używam MLE. OK, nadchodzi mój problem, myślę, że prawdopodobieństwo to , prawda? Maksymalizacja prawdopodobieństwa oznacza, że powinienem wybrać właściwą i ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

Jeśli moje rozumienie prawdopodobieństwa jest błędne, proszę wskazać mi właściwą drogę.

bayesian maximum-likelihood awokado
źródło

Myślę, że zamieszanie jest następujące: twierdzenie Bayesa jest po prostu manipulacją prawdopodobieństwami warunkowymi podanymi na początku pytania. Bayesa Oszacowanie korzysta z Twierdzenie Bayesa do oszacowania parametrów. Dopiero w tym drugim przypadku do gry wchodzi oszacowanie maksymalnego prawdopodobieństwa (MLE) i parametr theta itp.

Zhubarb

@Berkan, cóż, właściwie próbuję dowiedzieć się, jakie jest prawdopodobieństwo, biorąc pod uwagę .

x, y, θ

$x,y,\theta$

awokado

1

Rozumiem, poleciłbym wam rzucić okiem na ten wspaniały zestaw slajdów wprowadzających do oceny parametrów.

Zhubarb

1

Kolejnym świetnym tematem do przeczytania są estymatory Empirical Bayesa. Właśnie dowiedzieliśmy się o tych w mojej klasie :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/…

bdeonovic

16

Myślę, że podstawowe nieporozumienie wynika z pytań, które zadajesz w pierwszej połowie pytania. Do tej odpowiedzi podchodzę jako kontrastujące MLE i Bayesowskie paradygmaty wnioskowania. Bardzo przystępną dyskusję na temat MLE można znaleźć w rozdziale 1 Gary'ego Kinga, Unifying Political Methodology. Analiza danych bayesowskich Gelmana może dostarczyć szczegółów po stronie bayesowskiej.

W twierdzeniu Bayesa iz książki, którą czytam, nazywa się prawdopodobieństwo, ale zakładam, że to tylko warunkowe prawdopodobieństwo biorąc pod uwagę , prawda?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

Prawdopodobieństwo jest prawdopodobieństwem warunkowym. Dla bayesowskiego wzór ten opisuje rozkład parametru dla danych i wcześniejszych . Ale ponieważ ta notacja nie odzwierciedla twojego zamiaru, odtąd będę używać ( , ) dla parametrów i dla twoich danych. $y$ $x$ $p(y)$ $\theta$ $y$ $x$

Ale twoja aktualizacja wskazuje, że jest obserwowane z jakiejś dystrybucji . Jeśli umieścimy nasze dane i parametry w odpowiednich miejscach w regule Bayesa, okaże się, że te dodatkowe parametry nie stwarzają problemów dla Bayesianów: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

Wierzę, że to wyrażenie jest tym, czego szukasz w swojej aktualizacji.

Oszacowanie maksymalnego prawdopodobieństwa próbuje zmaksymalizować , prawda? $p(x,y|\theta)$

Tak. MLE zakłada, że Oznacza to, że traktuje termin jako nieznany (i niepoznawalna) stała. Natomiast wnioskowanie bayesowskie traktuje jako stałą normalizującą (tak, że prawdopodobieństwa sumują / całkują się do jedności), a jako kluczową informację: pierwszeństwo. Możemy myśleć o jako sposobie nałożenia kary na procedurę optymalizacji za „błądzenie zbyt daleko” od regionu, który naszym zdaniem jest najbardziej prawdopodobny.

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

Jeśli tak, to jestem bardzo zdezorientowany, ponieważ są zmiennymi losowymi, prawda? Aby zmaksymalizować wystarczy znaleźć ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

W MLE przyjmuje się , że jest stałą wielkością, która jest nieznana, ale można ją wywnioskować, a nie zmienną losową. Wnioskowanie Bayesowskie traktuje jako zmienną losową. Funkcje gęstości prawdopodobieństwa Bayesa stawia wnioskowania w i dostaje funkcja gęstości prawdopodobieństwa na zewnątrz , zamiast podsumowania punktowych modelu, podobnie jak w MLE. Oznacza to, że wnioskowanie bayesowskie analizuje pełny zakres wartości parametrów i prawdopodobieństwo każdego z nich. MLE zakłada, że jest odpowiednim podsumowaniem danych dla danego modelu. $\hat{\theta}$ $\theta$ $\hat{\theta}$

Sycorax mówi Przywróć Monikę
źródło

1

Dziękuję za odpowiedź, aktualizuję swój post, zobacz moją aktualizację.

awokado

Ta aktualizacja radykalnie zmieniła moje rozumienie pytania. Początkowo myślałem, że traktujesz jako parametr, a jako swoje dane. Teraz wydaje się, że są dane i jesteś zainteresowany konstruowania model opisujący zależność między i . Zmodyfikuję swoją odpowiedź, jak będę miał czas.

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

Sycorax mówi Przywróć Monikę

+1 To wciąż świetna odpowiedź: mam nadzieję, że pozostaniesz w dużej mierze nienaruszona, nawet jeśli zmodyfikujesz ją tak, aby pasowała do zmian w pytaniu.

whuber

Zaktualizowałem swoją odpowiedź, aby odzwierciedlić Twoje zaktualizowane pytanie. Mam nadzieję, że te szczegóły pomogą. Naprawdę polecam odwoływanie się do odniesień, o których wspominam. I mam nadzieję, że @whuber nadal się zgadza. ;-)

Sycorax mówi Przywróć Monikę

Bardzo dziękuję za aktualizację, więc masz na myśli, że chociaż wybrałem formę dystrybucji dla , powinienem traktować jako dane obserwowane, gdy próbuję oszacować ?

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

awokado

3

Zwykle jest funkcją parametru . Rozważ następujące przeformułowanie twierdzenia Bayesa: $p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

Lub nawet bardziej precyzyjnie (w odniesieniu do pojęcia prawdopodobieństwa):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

Konkretnym przykładem jest model

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

David Marks
źródło

Zwykle nie jest zmienną losową, ale , prawda?

y

$y$

x

$x$

awokado

Y jest zwykle parametrem na pdf X. W ustawieniach częstych y jest zwykle stałą wartością. W ustawieniu bayesowskim Y jest sama zmienną losową (jak w podanym przeze mnie przykładzie). X | Y może być również warunkowym prawdopodobieństwem w tym sensie, że chciałem dać ci motywację, dlaczego ta ilość jest nazywana prawdopodobieństwem.

David Marx,

Jeśli chodzi o konkretny przykład podany w odpowiedzi, czy masz na myśli, że jest w rzeczywistości zmienną losową, ale w rozkładzie jest brana jako parametr?

θ

$\theta$

X

$X$

awokado

To, że coś jest zmienną losową, nie oznacza, że nie może być parametrem. Witamy w cudownym świecie prawdopodobieństwa bayesowskiego :)

David Marx

0

„... nazywa się prawdopodobieństwem ...” $p(x|y)$

$p(x|y)$ to prawdopodobieństwo y dla x . Ważne jest, aby powiedzieć, jakie jest prawdopodobieństwo. I tak, to tylko warunkowe prawdopodobieństwo danego . $x$ $y$

„... jeśli te 2 zmienne losowe są niezależne, to to tylko , prawda? Zatem maksymalizacja polega na maksymalizacji ...” $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

Jeśli są one niezależne, tj. , jest stałe w stosunku do . Uważaj tutaj, ponieważ nie określasz, co maksymalizujesz w odniesieniu do - z tego, co napisałeś wcześniej, zakładam, że maksymalizujesz w odniesieniu do . $p(x|y) = p(x)$ $p(x)$ $y$ $y$

... A może jest funkcją niektórych parametrów , czyli , a MLE próbuje znaleźć która może zmaksymalizować ? Lub nawet, że y to w rzeczywistości parametry modelu, a nie zmienna losowa, maksymalizując prawdopodobieństwo znalezienia ? ... $p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

Wprowadzenie sprawia, że jest to zupełnie nowy problem. Ogólnie rzecz biorąc, odpowiedź na większość tego pytania wydaje się „zależeć”. Mogliśmy oznaczają parametry jak , jeśli chcieliśmy, i maksymalizacji w stosunku do nich. Równie dobrze moglibyśmy mieć sytuację, w której maksymalizujemy w odniesieniu do parametrów jeśli to rozsądny sposób podejścia do danego problemu. $\theta$ $y$ $p(x|y;\theta)$ $\theta$

Poklepać
źródło

Powodem, dla którego przedstawiam jest to, że w książce dotyczącej uczenia maszynowego, którą czytam, otrzymałem zestaw danych , jest odpowiednią wartością docelową, więc aby dopasować model do tego zestawu danych, mogę użyć MLE do oszacowania jaki jest parametr modelu, prawda?

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$

awokado

0

Z podręcznika STAN:

Jeśli wcześniejsze jest jednolite, tryb tylny odpowiada oszacowaniu maksymalnego prawdopodobieństwa (MLE) parametrów. Jeśli wcześniejsze nie jest jednolite, tryb tylny nazywany jest czasem maksimum oszacowania tylnego (MAP).

Neerav
źródło

Porównywanie oszacowania maksymalnego prawdopodobieństwa (MLE) i twierdzenia Bayesa

Odpowiedzi: