W jaki sposób mundur wcześniejszy prowadzi do tych samych szacunków na podstawie maksymalnego prawdopodobieństwa i trybu z tyłu?

9

Badam różne metody szacowania punktowego i czytam, że kiedy używam oszacowań MAP vs ML, kiedy używamy „jednolitego wcześniejszego”, oszacowania są identyczne. Czy ktoś może wyjaśnić, czym jest „jednolity” uprzedni i podać (proste) przykłady, kiedy estymatory MAP i ML będą takie same?

użytkownik1516425
źródło
4
@AndreSilva MAP = Maximum a posteriori - tryb a posterior
Glen_b

Odpowiedzi:

10

Jest to rozkład równomierny (ciągły lub dyskretny).

Zobacz też

http://en.wikipedia.org/wiki/Point_estimation#Bayesian_point-estimation

i

http://en.wikipedia.org/wiki/Maximum_a_posteriori_estimation#Description

Jeśli użyjesz munduru przed zestawem zawierającym MLE, wówczas MAP = MLE zawsze. Powodem tego jest to, że w ramach tej poprzedniej struktury rozkład a posteriori i prawdopodobieństwo są proporcjonalne.

MAPMLE
źródło
2
To jest, moim zdaniem, dobra odpowiedź. Warto dodać, że powodem, dla którego rozkład tylny i prawdopodobieństwo są proporcjonalne, jest to, że rozkład tylny jest proporcjonalny do iloczynu prawdopodobieństwa i wcześniejszego. Kiedy przeor przyjmuje wszędzie tę samą wartość, co w rozkładzie równomiernym, wówczas rozkład tylny jest po prostu proporcjonalny do prawdopodobieństwa.
TooTone
1
@TooTone Chciałbym również dodać punkt o niewłaściwości.
Stéphane Laurent,
Jednolity przełożony może być postrzegany jako dający zestaw użytkowników lub jednakowe prawdopodobieństwo dla każdej klasy, którą próbujesz przewidzieć. Na przykład, jeśli mamy problem z dwiema klasami, a rozkład dla pozytywnych przykładów wynosi 10% (tj. Wcześniejsze prawdopodobieństwo 0,1), możemy ustawić jednolitą wcześniej dla pozytywnych przypadków na 0,5, aby przezwyciężyć efekt nierównowagi oryginału dystrybucja.
soufanom
2
Uwaga: w przypadku jednolitego przed MAP i ML zderzają się tylko wtedy, gdy jednolity przedtem zawiera się we wszystkich prawidłowych wartościach parametru. Mianowicie, jeśli parametr jest ciągły, a pierwszeństwo jest jednolite tylko w [0, 1], to nie zostanie zachowane.
Royi
@Drazick: dobra uwaga. Jest w rzeczywistości „gorszy” od tego, a mianowicie (wartość) MAP zależy od wyboru dominującej miary, jak wyjaśniono w tym artykule Druihleta i Marina .
Xi'an
1

MLE jest oszacowaniem wystąpienia danego zdarzenia przy danym parametrze, natomiast MAP jest oszacowaniem parametru przy danym zdarzeniu. Kiedy dalej wykorzystujemy twierdzenie Bayesa podczas szacowania MAP, sprowadza się ono doP(D|θ)P(θ) gdzie P(θ)jest jedynym dodatkowym terminem w odniesieniu do MLE. Oszacowanie średniej i wariancji MAP będzie takie samo, jak oszacowanie średniej i wariancji MLE, ponieważ Prior pozostaje za każdym razem taki sam i w ogóle się nie zmienia. Zatem działa tylko jako stała, a zatem nie odgrywa żadnej roli w wpływie na wartość średniej i wariancji.

gg1782191
źródło
(-1) Oszacowanie maksymalnego prawdopodobieństwa (parametru) jest oszacowaniem parametru, a nie „oszacowaniem wystąpienia danego zdarzenia”. Pozostała część odpowiedzi jest również nieco zagmatwana / myląca, na przykład nie jest jasne, do czego odnoszą się słowa „średnia i wariancja”.
Juho Kokkala
@Tim, czy możesz przedstawić dowód (lub zarys), który pokazuje The mean and variance estimate of MAP will be same as mean and variance estimate of MLE? Dziękuję
ciekawy_dan
Twierdzenie @curious_dan Bayes jest p(θ|X)p(X|θ)p(θ), gdyby p(θ)1 jest jednolity, a następnie zmniejsza się do p(θ|X)p(X|θ)×1, więc maksymalizujesz tylko prawdopodobieństwo, więc jest to to samo co MLE.
Tim
dziękuję, @Tim --- Rozumiem, dlaczego tak jest w przypadku wartości maksymalnej / oczekiwanej, ale nie jest dla mnie jasne, że wariancja będzie taka sama
ciekawy_dan
@curious_dan wariancja czego? Dotyczy to każdego oszacowanego parametru.
Tim