Czy kiedykolwiek używamy oszacowania maksymalnego prawdopodobieństwa?

14

Zastanawiam się, czy oszacowanie maksymalnego prawdopodobieństwa kiedykolwiek użyte w statystykach. Uczymy się jego koncepcji, ale zastanawiam się, kiedy jest faktycznie używana. Jeśli przyjmiemy rozkład danych, znajdziemy dwa parametry, jeden dla średniej i jeden dla wariancji, ale czy rzeczywiście używasz go w rzeczywistych sytuacjach?

Czy ktoś może mi powiedzieć prosty przypadek, w którym jest używany?

użytkownik122358
źródło
33
Jest najbardziej rozpowszechniona metoda szacowania. the
JohnK
3
Próbowałem zapytać, kiedy nie używamy MLE
Haitao Du
4
regresja logistyczna. Regresja Poissona. OLS jest MLE, gdy błędy są uznawane za normalne. Regresja gamma. Naprawdę każdy klasyczny GLM. Szacowanie średniej z normalnej populacji. Szacowanie prawdopodobieństwa sukcesu na podstawie serii badań dwumianowych. Szacowanie wskaźnika zdarzeń poissona. Mógłbym kontynuować ...
GoF_Logistic
4
To bardzo wąskie wyszukiwanie w naszej witrynie dostarcza setki przykładów faktycznych zastosowań.
whuber
6
@ hxd1011 Ty nie używając MLE gdy nie używasz jego metody w celu uzyskania wariancji oszacowań lub do obliczania zaufania, przewidywania lub przedziałów tolerancji, na przykład, nawet gdy Estymator używasz może zdarzyć się zgodzić z estymatora MLE. Na przykład nie używasz MLE podczas uruchamiania testu t. Często nie używasz go, gdy stosujesz obiektywne estymatory. Filozoficznie, nie będziesz używać MLE, jeśli zależy Ci na funkcji utraty lub masz wcześniejszą dystrybucję.
whuber

Odpowiedzi:

25

Zastanawiam się, czy oszacowanie maksymalnego prawdopodobieństwa kiedykolwiek użyte w statystykach.

Na pewno! Właściwie całkiem sporo - ale nie zawsze.

Uczymy się jego koncepcji, ale zastanawiam się, kiedy jest faktycznie używana.

Gdy ludzie mają parametryczny model dystrybucji, dość często wybierają oszacowanie maksymalnego prawdopodobieństwa. Gdy model jest poprawny, istnieje szereg przydatnych właściwości estymatorów maksymalnego prawdopodobieństwa.

Na przykład - zastosowanie uogólnionych modeli liniowych jest dość rozpowszechnione, w takim przypadku parametry opisujące średnią są szacowane na podstawie maksymalnego prawdopodobieństwa.

Może się zdarzyć, że niektóre parametry są szacowane na podstawie maksymalnego prawdopodobieństwa, a inne nie. Rozważmy na przykład rozproszony Poisson GLM - parametr dyspersji nie zostanie oszacowany na podstawie maksymalnego prawdopodobieństwa, ponieważ MLE nie jest w tym przypadku przydatny.

Jeśli założymy rozkład danych, znajdziemy dwa parametry

Czasami możesz mieć dwa, ale czasami masz jeden parametr, czasem trzy lub cztery lub więcej.

jeden dla średniej i jeden dla wariancji,

Czy myślisz o konkretnym modelu? Nie zawsze tak jest. Rozważ oszacowanie parametru rozkładu wykładniczego lub rozkładu Poissona lub rozkładu dwumianowego. W każdym z tych przypadków występuje jeden parametr, a wariancja jest funkcją parametru opisującego średnią.

Lub rozważ ogólny rozkład gamma , który ma trzy parametry. Lub czteroparametrowa dystrybucja beta , która ma (być może nic dziwnego) cztery parametry. Należy również zauważyć, że (w zależności od konkretnej parametryzacji) średnia lub wariancja lub oba mogą nie być reprezentowane przez pojedynczy parametr, ale przez funkcje kilku z nich.

Na przykład rozkład gamma, dla którego istnieją trzy parametryzacje, które widzą dość powszechne zastosowanie - z których dwa najczęstsze mają zarówno średnią, jak i wariancję, które są funkcjami dwóch parametrów.

Zazwyczaj w modelu regresyjnym lub GLM lub modelu przeżycia (pośród wielu innych typów modeli) model może zależeć od wielu predyktorów, w którym to przypadku rozkład związany z każdą obserwacją w modelu może mieć jeden z własnych parametrów (lub nawet kilka parametrów), które są powiązane z wieloma zmiennymi predykcyjnymi („zmiennymi niezależnymi”).

Glen_b - Przywróć Monikę
źródło
5
„Gdy ludzie mają parametryczny model dystrybucyjny”. Nie zapomnij o nieparametrycznym oszacowaniu maksymalnego prawdopodobieństwa, aby uwzględnić prawdopodobieństwo empiryczne.
Mark L. Stone,
3
@Mark Relatywnie rzadziej. Dodam słowo do mojej odpowiedzi.
Glen_b
Czy możemy zastosować oszacowanie maksymalnego prawdopodobieństwa, chociaż zakładamy, że na przykład rozkład jest normalny? Myślę, że nie musimy, ale nadal możemy z niego korzystać, prawda?
user122358,
@ user122358 Glen and Mark już ci odpowiedzieli. Możesz założyć dystrybucję lub nie. Przez większość czasu przyjmujesz rozkład, a zatem funkcję prawdopodobieństwa.
HelloWorld,
3
„Gdy ludzie mają parametryczny model dystrybucyjny”. Nie zapomnij o półparametrycznym oszacowaniu maksymalnego prawdopodobieństwa, aby uwzględnić częściowe prawdopodobieństwo. ;)
Scortchi - Przywróć Monikę
8

Chociaż estymatory największej wiarygodności mogą wyglądać podejrzanie, biorąc pod uwagę założenia dotyczące dystrybucji danych, często stosuje się estymatory quasi-maksymalnego prawdopodobieństwa. Chodzi o to, aby zacząć od założenia dystrybucji i rozwiązania dla MLE, a następnie usunąć jawne założenie dystrybucyjne i zamiast tego przyjrzeć się, jak działa estymator w bardziej ogólnych warunkach. Więc Quasi MLE staje się po prostu sprytnym sposobem na uzyskanie estymatora, a większość pracy czerpie z właściwości estymatora. Ponieważ założenia dystrybucyjne zostały odrzucone, quasi-MLE zwykle nie ma dobrych właściwości wydajnościowych.

Jako przykład zabawki, załóżmy, że masz próbką iid , a chcesz się prognozy dla wariancji X . Można zacząć zakładając X ~ N ( | j , σ 2 ) , pisać prawdopodobieństwo używając normalnego PDF i rozwiązać za argmax dostać σ 2 = n - 1 Σ ( x I - ˉ x ) 2 . Możemy wtedy zadawać pytania, na jakich warunkachx1,x2),...,xnXXN.(μ,σ2))σ^2)=n-1(xja-x¯)2)konsekwentna Estymator jest to obiektywne (nie jest), czy to pierwiastek n spójne, co jest jego dystrybucja asypmtotic, etc.σ^2)

Igor
źródło
1
Możesz także sprawdzić ten wątek intuicyjnie za Quasi MLE.
Richard Hardy,
5

Szacowanie maksymalnego prawdopodobieństwa jest często używane w uczeniu maszynowym do szkolenia:

Zauważ, że w niektórych przypadkach preferuje się dodanie pewnej regularyzacji, która czasami jest równoważna oszacowaniu Maximum a posteriori , np. Dlaczego kara Lasso jest równoważna podwójnemu wykładniczemu (Laplaceowi) przedtem? .

Franck Dernoncourt
źródło
3

Czy ktoś może mi powiedzieć prosty przypadek, w którym jest używany?

Bardzo typowym przypadkiem jest regresja logistyczna. Regresja logistyczna jest techniką często stosowaną w uczeniu maszynowym do klasyfikowania punktów danych. Na przykład regresji logistycznej można użyć do sklasyfikowania, czy wiadomość e-mail jest spamem, czy też nie, lub do sklasyfikowania, czy dana osoba ma chorobę, czy nie.

W szczególności model regresji logistycznej mówi, że prawdopodobieństwo punktu danych xja należy do klasy 1: hθ(xja)=P[yi=1]=11+eθTxi

The parameter vector θ is typically estimated using MLE.

Specifically, using optimization methods, we find the estimator θ^ such that the expression i=1nyilog(hθ^(xi))+(1yi)log(1hθ^(xja))jest zminimalizowane. To wyrażenie jest ujemnym prawdopodobieństwem logarytmicznym, więc minimalizacja tego jest równoważna maksymalizacji prawdopodobieństwa.

użytkownik35734
źródło
1

Używamy MLE przez cały czas, ale możemy tego nie poczuć. Podam dwa proste przykłady do pokazania.

Przykład 1

Jeśli obserwujemy wynik rzutu monetą, z 8 wyjść z 10 flips (zakładając, że iid. z Bernoulli), jak odgadnąć parametr θ(prob głowy) monety? Możemy powiedziećθ=0,8, używając „liczenia”.

Dlaczego warto korzystać z liczenia? jest to faktycznie domyślnie za pomocą MLE! Gdzie jest problem?

Wyolbrzymiaćθ   θ8(1-θ)2)

Aby rozwiązać równanie, potrzebujemy rachunku różniczkowego, ale wniosek się liczy.

Przykład 2

Jak oszacowalibyśmy parametry rozkładu Gaussa na podstawie danych? Używamy średniej empirycznej jako średniej szacunkowej, a wariancji empirycznej jako wariancji szacunkowej, która również pochodzi od MLE !.

Haitao Du
źródło
6
Przykład 1 to także rozwiązanie Bayesa i metoda momentów (MM) (i prawdopodobnie jest to również rozwiązanie przy użyciu innych procedur). Przykład 2 to rozwiązanie MM. O wiele bardziej przekonujące byłoby pokazanie procedur, które są wyłącznie MLE - w przeciwnym razie nigdy nie byłoby potrzeby MLE.
whuber
Dlaczego przykład 1 staje się rozwiązaniem Bayesa, a przykład 2 staje się rozwiązaniem MM? Nawiasem mówiąc, czym jest MM?
user122358,
@ user122358 MM to metoda chwil. Zobacz tutaj, na przykład: en.wikipedia.org/wiki/Method_of_moments_(statistics)
jld
0

Niektóre maksymalne prawdopodobieństwo wykorzystania w komunikacji bezprzewodowej:

  • Dekodowanie danych cyfrowych z głośnych odbieranych sygnałów, z nadmiarowymi kodami lub bez nich.
  • Szacowanie przesunięć czasowych, fazowych i częstotliwościowych w odbiornikach.
  • Oszacowanie (parametrów) kanału propagacji.
  • Oszacowanie opóźnienia, kąta przybycia i przesunięcia Dopplera (np. Radaru).
  • Oszacowanie pozycji mobilnej (np. GPS).
  • Szacowanie przesunięć zegara do synchronizacji wszelkiego rodzaju ustawień rozproszonych.
  • Wiele procedur kalibracyjnych.
GDumphart
źródło