Estymator maksymalnego prawdopodobieństwa - przedział ufności

12

Jak mogę zbudować asymptotyczny przedział ufności dla rzeczywistego parametru, zaczynając od MLE dla tego parametru?

Fabrizio
źródło
Jednym ze sposobów rozwiązania tego problemu jest użycie metody delta: en.wikipedia.org/wiki/Delta_method
Zauważyłem, że są głosy, aby zamknąć to pytanie jako zbyt szeroka, ale tam jest ogólny twierdzenie o asymptotycznej zachowanie MLEs które można zwięźle podaną. Podaję zwięzłą odpowiedź, którą rozwinę nieco później.
Scortchi - Przywróć Monikę

Odpowiedzi:

13

Wykorzystaj fakt, że dla próbki iid o wielkości , biorąc pod uwagę pewne warunki regularności, MLE jest spójnym estymatorem prawdziwego parametru , a jego rozkład asymptotycznie normalny, z wariancją określoną przez odwrotność Informacje o Fisher:θ θ 0nθ^θ0

I1(θ0)ja(θ)

n(θ^θ0)N(0,1I1(θ0))
gdzie to informacje Fishera z pojedynczej próbki. Informacje obserwowane w MLE mają tendencję do asymptotycznej oczekiwanej informacji, dzięki czemu można obliczyć (powiedzmy 95%) przedziały ufności za pomocąI1(θ0)I(θ^)

θ^±1.96nI1(θ^)

Na przykład, jeśli jest zmienną Poissona skróconą do zera, możesz uzyskać wzór na obserwowane informacje w zakresie MLE (które musisz obliczyć numerycznie): X

f(x)=eθθxx!(1eθ)

(θ)=θ+xlogθlog(1eθ)

d(θ)dθ=1+xθeθ1eθ

I1(θ^)=d2(θ^)(dθ^)2=xθ^eθ^(1eθ^)2

Godne uwagi przypadki wyłączone z warunków prawidłowości obejmują te, w których

  • parametr określa obsługę danych, np. próbkowanie z jednorodnego rozkładu między nic aθθ
  • liczba uciążliwych parametrów rośnie wraz z wielkością próbki
Scortchi - Przywróć Monikę
źródło
Czy ta metoda ma zastosowanie niezmodyfikowana, gdy istnieją ograniczenia dotyczące , np. ? Co z MLE dla parametrów , takich, że i ? θθ[0,1]Nθii=0,...,N1i=0N1θi=1θi[0,1]
quant_dev,
1
Jeśli , tzn. Prawdziwa wartość nie jest równa jednej z granic. θ(0,1)
Scortchi - Przywróć Monikę
Jeśli i, czy nie oznacza to, że normalne przybliżenie nie ma zastosowania i potrzebuję więcej próbek? θ(0,1)σ(θ^)>|θ^|
quant_dev
Tak, to tylko asymptotyczny przedział ufności.
Scortchi - Przywróć Monikę
1
@ quant_dev: Nie: szukałbyś transformacji parametrów, które sprawiły, że normalne przybliżenie jest przyzwoite - lub użyć innej metody.
Scortchi - Przywróć Monikę