Przykład niespójnego estymatora maksymalnego prawdopodobieństwa

13

Czytam komentarz do artykułu, a autor stwierdza, że ​​czasami, mimo że estymatory (znalezione przez ML lub maksymalne quasilikelihood) mogą nie być spójne, moc testu ilorazu wiarygodności lub quasi-ilorazu wiarygodności może nadal być zbieżna z 1, ponieważ liczba obserwowanych danych dąży do nieskończoności (spójność testu). Jak i kiedy to się dzieje? Czy znasz jakieś bibliografie?

Stary człowiek na morzu.
źródło
Co to są LR i QLR?
gung - Przywróć Monikę
Test prawdopodobieństwa i quasi-wiarygodność;)
Starzec na morzu.
Moc powinna być wszędzie 1, z wyjątkiem jednego punktu. To, czego nie będziesz mieć, to nominalny poziom błędu typu 1.
Glen_b
@Glen_b, czy mógłbyś bardziej szczegółowo rozwinąć swój komentarz? Dzięki;)
Starzec na morzu.
@Glen_b, niestety nie, a wiki nie wydaje się mieć na nią wpisu ...
Stary człowiek w morzu.

Odpowiedzi:

10

[Myślę, że może to być przykład sytuacji omawianej w twoim pytaniu.]

Istnieje wiele przykładów niespójnych estymatorów ML. Niespójność jest powszechnie obserwowana w przypadku szeregu nieco skomplikowanych problemów z mieszaniną i problemów cenzury.

[Spójność testu polega w zasadzie na tym, że moc testu dla (ustalonej) fałszywej hipotezy wzrasta do jednego jako .]n

Radford Neal podaje przykład w swoim blogu z 2008-08-09 Niespójne oszacowanie maksymalnego prawdopodobieństwa: przykład „zwykły” . Polega na oszacowaniu parametru w:θ

X | θ    (1/2)N(0,1) + (1/2)N(θ,exp(1/θ2)2)

(Neal używa gdzie mam θ ), gdzie oszacowanie ML θ będzie miało tendencję do 0 jako n (i rzeczywiście prawdopodobieństwo może być znacznie wyższe w piku w pobliżu 0 niż w przypadku wartości rzeczywistej dla dość niewielkich rozmiarów próbek). Niemniej jednak jest tak, że szczyt znajduje się w pobliżu prawdziwej wartości θ , jest po prostu mniejszy niż ten w pobliżu 0.tθθ0nθ

Wyobraź sobie teraz dwa przypadki związane z tą sytuacją:

a) przeprowadzenie testu stosunku wiarygodności stosunku do alternatywnego H 1 : θ < θ 0 ;H0:θ=θ0H1:θ<θ0

b) wykonanie testu stosunku wiarygodności stosunku do alternatywnego H 1 : θ θ 0 .H0:θ=θ0H1:θθ0

W przypadku (a) wyobraź sobie, że prawdziwe (tak, że alternatywa jest prawdziwa, a 0 to druga strona prawdziwej θ ). Następnie, pomimo faktu, że prawdopodobieństwo bardzo bliskie 0 przekroczy prawdopodobieństwo dla θ , prawdopodobieństwo przy θ mimo to przekracza prawdopodobieństwo przy θ 0 nawet w małych próbkach, a stosunek będzie nadal wzrastał jako n , w takich sposób, aby prawdopodobieństwo odrzucenia w teście współczynnika prawdopodobieństwa sięgało 1.θ<θ00θθθθ0n

Rzeczywiście, nawet w przypadku (b), o ile jest ustalone i ograniczone od 0 , powinno również być tak, że iloraz prawdopodobieństwa wzrośnie w taki sposób, aby prawdopodobieństwo odrzucenia w teście ilorazu prawdopodobieństwa również podejście 1.θ00

Wydaje się więc, że jest to przykład niespójnego oszacowania ML, w którym moc LRT powinna mimo wszystko osiągnąć 1 (z wyjątkiem sytuacji, gdy ).θ0=0

[Zauważ, że tak naprawdę nie ma w tym nic, co nie jest jeszcze odpowiedzią Whubera, co moim zdaniem jest przykładem przejrzystości i jest znacznie prostsze do zrozumienia różnicy między spójnością testu a spójnością estymatora. Fakt, że niespójny estymator w konkretnym przykładzie nie był ML, nie ma tak naprawdę znaczenia, o ile zrozumienie tej różnicy - i wprowadzenie niespójnego estymatora, który jest konkretnie ML - jak próbowałem tutaj zrobić - tak naprawdę nie zmienia wyjaśnienie w jakikolwiek merytoryczny sposób. Jedynym prawdziwym punktem tego przykładu jest to, że myślę, że rozwiązuje on Twoje obawy związane z użyciem estymatora ML.]

Glen_b - Przywróć Monikę
źródło
Dzięki Glen za odpowiedź. Nadal mam jedno pytanie. Chodzi o to, że zwykle w dowodzie ograniczającego rozkładu LRT, który ma być chi-kwadrat, zakłada się, że estymatory ML są spójne. W twoim przypadku, w jaki sposób uzasadniłbyś, że rosnący współczynnik prawdopodobieństwa sprawi, że prawdopodobieństwo odrzucenia wzrośnie do 1, gdy rozkład graniczny jest nieznany? Czy to jest znane?
Stary człowiek na morzu.
θ
(ctd) ... musisz zapytać autora opisanego komentarza, czy to właśnie mieli na myśli.
Glen_b
W rzeczywistości to, co powiedziałem, nie jest całkiem słuszne, ponieważ możliwe jest, że licznik rośnie szybciej niż mianownik, ale stosunek nie rośnie bez ograniczenia (w tym sensie, że stosunek dwóch może rosnąć, ale być ograniczony). Powinienem powiedzieć coś w stylu „wystarczająco szybko”.
Glen_b
8

(Xn)(μ,1)

T(x1,,xn)=1+x¯=1+1ni=1nxn.

T(X1,,Xn)=1+X¯(μ+1,1/n)μ+1μ

μ=μ0μ=μAX¯TTμ+1=μ0+1μ+1=μA+11α>0T1

Whuber
źródło
dziękuję za zainteresowanie tym pytaniem. Jak możemy, w bardziej ogólnym ustawieniu, być pewnym spójności testu? Szukałem bardziej ogólnej odpowiedzi, a nie konkretnego przypadku. A także bibliografia, jeśli jest dostępna. Dzięki;)
Starzec na morzu.
Mogę też się mylić, ale estymator T nie wydaje się być estymatorem ML. Pytanie brzmi: „kiedy mamy spójność testu, kiedy estymatory ML lub estymatory maksymalnej quasilikelihood nie są spójne?”
Stary człowiek na morzu.
Zredagowałem pytanie, ponieważ mogło nie mieć jasno tego, czego chciałem. Przepraszam;)
Starzec na morzu.