Przesłanka: to może być głupie pytanie. Znam tylko stwierdzenia o właściwościach asymptotycznych MLE, ale nigdy nie badałem dowodów. Gdybym to zrobił, może nie zadawałbym tych pytań, a może zdałbym sobie sprawę, że te pytania nie mają sensu ... więc spokojnie.
Często widziałem stwierdzenia, które mówią, że estymator MLE parametrów modelu jest asymptotycznie normalny i wydajny. Instrukcja jest zwykle zapisywana jako
N→∞ jako
gdzie to liczba próbek, to informacja Fishera, a to prawdziwa wartość parametru (wektora) . Teraz, skoro istnieje odniesienie do prawdziwego modelu, czy to oznacza, że wynik nie zostanie zachowany, jeśli model nie jest prawdziwy?I θ 0
Przykład: załóżmy, że modeluję moc wyjściową z turbiny wiatrowej w funkcji prędkości wiatru plus addytywny szum GaussaV.
Wiem, że model jest zły, z co najmniej dwóch powodów: 1) jest naprawdę proporcjonalny do trzeciej potęgi i 2) błąd nie jest addytywny, ponieważ zlekceważyłem inne predyktory, które nie są nieskorelowane z prędkością wiatru (wiem też że powinno wynosić 0, ponieważ przy prędkości wiatru 0 energia nie jest generowana, ale tutaj nie ma to znaczenia). Załóżmy teraz, że mam nieskończoną bazę danych dotyczących mocy i prędkości wiatru z mojej turbiny wiatrowej. Mogę narysować tyle próbek, ile chcę, o dowolnej wielkości. Załóżmy, że narysuję 1000 próbek o wielkości 100 i obliczę , oszacowanie MLE dla \ boldsymbol {\ beta} = (\ beta_0, \ beta_1, \ beta_2)V β 0(które w moim modelu byłoby po prostu oszacowaniem OLS). Mam więc 1000 próbek z dystrybucji . Mogę powtórzyć ćwiczenie z . Czy jako „ ” rozkład powinien być asymptotycznie normalny, z podaną średnią i wariancją? Czy fakt, że model jest nieprawidłowy, unieważnia ten wynik?
Powodem jest to, że rzadko (jeśli w ogóle) model jest „prawdziwy” w aplikacjach. Jeśli asymptotyczne właściwości MLE zostaną utracone, gdy model nie jest prawdziwy, może być sensowne zastosowanie różnych zasad szacowania, które, choć mniej wydajne w ustawieniu, w którym model jest poprawny, mogą działać lepiej niż MLE w innych przypadkach.
EDYCJA : w komentarzach zauważono, że pojęcie prawdziwego modelu może być problematyczne. Miałem na myśli następującą definicję: biorąc pod uwagę rodzinę modeli oznaczonych parametrem vector , dla każdego modelu w rodzinie zawsze możesz napisać
po prostu definiując jako . Jednak ogólnie błąd nie będzie prostopadły do , ma średnią 0 i niekoniecznie musi mieć założony rozkład w derywatyzacji modelu. Jeśli istnieje wartość taka, że ma te dwie właściwości, a także założony rozkład, powiedziałbym, że model jest prawdziwy. Myślę, że jest to bezpośrednio związane ze stwierdzeniem, że , ponieważ termin błędu w rozkładzie
ma dwie właściwości wymienione powyżej.
źródło
Odpowiedzi:
Nie wierzę, że jest jedna odpowiedź na to pytanie.
Kiedy rozważamy możliwą błędną specyfikację dystrybucji przy zastosowaniu oszacowania maksymalnego prawdopodobieństwa, otrzymujemy tak zwany estymator „quasi-maksymalnego prawdopodobieństwa” (QMLE). W niektórych przypadkach QMLE jest zarówno spójny, jak i asymptotycznie normalny.
Z całą pewnością traci skuteczność asymptotyczną. Wynika to z faktu, że asymptotyczna wariancja (jest to wielkość o rozkładzie asymptotycznym, a nie tylko ), we wszystkich przypadkachn−−√(θ^−θ) θ^
gdzie jest macierzą Hesji logarytmu prawdopodobieństwa, a jest gradientem, a kapelusz wskazuje oszacowania próbki.H S
Teraz, jeśli mamy prawidłową specyfikację, najpierw otrzymujemy to
gdzie indeks dolny „ ” oznacza ocenę przy prawdziwych parametrach (i zauważ, że środkowy termin to definicja Fisher Information), a po drugie, że „ równość macierzy informacji ” utrzymuje i stwierdza, że , co oznacza, że ostatecznie będzie asymptotyczna wariancja0 −E[H0]=E[S0ST0]
co jest odwrotnością informacji Fishera.
Ale jeśli mamy błędną specyfikację, wyrażenie nie prowadzi do wyrażenia (ponieważ pierwsza i druga pochodna w zostały wyprowadzone na podstawie niewłaściwego prawdopodobieństwa). To z kolei implikuje, że nierówność matrycy informacyjnej nie ma miejsca, że nie kończymy na wyrażeniu i że (Q) MLE nie osiąga pełnej wydajności asymptotycznej.(1) (2) (1) (3)
źródło