Załóżmy, że mamy losową próbkę z dwuwymiarowego rozkładu normalnego, który ma zera jako średnie i jedynki jako wariancje, więc jedynym nieznanym parametrem jest kowariancja. Co to jest MLE kowariancji? Wiem, że powinno to być coś takiego jak ale skąd to wiemy?
11
Odpowiedzi:
Estymator współczynnika korelacji (który w przypadku dwuwymiarowej normy normalnej jest równy kowariancji)
to estymator metody momentu, kowariancja próbki. Zobaczymy, czy to zbiega się z estymatora największej .ρ^
Łączna gęstość dwuwymiarowej normy normalnej ze współczynnikiem korelacji wynosiρ
a zatem logarytmiczne prawdopodobieństwo próbki średniej wielkości wynosin
(tutaj założenie iid dotyczy oczywiście każdego losowania z dwuwymiarowej populacji)
Biorąc pochodną względem i ustawiając ją na zero, otrzymujemy wielomian 3d stopni w ρ :ρ ρ
To, czy obliczenia są prawidłowe, można zweryfikować, jeśli weźmie się oczekiwaną wartość pochodnej obliczonej przy prawdziwym współczynniku -it będzie równa zero.ρ
Dla zwięzłości, zapisu , która jest sumą próbki wariancje X i Y . Jeśli podzielimy wyrażenie 1. pochodnej przez n, pojawi się estymator MoM, w szczególności( 1 / n ) ∑ni = 1( x2)ja+ y2)ja) = ( 1 / n ) S.2) X Y n
Robi to algebraiczną to nie jest trudne do wniosku, że otrzymamy ρ = ~ R , wtedy i tylko wtedy, gdy ( 1 / n ) S 2 = 2 , to znaczy tylko wtedy, gdy dzieje się tak, że suma próbki odchylenia jest równa sumie prawdziwych wariancji. Tak ogólnieρ^= r~ ( 1 / n ) S.2)= 2
Co się tu dzieje? Ktoś mądrzejszy to wyjaśni, na razie spróbujmy symulacji: wygenerowałem próbkę iid dwóch standardowych normalnych o współczynniku korelacji . Wielkość próbki wynosiła n = 1000 . Przykładowe wartości toρ = 0,6 n = 1.000
Podaje nam estymator metody momentów
Co dzieje się z prawdopodobieństwem dziennika? Wizualnie mamy
Mamy liczbowo
Ta symulacja jest zatem zgodna z wynikiem, że estymator największego prawdopodobieństwa nie jest równy metodzie estymatora momentów (czyli kowariancji próbki między dwoma wartościami RV).
Wygląda jednak na to, że „wszyscy” mówią, że powinien … więc ktoś powinien coś wyjaśnić.
AKTUALIZACJA
Odnośnik, który dowodzi, że MLE jest estymatorem metody momentu: Anderson, TW i Olkin, I. (1985). Oszacowanie maksymalnego prawdopodobieństwa parametrów wielowymiarowego rozkładu normalnego. Algebra liniowa i jej zastosowania, 70, 147-171.
Czy to ważne, że tutaj wszystkie środki i wariancje mogą się zmieniać i nie są ustalone?
... Prawdopodobnie tak, ponieważ komentarz @ faceta w innej (już usuniętej) odpowiedzi mówi, że przy danych parametrach średniej i wariancji norma dwuwymiarowa staje się członkiem zakrzywionej rodziny wykładniczej (a więc niektóre wyniki i właściwości się zmieniają) ... który wydaje się być jedynym sposobem na pogodzenie tych dwóch wyników.
źródło
źródło