Jakie jest maksymalne oszacowanie prawdopodobieństwa kowariancji dwuwymiarowych normalnych danych, gdy znana jest średnia i wariancja?

11

Załóżmy, że mamy losową próbkę z dwuwymiarowego rozkładu normalnego, który ma zera jako średnie i jedynki jako wariancje, więc jedynym nieznanym parametrem jest kowariancja. Co to jest MLE kowariancji? Wiem, że powinno to być coś takiego jak ale skąd to wiemy?1nj=1nxjyj

Stacy
źródło
1
Na początek, czy nie sądzisz, że oszacowanie średnich za pomocą i ˉ y nie jest trochę mądre, skoro wiemy, że są to 0 i 0? x¯y¯
Wolfgang
Bardzo wujek, naprawiłem to. Nadal nie widzę, jak można to łatwo wykonać. Jest to analogiczne do wariancji próbki, ale dlaczego to jest MLE (chyba że nie jest, a popełniłem kolejny błąd)
Stacy
Czy usunąłeś ? Biorąc tę formułę nie znaczy rozważyć ˉ x i ˉ y jako szacunków środków. 1ni=1n(xix¯)(yiy¯)x¯y¯
Stéphane Laurent,
@ StéphaneLaurent Tak, w początkowym poście formuła została podana w takiej postaci, w jakiej została napisana.
Wolfgang

Odpowiedzi:

12

Estymator współczynnika korelacji (który w przypadku dwuwymiarowej normy normalnej jest równy kowariancji)

r~=1ni=1nxiyi

to estymator metody momentu, kowariancja próbki. Zobaczymy, czy to zbiega się z estymatora największej .ρ^

Łączna gęstość dwuwymiarowej normy normalnej ze współczynnikiem korelacji wynosiρ

f(x,y)=12π1ρ2exp{x2+y22ρxy2(1ρ2)}

a zatem logarytmiczne prawdopodobieństwo próbki średniej wielkości wynosin

lnL=nln(2π)n2ln(1ρ2)12(1ρ2)i=1n(xi2+yi22ρxiyi)

(tutaj założenie iid dotyczy oczywiście każdego losowania z dwuwymiarowej populacji)

Biorąc pochodną względem i ustawiając ją na zero, otrzymujemy wielomian 3d stopni w ρ :ρρ

ρ^:nρ^3(i=1nxiyi)ρ^2(11ni=1n(xi2+yi2))nρ^i=1nxiyi=0

To, czy obliczenia są prawidłowe, można zweryfikować, jeśli weźmie się oczekiwaną wartość pochodnej obliczonej przy prawdziwym współczynniku -it będzie równa zero.ρ

Dla zwięzłości, zapisu , która jest sumą próbki wariancje X i Y . Jeśli podzielimy wyrażenie 1. pochodnej przez n, pojawi się estymator MoM, w szczególności(1/n)i=1n(xi2+yi2)=(1/n)S2XYn

ρ^:ρ^3r~ρ^2+[(1/n)S21]ρ^r~=0

ρ^(ρ^2r~ρ^+[(1/n)S21])=r~

Robi to algebraiczną to nie jest trudne do wniosku, że otrzymamy ρ = ~ R , wtedy i tylko wtedy, gdy ( 1 / n ) S 2 = 2 , to znaczy tylko wtedy, gdy dzieje się tak, że suma próbki odchylenia jest równa sumie prawdziwych wariancji. Tak ogólnieρ^=r~(1/n)S2=2

ρ^r~

Co się tu dzieje? Ktoś mądrzejszy to wyjaśni, na razie spróbujmy symulacji: wygenerowałem próbkę iid dwóch standardowych normalnych o współczynniku korelacji . Wielkość próbki wynosiła n = 1000 . Przykładowe wartości toρ=0.6n=1.000

i=1nxiyi=522.05,S2=1913.28

Podaje nam estymator metody momentów

r~=522.051000=0.522

Co dzieje się z prawdopodobieństwem dziennika? Wizualnie mamy

wprowadź opis zdjęcia tutaj

Mamy liczbowo

ρ1st derivlnL0.570.92783.650.5159.41782.470.5247.7781.480.5335.78780.680.5423.64780.10.5511.29779.750.561.29779.640.5714.1779.810.5827.15780.270.5940.44781.050.653.98782.18

ρ=0.56(ρ^=0.558985)ρ

Ta symulacja jest zatem zgodna z wynikiem, że estymator największego prawdopodobieństwa nie jest równy metodzie estymatora momentów (czyli kowariancji próbki między dwoma wartościami RV).

Wygląda jednak na to, że „wszyscy” mówią, że powinien … więc ktoś powinien coś wyjaśnić.

AKTUALIZACJA

Odnośnik, który dowodzi, że MLE jest estymatorem metody momentu: Anderson, TW i Olkin, I. (1985). Oszacowanie maksymalnego prawdopodobieństwa parametrów wielowymiarowego rozkładu normalnego. Algebra liniowa i jej zastosowania, 70, 147-171.
Czy to ważne, że tutaj wszystkie środki i wariancje mogą się zmieniać i nie są ustalone?

... Prawdopodobnie tak, ponieważ komentarz @ faceta w innej (już usuniętej) odpowiedzi mówi, że przy danych parametrach średniej i wariancji norma dwuwymiarowa staje się członkiem zakrzywionej rodziny wykładniczej (a więc niektóre wyniki i właściwości się zmieniają) ... który wydaje się być jedynym sposobem na pogodzenie tych dwóch wyników.

Alecos Papadopoulos
źródło
1
ρY=ρX+ϵϵN(0,1ρ22)Var(X)xy/xxxy/yyVar(Y)
1
@guy: Bardzo interesujące. Myślę, że te argumenty, choć nieco rozszerzone, w pełni zasługują na zamieszczenie jako osobnej odpowiedzi!
ameba
ϵ2=(yρx)2=y22ρxy+ρ2x2ρ2x2
1ni=1n(xix¯)(yiy¯)n=2y1=y20
1
x2+y22ρxy=(1ρ2)x2+(yρx)2(1ρ2)x2(1ρ2)(yρx)2/(1ρ2)XN(μX,σX2)[Y|X]N(μY+ρXσYσX(XμX),σY|X21ρ22)σY/σX
2

μX=μY=0σX=σY=1n

L(ρ|X,Y)=1(2π[1ρ2])n/2exp[12(1ρ2)(XX2ρXY+YY)].

ρρ^

Dennis
źródło