Oszacowanie parametrów rozkładu t-Studenta

23

Jakie są estymatory największego prawdopodobieństwa dla parametrów rozkładu t Studenta? Czy istnieją w formie zamkniętej? Szybkie wyszukiwanie w Google nie dało mi żadnych wyników.

Dzisiaj interesuje mnie przypadek jednowymiarowy, ale prawdopodobnie będę musiał rozszerzyć model na wiele wymiarów.

EDYCJA: Właściwie najbardziej interesuje mnie lokalizacja i parametry skali. Na razie mogę założyć, że parametr stopni swobody jest stały, i ewentualnie użyć jakiegoś schematu numerycznego, aby później znaleźć optymalną wartość.

estimation maximum-likelihood t-distribution Grzenio
źródło

Według mojej wiedzy nie istnieją one w formie zamkniętej. Może być wymagane podejście z podejściem gradientowym.

Pat

Chociaż rozkład t Studenta ma jeden parametr, w liczbie mnogiej odnosi się do „parametrów”. Czy może podajesz parametry lokalizacji i / lub skali?

whuber

@ Whuber, dziękuję za komentarz, naprawdę interesują mnie parametry lokalizacji i skali, bardziej niż stopnie swobody.

Grzenio

Przy danych

równanie prawdopodobieństwa dla parametru lokalizacji jest algebraicznie równoważne wielomianowi stopnia

. Czy uważasz, że zero takiego wielomianu ma być podane w „formie zamkniętej”?

n

$n$

2 n - 1

$2n-1$

whuber

@ whuber, czy są jakieś specjalne przypadki dla małych n, np. n = 3?

Grzenio

27

Forma zamknięta nie istnieje dla T, ale bardzo intuicyjne i stabilne podejście odbywa się za pomocą algorytmu EM. Ponieważ student jest mieszanką normalnych w skali, możesz napisać swój model jako

y_{ja} = μ + {mi}_{ja}

$y_i=\mu+e_i$

gdzie oraz $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ . Oznacza to, że warunkowo namle są tylko ważone średnie i odchylenie standardowe. To jest krok „M” $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{ja} w_{ja} y_{ja}}{\sum_{ja} w_{ja}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2)} = \frac{\sum_{ja} w_{ja} (y_{ja} - \hat{μ})^{2)}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

Teraz „E” zastępuje krok z jego oczekiwaniem podane wszystkie dane. Jest to podane jako: $w_i$

{\hat{w}}_{ja} = \frac{(ν + 1) σ^{2)}}{ν σ^{2)} + (y_{ja} - μ)^{2)}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

więc wystarczy powtórzyć powyższe dwa kroki, zastępując „prawą stronę” każdego równania bieżącymi oszacowaniami parametrów.

$\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

Należy zauważyć, że funkcja prawdopodobieństwa dziennika może mieć więcej niż jeden punkt stacjonarny, więc algorytm EM może zbiegać się w tryb lokalny zamiast trybu globalnego. Tryby lokalne można znaleźć, gdy parametr lokalizacji zostanie uruchomiony zbyt blisko wartości odstającej. Zatem rozpoczęcie od mediany jest dobrym sposobem na uniknięcie tego.

prawdopodobieństwo prawdopodobieństwa
źródło

1

To cudownie. Od jakiegoś czasu bawiłem się pomysłem dopasowania studenta do EM, właśnie dlatego, że wygląda jak mieszanka gaussów. Czy masz cytat / odniesienie do podanych równań aktualizacji? Posiadanie tego jeszcze bardziej zwiększyłoby niesamowitość tego postu.

Pat

Właściwie myślę, że sam go znalazłem, dla modelu mieszanego t-Studenta (którego tak zamierzam użyć do różnych rzeczy): Mieszanki rozkładów T-Studenta jako solidne ramy dla sztywnej rejestracji. Demetrios Gerogiannis, Christophoros Nikou, Aristidis Likas. Przetwarzanie obrazu i obrazu 27 (2009) 1285–1294.

Pat

Link w mojej odpowiedzi na to pytanie ma bardzo ogólną strukturę EM dla obciążeń i obciążeń funkcji prawdopodobieństwa - kwantylowych, studenckich, logistycznych i wykonuje regresję ogólną. Twój konkretny przypadek to „regresja” bez zmiennych towarzyszących - tylko przechwytuj - więc ładnie pasuje do tego frameworka. Ponadto istnieje wiele karnych terminów, które możesz włączyć do tych ram.

probabilityislogic

ν

$\nu$

Myślę, że to odniesienie jest lepsze niż @ Pat. „SZACUNEK ML DYSTRYBUCJI Z WYKORZYSTANIEM EM I JEGO ROZSZERZEŃ, ECM I ECME.” Musisz być bardzo ostrożny przy wyborze początkowej wartości parametru podczas działania algorytmu EM ze względu na lokalny optymalny problem. Innymi słowy, musisz wiedzieć coś o swoich danych. Zazwyczaj w swoich badaniach unikam zastosowania rozkładu t.

4

Poniższy artykuł odnosi się dokładnie do problemu, który napisałeś.

Liu C. i Rubin DB 1995. „Szacowanie ML rozkładu t przy użyciu EM i jego rozszerzeń, ECM i ECME”. Statistica Sinica 5: 19–39.

Zapewnia ogólne oszacowanie parametru wielowymiarowego rozkładu t, z lub bez wiedzy o stopniu swobody. Procedurę można znaleźć w rozdziale 4 i jest ona bardzo podobna do logiki prawdopodobieństwa dla 1-wymiaru.

mitchshih
źródło

7

Wygląda na to, że artykuł, do którego się odwołujesz, zawiera przydatną odpowiedź na pytanie, ale odpowiedzi są lepsze, gdy są samodzielne i nie wymagają zewnętrznych zasobów (tutaj, na przykład, możliwe jest, że OP lub czytelnicy nie mają dostępu do tego artykułu) ). Czy mógłbyś trochę rozwinąć swoją odpowiedź, aby była bardziej samodzielna?

Patrick Coulombe,

3

\frac{Γ (\frac{ν + 1}{2)})}{\sqrt{ν π} Γ (\frac{ν}{2)})} {(1 + \frac{t^{2)}}{ν})}^{- \frac{ν + 1}{2)}} = \frac{Γ (\frac{ν + 1}{2)})}{\sqrt{ν π} Γ (\frac{ν}{2)})} \exp {[\ln (1 + \frac{t^{2)}}{ν})] [- \frac{ν + 1}{2)}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$

ν

$\nu$

n

$n$

n

$n$

ν \to \infty

$\nu \rightarrow \infty$

Lucozade
źródło

1

Nawet w ustawieniu Gaussa prawdopodobieństwo dziennika jest nieliniowe w swoich parametrach :-).

whuber

Właściwie interesują mnie parametry lokalizacji i skali, bardziej niż stopnie swobody. Zobacz edycję pytania i przepraszamy za nieprecyzyjne.

Grzenio

2

Niedawno odkryłem estymator w formie zamkniętej dla skali rozkładu t Studenta. Według mojej najlepszej wiedzy jest to nowy wkład, ale chętnie przyjmę komentarze sugerujące wszelkie powiązane wyniki. Artykuł opisuje tę metodę w kontekście rodziny rozkładów „wykładniczych sprzężonych”. Wartość t Studenta jest określana jako Sprzężony Gaussa, gdzie termin sprzężenia jest odwrotnością stopnia swobody. Statystyka w formie zamkniętej jest średnią geometryczną próbek. Zakładając wartość sprzężenia lub stopień swobody, oszacowanie skali jest określane przez pomnożenie średniej geometrycznej próbek przez funkcję obejmującą sprzężenie i liczbę harmoniczną.

https://arxiv.org/abs/1804.03989 Zastosowanie średniej geometrycznej jako statystyki dla skali sprzężonych rozkładów Gaussa, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

Kenric
źródło

Oszacowanie parametrów rozkładu t-Studenta

Odpowiedzi: