MLE dla rozkładu trójkątów?

12

Czy można zastosować zwykłą procedurę MLE do rozkładu trójkąta? - Próbuję, ale wydaje mi się, że jestem zablokowany na tym etapie matematyki przez sposób definiowania rozkładu. Próbuję wykorzystać fakt, że znam liczbę próbek powyżej i poniżej c (bez znajomości c): te 2 liczby to cn i (1-c) n, jeśli n jest całkowitą liczbą próbek. Jednak to nie wydaje się pomóc w wyprowadzeniu. Moment momentów daje estymator dla c bez większego problemu. Jaka jest dokładna natura przeszkody dla MLE tutaj (jeśli rzeczywiście istnieje)?

Więcej szczegółów:

Rozważmy w oraz dystrybucję zdefiniowaną na poprzez: [ 0 , 1 ] [ 0 , 1 ]c[0,1][0,1]

f(x;c)=2xc jeśli x <c if c <= x
f(x;c)=2(1x)(1c)

Weźmy IID próbki z tego rozkładu tworzą logarytm prawdopodobieństwo c podaną tej próbki:{ x i }n{xi}

l^(c|{xi})=i=1nln(f(xi|c))

Próbuję następnie wykorzystać fakt, że biorąc pod uwagę postać , wiemy, że próbki spadną poniżej (nieznanego) , a spadną powyżej . IMHO, pozwala to na dekompozycję sumy wyrażającej prawdopodobieństwo dziennika w ten sposób:c n c ( 1 - c ) n cfcnc(1c)nc

l^(c|{xi})=i=1cnln2xic+i=1(1c)nln2(1xi)1c

Tutaj nie jestem pewien, jak postępować. MLE będzie wymagało wzięcia pochodnej wr prawdopodobieństwa logarytmicznego, ale mam jako górną granicę sumowania, która wydaje się to blokować. Mógłbym spróbować z inną formą prawdopodobieństwa dziennika, używając funkcji wskaźnika:ccc

l^(c|{xi})=i=1n{xi<c}ln2xic+i=1n{c<=xi}ln2(1xi)1c

Ale wyprowadzenie wskaźników również nie wydaje się łatwe, chociaż delty Diraca mogłyby pozwolić na kontynuację (wciąż mając wskaźniki, ponieważ musimy wyprowadzić produkty).

Więc tutaj jestem zablokowany w MLE. Dowolny pomysł?

Szczery
źródło
Jeśli dotyczy to jakiegoś przedmiotu, dodaj znacznik do samodzielnej nauki. Jeśli nie, proszę wyjaśnić, w jaki sposób powstaje problem.
Glen_b
Dziękuję za aktualizację; znacznie ułatwia mówienie rozsądnych rzeczy w odpowiedzi, ponieważ znacznie ogranicza zakres spraw do załatwienia. Czy mógłbyś rozważyć mój wcześniejszy komentarz. Albo to wchodzi w zakres samokształcenia, albo nie, w obu przypadkach zapytałem, czy coś zrobiłbyś.
Glen_b
To nie jest praca domowa ani klasa. Powstaje w mojej pracy. Mamy inny estymator z metody chwil, ale staram się lepiej zrozumieć, co się tutaj dzieje z MLE.
Frank
W porządku; to daje mi więcej swobody. Zobacz moją zaktualizowaną odpowiedź. Prawdopodobnie wkrótce
dodam
Dodano odniesienia / linki
Glen_b

Odpowiedzi:

10

Czy można zastosować zwykłą procedurę MLE do rozkładu trójkąta?

Na pewno! Chociaż należy poradzić sobie z pewnymi dziwactwami, w tym przypadku można obliczyć MLE.

Jeśli jednak przez „zwykłą procedurę” masz na myśli „weź pochodne prawdopodobieństwa log i ustaw je na zero”, to może nie.

Jaka jest dokładna natura przeszkody dla MLE tutaj (jeśli rzeczywiście istnieje)?

Czy próbowałeś narysować prawdopodobieństwo?

-

Dalsze działania po wyjaśnieniu pytania:

Pytanie o narysowanie prawdopodobieństwa nie było bezczynnym komentarzem, ale miało kluczowe znaczenie.

MLE będzie polegać na przyjmowaniu pochodnej

Nie. MLE polega na znalezieniu argmax funkcji. To wymaga tylko znalezienia zer pochodnej w określonych warunkach ... które nie mają tu miejsca. W najlepszym razie, jeśli uda ci się to zrobić, zidentyfikujesz kilka lokalnych minimów .

Jak sugerowało moje wcześniejsze pytanie, spójrz na prawdopodobieństwo.

Oto próbka, z 10 obserwacji z trójkątnego rozkładu na (0,1):y

0.5067705 0.2345473 0.4121822 0.3780912 0.3085981 0.3867052 0.4177924
0.5009028 0.8420312 0.2588613

Oto funkcje prawdopodobieństwa i wiarygodności dziennika dla dla tych danych: cprawdopodobieństwo piku trójkątnego

log-prawdopodobieństwo dla piku trójkątnego

Szare linie oznaczają wartości danych (prawdopodobnie powinienem był wygenerować nową próbkę, aby uzyskać lepszy rozdział wartości). Czarne kropki oznaczają prawdopodobieństwo / log-prawdopodobieństwo tych wartości.

Oto powiększenie w pobliżu maksymalnego prawdopodobieństwa, aby zobaczyć więcej szczegółów:

Szczegół prawdopodobieństwa

Jak widać na podstawie prawdopodobieństwa, w wielu statystykach zamówień funkcja prawdopodobieństwa ma ostre „rogi” - punkty, w których pochodna nie istnieje (co nie jest zaskoczeniem - oryginalny plik PDF ma róg i bierzemy produkt pdf). To (że są statystyki w statystykach zamówień) ma miejsce w przypadku rozkładu trójkątnego, a maksimum zawsze występuje w jednej ze statystyk zamówień. (To, że występy występują przy statystykach zamówień, nie jest unikalne dla rozkładów trójkątnych; na przykład gęstość Laplace'a ma narożnik, w wyniku czego prawdopodobieństwo jego środka ma jeden dla każdej statystyki zamówienia).

Jak to bywa w mojej próbce, maksimum występuje jako statystyka czwartego rzędu, 0,3780912

Aby znaleźć MLE dla na (0,1), po prostu znajdź prawdopodobieństwo przy każdej obserwacji. Ten, który ma największe prawdopodobieństwo, to MLE z .ccc

Przydatnym odniesieniem jest rozdział 1 „ Beyond Beta ” autorstwa Johana van Dorpa i Samuela Kotza. Tak się składa, że ​​rozdział 1 to darmowy „przykładowy” rozdział do książki - możesz go pobrać tutaj .

Eddie Oliver ma na ten temat piękny artykuł z trójkątnym rozkładem, jak sądzę w American Statistician (co w zasadzie dotyczy tych samych kwestii; myślę, że był w Kąciku Nauczyciela). Jeśli uda mi się go zlokalizować, podam go jako punkt odniesienia.

Edycja: tutaj jest:

EH Oliver (1972), A Maximum Likelihood Oddity,
The American Statistician , Vol 26, Issue 3, June, str. 43-44

( link wydawcy )

Jeśli możesz to łatwo zdobyć, warto zajrzeć, ale rozdział Dorp i Kotz obejmuje większość istotnych zagadnień, więc nie jest to kluczowe.


Kontynuując pytanie w komentarzach - nawet jeśli potrafisz znaleźć sposób na „wygładzenie” narożników, nadal będziesz musiał poradzić sobie z faktem, że możesz uzyskać wiele lokalnych maksimów:

dwa lokalne maks

Może być jednak możliwe znalezienie estymatorów o bardzo dobrych właściwościach (lepszych niż metoda momentów), które można łatwo zapisać. Ale ML na trójkącie na (0,1) to kilka wierszy kodu.

Jeśli chodzi o ogromne ilości danych, to też można sobie poradzić, ale myślę, że byłoby to inne pytanie. Na przykład, nie każdy punkt danych może być wartością maksymalną, co zmniejsza nakład pracy i można dokonać innych oszczędności.

Glen_b
źródło
Dzięki - postaram się opublikować moją nieudaną próbę, pokazując, o której dystrybucji dokładnie mówię i gdzie myślę, że jestem zablokowany.
Frank
Dziękuję za szczegółowe wyjaśnienie! Miałem jednak inny pomysł: załóżmy, że mogę znaleźć rodzinę funkcji, które są zbieżne z rozkładem trójkątów, ale nie byłyby fragmentaryczne - czy mógłbym użyć tego do analitycznego wyprowadzenia MLE, a następnie przyjąć granicę i założyć, że mam MLE z sam rozkład trójkątów?
Frank
Być może - myślę, że może to zależeć od konkretnego procesu limitowania, którego używasz ... i prawdopodobnie nadal będziesz mieć kilka lokalnych maksimów, więc prawdopodobnie oszczędza to tylko oszacowania prawdopodobieństwa w pobliżu statystyk ekstremalnego zamówienia - ale nawet jeśli to działało, dlaczego w ogóle próbowałbyś zrobić coś tak skomplikowanego? Co jest złego w ML na rozkładzie trójkątnym? W praktyce jest to bardzo proste.
Glen_b
2
Muszę powiedzieć, że ten MLE dla c oparty na statystykach porządkowych jest całkiem niezły, chociaż wyprowadzenie w powyższym rozdziale zajmuje trochę pracy (choć nie jest to zbyt trudne) - ładna ilustracja, że ​​istotą MLE jest argmax (oczywiście!), zamiast pochodnej (jak wskazałeś i w pełni się z tym zgadzam, przyszło mi do głowy, że działam powyżej „zwykłego” etapu pochodnej (tj. po prostu martwię się o maksymalizację, w jakikolwiek sposób), ale nie dążyłem do tego.
Frank
1
@Frank: Dodatkowym odniesieniem są Huang i Shen (2007). Więcej dziwactw maksymalnego prawdopodobieństwa , Journal of Statistics Planning and Inference, tom 137, wydanie 7, lipiec, s. 2151–2155. Glen: Przez statystyki zamówień masz na myśli tylko uporządkowane wartości ? xi
COOLSerdash