Czy można zastosować zwykłą procedurę MLE do rozkładu trójkąta? - Próbuję, ale wydaje mi się, że jestem zablokowany na tym etapie matematyki przez sposób definiowania rozkładu. Próbuję wykorzystać fakt, że znam liczbę próbek powyżej i poniżej c (bez znajomości c): te 2 liczby to cn i (1-c) n, jeśli n jest całkowitą liczbą próbek. Jednak to nie wydaje się pomóc w wyprowadzeniu. Moment momentów daje estymator dla c bez większego problemu. Jaka jest dokładna natura przeszkody dla MLE tutaj (jeśli rzeczywiście istnieje)?
Więcej szczegółów:
Rozważmy w oraz dystrybucję zdefiniowaną na poprzez: [ 0 , 1 ] [ 0 , 1 ]
jeśli x <c if c <= x
Weźmy IID próbki z tego rozkładu tworzą logarytm prawdopodobieństwo c podaną tej próbki:{ x i }
Próbuję następnie wykorzystać fakt, że biorąc pod uwagę postać , wiemy, że próbki spadną poniżej (nieznanego) , a spadną powyżej . IMHO, pozwala to na dekompozycję sumy wyrażającej prawdopodobieństwo dziennika w ten sposób:c n c ( 1 - c ) n c
Tutaj nie jestem pewien, jak postępować. MLE będzie wymagało wzięcia pochodnej wr prawdopodobieństwa logarytmicznego, ale mam jako górną granicę sumowania, która wydaje się to blokować. Mógłbym spróbować z inną formą prawdopodobieństwa dziennika, używając funkcji wskaźnika:c
Ale wyprowadzenie wskaźników również nie wydaje się łatwe, chociaż delty Diraca mogłyby pozwolić na kontynuację (wciąż mając wskaźniki, ponieważ musimy wyprowadzić produkty).
Więc tutaj jestem zablokowany w MLE. Dowolny pomysł?
Odpowiedzi:
Na pewno! Chociaż należy poradzić sobie z pewnymi dziwactwami, w tym przypadku można obliczyć MLE.
Jeśli jednak przez „zwykłą procedurę” masz na myśli „weź pochodne prawdopodobieństwa log i ustaw je na zero”, to może nie.
Czy próbowałeś narysować prawdopodobieństwo?
-
Dalsze działania po wyjaśnieniu pytania:
Pytanie o narysowanie prawdopodobieństwa nie było bezczynnym komentarzem, ale miało kluczowe znaczenie.
Nie. MLE polega na znalezieniu argmax funkcji. To wymaga tylko znalezienia zer pochodnej w określonych warunkach ... które nie mają tu miejsca. W najlepszym razie, jeśli uda ci się to zrobić, zidentyfikujesz kilka lokalnych minimów .
Jak sugerowało moje wcześniejsze pytanie, spójrz na prawdopodobieństwo.
Oto próbka, z 10 obserwacji z trójkątnego rozkładu na (0,1):y
Oto funkcje prawdopodobieństwa i wiarygodności dziennika dla dla tych danych:c
Szare linie oznaczają wartości danych (prawdopodobnie powinienem był wygenerować nową próbkę, aby uzyskać lepszy rozdział wartości). Czarne kropki oznaczają prawdopodobieństwo / log-prawdopodobieństwo tych wartości.
Oto powiększenie w pobliżu maksymalnego prawdopodobieństwa, aby zobaczyć więcej szczegółów:
Jak widać na podstawie prawdopodobieństwa, w wielu statystykach zamówień funkcja prawdopodobieństwa ma ostre „rogi” - punkty, w których pochodna nie istnieje (co nie jest zaskoczeniem - oryginalny plik PDF ma róg i bierzemy produkt pdf). To (że są statystyki w statystykach zamówień) ma miejsce w przypadku rozkładu trójkątnego, a maksimum zawsze występuje w jednej ze statystyk zamówień. (To, że występy występują przy statystykach zamówień, nie jest unikalne dla rozkładów trójkątnych; na przykład gęstość Laplace'a ma narożnik, w wyniku czego prawdopodobieństwo jego środka ma jeden dla każdej statystyki zamówienia).
Jak to bywa w mojej próbce, maksimum występuje jako statystyka czwartego rzędu, 0,3780912
Aby znaleźć MLE dla na (0,1), po prostu znajdź prawdopodobieństwo przy każdej obserwacji. Ten, który ma największe prawdopodobieństwo, to MLE z .cc c
Przydatnym odniesieniem jest rozdział 1 „ Beyond Beta ” autorstwa Johana van Dorpa i Samuela Kotza. Tak się składa, że rozdział 1 to darmowy „przykładowy” rozdział do książki - możesz go pobrać tutaj .
Eddie Oliver ma na ten temat piękny artykuł z trójkątnym rozkładem, jak sądzę w American Statistician (co w zasadzie dotyczy tych samych kwestii; myślę, że był w Kąciku Nauczyciela). Jeśli uda mi się go zlokalizować, podam go jako punkt odniesienia.
Edycja: tutaj jest:
EH Oliver (1972), A Maximum Likelihood Oddity,
The American Statistician , Vol 26, Issue 3, June, str. 43-44
( link wydawcy )
Jeśli możesz to łatwo zdobyć, warto zajrzeć, ale rozdział Dorp i Kotz obejmuje większość istotnych zagadnień, więc nie jest to kluczowe.
Kontynuując pytanie w komentarzach - nawet jeśli potrafisz znaleźć sposób na „wygładzenie” narożników, nadal będziesz musiał poradzić sobie z faktem, że możesz uzyskać wiele lokalnych maksimów:
Może być jednak możliwe znalezienie estymatorów o bardzo dobrych właściwościach (lepszych niż metoda momentów), które można łatwo zapisać. Ale ML na trójkącie na (0,1) to kilka wierszy kodu.
Jeśli chodzi o ogromne ilości danych, to też można sobie poradzić, ale myślę, że byłoby to inne pytanie. Na przykład, nie każdy punkt danych może być wartością maksymalną, co zmniejsza nakład pracy i można dokonać innych oszczędności.
źródło