Jak znaleźć tryb funkcji gęstości prawdopodobieństwa?

Zainspirowany moim drugim pytaniem , chciałbym zapytać, w jaki sposób można znaleźć tryb funkcji gęstości prawdopodobieństwa (PDF) funkcji ?$f(x)$

Czy istnieje jakaś procedura „książki kucharskiej”? Najwyraźniej to zadanie jest znacznie trudniejsze, niż się wydaje.

Powiedzenie „tryb” oznacza, że ​​dystrybucja ma jeden i tylko jeden. Ogólnie rozkład może mieć wiele trybów lub (prawdopodobnie) żaden.

Jeśli istnieje więcej niż jeden tryb, musisz określić, czy chcesz je wszystkie, czy tylko tryb globalny (jeśli jest dokładnie jeden).

Zakładając, że ograniczamy się do rozkładów unimodalnych *, abyśmy mogli mówić o trybie „the”, są one odnajdywane w taki sam sposób, jak bardziej ogólne wyszukiwanie maksimów funkcji.

* zauważ, że strona mówi „ jak termin” tryb ”ma wiele znaczeń, podobnie jak termin„ unimodal ” ” i oferuje kilka definicji trybu - które mogą zmienić to, co dokładnie liczy się jako tryb, niezależnie od tego, czy jest 0 1, czy więcej - a także zmienia strategię ich identyfikowania. Zwróć uwagę zwłaszcza na to, jak ogólne „bardziej ogólne” sformułowanie dotyczące tego, czym jest nieimodalność w akapicie otwierającym „ nieimodalność oznacza, że ​​istnieje tylko jedna najwyższa wartość, jakoś zdefiniowana ”

Jedna definicja oferowana na tej stronie to:

Tryb ciągłego rozkładu prawdopodobieństwa jest wartością, przy której funkcja gęstości prawdopodobieństwa (pdf) osiąga wartość maksymalną

Tak więc biorąc pod uwagę definicję konkretnego trybu go znaleźć, jak można stwierdzić, że szczególną definicję „najwyższą wartością” gdy ma do czynienia z funkcjami bardziej ogólnie, (przy założeniu, że rozkład jest jednomodalny mocy tej definicji).

W matematyce istnieje wiele strategii identyfikacji takich rzeczy, w zależności od okoliczności. Zobacz sekcję „Znajdowanie funkcjonalnych maksimów i minimów” na stronie Wikipedii na temat maksimów i minimów, która zawiera krótką dyskusję.

Na przykład, jeśli rzeczy są wystarczająco ładne - powiedzmy, że mamy do czynienia z ciągłą zmienną losową, w której funkcja gęstości ma ciągłą pierwszą pochodną - możesz kontynuować, próbując znaleźć, gdzie pochodna funkcji gęstości jest równa zero, i sprawdzić jaki to typ punktu krytycznego (maksymalny, minimalny, poziomy punkt przegięcia). Jeśli istnieje dokładnie jeden taki punkt, który jest lokalnym maksimum, powinien to być tryb rozkładu unimodalnego.

Jednak ogólnie rzeczy są bardziej skomplikowane (np. Tryb może nie być punktem krytycznym) i pojawiają się szersze strategie znajdowania maksimów funkcji.

Czasami znalezienie algebraicznie zerowych pochodnych może być trudne lub co najmniej uciążliwe, ale nadal możliwe jest zidentyfikowanie maksimów na inne sposoby. Na przykład może się zdarzyć, że można powołać się na rozważania dotyczące symetrii w celu identyfikacji trybu rozkładu unimodalnego. Lub można wywołać jakąś formę algorytmu numerycznego na komputerze, aby znaleźć tryb numerycznie.

Oto kilka przykładów ilustrujących typowe rzeczy, które należy sprawdzić - nawet jeśli funkcja jest jednomodalna i przynajmniej częściowo ciągła.

Tak więc, na przykład, musimy sprawdzić punkty końcowe (diagram środkowy), punkty, w których pochodna zmienia znak (ale może nie być zerowy; pierwszy diagram), i punkty nieciągłości (trzeci diagram).

W niektórych przypadkach rzeczy mogą nie być tak fajne jak te trzy; musisz spróbować zrozumieć cechy konkretnej funkcji, z którą masz do czynienia.

Nie dotknąłem przypadku wielowymiarowego, w którym nawet gdy funkcje są całkiem „ładne”, po prostu znalezienie lokalnych maksimów może być znacznie bardziej złożone (np. Metody numeryczne mogą to zawieść w sensie praktycznym, nawet jeśli logicznie muszą się udać ostatecznie).

Ta odpowiedź skupia się całkowicie na estymacji trybu z próby, z naciskiem na jedną konkretną metodę. Jeśli istnieje jakikolwiek silny sens, w którym znasz już gęstość, analitycznie lub liczbowo, wtedy preferowaną odpowiedzią jest, krótko mówiąc, poszukiwanie pojedynczego maksimum lub wielu maksimów bezpośrednio, jak w odpowiedzi z @Glen_b.

„Tryby półpróbki” można obliczyć przy użyciu rekurencyjnego wyboru półpróbki o najkrótszej długości. Chociaż ma dłuższe korzenie, doskonałą prezentację tego pomysłu przedstawili Bickel i Frühwirth (2006).

Pomysł oszacowania trybu jako punktu środkowego najkrótszego przedziału zawierającego stałą liczbę obserwacji sięga przynajmniej Daleniusa (1965). Zobacz także Robertson i Cryer (1974), Bickel (2002) oraz Bickel i Frühwirth (2006) na temat innych estymatorów trybu.

$n$$x$$x_{(1)} \le x_{(2)} \le \cdots \le x_{(n-1)} \le x_{(n)}$

Tryb półpróbki definiuje się tutaj przy użyciu dwóch reguł.

$n = 1$$x_{(1)}$$n = 2$$(x_{(1)} + x_{(2)}) / 2$$n = 3$$(x_{(1)} + x_{(2)}) / 2$$x_{(1)}$$x_{(2)}$$x_{(2)}$$x_{(3)}$$(x_{(2)} + x_{(3)}) / 2$$x_{(2)}$

$n \ge 4$$3$$h_1 = \lfloor n / 2\rfloor$$k$$k + h_1$$x_{(k + h_1)} - x_{(k)}$$k = 1, \cdots, n - h_1$$h_1 + 1$$h_2 = \lfloor h_1 / 2\rfloor$

$x_{(k)}, \cdots, x_{(k + h)}$$h = \lfloor n / 2 \rfloor$$(x_k + x_{(k + h)}) / 2$$x$shorth

Niektóre ogólne komentarze dotyczą zalet i wad trybów półpróbkowych, zarówno z punktu widzenia praktycznych analityków danych, jak i matematycznych lub teoretycznych statystyk. Niezależnie od projektu zawsze mądrze będzie porównać wyniki ze standardowymi miarami podsumowującymi (np. Mediany lub średnie, w tym średnie geometryczne i harmoniczne) i powiązać wyniki z wykresami rozkładów. Ponadto, jeśli interesuje Cię istnienie lub zasięg bimodalności lub multimodalności, najlepiej będzie spojrzeć bezpośrednio na odpowiednio wygładzone oszacowania funkcji gęstości.

Oszacowanie trybu Podsumowując, gdzie dane są najgęstsze, tryb półpróbki dodaje zautomatyzowany estymator trybu do przybornika. Bardziej tradycyjne szacunki trybu oparte na identyfikacji pików na histogramach, a nawet wykresach gęstości jądra są wrażliwe na decyzje dotyczące pochodzenia bin lub szerokości lub rodzaju jądra i połowy szerokości jądra, a w każdym razie trudniejsze do zautomatyzowania. Po zastosowaniu do rozkładów, które są nieimodalne i w przybliżeniu symetryczne, tryb półpróbki będzie zbliżony do średniej i mediany, ale bardziej odporny niż średnia na wartości odstające w obu końcach. Po zastosowaniu do rozkładów, które są nieimodalne i asymetryczne, tryb półpróbki będzie zazwyczaj znacznie bliższy trybowi określonemu za pomocą innych metod niż średnia lub mediana.

Prostota Idea trybu półpróbki jest dość prosta i łatwa do wyjaśnienia studentom i badaczom, którzy nie uważają się za specjalistów statystycznych.

Interpretacja graficzna Tryb półpróbki można łatwo powiązać ze standardowymi wyświetlaczami rozkładów, takimi jak wykresy gęstości jądra, skumulowany rozkład i wykresy kwantylowe, histogramy oraz wykresy łodyg i liści.

Jednocześnie zauważ to

Nieużyteczny dla wszystkich rozkładów Po zastosowaniu do rozkładów, które są w przybliżeniu w kształcie litery J, tryb półpróbki przybliża minimum danych. Po zastosowaniu do rozkładów, które są w przybliżeniu w kształcie litery U, tryb połowicznej próby znajdzie się w granicach którejkolwiek połowy rozkładu, która ma wyższą średnią gęstość. Żadne z tych zachowań nie wydaje się szczególnie interesujące ani użyteczne, ale równie mało jest wezwań do podsumowań podobnych do pojedynczego trybu dla rozkładów w kształcie litery J lub U. W przypadku kształtów U bimodalność sprawia, że ​​idea pojedynczego trybu jest dyskusyjna, jeśli nie jest niepoprawna.

Remisy Najkrótsza połowa nie może być jednoznacznie zdefiniowana. Nawet przy danych pomiarowych zaokrąglanie zgłaszanych wartości może często powodować powiązania. Co zrobić z dwiema lub więcej najkrótszymi połówkami, mało było omawianych w literaturze. Pamiętaj, że wiązane połówki mogą się nakładać lub być rozłączne.

hsmode$t$$t$$\lceil t/ 2\rceil$

$-9, -4, -1 , 0, -1, 4, 9$$-0.5$$0$$1 + \lfloor n / 2\rfloor$$n$$n$, co jest trudne do osiągnięcia, biorąc pod uwagę inne dezyderaty, zwłaszcza że długość okna nigdy nie powinna zmniejszać się wraz z rozmiarem próbki. Wolimy wierzyć, że jest to niewielki problem z zestawami danych o rozsądnej wielkości.

$1 + \lfloor n / 2\rfloor$$n$$n$$n = 1,$$n = 2$$\lceil n / 2\rceil$

$1.6, 3.11, 3.95, 4.2, 4.2, 4.62, 4.62, 4.62, 4.7, 4.87, 5.04, 5.29, 5.3, 5.38, 5.38, 5.38, 5.54, 5.54, 5.63, 5.71, 6.13, 6.38, 6.38, 6.67, 6.69, 6.97, 7.22, 7.72, 7.98, 7.98, 8.74, 8.99, 9.27, 9.74, 10.66.$hsmode$5.00, 5.02, 5.04$

Andrews, DF, PJ Bickel, FR Hampel, PJ Huber, WH Rogers i JW Tukey. 1972. Dokładne szacunki lokalizacji: ankieta i postępy. Princeton, NJ: Princeton University Press.

Bickel, DR 2002. Solidne estymatory trybu i skośności ciągłych danych. Statystyka obliczeniowa i analiza danych 39: 153-163.

Bickel, DR i R. Frühwirth. 2006. Na szybki, solidny estymator trybu: porównania do innych estymatorów z aplikacjami. Statystyka obliczeniowa i analiza danych 50: 3500-3530.

Dalenius, T. 1965. Tryb - Zaniedbany parametr statystyczny. Journal, Royal Statistics Society A 128: 110-117.

Grübel, R. 1988. Długość stenografii. Annals of Statistics 16: 619-628.

Hampel, FR 1975. Poza parametrami lokalizacji: solidne koncepcje i metody. Biuletyn, Międzynarodowy Instytut Statystyczny 46: 375–382.

Maronna, RA, RD Martin i VJ Yohai. 2006. Solidne statystyki: teoria i metody . Chichester: John Wiley.

Robertson, T. i JD Cryer. 1974. Iteracyjna procedura szacowania trybu. Journal, American Statistics Association 69: 1012-1016.

Rousseeuw, PJ 1984. Najmniejsza mediana regresji kwadratów. Journal, American Statistics Association 79: 871-880.

Rousseeuw, PJ i AM Leroy. 1987. Solidne wykrywanie regresji i wartości odstających . Nowy Jork: John Wiley.

To konto jest oparte na dokumentacji dla

Cox, NJ 2007. HSMODE: Moduł Stata do obliczania trybów półpróbki , http://EconPapers.repec.org/RePEc:boc:bocode:s456818 .

Zobacz także stronę Davida R. Bickela tutaj, aby uzyskać informacje na temat implementacji w innym oprogramowaniu.

Jeśli masz próbki z rozkładu w wektorze „x”, zrobiłbym:

 mymode <- function(x){
   d<-density(x)
   return(d$x[which(d$y==max(d$y)[1])])
 }

Należy dostroić funkcję gęstości, aby była wystarczająco gładka na górze ;-).

Jeśli masz tylko gęstość dystrybucji, użyłbym optymalizatora, aby znaleźć tryb (REML, LBFGS, simplex itp.) ...

 fx <- function(x) {some density equation}
 mode <- optim(inits,fx)

Lub użyj próbnika Monte-Carlo, aby pobrać próbki z dystrybucji (pakiet rstan) i skorzystaj z powyższej procedury. (W każdym razie pakiet Stan jako funkcja „optymalizująca”, aby uzyskać tryb dystrybucji).