Jak uzyskać funkcję prawdopodobieństwa dla rozkładu dwumianowego do oszacowania parametru?

22

Według Miller i Freund's Probability and Statistics for Engineers, 8ed (str. 217–218), funkcję prawdopodobieństwa, która ma zostać zmaksymalizowana dla rozkładu dwumianowego (próby Bernoulliego) podano jako

L(p)=i=1npxi(1p)1xi

Jak dojść do tego równania? Wydaje mi się dość jasne w odniesieniu do innych dystrybucji, Poissona i Gaussa;

L(θ)=i=1nPDF or PMF of dist.

Ale ten dla dwumianu jest tylko trochę inny. Mówiąc wprost, jak to zrobiło

nCx px(1p)nx

zostać

pxi(1p)1xi

w powyższej funkcji prawdopodobieństwa?

Ébe Isaac
źródło

Odpowiedzi:

25

W oszacowaniu maksymalnego prawdopodobieństwa próbujesz zmaksymalizować ; jednakże maksymalizacja tego jest równoważna maksymalizacji dla ustalonego . p x ( 1 - p ) n - x xnCx px(1p)nxpx(1p)nxx

W rzeczywistości prawdopodobieństwo gaussa i poissona również nie obejmuje ich wiodących stałych, więc ten przypadek jest taki sam jak te w


Adresowanie PO Komentarz

Oto trochę więcej szczegółów:

Po pierwsze, jest całkowitą liczbą sukcesów, podczas gdy jest pojedynczą próbą (0 lub 1). W związku z tym:xxi

i=1npxi(1p)1xi=p1nxi(1p)1n1xi=px(1p)nx

To pokazuje, jak uzyskać czynniki prawdopodobieństwa (wykonując powyższe kroki wstecz).

Dlaczego stała odchodzi? Nieformalnie i to, co większość ludzi robi (włączając mnie), po prostu zauważa, że ​​stała wiodąca nie wpływa na wartość która maksymalizuje prawdopodobieństwo, więc po prostu ją ignorujemy (skutecznie ustawiamy ją na 1).p

Możemy to wywnioskować, biorąc log funkcji prawdopodobieństwa i stwierdzając, gdzie jego pochodna wynosi zero:

ln(ndox px(1-p)n-x)=ln(ndox)+xln(p)+(n-x)ln(1-p)

Weź pochodną wrt i ustaw na :p0

rerepln(ndox)+xln(p)+(n-x)ln(1-p)=xp-n-x1-p=0

nx=1pp=xn

Zauważ, że stała wiodąca odpadła z obliczeń MLE.

Mówiąc bardziej filozoficznie, prawdopodobieństwo ma znaczenie jedynie dla wnioskowania do stałej tak że jeśli mamy dwie funkcje prawdopodobieństwa i , to są one wnioskowo równoważne. Nazywa się to prawem prawdopodobieństwa . Dlatego, jeśli porównujemy różne wartości przy użyciu tej samej funkcji prawdopodobieństwa, termin wiodący staje się nieistotny.L 1 = k L 2 pL.1,L.2)L.1=kL.2)p

Na poziomie praktycznym wnioskowanie przy użyciu funkcji wiarygodności opiera się na współczynniku wiarygodności, a nie na bezwzględnej wartości prawdopodobieństwa. Wynika to z asymptotycznej teorii ilorazów prawdopodobieństwa (które są asymptotycznie chi-kwadrat - z zastrzeżeniem pewnych warunków prawidłowości, które są często odpowiednie). Preferowane są testy współczynnika wiarygodności ze względu na lemat Neymana-Pearsona . Dlatego, gdy spróbujemy przetestować dwie proste hipotezy, weźmiemy stosunek i wspólny wiodący czynnik zostanie anulowany.

UWAGA: To będzie nie stanie, jeśli zostały porównanie dwóch różnych modeli, powiedzmy dwumianowy i Poissona. W takim przypadku stałe są ważne.

Z powyższych powodów pierwsza (nieistotność znalezienia maksymalizatora L) najbardziej bezpośrednio odpowiada na twoje pytanie.


źródło
2
Widzimy, że to jest pomysł. Ale czy mógłbyś wyjaśnić nieco więcej, w jaki sposób jest usuwany, a jest zamieniany na 1? nndoxn
Ébe Isaac
@ ÉbeIsaac dodał trochę więcej szczegółów
2

xi w produkcie odnosi się do każdej indywidualnej próby. Dla każdej pojedynczej próby xi może wynosić 0 lub 1, a n jest zawsze równe 1. Zatem, w sposób trywialny, współczynnik dwumianowy będzie równy 1. Stąd we wzorze produktu dla prawdopodobieństwa iloczyn współczynników dwumianowych wyniesie 1, a zatem we wzorze nie ma nCx. Zrealizowałem to, pracując nad tym krok po kroku :) (Przepraszam za formatowanie, nie przywykłem do odpowiadania na wyrażenia matematyczne w odpowiedziach ... jeszcze :))

Abhishek Tiwari
źródło