21

Przeczytałem lemat Neymana-Pearsona z książki Wprowadzenie do teorii statystyki Mooda, Graybilla i Boesa. Ale nie zrozumiałem lematu.

Czy ktoś może mi wyjaśnić lemat prostymi słowami? Co to oznacza?

Lemat Neymana-Pearsona: Niech będzie losową próbką z , gdzie jest jedną z dwóch znanych wartości i , i niech zostanie naprawione. $X_1,\ldots,X_n$ $f(x;\theta)$ $\theta$ $\theta_0$ $\theta_1$ $0<\alpha<1$

Niech $k^*$ będzie dodatnią stałą, a $C^*$ będzie podzbiorem $\mathscr X$ który spełnia: następnie test odpowiadający obszarze krytycznym jest najsilniejszym test wielkości o porównaniu
$\begin{matrix} (1) & P_{θ_{0}} [(X_{1}, \dots, X_{n}) \in C^{*}] = α \end{matrix}$ $\tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha$ $\begin{matrix} (2) & λ = \frac{L (θ_{0}; x_{1}, \dots, x_{n})}{L (θ_{1}; x_{1}, \dots, x_{n})} = \frac{L_{0}}{L_{1}} \leq k^{*} if (x_{1}, \dots, x_{n}) \in C^{*} \end{matrix}$ $\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^*$ $and λ \geq k^{*} if (x_{1}, \dots, x_{n}) \in {\bar{C}}^{*}$ $\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^*$ $\gamma^*$ $C^*$ $\alpha$ $\mathscr H_0:\theta=\theta_0$ $\mathscr H_1:\theta=\theta_1$

Wyrażone słowami zrozumiałem, że te dwa kryteria określają

(1) P [odrzucając hipotezę zerową | prawdziwa hipoteza zerowa] = poziom istotności

(2) odrzuć hipotezę zerową, gdy współczynnik prawdopodobieństwa , niektóre dodatnie stałe jeśli mieszczą się w obszarze krytycznym $\lambda\le$ $k^*$ $(x_1,\ldots,x_n)$

Wtedy test jest najpotężniejszym sprawdzian z prostej hipotezy .

Dlaczego jest to tylko proste hipotezy? Czy nie może to dotyczyć złożonej hipotezy? Czy moje wyjaśnienie słowne jest poprawne?

hypothesis-testing self-study references inference likelihood-ratio ABC
źródło

8

Myślę, że dobrze zrozumiałeś lemat.

Dlaczego nie działa w przypadku złożonej alternatywy? Jak widać w ilorazie prawdopodobieństwa, musimy podłączyć parametry do alternatywnej hipotezy. Jeśli alternatywą jest kompozyt, jaki parametr zamierzasz podłączyć?

Sven
źródło

2

Możesz sprawić, że będzie działać dla kompozytowych alternatyw, jeśli współczynnik prawdopodobieństwa jest monotonowy.

Michael R. Chernick

11

Niedawno napisałem wpis na blogu linksin, w którym jasno opisałem lemat Neymana Pearsona i podam przykład. Znalazłem przykładowe otwarcie oka w sensie zapewnienia jasnej intuicji na temat lematu. Jak często jest prawdopodobne, opiera się na dyskretnej funkcji masy prawdopodobieństwa, więc jest łatwy do przejęcia niż podczas pracy z plikami pdf. Weź również pod uwagę, że definiuję iloraz prawdopodobieństwa jako prawdopodobieństwo hipotezy alternatywnej względem hipotezy zerowej, w przeciwieństwie do twojego zdania lematu. Wyjaśnienie jest takie samo, ale raczej niż mniej niż jest teraz większe niż. Mam nadzieję, że to pomoże...

Ci z was, którzy pracują w analizie danych i przeszli niektóre kursy statystyki, mogli poznać lemat Neymana-Pearsona (lemat NP). Przesłanie jest proste, demonstracja nie tyle, ale zawsze trudno mi było zrozumieć, o co chodzi. Czytając książkę PIGood i JWHardin zatytułowaną „Typowe błędy w statystykach”, doszedłem do wyjaśnienia i przykładu, który pomógł mi nabrać przeczucia na temat lematy NP, którą zawsze mi brakowało.

W nie w 100% matematycznie doskonałym języku Neyman-Pearson mówi nam, że najsilniejszym testem, jaki można wymyślić, aby zweryfikować daną hipotezę na pewnym poziomie istotności, jest dany obszar odrzucenia dokonany przez wszystkie możliwe obserwacje pochodzące z tego testu z wskaźnik prawdopodobieństwa powyżej pewnego progu ... woahhh! Kto powiedział, że to łatwe!

Zachowaj spokój i zdekonstruuj lemat:

Hipoteza . W statystyce zawsze stosuje się dwie hipotezy, że test statystyczny powinien odrzucić lub nie. Istnieje hipoteza zerowa, która nie zostanie odrzucona, dopóki przykładowe dowody przeciwko niej nie będą wystarczająco silne. Istnieje również hipoteza alternatywna, którą przyjmiemy, jeśli wartość null wydaje się fałszywa.
Moc testu (zwana też czułością) informuje nas, która część razy poprawnie odrzucimy hipotezę zerową, gdy jest ona błędna. Chcemy potężnych testów, więc przez większość czasu odrzucamy hipotezę zerową, mamy rację!
Poziom istotności testu (znany również jako współczynnik fałszywie dodatnich wyników) mówi nam, ile razy błędnie odrzucimy hipotezę zerową, gdy jest ona prawdziwa. Chcemy małego poziomu istotności, więc przez większość czasu odrzucamy hipotezę zerową, że się nie mylimy!
Region odrzucenia , biorąc pod uwagę wszystkie możliwe wyniki testu, region odrzucenia obejmuje te wyniki, które pozwolą nam odrzucić hipotezę zerową na korzyść jej alternatywnej.
Prawdopodobieństwo to prawdopodobieństwo zobaczenia obserwowanego wyniku testu, biorąc pod uwagę, że hipoteza zerowa (Prawdopodobieństwo hipotezy zerowej) lub alternatywna (Prawdopodobieństwo hipotezy alternatywnej) były prawdziwe.
Współczynnik prawdopodobieństwa to stosunek prawdopodobieństwa hipotezy alternatywnej podzielony przez prawdopodobieństwo hipotezy zerowej. Jeśli wynik testu byłby bardzo oczekiwany, gdyby hipoteza zerowa była prawdziwa w porównaniu z alternatywną, współczynnik prawdopodobieństwa powinien być mały.

Dość definicji! (chociaż jeśli przyjrzysz się im uważnie, zdasz sobie sprawę, że są bardzo wnikliwi!). Przejdźmy do tego, co mówią nam Neyman i Pearson: jeśli chcesz mieć najlepszy możliwy test statystyczny z punktu widzenia jego mocy, po prostu określ region odrzucenia, włączając wyniki testów o najwyższym współczynniku prawdopodobieństwa i dodawaj kolejne testy wyniki, dopóki nie osiągniesz określonej wartości liczby razy, gdy test odrzuci hipotezę zerową, gdy jest ona prawdziwa (poziom istotności).

Zobaczmy przykład, w którym mam nadzieję, że wszystko się połączy. Przykład oparty jest na książce wspomnianej powyżej. Jest w całości wykonany przeze mnie, więc nie powinien być postrzegany jako odzwierciedlający rzeczywistość lub osobistą opinię.

Wyobraź sobie, że ktoś chce ustalić, czy ktoś jest za ustaleniem kwot imigracyjnych (hipoteza zerowa), czy nie (hipoteza alternatywna), zadając swoje uczucia w stosunku do Unii Europejskiej.

Wyobraź sobie, że znamy rzeczywisty rozkład prawdopodobieństwa dla obu typów osób w odniesieniu do odpowiedzi na nasze pytanie:

Wyobraźmy sobie, że jesteśmy gotowi zaakceptować fałszywie dodatni błąd w wysokości 30%, to znaczy w 30% przypadków odrzucimy hipotezę zerową i założymy, że osoba, z którą przeprowadzano wywiad, jest przeciwna kwotom, gdy jest naprawdę dla nich. Jak zbudowalibyśmy test?

Według Neymana i Pearsona najpierw przyjmiemy wynik z najwyższym współczynnikiem prawdopodobieństwa. To jest odpowiedź „naprawdę lubię UE” ze współczynnikiem 3. Z tym wynikiem, jeśli założymy, że ktoś jest przeciw kwotom, kiedy powiedział, że „naprawdę lubi UE”, 10% czasu przydzielilibyśmy dla kwot osób przeciw (znaczenie). Jednak tylko 30% czasu (władzy) klasyfikowalibyśmy względem osób objętych kwotami, ponieważ nie wszyscy w tej grupie mają takie samo zdanie na temat UE.

To wydaje się być kiepskim wynikiem, jeśli chodzi o moc. Jednak test nie popełnia wielu błędów w błędnym zaklasyfikowaniu osób objętych kwotą (znaczenie). Ponieważ jesteśmy bardziej elastyczni pod względem znaczenia, spójrzmy na kolejny wynik testu, który powinniśmy dodać do zestawu odpowiedzi, które odrzucają hipotezę zerową (region odrzucenia).

Następną odpowiedzią o najwyższym współczynniku prawdopodobieństwa jest „jak UE”. Jeśli użyjemy odpowiedzi „naprawdę lubię” i „lubię” UE jako wyniki testów, które pozwalają nam odrzucić zerową hipotezę, że ktoś jest w sprawie kwot, błędnie zaklasyfikowalibyśmy ludzi w kwotach jako nie w 30% przypadków (10% z „naprawdę lubię” i 20% z „lubię”), a 65% czasu należałoby poprawnie klasyfikować pod kątem kwot (30% z „naprawdę lubię” i 35% z „lubię”). W żargonie statystycznym: nasze znaczenie wzrosło z 10% do 30% (źle!), Podczas gdy moc naszego testu wzrosła z 30% do 65% (dobrze!).

Jest to sytuacja, którą mają wszystkie testy statystyczne. Nawet w statystykach nie ma czegoś takiego jak darmowy lunch! Jeśli chcesz zwiększyć moc swojego testu, robisz to kosztem zwiększenia poziomu istotności. Lub prościej: chcesz lepiej sklasyfikować dobrych facetów, zrobisz to kosztem, że więcej złych facetów będzie dobrze wyglądać!

Zasadniczo teraz jesteśmy skończeni! Stworzyliśmy najmocniejszy test, jaki mogliśmy, z podanymi danymi i poziomem istotności 30%, używając etykiet „naprawdę lubię” i „lubię”, aby ustalić, czy ktoś jest przeciw kwotom ... jesteśmy pewni?

Co by się stało, gdybyśmy wzięli udział w drugim kroku po wybraniu odpowiedzi „naprawdę jak”, odpowiedzi „obojętnej” zamiast „lubiącej”? Znaczenie testu byłoby takie samo jak wcześniej przy 30%: 10% dla osób z kwotami odpowiada „naprawdę” lubię, a 20% dla osób z kwotami odpowiada „nie lubię”. Oba testy byłyby tak samo złe przy błędnym klasyfikowaniu jednostek kwot. Moc jednak by się pogorszyła! W nowym teście mielibyśmy moc 50% zamiast 65%, które mieliśmy wcześniej: 30% z „naprawdę lubi” i 20% z „obojętnych”. Dzięki nowemu testowi będziemy mniej precyzyjni w identyfikacji w stosunku do kwot!

Kto tu pomógł? Współczynnik prawdopodobieństwa Neyman-Osoba niezwykły pomysł! Biorąc za każdym razem odpowiedź o najwyższym współczynniku prawdopodobieństwa, zapewnił nas, że w nowym teście uwzględnimy jak najwięcej mocy (duży licznik), jednocześnie zachowując znaczenie pod kontrolą (mały mianownik)!

Ignasi
źródło

Wow, samo zobaczenie wszystkiego w tym stole pomogło tonie i odniesienie do części tego pomogło tonie. Dziękuję Ci!

Yatharth Agarwal

5

Kontekst

(W tej sekcji wyjaśnię tylko testowanie hipotez, wpisz jeden i dwa błędy itp. W moim własnym stylu. Jeśli nie masz nic przeciwko temu materiałowi, przejdź do następnej sekcji)

$\Omega$ $P_0$ $P_1$ $\omega\in\Omega$ $\omega$

Zazwyczaj w zastosowaniach hipoteza zerowa odpowiada pewnego rodzaju status quo, podczas gdy hipoteza alternatywna jest jakimś nowym zjawiskiem, które próbujesz udowodnić lub obalić, jest prawdziwe. Na przykład możesz testować kogoś pod kątem mocy psychicznych. Przeprowadzasz standardowy test z kartami z zawijasowymi liniami lub czymś innym i każesz im odgadnąć określoną liczbę razy. Hipoteza zerowa polega na tym, że nie dostaną więcej niż jedną na pięć racji (ponieważ jest pięć kart), alternatywna hipoteza jest taka, że są psychiczne i mogą mieć więcej racji.

$\omega$ $A$ $P_0(A)$ $P_1(A^{c})$ $P_0(A)$ $P_1(A)$

Pamiętając o przykładzie testu zdolności parapsychicznych, lubię odwoływać się do rodzaju błędu, w którym zerowy jest prawdziwy, ale konkludujesz alternatywę jako „ złudzenie ” (wierzysz, że facet jest psychiczny, ale nie jest), i inny rodzaj błędu, jak „ nieświadomość ”.

Lemma

$\alpha$

Propozycja (lemat Neymana-Pearsona)

$L_0, L_1$ $\alpha > 0$ $A\subseteq \Omega$ $P_1(A)$ $P_0(A)\leq \alpha$

$A = {ω \in Ω ∣ \frac{L_{1} (ω)}{L_{0} (ω)} \geq K}$ $A=\{\omega\in \Omega \mid \frac{L_1(\omega)}{L_0(\omega)} \geq K \}$

$K>0$ $K$ $P_1(A)\geq P_1(B)$ $B$ $P_0(B)\leq P_0(A)$

$K$ $P_0(A)=\alpha$

$P_1$ $P_0$

$P_0$ $P_1$ $\mathbb R^n$ $P_0(A)$ $P_0$ $P_1$ $P_0$ $P_1$ $P_0$

Kupowanie ziemi

Serce lematu jest zatem następujące:

$\mu$ $\Omega$ $f$ $\Omega$ $\alpha > 0$ $A$ $\mu(A)\leq\alpha$ $\int_A fd\mu$
${ω \in Ω ∣ f (ω) \geq K}$ $\{\omega\in\Omega\mid f(\omega)\geq K\}$ $K>0$ $\int f$ $B$

$\alpha$ $f$ $\int f$ $\alpha$ $\mu$ $P_0$ $f$ $P_1$ $P_0$ $L_1/L_0$

$A$ $B$ $B'$ $A$ $B'$ $B$ $A$ $B$ $B'$ $x\in A$ $f(y)>f(x)$ $y$ $A$ $x$ $y$ $A$ $f^{-1}([K, +\infty))$ $K$

Jack M.
źródło

Lemat Neymana-Pearsona

Odpowiedzi:

Kontekst

Lemma

Kupowanie ziemi