Biorąc pod uwagę wystarczająco dużą wielkość próby, test zawsze pokaże znaczący wynik, chyba że rzeczywisty rozmiar efektu wynosi dokładnie zero. Czemu?

21

Jestem ciekawy twierdzenia zawartego w artykule Wikipedii dotyczącym wielkości efektu . Konkretnie:

[...] porównanie statystyczne o wartości innej niż zero zawsze będzie wykazywać statystycznie znaczące wyniki, chyba że wielkość efektu populacji będzie dokładnie równa zero

Nie jestem pewien, co to oznacza / sugeruje, nie mówiąc już o argumentach na poparcie tego. Wydaje mi się, że w końcu efektem jest statystyka, tj. Wartość obliczona z próbki, z własnym rozkładem. Czy to oznacza, że efekty nigdy nie wynikają z przypadkowej zmienności (co, jak rozumiem, oznacza nieistotność)? Czy wtedy zastanawiamy się tylko, czy efekt jest wystarczająco silny - mając wysoką wartość bezwzględną?

Rozważam efekt, który znam najbardziej: współczynnik korelacji Pearsona r wydaje się temu zaprzeczać. Dlaczego każdy byłby $r$ statystycznie nieznaczące? Jeśli $r$ jest małe, nasza linia regresji

y = a x + b = r (\frac{s_{y}}{s_{x}}) = ϵ x + b

$y=ax+b = r\left(\frac {s_y}{s_x}\right) = \epsilon x+b$

Dla $\epsilon$ small, jest bliskie 0, test F prawdopodobnie będzie zawierał przedział ufności zawierający 0 dla nachylenia. Czy to nie kontrprzykład?

hypothesis-testing Gary
źródło

10

Wskazówka: klauzula przed cytowaną częścią jest niezbędna. „ Biorąc pod uwagę wystarczająco dużą wielkość próby , niepuste porównanie statystyczne zawsze pokaże statystycznie znaczące wyniki, chyba że wielkość efektu populacji wynosi dokładnie zero…”

Kodiolog

@Kodiologist Ale ponownie moim przykładem, będzie to oznaczać, że, jeżeli wielkość próbki były większe, a r sam będzie również większe, lub co najmniej ekspresja

będzie większy, gdy wielkość próbki była większa? Nie widzę tego

r (s_{y} / s_{x})

$r(s_y/s_x)$

Gary

5

Gdyby to nie była prawda, byłaby to wada metody statystycznej. Jeśli

, z pewnością pewna wielkość próbki jest wystarczająco duża, aby wykryć różnicę.

μ > μ_{0}

$\mu > \mu_0$

John Coleman,

26

Jako prosty przykład, załóżmy, że szacuję twój wzrost za pomocą statystycznego mumbo-jumbo.

Zawsze mówiłeś innym, że masz 177 cm (około 5 stóp 10 cali).

Gdybym miał przetestować tę hipotezę (że twój wzrost jest równy 177 cm, ) i mógłbym wystarczająco zmniejszyć błąd w moim pomiarze, to mógłbym udowodnić, że tak naprawdę nie jesteś 177 cm. Ostatecznie, jeśli oszacuję twoją wysokość do wystarczającej liczby miejsc po przecinku, prawie na pewno odejdziesz od podanej wysokości 177,00000000 cm. Być może masz 177,02 cm; Muszę tylko zmniejszyć mój błąd do mniej niż 0,02, aby dowiedzieć się, że nie masz 177 cm wzrostu. $h = 177$

Jak zmniejszyć błąd w statystykach? Zdobądź większą próbkę. Jeśli otrzymasz wystarczająco dużą próbkę, błąd staje się tak mały, że możesz wykryć najbardziej drobne odchylenia od hipotezy zerowej.

Underminer
źródło

2

To jest bardzo jasne i zwięzłe wyjaśnienie. Prawdopodobnie bardziej pomaga zrozumieć, dlaczego tak się dzieje, niż bardziej matematyczne odpowiedzi. Dobra robota.

Nikt

1

Ładnie wyjaśnione, ale myślę, że ważne jest również, aby wziąć pod uwagę przypadki, w których podana wartość jest naprawdę dokładna. Na przykład, pomijając dziwne rzeczy, które zdarzają się w teorii strun itp., Pomiar liczby wymiarów przestrzennych naszego wszechświata (co można zrobić) da 3, i bez względu na to, jak dokładnie dokonasz tego pomiaru, będziesz nigdy nie znajduj statystycznie istotnych odchyleń od 3. Oczywiście, jeśli będziesz testować wystarczająco dużo razy, dostaniesz pewne odchylenia po prostu z powodu wariancji, ale to inny problem.

David Z

Prawdopodobnie naiwne pytanie, ale jeśli twierdzę, że mam 177 cm, to czy pojęcie cyfr znaczących nie oznacza, że mówię tylko, że mam 176,5–177,5? Odpowiedź wydaje się dawać dobrą koncepcję teoretyczną, prawda, ale czy nie jest oparta na fałszywej przesłance? czego mi brakuje?

JimLohse

W tym przypadku podana wysokość 177 jest analogiczna do hipotezy zerowej w statystykach. W tradycyjnych testach hipotezy dotyczących równości formułujesz stwierdzenie równości (np.

). Chodzi o to, że bez względu na to, jak podasz swój wzrost, mogę go obalić, zmniejszając błąd, chyba że hipoteza zerowa jest DOKŁADNIE prawdziwa. Użyłem wysokości jako łatwego do zrozumienia przykładu, ale ta koncepcja jest taka sama w innych obszarach (substancja x nie powoduje raka, ta moneta jest uczciwa itp.)

μ = 177

$\mu = 177$

Underminer

13

Jak zauważa @Kodiologist, tak naprawdę chodzi o to, co dzieje się w przypadku dużych próbek. W przypadku małych próbek nie ma powodu, dla którego nie można uzyskać fałszywych wyników pozytywnych ani fałszywych wyników negatywnych.

Myślę, że -test sprawia asymptotyczne najczystszy przypadek. Załóżmy, że mamy $z$ i chcemy przetestowaćvs. Nasza statystyka testowa wynosi $X_1, \dots, X_n \stackrel{\text{iid}}\sim \mathcal N(\mu, 1)$ $H_0: \mu = 0$ $H_A: \mu \neq 0$

Z_{n} = \frac{{\bar{X}}_{n} - 0}{1 / \sqrt{n}} = \sqrt{n} {\bar{X}}_{n} .

$Z_n = \frac{\bar X_n - 0}{1 / \sqrt n} = \sqrt n\bar X_n.$

więc $\bar X_n \sim \mathcal N(\mu, \frac 1n)$ . Jesteśmy zainteresowani $Z_n = \sqrt n \bar X_n \sim \mathcal N(\mu \sqrt n, 1)$ . $P(|Z_n| \geq \alpha)$

P (| Z_{n} | \geq α) = P (Z_{n} \leq - α) + P (Z_{n} \geq α)

$P(|Z_n| \geq \alpha) = P(Z_n \leq -\alpha)+ P(Z_n \geq \alpha)$

Niech

= 1 + Φ (- α - μ \sqrt{n}) - Φ (α - μ \sqrt{n}) .

$= 1 + \Phi(-\alpha - \mu\sqrt n) - \Phi(\alpha - \mu \sqrt n).$

będzie naszą zmienną odniesienia. Pod

więc mamy

więc możemy wybrać

aby kontrolować nasz wskaźnik błędów typu I według potrzeb. Ale pod

Y \sim N (0, 1)

$Y \sim \mathcal N(0,1)$

H_{0}

$H_0$

μ = 0

$\mu = 0$

P (| Z_{n} | \geq α) = 1 - P (- α \leq Y \leq α)

$P(|Z_n| \geq \alpha) = 1 - P(-\alpha \leq Y \leq \alpha)$

α

$\alpha$

H_{A}

$H_A$

więc

μ \sqrt{n} \neq 0

$\mu \sqrt n \neq 0$

więc z prawdopodobieństwem 1 odrzucimy

jeśli

(

jest w przypadku

, ale w obu przypadkach nieskończoności mają ten sam znak).

P (| Z_{n} | \geq α) \to 1 + Φ (\pm \infty) - Φ (\pm \infty) = 1

$P(|Z_n| \geq \alpha) \to 1 + \Phi(\pm\infty) - \Phi(\pm\infty) = 1$

H_{0}

$H_0$

μ \neq 0

$\mu \neq 0$

\pm

$\pm$

μ < 0

$\mu < 0$

Chodzi o to, że jeśli dokładnie równa się to nasza statystyka testowa ma rozkład odniesienia i odrzucimy 5% (lub cokolwiek innego) czasu. Ale jeśli nie jest dokładnie , to prawdopodobieństwo, że odrzucimy głowice do gdy wzrasta. Chodzi tutaj o spójność testu, to znaczy, że pod moc (prawdopodobieństwo odrzucenia) zmierza do jako . $\mu$ $0$ $\mu$ $0$ $1$ $n$ $H_A$ $1$ $n \to \infty$

$H_0 : \rho = \rho_0$ $H_A: \rho \neq \rho_0$ $1$

jld
źródło

1

μ < 0

$μ < 0$

Z_{n}

$Z_n$

- \infty

$-\infty$

\infty

$\infty$

1

μ = 0

$\mu=0$

\bar{X} \to_{p} 0

$\bar{X}\to_p 0$

\sqrt{n} \to \infty

$\sqrt{n}\to \infty$

1

@DeltaIV, racja, jeśli współczynnik zbieżności byłby inny, należałoby zastosować inne skalowanie, aby uzyskać nieregenerowany rozkład zerowy. Ale w tym przykładzie root-n jest właściwą szybkością.

Christoph Hanck

1

\sqrt{n} \bar{X}

$\sqrt n \bar X$

0

$0$

7

Być może to, co powiedzieli, jest złe, jeśli nie z innego powodu niż ich użycie „ zawsze tak się dzieje”.

Nie wiem, czy to jest sedno zamieszania, które masz , ale opublikuję to, ponieważ myślę, że wielu robi i będzie się tym mylić:

„ $X$ $n$ $n > n_0$ $X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$

To, co dosłownie mówią, tłumaczy się następująco:

$n$ $n_0$

Co oni próbują powiedzieć, chociaż, co następuje:

Dla każdego poziomu istotności, wraz ze wzrostem wielkości próbki, prawdopodobieństwo, że test inny niż zerowy da znaczący wynik, zbliża się do 1, jeśli rzeczywisty rozmiar efektu nie jest dokładnie zerowy.

Istnieją tutaj zasadnicze różnice:

Nie ma gwarancji. Bardziej prawdopodobne jest uzyskanie znaczącego wyniku przy większej próbce. Teraz mogliby uniknąć części winy tutaj, ponieważ jak dotąd jest to tylko kwestia terminologii. W kontekście prawdopodobieństwa, to jest zrozumiałe, że stwierdzenie „jeśli n jest wystarczająco duże, wówczas X” może być również interpretowane jako oznaczające „X staje się coraz bardziej prawdopodobne, aby mogło być prawdziwe jak n rośnie duży” .
Jednak ta interpretacja wychodzi mi z okna, gdy tylko mówią, że zawsze tak się dzieje. Właściwą terminologią byłoby tutaj stwierdzenie, że dzieje się to „ z dużym prawdopodobieństwem ” ¹ .
$n > n_0$

Ale kiedy zrozumiesz literaturę, otrzymasz to, co próbują powiedzieć.

(Nota boczna: nawiasem mówiąc, jest to dokładnie jeden ze stałych problemów wielu osób z Wikipedią. Często można zrozumieć, co mówią, jeśli znasz już materiał, więc jest dobry tylko w celach informacyjnych lub jako przypomnienie , nie jako materiał do samokształcenia).

_{¹ Dla innych pedantów (cześć!) Tak, termin ten ma bardziej szczegółowe znaczenie niż to, z którym się łączyłem. Najluzszym terminem technicznym, który prawdopodobnie chcemy tutaj, jest „asymptotycznie prawie na pewno” . Zobacz tutaj .}

Mehrdad
źródło

„Prawdopodobieństwo, że test inny niż zerowy da znaczący wynik, zbliża się do 0, jeśli rzeczywisty rozmiar efektu wynosi dokładnie zero” może nie być całkiem poprawne: jeśli test ma poziom istotności

α

$\alpha$

α

$\alpha$

@Henry: Oh strzel, masz rację! Napisałem to tak szybko, że nie przestałem myśleć. Wielkie dzięki! Naprawiłem to. :)

Mehrdad

3

Moim ulubionym przykładem jest liczba palców według płci. Zdecydowana większość ludzi ma 10 palców. Niektórzy stracili palce z powodu wypadków. Niektóre mają dodatkowe palce.

Nie wiem, czy mężczyźni mają więcej palców niż kobiety (średnio). Wszystkie łatwo dostępne dowody sugerują, że zarówno mężczyźni, jak i kobiety mają po 10 palców.

Jestem jednak bardzo przekonany, że gdybym przeprowadził spis wszystkich mężczyzn i wszystkich kobiet, dowiedziałbym się, że jedna płeć ma więcej palców (średnio) niż druga.

emory
źródło

Biorąc pod uwagę wystarczająco dużą wielkość próby, test zawsze pokaże znaczący wynik, chyba że rzeczywisty rozmiar efektu wynosi dokładnie zero. Czemu?

Odpowiedzi:

„XXXnnnn > n0n>n0n > n_0XXX

limn → ∞Pr ( X) = 1limn→∞Par(X)=1\lim\limits_{n\to\infty} \Pr (X) = 1

„ $X$ $n$ $n > n_0$ $X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$