Jak wybrać poziom istotności dla dużego zestawu danych?

Pracuję z zestawem danych o wartości N około 200 000. W regresjach widzę bardzo małe wartości istotności << 0,001 związane z bardzo małymi wielkościami efektów, np. R = 0,028. Chciałbym wiedzieć, czy istnieje zasadniczy sposób decydowania o odpowiednim progu istotności w odniesieniu do wielkości próby? Czy istnieją inne ważne uwagi na temat interpretacji wielkości efektu przy tak dużej próbce?

regression probability statistical-significance sample-size ted.strauss
źródło

Jest to kwestia znaczenia praktycznego vs. statystycznego. Jeśli nachylenie jest naprawdę różne od 0, nawet o niewielką ilość, np. 0,00000000000001), wystarczająco duża próbka da bardzo małą wartość

, mimo że wynik nie ma praktycznego znaczenia. Lepiej byłoby zinterpretować oszacowanie punktowe niż wartość

gdy masz tak dużą próbkę.

p

$p$

p

$p$

Makro

@Macro przepraszam, czy możesz wyjaśnić, co masz na myśli przez oszacowanie punktu tutaj?

ted.strauss

Dodając do powyższego komentarza Macro, w tej sytuacji szukam „praktycznego” lub „klinicznego” znaczenia w ustaleniach. Czy to, co robisz, jest wystarczająco duże, abyś mógł się tym przejmować?

Michelle,

Oszacowanie punktowe to oszacowane nachylenie regresji.

Makro

@Macro i ja mówimy, że musisz zdecydować, czy efekt kliniczny (oceny punktowe, nachylenie) jest ważny. Twój próg opiera się na podjęciu decyzji „tak, jest to ważny efekt kliniczny”, a nie „znacząca wartość p”, ponieważ większość (wszystkich?) Wartości p jest znacząca.

Michelle,

Odpowiedzi:

W „Nieistotności testowania istotności” Johnson (1999) zauważył, że wartości p są arbitralne, ponieważ można je uczynić tak małymi, jak chcesz, gromadząc wystarczającą ilość danych, zakładając, że hipoteza zerowa jest fałszywa, co prawie zawsze jest. W prawdziwym świecie mało prawdopodobne jest, aby korelacje częściowo częściowe miały dokładnie zero, co jest zerową hipotezą w testowaniu istotności współczynnika regresji. Odcięcia istotności wartości p są jeszcze bardziej arbitralne. Wartość 0,05 jako punkt odcięcia między znaczeniem a nieistotnością jest stosowana w konwencji, a nie w zasadzie. Tak więc odpowiedź na twoje pierwsze pytanie brzmi: nie, nie ma zasadniczego sposobu podjęcia decyzji o odpowiednim progu istotności.

Co więc możesz zrobić, biorąc pod uwagę duży zestaw danych? To zależy od twojego (-ych) powodu (-ów) do zbadania istotności statystycznej współczynników regresji. Czy próbujesz modelować złożony system wieloczynnikowy i opracować użyteczną teorię, która w rozsądny sposób pasuje lub przewiduje rzeczywistość? Może więc warto pomyśleć o opracowaniu bardziej złożonego modelu i spojrzeć na niego z perspektywy modelowania, jak opisano w Rodgers (2010), The Epistemology of Mathematical and Statistics Modeling . Zaletą posiadania dużej ilości danych jest możliwość eksploracji bardzo bogatych modeli, z wieloma poziomami i interesującymi interakcjami (zakładając, że masz do tego zmienne).

Jeśli natomiast chcesz dokonać oceny, czy traktować dany współczynnik jako statystycznie istotny, czy nie, możesz przyjąć sugestię Gooda (1982) podsumowaną w Woolley (2003) : Oblicz wartość q jak który standaryzuje wartości p do wielkości próby 100. Wartość p dokładnie 0,001 przekształca się w wartość p 0,045 - statystycznie nadal znacząca. $p\cdot\sqrt{(n/100)}$

Więc jeśli jest to znaczące przy użyciu dowolnego arbitralnego progu lub innego, co z tego? Jeśli jest to badanie obserwacyjne, masz dużo więcej pracy, aby uzasadnić, że ma on naprawdę sens w twoim sposobie myślenia, a nie tylko fałszywy związek, który pojawia się, ponieważ źle określiłeś swój model. Należy zauważyć, że niewielki efekt nie jest tak interesujący klinicznie, jeśli reprezentuje istniejące wcześniej różnice między ludźmi wybierającymi różne poziomy leczenia, a nie efekt leczenia.

Musisz zauważyć, czy relacja, którą widzisz, jest praktycznie znacząca, jak zauważyli komentatorzy. Konwersja liczb, które podajesz z na dla wyjaśnienia wariancji ( to korelacja, kwadrat, aby uzyskać wyjaśnienie wariancji) daje odpowiednio 3 i 6% wariancji wyjaśnionej, co nie wydaje się zbyt duże. $r$ $r^2$ $r$

Anne Z.
źródło

@ rolando2 dzięki za edycję, zawsze myląc się między dużymi / małymi wartościami p! Myślę, że jeśli jest niezgodny z prawem dystrybucji, jest duży, ale wartość p jest niewielka.

Anne Z.

(+1) Jest to ważny fakt, o którym wielu praktykujących nie myśli dokładnie: „wartości p są arbitralne, ponieważ można je zmniejszyć tak, jak chcesz, zbierając wystarczającą ilość danych, zakładając, że hipoteza zerowa jest fałszywa, co prawie zawsze jest ”.

Makro

Dziękuję Ci! Punkty w twoim przedostatnim akapicie są dobrze przyjęte. Czytam artykuł Woolley i zauważyłem, że twoja formuła wartości q jest wyłączona. Powinien to być p * nie p / - Próbowałem to zmienić tutaj, ale zmiany muszą mieć> 6 znaków.

ted.strauss

@ ted.strauss Cieszę się, że było pomocne. Czasami czuję się zniechęcony ograniczeniami narzędzi, takimi jak wartości p, z którymi musimy pracować. Dzięki, że zauważyłem błąd w formule, naprawiłem go.

Anne Z.

Dzięki za wspaniałą odpowiedź. Ale nie mogę uzyskać dostępu do gazety Woolley 2003, korzystając z linku podanego powyżej.

KarthikS

-3

Wydaje mi się, że łatwym sposobem na sprawdzenie byłoby losowe pobranie podobnej dużej liczby z tego, co wiesz, że jest to jedna dystrybucja dwa razy i porównanie dwóch wyników. Jeśli zrobisz to kilka razy i zaobserwujesz podobne wartości p, sugeruje to, że nie ma realnego efektu. Jeśli z drugiej strony nie, to prawdopodobnie jest.

Lars Kotthoff
źródło

p

$p$

< .001

$<.001$

p

$p$

p

$p$

p

$p$

U n i f o r m (0, 1)

${\rm Uniform}(0,1)$

H_{0}

$H_0$

p

$p$

U [0, 1]

$U[0,1]$

T = T (X)

$T=T(X)$

t = t (x)

$t=t(x)$

p

$p$

p (t) = P (T \geq t ∣ H_{0})

$p(t)=\mathbb{P}(T\geq t\mid H_0)$

H_{0}

$H_0$

T

$T$

G_{0}

$G_0$

G_{0}

$G_0$

G_{0}^{- 1}

$G_0^{-1}$

p (t) = 1 - G_{0} (t)

$p(t)=1-G_0(t)$

u \in [0, 1]

$u\in[0,1]$

P (p (T) \leq u) = P (1 - G_{0} (T) \leq u) = P (G_{0} (T) \geq 1 - u) = P (T \geq G_{0}^{- 1} (1 - u)) = 1 - G_{0} (G_{0}^{- 1} (1 - u)) = u .

$\mathbb{P}(p(T)\leq u) = \mathbb{P}(1-G_0(T)\leq u) = \mathbb{P}(G_0(T)\geq 1-u) = \mathbb{P}(T\geq G_0^{-1}(1-u)) = 1-G_0(G_0^{-1}(1-u))=u \, .$

p (T) ∣ H_{0} \sim U [0, 1]

$p(T)\mid H_0\sim U[0,1]$