Co się stało ze znaczeniem statystycznym w regresji, gdy rozmiar danych jest gigantyczny?

Czytałem to pytanie dotyczące regresji na dużą skalę ( link ), gdzie whuber wskazał interesujący punkt w następujący sposób:

„Prawie każdy test statystyczny, który przeprowadzisz, będzie tak potężny, że prawie na pewno zidentyfikujesz„ znaczący ”efekt. Musisz skupić się bardziej na znaczeniu statystycznym, takim jak wielkość efektu, a nie na znaczeniu”.

--- whuber

Zastanawiałem się, czy jest to coś, co można udowodnić, czy po prostu jakieś powszechne zjawiska w praktyce?

Każdy wskaźnik do dowodu / dyskusji / symulacji byłby naprawdę pomocny.

To jest dość ogólne.

Wyobraź sobie, że istnieje niewielki, ale niezerowy efekt (tj. Pewne odchylenie od wartości zerowej, którą test może wykryć).

Przy małych rozmiarach próby szansa na odrzucenie będzie bardzo zbliżona do poziomu błędu typu I (szum dominuje mały efekt).

Wraz ze wzrostem wielkości próby szacowany efekt powinien zbiegać się z efektem populacyjnym, a jednocześnie zmniejsza się niepewność szacowanego efektu (zwykle jako ), dopóki szansa, że ​​sytuacja zerowa jest wystarczająco bliska oszacowanemu efektowi, że jest ona nadal prawdopodobna w losowo wybranej próbie z populacji, zmniejsza się do zera.$\sqrt{n}$

To znaczy, z punktowymi zerami, ostatecznie odrzucenie staje się pewne, ponieważ w prawie wszystkich rzeczywistych sytuacjach zasadniczo zawsze będzie pewne odchylenie od zera.

Nie jest to dowód, ale nie jest trudno wykazać wpływ wielkości próby w praktyce. Chciałbym użyć prostego przykładu z Wilcox (2009) z niewielkimi zmianami:

$H_0: \mu \geq 50$$\alpha = .05$

Do tej analizy możemy użyć testu t:

$\bar X$$s$

$t$$ν$$v = 10 -1$$P(T \leq - 1.83)= .05$$T=-1.44$

$v = 100 - 1$$P(T \leq -1.66) = .05$$s/\sqrt{n}$$T = \frac{\hat\beta_j-\beta_j^{(0)}}{se(\hat\beta_j)}$

Wilcox, RR, 2009. Podstawowe statystyki: zrozumienie metod konwencjonalnych i współczesnych spostrzeżeń . Oxford University Press, Oxford.

W regresji, dla całego modelu, test jest na F. Tutaj