O ile mniejsze mogą być wartości

Wprowadzenie: Po zwróceniu uwagi na to pytanie: „ Czy ANOVA może być znacząca, gdy żaden z testów t-par nie jest? ”, Pomyślałem, że może uda mi się zmienić jej ramkę w interesujący sposób, który zasługiwałby na własny zestaw odpowiedzi .

Różnorodność niepoprawnych wyników (według wartości nominalnej) może wystąpić, gdy istotność statystyczna jest rozumiana jako prosta dychotomia i oceniana na podstawie której podstawy jest wyższa, lub α . Odpowiedź @ Glen_b na powyższe pytanie stanowi użyteczny przykład przypadku, w którym:$p$$\alpha$

• Test ANOVA daje p F < 0,05 dla jednej zmiennej niezależnej (IV) z czterema poziomami, ale$F$$p_F<.05$
• dla wszystkich dwóch prób t, które porównują różnice w tej samej zmiennej zależnej (DV) między obserwacjami odpowiadającymi każdej parze z czterech poziomów IV.$p_t>.08$$t$

Podobny przypadek powstał pomimo poprawek Bonferroniego dla porównań par post-hoc za pomocą tego pytania: powtarzane pomiary Anova są znaczące, ale wszystkie wielokrotne porównania z poprawką Bonferroniego nie są? Istnieją również wcześniej wspomniane przypadki z nieco innym testem w regresji wielokrotnej:

• Dlaczego możliwe jest uzyskanie istotnej statystyki F (p <0,001), ale nieistotnych testów regresora? : $p_F<.001,p_{\beta t}>.09$
• W jaki sposób regresja może być znacząca, ale wszystkie predyktory mogą być nieistotne?
  • W @ whuber na odpowiedź , $p_F=.0003,p_{\beta t}>.09$

Założę się, że w takich przypadkach niektóre (ale nie wszystkie) porównania parami (lub „testy istotności współczynników regresji”) wartości muszą być dość zbliżone do α, jeśli odpowiedni test zbiorczy może osiągnąć p < $p$$\alpha$$p <\alpha$ . Widzę to ma miejsce w pierwszym przykładzie Glen_b @, gdzie , p F = 0,046 , a największa różnica parami daje najmniejszą s t = .054 . Czy tak musi być w ogóle? W szczególności :$F_{(3,20)}=3.19$$p_F=.046$$p_t=.054$

Pytanie: Jeśli test ANOVA daje p F = 0,05 dla efektu jednego polytomicznego IV na ciągłym DV, jak wysoka może być najniższa wartość p spośród wszystkich dwóch prób t, które porównują każdą parę poziomów IV? Czy minimalne znaczenie parami może być tak wysokie, jak p t = 0,50 ?$F$$p_F=.05$$p$$t$$p_t=.50$

_{Z zadowoleniem przyjmuję odpowiedzi, które dotyczą tylko tego konkretnego pytania . Jednak, aby dalej motywować to pytanie, rozwinę je i przedstawię kilka potencjalnie retorycznych pytań. Zachęcamy również do rozwiązania tych problemów, a nawet zignorowania konkretnego pytania, jeśli chcesz, zwłaszcza jeśli konkretne pytanie uzyska ostateczną odpowiedź.}

Istotność: Zastanów się, o ile mniej istotna byłaby różnica między i p t = 0,06 , gdyby istotność statystyczną oceniano w sposób ciągły pod względem siły dowodów w stosunku do hipotezy zerowej (jak sądzę, podejście Rona Fishera? ), a nie dychotomicznie, jak powyżej lub poniżej progu α = 0,05 dla dopuszczalnego prawdopodobieństwa błędu przy wyborze, czy odrzucić zerową wartość hurtową. „ hakowanie p ” jest znanym problemem, który częściowo zawdzięcza swoją uwagę niepotrzebnej podatności wprowadzonej przez interpretację $p_F=.04$$p_t=.06$$\alpha=.05$$p$$p$wartości zgodnie z powszechną praktyką dzielenia znaczenia na ekwiwalenty „wystarczająco dobrego” i „niewystarczającego”. Gdyby porzucić tę praktykę i zamiast tego skupić się na interpretowaniu wartości jako siły dowodu w odniesieniu do wartości zerowej w ciągłym przedziale, czy testowanie zbiorcze może być nieco mniej ważne, gdy naprawdę zależy na wielu porównaniach parami? Niekoniecznie niekoniecznie, ponieważ pożądana jest jakakolwiek racjonalna poprawa dokładności statystycznej, ale ... jeśli, na przykład, wartość p najniższego porównania parami jest koniecznie w granicach .10 ANOVA (lub innego testu zbiorczego) $p$$p$$.10$$p$wartość, czy to nie czyni testu omnibus nieco bardziej trywialnym, mniej obowiązkowym, a nawet bardziej mylącym (w połączeniu z wcześniejszymi nieporozumieniami), zwłaszcza jeśli nie chce się szczególnie kontrolować w wielu testach?$\alpha$

I odwrotnie, jeśli dane mogą istnieć tak, że omnibus , ale wszystkie pary p > .50 , czy nie powinno to jeszcze bardziej motywować do testów omnibus i kontrastów w trakcie praktyki i pedagogiki? Wydaje mi się, że kwestia ta powinna również informować o względnych zaletach oceny istotności statystycznej zgodnie z dychotomią vs. jest bezpieczny przed niewykonaniem testu zbiorczego lub skorygowaniem dla wielu porównań, jeśli ta różnica / regulacja może być bardzo duża (np. p t - p F$p=.05$$p>.50$ w teorii.$p_t-p_F>.40)$

_{Inne opcjonalne złożoności, które należy rozważyć lub zignorować - cokolwiek sprawia, że ​​udzielanie odpowiedzi jest łatwiejsze i bardziej opłacalne :}

• ^{Jak wysokie może być s dla t s, jeśli zamiast F , p < 0,05 (np. P = 0,01 , 0,001 , … )$p$$t$$F$$p<.05$$p=.01, .001,\dots$}
• ^{Wrażliwość na liczbę poziomów w polytomous IV}
• ^{Wrażliwość na nierówności w znaczeniu różnic par (podczas gdy wszystkie )$p_t>p_F$}
  • ^{odpowiedź Whubera wskazuje, że włączenie małych różnic może maskować duże różnice.}
• ^{Różnice między poprawkami różnych testów zbiorczych dla wielu porównań}
  • ^{Zobacz także: Korygowanie wielokrotnych porównań ANOVA w obrębie badanych / powtarzanych pomiarów; nadmiernie konserwatywny?}
  • ^{W przypadku wielu IV wydaje się, że wielokoliniowość może zaostrzyć ten problem .}
• ^{Ograniczone przypadki, w których dane optymalnie spełniają wszystkie założenia klasycznych testów parametrycznych}
  • ^{Ograniczenie to może być ważne, aby zapobiec temu podejrzeniu.}

$n$$t$$p$$t$$2\Phi(-\sqrt{2}) \approx .1573$$\Phi$$N(0,1)$$p_t$$0.5$$.1573$$p_F=.05$$F$

$\max_{i,j}|\bar y_i - \bar y_j| = 2a$$F$$\bar y_i$$F$$2a$

$\bar y_.=0$$\bar y_i=\pm a$$MS_E=1$$k$$k$$F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$$p_F=\alpha$$F=F_\alpha=F_{\alpha,k-1,k(n-1)}$$a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$$\bar y_i$$\pm a$$MS_E=1$$t$$t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$$t$$F=F_\alpha$

$k$$n$$t$$p_t$$k$$F_\alpha$$n$$n\rightarrow\infty$$(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$$t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$$\chi^2/k=\frac{k-1}k \chi^2/(k-1)$$\frac{k-1}k$$\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$$\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$$\alpha$

R$k$$\alpha=.05$

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

Kilka luźnych końców ...

1. $F$$\bar y_i$$\pm a$$\pm a/k$$k$$F$$k-\frac 1k$$t$$p_t$
2. $n$$F$$\bar y_i = \pm a$$F$$N = \sum n_i$$t$$n_i$$p_t$
3. $t$$p_t$$t$$n=2,3,4,\ldots$$\alpha=.05, k\ge 3$$p_t$$n$$df=k(n-1)$$k,2k,3k,\ldots$$k$$\alpha=.25$$.1573$$k=3,n=2$