Usuwanie czynników z 3-kierunkowej tabeli ANOVA

14

W ostatnim artykule umieściłem trójdrożne modele efektów stałych. Ponieważ jeden z czynników nie był znaczący (p> 0,1), usunąłem go i dopasowałem do modelu z dwoma ustalonymi efektami i interakcją.

Właśnie przesłałem komentarze recenzentów, aby zacytować:

Ten czas nie był znaczącym czynnikiem w trójdrożnej ANOVA sam w sobie nie jest wystarczającym kryterium do zsumowania czynnika czasu: standardowy tekst na ten temat, Underwood 1997, argumentuje, że wartość p dla nieistotnego efektu musi wynosić powyżej 0,25, zanim można będzie połączyć poziomy leczenia danego czynnika. Autorzy powinni podać tutaj odpowiednią wartość p i uzasadnić swoje zestawienie w odniesieniu do Underwood 1997.

Moje pytania to:

  1. Nigdy nie słyszałem o zasadzie 0,25. Czy ktoś jeszcze? Rozumiem, że nie usuwam tego współczynnika, jeśli wartość p była bliska granicy, ale posiadanie „reguły” wydaje się nieco ekstremalne.
  2. Sędzia ten stwierdza, że Underwood 1997 jest tekstem standardowym. Czy to naprawdę Nigdy o tym nie słyszałem. Jaki byłby standardowy tekst (czy coś takiego istnieje)? Niestety nie mam dostępu do tego Underwood, 1997.
  3. Wszelkie porady podczas udzielania odpowiedzi sędziom.

Tło: niniejszy artykuł został przedłożony czasopiśmie niestatystycznemu. Dopasowując model trójdrożny, sprawdziłem efekty interakcji.

anova fixed-effects-model csgillespie
źródło
Nigdy nie słyszałem o podręczniku Underwooda, ale ten artykuł wydaje się omawiać zalety i wady łączenia: Pragmatyka łączenia w tabelach ANOVA (Hines, Am. Stat. 1996). Teraz wydaje mi się, że pamiętam, że Sokal i Rohlf (1995) również zalecają rozważenie bardzo konserwatywnych wartości ( ); Muszę sprawdzić przed opublikowaniem odpowiedzi, chyba że pojawią się lepsze referencje. p≥.25
chl
2
Tylko komentarz. Jako wartość kierunkową na podstawie pachnie nadużycia w p wartość X, tym, że nie istotne s wartość jest miarą braku dowodów. Ponieważ wartości p są równomiernie rozmieszczone pod hipotezą zerową, dlaczego nie po prostu przerzucić monetę (tendencyjną)? Wynik końcowy jest taki sam, a przynajmniej jest uczciwy w byciu głupim. (OK, głupiec jest trochę silny, ale masz pomysł.)p≥sommithjansolppp
5
To byłaby interesująca odpowiedź dla sędziego: „Dziękujemy sędziemu za komentarze, ale uważamy, że są trochę głupi”;) Dobry komentarz.
csgillespie,

Odpowiedzi:

15

Zgaduję, że omawiany Underwood to Experiments in Ecology (Cambridge Press 1991). Jest to mniej więcej standardowe odniesienie w naukach ekologicznych, być może trzecie po Zar, Sohkol i Rohlf (i moim zdaniem najbardziej „czytelne” z trzech)

Jeśli możesz znaleźć kopię, odpowiednia sekcja, którą cytuje sędzia, znajduje się w 9.7 na str. 273. Nie Underwood sugeruje zalecaną procedurę pooling (tak nie „regułę” per se ) dla nieistotnych czynników. Jest to 2-etapowa procedura, której szczerze mówiąc nie do końca rozumiem, ale sugeruje się, że wynikiem jest p = 0,25, aby zmniejszyć prawdopodobieństwo wystąpienia błędu typu I podczas łączenia nieistotnego czynnika (więc nie ma to nic wspólnego z „czasem” w twój przykład, może to być dowolny czynnik niebędący sig).

Procedura ta nie wydaje się być procedurą Underwooda, on sam cytuje Winera i wsp. 1991 ( Procedury statystyczne w projekcie eksperymentalnym McGraw-Hill). Możesz spróbować tam, jeśli nie możesz znaleźć kopii Underwooda.

Chris
źródło
4
+1 Dobra odpowiedź: jasna, rzeczowa, wnikliwa i autorytatywna.
whuber
@Chris, czy masz na myśli „zmniejszenie prawdopodobieństwa błędu typu II” (nie typu I) powyżej? Motywacją do nieusuwania czynników z modelu jest zapobieganie badaniom o niskiej mocy, pozwalającym na usunięcie prawdziwych przyczyn (tj. Typ II zawarcia zmiennej nie ma żadnego wpływu), a jednocześnie pompowanie pozornego efektu parametrów pozostawionych w modelu, jeżeli są skorelowane z usuniętą zmienną. Ponieważ efekt uboczny będzie generował błędy typu I, być może Underwood sugeruje pozostawienie efektów w celu kontroli zarówno błędów typu 1, jak i typu II, tj. Maksymalizacji ważności modelu?
tim
10

Nienawidzę tego rodzaju reguł opartych na odcięciu. Myślę, że to zależy od projektu i twoich hipotez a priori i oczekiwań. Jeśli oczekujesz, że wynik będzie się zmieniać w czasie, powiem, że powinieneś zachować czas, tak jak w przypadku każdego innego czynnika blokującego. Z drugiej strony, jeśli powtarzasz te same eksperymenty w różnych momentach i nie masz powodu sądzić, że wynik będzie się różnił w czasie, ale chciałbyś to sprawdzić, to po zrobieniu tego i znalezieniu niewielkiego lub żadnego dowodu na to, że różni się w zależności od czas, powiedziałbym, że całkiem rozsądne jest wtedy upuszczenie czasu.

Nigdy wcześniej nie słyszałem o Underwood. Może to być standardowy tekst „Experiments in Ecology” (tytuł książki), ale nie ma żadnego oczywistego powodu, że eksperymenty w ekologii powinny być traktowane w sposób odmienny od innych doświadczeń w tym zakresie, tak aby zobaczyć go jako " na standardowym tekstem na ten problem ”wydaje się nieuzasadniony.

jeden przystanek
źródło
1
Przed eksperymentem uważano, że czynnik będzie znaczący. Zostały jednak zalane pozostałymi dwoma efektami. Usunąłem ten czynnik, ponieważ trzymanie go w środku nie zmieniło wniosków i tylko utrudniło wyjaśnienie.
csgillespie,
2
Hmm, w takim razie myślę, że chciałbym je zachować. Nie rozumiem, dlaczego to utrudnia wyjaśnienie, a jak odkryłeś, może być trudniej wyjaśnić, dlaczego je upuściłeś, niż dlaczego je trzymałeś!
onestop
Rozumiem, o co mi chodzi, chociaż w 100% się z tym nie zgadzam. Z łatwością mogłem zobaczyć, jak inny sędzia sugeruje, że powinieneś usunąć ten czynnik (to właśnie biolistycy zalecają, żebym też mówił). Jak wspomniałeś, gdy jest to szary obszar, arbitralna zasada nie jest dobrym rozwiązaniem. Gdybyśmy chcieli wprowadzić w błąd, nigdy nie wspominalibyśmy, że w grę wchodził inny czynnik! Zupełnie nieetyczne, ale podejrzewam, że tak się dzieje.
csgillespie,
1

proszę przeczytać tekst Underwood i zawarte w nim odniesienia, to nie jest reguła, proszę przeczytać. W rzeczywistości takie podejście polega na kontrolowaniu błędu typu II podczas usuwania (lub łączenia) terminu „nieistotny” w modelu. Co się stanie, jeśli usunięty termin ma poziom oznakowania 0,06? Czy naprawdę jesteś pewien, że oczekiwane stwardnienie rozsiane nie zawiera dodatkowego efektu z powodu tego czynnika ?. Jeśli usuniesz ten termin, zakładasz, że oczekiwane stwardnienie rozsiane nie zawiera dodatkowego efektu z powodu tego leczenia, ALE MUSISZ być w pewien sposób chroniony przed błędem typu II !. proszę wybaczyć mój biedny i pośpieszny angielski !.

AnastD
źródło