Czy „Twierdzenie o braku obiadu” ma zastosowanie do ogólnych testów statystycznych?

Kobieta, dla której pracowałem, poprosiła mnie o wykonanie jednokierunkowej ANOVA dla niektórych danych. Odpowiedziałem, że dane te były danymi z powtarzanych pomiarów (szeregów czasowych) i uważałem, że naruszenie zasady niezależności zostało naruszone. Odpowiedziała, że ​​nie powinnam się martwić o założenia, po prostu wykonaj test, a ona weźmie pod uwagę, że założenia mogły nie zostać spełnione.

To nie wydawało mi się właściwe. Zrobiłem trochę badań i znalazłem ten wspaniały post na blogu Davida Robinsona: K-oznacza, że ​​grupowanie nie jest darmowym obiadem , co wystawiło mnie na twierdzenie o braku obiadu. Spojrzałem na oryginalny artykuł i kilka innych rzeczy, i szczerze mówiąc, matematyka jest trochę ponad moją głową.

Istotą tego - zdaniem Davida Robinsona - wydaje się być to, że siła testu statystycznego wynika z jego założeń. I podaje dwa świetne przykłady. Gdy przeglądam inne artykuły i posty na blogu na ten temat, wydaje się, że zawsze pojawiają się odniesienia do nauki nadzorowanej lub wyszukiwania.

Więc moje pytanie brzmi: czy to twierdzenie ma zastosowanie do testów statystycznych w ogóle? Innymi słowy, czy można powiedzieć, że moc testu t lub ANOVA wynika z jego zgodności z założeniami i przytoczyć twierdzenie o braku obiadu?

Jestem winien byłemu szefowi ostateczny dokument dotyczący pracy, którą wykonałem, i chciałbym wiedzieć, czy mogę odwołać się do twierdzenia o braku darmowego lunchu, stwierdzając, że nie można po prostu zignorować założeń testu statystycznego i powiedzieć, że weźmiesz to pod uwagę konto podczas oceny wyników.

Nie znam dowodu, ale założę się, że dotyczy to dość ogólnie. Przykładem jest eksperyment z 2 podmiotami w każdej z 2 grup leczenia. Test Wilcoxona nie może być znaczący na poziomie 0,05, ale test t może. Można powiedzieć, że jego moc pochodzi w ponad połowie z założeń, a nie tylko z danych. W przypadku pierwotnego problemu nie należy postępować tak, jakby obserwacje poszczególnych podmiotów były niezależne. Uwzględnienie tego po fakcie z pewnością nie jest dobrą praktyką statystyczną, z wyjątkiem bardzo szczególnych okoliczności (np. Estymatory wielowarstwowe).

Jeśli chcesz, możesz przytoczyć Twierdzenie o braku darmowego lunchu , ale możesz też przytoczyć Modus Ponens (znany również jako Prawo Oderwania , podstawa dedukcyjnego rozumowania), który jest źródłem twierdzenia o braku darmowego lunchu .

Twierdzenie o braku darmowego lunchu obejmuje bardziej konkretny pomysł: fakt, że nie ma algorytmu, który byłby w stanie sprostać wszystkim celom. Innymi słowy, twierdzenie o braku darmowego lunchu zasadniczo mówi, że nie ma magicznej kuli algorytmicznej . Wynika to z Modus Ponens, ponieważ aby algorytm lub test statystyczny dał prawidłowy wynik, musisz spełnić założenia.

Podobnie jak we wszystkich twierdzeniach matematycznych, jeśli naruszysz przesłanki, test statystyczny jest po prostu pozbawiony sensu i nie możesz z niego wyprowadzić żadnej prawdy. Jeśli więc chcesz wyjaśnić swoje dane za pomocą testu, musisz założyć, że spełnione są wymagane przesłanki, jeśli nie są (i wiesz o tym), to test jest całkowicie błędny.

To dlatego, że rozumowanie naukowe na podstawie dedukcji: w zasadzie, Twój test / prawo / twierdzenie jest reguła implikacja , który mówi, że jeśli masz premisse Awtedy można stwierdzić B: A=>B, ale jeśli nie masz A, to możesz albo mieć Blub nie B, i oba przypadki są prawdziwe , to jedna z podstawowych zasad logicznego wnioskowania / dedukcji (reguła Modusa Ponensa). Innymi słowy, jeśli naruszysz przesłanki, wynik nie ma znaczenia i nie możesz niczego wywnioskować .

Pamiętaj o binarnej tabeli implikacji:

A   B   A=>B
F   F    T
F   T    T
T   F    F
T   T    T

W twoim przypadku, dla uproszczenia, masz Dependent_Variables => ANOVA_correct. Jeśli więc użyjesz zmiennych niezależnych, Dependent_Variablesto Falseimplikacja będzie prawdziwa, ponieważ Dependent_Variableszałożenie jest naruszone.

Oczywiście jest to uproszczone i w praktyce test ANOVA może nadal zwracać przydatne wyniki, ponieważ prawie zawsze istnieje pewien stopień niezależności między zmiennymi zależnymi, ale daje to wyobrażenie, dlaczego po prostu nie można polegać na teście bez spełnienia założeń .

Można jednak również użyć testów, których założenia nie spełniają oryginału, zmniejszając swój problem: poprzez wyraźne złagodzenie ograniczenia niezależności, twój wynik może być znaczący, ale nie jest gwarantowany (ponieważ wtedy twoje wyniki odnoszą się do zredukowanego problemu, a nie pełny problem, więc nie można tłumaczyć wszystkich wyników, chyba że można udowodnić, że dodatkowe ograniczenia nowego problemu nie wpływają na test, a tym samym na wyniki).

W praktyce jest to często wykorzystywane do modelowania praktycznych danych, na przykład za pomocą Naive Bayesa, poprzez modelowanie zmiennych zależnych (zamiast niezależnych) przy użyciu modelu, który zakłada zmienne niezależne, i, co zaskakujące, często działa bardzo dobrze, a czasem lepiej niż rachunkowość modeli dla zależności . Możesz być także zainteresowany tym pytaniem o tym, jak korzystać z ANOVA, gdy dane nie spełniają wszystkich oczekiwań .

Podsumowując: jeśli zamierzasz pracować na danych praktycznych, a twoim celem nie jest udowodnienie żadnego wyniku naukowego, ale stworzenie systemu, który po prostu działa (tj. Usługa sieciowa lub jakakolwiek praktyczna aplikacja), założenie niezależności (i może innych założeń) można się zrelaksować, ale jeśli próbujesz wydedukować / udowodnić jakąś ogólną prawdę , zawsze powinieneś używać testów, które możesz matematycznie zagwarantować (lub przynajmniej bezpiecznie i pewnie założyć), że spełnisz wszystkie przesłanki .