Czy ANOVA opiera się na metodzie chwil, a nie na maksymalnym prawdopodobieństwie?

13

Widzę w różnych miejscach wspomniane, że ANOVA dokonuje oszacowania za pomocą metody momentów.

Twierdzenie to wprawia mnie w zakłopotanie, ponieważ chociaż nie znam metody momentów, rozumiem, że jest to coś innego niż metoda największego prawdopodobieństwa i nie jest ona równoważna; z drugiej strony, ANOVA może być postrzegana jako regresja liniowa z predyktorami jakościowymi, a oszacowanie parametrów regresji przez OLS jest maksymalnym prawdopodobieństwem.

Więc:

  1. Co kwalifikuje procedury ANOVA jako metodę chwil?

  2. Biorąc pod uwagę, że ANOVA jest równoważna OLS z predyktorami jakościowymi, czy nie jest to maksymalne prawdopodobieństwo?

  3. Jeśli te dwie metody okażą się w jakiś sposób równoważne w szczególnym przypadku zwykłej ANOVA, czy istnieją jakieś szczególne sytuacje ANOVA, kiedy różnica staje się ważna? Niezrównoważony projekt? Powtórzone środki? Projekt mieszany (między podmiotami + wewnątrz przedmiotów)?

ameba mówi Przywróć Monikę
źródło
4
W prostym ustawieniu, a przez proste rozumiem jedno- i dwukierunkową ANOVA, ANOVA pochodzi z LRT w normalnych rozkładach z równymi wariancjami, więc jest to maksymalne prawdopodobieństwo, które jest używane. Oczywiście w normalnym przypadku estymatory mle i mom pokrywają się, więc rozróżnienie nie ma wielkiego znaczenia. Jednak w bardziej złożonych ustawieniach zamiast uzyskiwać LRT, polegamy na regresji OLS. OLS jest tylko mle w normalnym rozkładzie i jest estymatorem mom w bardziej ogólnym ustawieniu, jeśli narzucimy ortogonalność z pozostałymi.
JohnK,
1
@JohnK, wielkie dzięki za komentarz, ale trudno mi zrozumieć niektóre jego części, w szczególności drugą część: jakie są „bardziej złożone ustawienia”, w których ANOVA opiera się na OLS zamiast na LRT (i dlaczego)? Dlaczego OLS nie jest MLE w tym „bardziej ogólnym ustawieniu” - myślałem, że normalne błędy są zawsze zakładane w każdym scenariuszu ANOVA? Co musi zrobić ortogonalność z resztami? Będę bardzo wdzięczny, jeśli rozszerzysz swój komentarz na odpowiedź.
ameba mówi Przywróć Monikę
2
@ameba. Zredagowałem moją odpowiedź, aby odnieść się do pierwszego punktu, w którym ANOVA jest metodą estymatora momentów. Dotyczy to tylko efektów losowych.
Placidia,

Odpowiedzi:

12

Po raz pierwszy zetknąłem się z ANOVA, gdy byłem studentem studiów magisterskich w Oksfordzie w 1978 r. Nowoczesne podejście, ucząc ciągłych i kategorycznych zmiennych razem w modelu regresji wielokrotnej, utrudnia młodym statystykom zrozumienie, co się dzieje. Pomocne może być powrót do prostszych czasów.

W swojej oryginalnej formie ANOVA jest ćwiczeniem arytmetycznym, w którym dzielisz całkowitą sumę kwadratów na części związane z obróbkami, blokami, interakcjami, cokolwiek. W zrównoważonym ustawieniu sumy kwadratów o intuicyjnym znaczeniu (jak SSB i SST) sumują się do skorygowanej sumy kwadratów. Wszystko to działa dzięki Twierdzeniu Cochrana . Korzystając z Cochran, możesz obliczyć oczekiwane wartości tych terminów zgodnie ze zwykłymi hipotezami zerowymi, a stamtąd płyną statystyki F.

Jako bonus, gdy zaczniesz myśleć o Cochran i sumach kwadratów, warto kroić i kroić swoje sumy kwadratów za pomocą kontrastów ortogonalnych. Każdy wpis w tabeli ANOVA powinien mieć interpretację, która jest istotna dla statystysty i dawać sprawdzalną hipotezę.

Niedawno napisałem odpowiedź, w której pojawiła się różnica między metodami MOM i ML. Pytanie dotyczyło oszacowania modeli efektów losowych. W tym momencie tradycyjne podejście ANOVA całkowicie dzieli firmę z maksymalnym oszacowaniem prawdopodobieństwa, a oszacowania skutków nie są już takie same. Gdy projekt jest niezrównoważony, nie otrzymujesz tych samych statystyk F.

Wcześniej, gdy statystycy chcieli obliczyć losowe efekty z planów podzielonego wykresu lub powtarzanych miar, wariancję losowych efektów obliczono na podstawie średnich kwadratów tabeli ANOVA. Więc jeśli masz wykres z wariancją a rezydualna wariancja to , możesz mieć, że oczekiwana wartość średniego kwadratu („oczekiwany średni kwadrat”, EMS) dla wykresów wynosi , oznacza liczbę podziałów na wykresie. średni kwadrat równy jego oczekiwaniom i rozwiązujesz dlaσp2σ2σ2+nσp2nσb2^. ANOVA daje metodę estymatora momentów dla wariancji efektu losowego. Teraz mamy tendencję do rozwiązywania takich problemów za pomocą modeli efektów mieszanych, a składniki wariancji są uzyskiwane poprzez oszacowanie maksymalnego prawdopodobieństwa lub REML.

ANOVA jako taka nie jest metodą chwilową. Włącza się dzielenie sumy kwadratów (lub bardziej ogólnie, kwadratowej postaci odpowiedzi) na składniki, które dają sensowne hipotezy. Zależy to silnie od normalności, ponieważ chcemy, aby sumy kwadratów miały rozkłady chi-kwadrat dla działania testów F.

Ramy maksymalnego prawdopodobieństwa są bardziej ogólne i dotyczą sytuacji takich jak uogólnione modele liniowe, w których sumy kwadratów nie mają zastosowania. Niektóre programy (jak R) wywołują zamieszanie, określając metody anova do testów współczynnika wiarygodności z asymptotycznymi rozkładami chi-kwadrat. Można uzasadnić użycie terminu „anova”, ale ściśle mówiąc, leżąca u jego podstaw teoria jest inna.

Placidia
źródło
2
Test F jednokierunkowej i dwukierunkowej ANOVA jest testem współczynnika prawdopodobieństwa i możesz skonsultować się z Hoggiem i Craigiem, Intrduction to Mathematical Statistics, rozdział 9, jeśli mi nie wierzysz. Co więcej, test F stosowany w regresji normalnej jest również LRT, liczne odniesienia na ten temat.
JohnK,
1
Ja sprawdzę. Na razie usunąłem akapit.
Placidia,
1
+1, dziękuję bardzo za odpowiedź. Nawiasem mówiąc, to właśnie Twoja połączona odpowiedź wywołała moje pytanie. Jest wiele rzeczy, których nie do końca rozumiem w tym, co napisałeś. Będę podróżował przez Nowy Rok i nie będę miał czasu o tym myśleć, ale wrócę do tego wątku, kiedy wrócę w styczniu. W międzyczasie chciałbym jeszcze raz zachęcić @JohnK do opublikowania odpowiedzi rozwijającej uwagi, które podniósł w komentarzach. Byłbym szczególnie wdzięczny za bardziej techniczne wyjaśnienie, być może z konkretnym przykładem. Wesołych Świąt i szczęśliwego Nowego Roku dla was wszystkich!
ameba mówi Przywróć Monikę
1
Wesołych Świąt również tobie. W łączonym poście myślałem właśnie o oszacowaniu wariancji efektu losowego, którym jest MOM w tradycyjnym podejściu. Przepraszam, jeśli moja uwaga brzmiała bardziej ogólnie, niż zamierzałem.
Placidia
2
Po 1,5 roku ponownie przeczytałem twoją odpowiedź i zdałem sobie sprawę, że jest dość jasna, więc w końcu oznaczyłem ją jako zaakceptowaną :-) Pozdrawiam.
ameba mówi Przywróć Monikę