Różnica między ANOVA a testem Kruskala-Wallisa

Uczę się R i eksperymentowałem z analizą wariancji. Prowadziłem oba

kruskal.test(depVar ~ indepVar, data=df)

i

anova(lm(depVar ~ indepVar, data=dF))

Czy istnieje praktyczna różnica między tymi dwoma testami? Rozumiem, że oboje oceniają hipotezę zerową, że populacje mają ten sam środek.

Istnieją różnice w założeniach i testowanych hipotezach.

ANOVA (i test t) jest wyraźnie testem równości średnich wartości. Kruskal-Wallis (i Mann-Whitney) można technicznie postrzegać jako porównanie średnich rang .

Stąd, pod względem oryginalnych wartości, Kruskal-Wallis jest bardziej ogólny niż porównanie średnich: bada, czy prawdopodobieństwo, że losowa obserwacja z każdej grupy jest równie prawdopodobne, jest powyżej lub poniżej losowej obserwacji z innej grupy. Rzeczywista ilość danych, która leży u podstaw tego porównania, nie jest ani różnicami w średnich, ani różnicami w medianach (w przypadku dwóch próbek) jest w rzeczywistości medianą wszystkich różnic parowych - między próbkami Hodgesa-Lehmanna.

Jeśli jednak zdecydujesz się na pewne restrykcyjne założenia, to Kruskal-Wallis może być postrzegany jako test równości średnich populacji, a także kwantyli (np. Median), a nawet szerokiej gamy innych miar. Oznacza to, że jeśli założymy, że rozkłady grup w ramach hipotezy zerowej są takie same i że w ramach alternatywy jedyną zmianą jest przesunięcie dystrybucyjne (tak zwana „ alternatywa przesunięcia lokalizacji ”), to jest to również test równości liczby ludności (i jednocześnie median, dolnych kwartyli itp.).

[Jeśli przyjmiesz to założenie, możesz uzyskać oszacowania i przedziały dla przesunięć względnych, tak jak możesz to zrobić za pomocą ANOVA. Cóż, możliwe jest również uzyskiwanie przedziałów bez tego założenia, ale trudniej je interpretować.]

Jeśli spojrzysz na odpowiedź tutaj , szczególnie pod koniec, omawia ona porównanie testu t i testu Wilcoxona-Manna-Whitneya, które (wykonując przynajmniej testy dwustronne) są odpowiednikami ANOVA i Kruskala-Wallisa zastosowane do porównania tylko dwóch próbek; daje nieco więcej szczegółów, a większość tej dyskusji przenosi się na Kruskal-Wallis kontra ANOVA.

Nie jest do końca jasne, co rozumiesz przez praktyczną różnicę. Korzystasz z nich w ogólnie podobny sposób. Kiedy stosuje się oba zestawy założeń, zwykle dają one dość podobne wyniki, ale z pewnością mogą dawać całkiem różne wartości p w niektórych sytuacjach.

Edycja: Oto przykład podobieństwa wnioskowania nawet przy małych próbkach - oto wspólny region akceptacji dla przesunięć lokalizacji między trzema grupami (każda druga i trzecia w porównaniu z pierwszą) próbkowanymi z rozkładów normalnych (przy małych próbkach) dla określonego zestawu danych na poziomie 5%:

Można wyróżnić wiele interesujących cech - w tym przypadku nieco większy obszar akceptacji dla KW, którego granica składa się z pionowych, poziomych i ukośnych odcinków linii prostych (nietrudno zrozumieć, dlaczego). Dwa regiony mówią nam bardzo podobne rzeczy na temat interesujących parametrów tutaj.

Tak jest. Jest anovato podejście parametryczne, podczas gdy kruskal.testjest to podejście nieparametryczne. Więc kruskal.testnie potrzeba żadnego dystrybucyjne założenie.
Z praktycznego punktu widzenia, kiedy twoje dane są wypaczone, anovanie byłoby dobrym podejściem do korzystania. Spójrz na przykład na to pytanie .

$\Delta$

$(*)$$H_0\colon\{\Delta=0\}$$H_1\colon\{\Delta \neq 0\}$$(*)$$H_0$$H_0)$$(*)$$H_0\colon\{\text{the distributions are equal}\}$

$(*)$$\Delta >0$$\Delta$

$x$$y$$n=1000$$H_0$

set.seed(666)
n <- 1000
x <- rnorm(n)
y <- (2*rbinom(n,1,1/2)-1)*rnorm(n,3)
plot(density(x, from=min(y), to=max(y)))
lines(density(y), col="blue")

> kruskal.test(list(x,y))

    Kruskal-Wallis rank sum test

data:  list(x, y)
Kruskal-Wallis chi-squared = 2.482, df = 1, p-value = 0.1152

Jak twierdziłem na początku, nie jestem pewien dokładnej budowy KW. Być może moja odpowiedź jest bardziej poprawna dla kolejnego testu nieparametrycznego (Mann-Whitney? ..), ale podejście powinno być podobne.

Kruskal-Wallis opiera się raczej na randze niż na wartości. Może to mieć dużą różnicę, jeśli istnieją wypaczone rozkłady lub jeśli występują ekstremalne przypadki