Rozważ następującą konfigurację. Mamy -wymiarowy wektor parametrów który całkowicie określa model, i estymator maksymalnego prawdopodobieństwa . Informacja Fishera w jest oznaczona . Co jest zwykle określany jako statystyka Wald jestθ θ θ I ( θ )pθθ^θja( θ )
( θ^- θ )T.ja( θ^) ( θ^- θ )
gdzie jest informacją Fishera ocenianą w estymatorze największego prawdopodobieństwa. W warunkach prawidłowości statystyka Walda podąża asymptotycznie a -dystrybucja z stopniami swobody, gdy jest prawdziwym parametrem. Statystyka Walda może być wykorzystana do przetestowania prostej hipotezy na całym wektorze parametrów.χ 2 P θ H 0 : θ = θ 0ja( θ^)χ2)pθH.0: θ = θ0
Przy odwrotna informacja Fishera, statystyka testowa Walda hipotezy to
Jego asymptotyczny rozkład jest rozkładem z 1 stopniem swobody. H 0 : θ 1 = θ 0 , 1 ( θ 1 - θ 0 , 1 ), 2Σ ( θ ) = I( θ )- 1H.0: θ1= θ0 , 1χ2
( θ^1- θ0 , 1)2)Σ ( θ^)ja ja.
χ2)
W przypadku normalnego modelu, w którym jest wektorem parametrów średniej i wariancji, statystyka testu Walda, jeśli wynosi
z wielkością próbki. Tutaj jest estymatorem największego prawdopodobieństwa (gdzie dzielisz przez ). -test parametrem jest
, gdzie jest Nienaprężone estymatorem wariancji (gdzie dzielenia przez ) . Statystyka testu Walda jest prawie, ale nie dokładnie, równa kwadratowiμ = μ 0 n ( μ - μ 0 ) 2θ = ( μ , σ2))μ = μ0
n ( μ^- μ0)2)σ^2)
nσ^2)σ2)ntn--√( μ^- μ0)s
s2)n - 1t-test statystyki, ale są asymptotycznie równoważne, gdy . Kwadratowa statystyka -test ma dokładną dystrybucję , która jest zbieżna z z 1 stopniem swobody dla .
n → ∞tfa( 1 , n - 1 )χ2)n → ∞
Ta sama historia dotyczy testu w jednostronnej ANOVA.fa
@NRH dał dobrą odpowiedź teoretyczną, oto ta, która ma być prostsza, bardziej intuicyjna.
Istnieje formalny test Walda (opisany w odpowiedzi NRH), ale odnosimy się również do testów, które sprawdzają różnicę między oszacowanym parametrem a jego hipotetyczną wartością w stosunku do wariancji oszacowanej przy szacowanym parametrze jako test w stylu Walda. Test t, jak zwykle go używamy, jest testem stylu Wald, nawet jeśli różni się nieco od dokładnego testu Walda (różnica vs.n n- 1 wewnątrz pierwiastka kwadratowego). Moglibyśmy nawet zaprojektować test stylu Wald na podstawie szacunkowej mediany pomniejszonej o hipotetyczną medianę podzieloną przez funkcję IQR, ale nie wiem, jaki byłby rozkład, lepiej byłoby użyć ładowania początkowego, permutacji lub symulacji rozkład dla tego testu, a nie zależny od asymptotyków chi-kwadrat. Test F dla ANOVA pasuje również do ogólnego wzorca, licznik można uznać za pomiar różnicy średnich od ogólnej średniej, a mianownik jest miarą zmienności.
Należy również zauważyć, że jeśli kwadratowa zmienna losowa, która następuje po rozkładzie, będzie miała rozkład F o wartości 1 df dla licznika, a mianownik df będzie równy rozkładowi t. Zauważ też, że rozkład F o nieskończonym mianowniku df jest rozkładem chi-kwadrat. Oznacza to, że zarówno statystyka t (kwadrat), jak i statystyka F są asymptotycznie chi-kwadrat, podobnie jak statystyka Walda. Po prostu używamy dokładniejszego rozkładu w praktyce.
źródło