Wystarczające statystyki dla laika

Czy ktoś może wyjaśnić wystarczające statystyki w bardzo podstawowych terminach? Pochodzę z inżynierii i przeszedłem wiele rzeczy, ale nie znalazłem intuicyjnego wyjaśnienia.

Wystarczająca statystyka podsumowuje wszystkie informacje zawarte w próbce, abyś mógł oszacować ten sam parametr niezależnie od tego, czy daliśmy ci próbkę, czy tylko samą statystykę. To redukcja danych bez utraty informacji.

Oto jeden przykład. Załóżmy, że ma rozkład symetryczny około zera. Zamiast dać ci próbkę, wręczam ci próbkę wartości bezwzględnych (to jest statystyka). Nie zobaczysz znaku. Ale wiesz, że rozkład jest symetryczny, więc dla danej wartości , i są jednakowo prawdopodobne (prawdopodobieństwo warunkowe wynosi ). Możesz rzucić uczciwą monetą. Jeśli pojawi się głowa, spraw, aby ujemne. Jeśli ogony, zrób to pozytywnie. To daje próbkę z , który ma taki sam rozkład jak dane oryginalnego . Zasadniczo byłeś w stanie zrekonstruować dane ze statystyki. To wystarcza.x - x x 0,5 x X ′$X$$x$$-x$$x$$0.5$$x$$X'$$X$

W kategoriach bayesowskich masz pewną obserwowalną właściwość $X$ i parametr $\Theta$ . Rozkład łączny dla $X,\Theta$ jest określony, ale uwzględniany jako rozkład warunkowy $X\mid \Theta$ i wcześniejszy rozkład $\Theta$ . Statystyka $T$ jest wystarczająca dla tego modelu wtedy i tylko wtedy, gdy rozkład tylny $\Theta\mid X$ jest taki sam jak $\Theta\mid T(X)$ , dla każdego wcześniejszego rozkładu $\Theta$ . Innymi słowy, twoja zaktualizowana niepewność dotycząca $\Theta$ po znajomości wartości$X$ jest tym samym, co zaktualizowana niepewność dotycząca$\Theta$ po znajomości wartości$T(X)$ ,bez względu na wcześniejsze informacje o $\Theta$ . Należy pamiętać, że wystarczalność jest koncepcją zależną od modelu.

Powiedz, że masz monetę i nie wiesz, czy jest to uczciwe, czy nie. Innymi słowy, ma prawdopodobieństwo $p$ zbliżających się głów ( $H$ ) i $1 - p$ nadchodzących ogonów ( $T$ ) i nie znasz wartości $p$ .

Próbujesz zrozumieć wartość $p$ , rzucając monetą kilka razy, powiedzmy $n$ razy.

Powiedzmy, że $n = 5$ a wynikiem jest sekwencja $(H, H, T, H, T)$ .

$p$

$(H, H, T, H, T)$

$(H, H, T, T, H)$

Wyrażamy to, mówiąc, że liczba głów jest wystarczającą statystyką dla p .

Ten przykład nadaje smak koncepcji. Czytaj dalej, jeśli chcesz zobaczyć, jak łączy się z definicją formalną.

Formalnie statystyka jest wystarczająca dla parametru, jeżeli biorąc pod uwagę wartość statystyki, rozkład prawdopodobieństwa wyników nie obejmuje parametru.

$p^\text{number of heads}(1 - p)^\text{n - number of heads}$$p$

$(H, H, T, H, T)$$(H, H, T, T, H)$$...$$1/10$$p$$p$$p$

$p$$\text{number of heads}$$\text{number of heads}$$p$