Zdjęcie jest czasem warte tysiąca słów, więc pozwólcie, że podzielę się jednym z tobą. Poniżej znajduje się ilustracja pochodząca z artykułu Bradleya Efrona (1977) w paradoksie statystycznym Steina . Jak widać, estymator Stein przenosi każdą z wartości bliżej wielkiej średniej. Powoduje to, że wartości większe niż średnia średnia są mniejsze, a wartości mniejsze niż średnia średnia - większe. Przez skurczenie rozumiemy przesuwanie wartości w kierunku średniej lub w niektórych przypadkach do zera - jak regresja regularna - co zmniejsza parametry do zera.
Oczywiście nie chodzi tylko o samo skurczenie się, ale udowodnili także Stein (1956) i James i Stein (1961) , że estymator Stein dominuje w estymatorze maksymalnego prawdopodobieństwa pod względem błędu kwadratowego całkowitego,
Eμ(∥μ^JS−μ∥2)<Eμ(∥μ^MLE−μ∥2)
gdzie , jest estymatorem Stein'a, a , gdzie oba estymatory są szacowane na próbce . Dowody są podane w oryginalnych artykułach i dodatku do artykułu, do którego się odwołujesz. W prostym języku angielskim pokazali, że jeśli jednocześnie zgadujesz, to pod względem całkowitego błędu kwadratu lepiej byś je zmniejszył, niż pozostawiając początkowe domysły.μ=(μ1,μ2,…,μp)′μ^JSiμ^MLEi=xix1,x2,…,xpp>2
Wreszcie estymator Steina z pewnością nie jest jedynym estymatorem, który daje efekt skurczu. Aby zapoznać się z innymi przykładami, możesz sprawdzić ten wpis na blogu lub odnośną książkę analizy danych bayesowskich autorstwa Gelmana i in. Możesz także sprawdzić wątki dotyczące regresji regularnej, np. Jaki problem rozwiązują metody skurczu? lub Kiedy stosować metody regularyzacji do regresji? , dla innych praktycznych zastosowań tego efektu.