Bezstronna ważona wariancja została już omówiona tutaj i gdzie indziej, ale nadal wydaje się, że istnieje zaskakująca ilość zamieszania. Wydaje się, że istnieje zgoda co do formuły przedstawionej w pierwszym linku, a także w artykule w Wikipedii . To również wygląda na wzór używany przez R, Mathematica i GSL (ale nie MATLAB). Jednak artykuł w Wikipedii zawiera również następujący wiersz, który wygląda jak świetny test poprawności dla implementacji ważonej wariancji:
Na przykład, jeśli wartości {2,2,4,5,5,5} są rysowane z tego samego rozkładu, wówczas możemy traktować ten zestaw jako próbkę nieważoną lub możemy traktować go jako próbkę ważoną {2,4, 5} o odpowiednich wagach {2,1,3} i powinniśmy uzyskać te same wyniki.
Moje obliczenia podają wartość 2.1667 dla wariancji wartości pierwotnych i 2.9545 dla wariancji ważonej. Czy naprawdę powinienem oczekiwać, że będą takie same? Dlaczego lub dlaczego nie?
źródło
Odpowiedzi:
Tak, należy spodziewać się, że oba przykłady (nieważone vs. ważone) dadzą te same wyniki.
Zaimplementowałem dwa algorytmy z artykułu z Wikipedii.
Ten działa:
Jednak ten (przy użyciu wag ułamkowych) nie działa dla mnie:
Nadal badam przyczyny, dla których drugie równanie nie działa zgodnie z przeznaczeniem.
/ EDYCJA: Znalazłem powód, dla którego drugie równanie nie działało tak, jak myślałem: możesz użyć drugiego równania tylko wtedy, gdy masz znormalizowane wagi lub wariancje („niezawodność”) i NIE jest to obiektywne, ponieważ jeśli nie używaj wag „powtarzających się” (licząc, ile razy obserwacja była obserwowana i dlatego powinna być powtarzana w operacjach matematycznych), tracisz zdolność do zliczania całkowitej liczby obserwacji, a zatem nie możesz użyć współczynnika korekcji.
To wyjaśnia różnicę w wynikach za pomocą wariancji ważonej i nieważonej: obliczenia są tendencyjne.
Dlatego jeśli chcesz mieć obiektywną wariancję ważoną, użyj tylko „powtarzalnych” wag i użyj pierwszego równania, które opublikowałem powyżej. Jeśli to nie jest możliwe, cóż, nie możesz na to poradzić.
Zaktualizowałem również artykuł w Wikipedii, jeśli chcesz uzyskać więcej informacji: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance
I powiązany artykuł na temat obiektywnej kowariancji ważonej (która w rzeczywistości jest tą samą wariancją ze względu na tożsamość polaryzacji ): Poprawne równanie dla ważonej obiektywnej kowariancji próbnej
źródło