Ważona wariancja, jeszcze raz

17

Bezstronna ważona wariancja została już omówiona tutaj i gdzie indziej, ale nadal wydaje się, że istnieje zaskakująca ilość zamieszania. Wydaje się, że istnieje zgoda co do formuły przedstawionej w pierwszym linku, a także w artykule w Wikipedii . To również wygląda na wzór używany przez R, Mathematica i GSL (ale nie MATLAB). Jednak artykuł w Wikipedii zawiera również następujący wiersz, który wygląda jak świetny test poprawności dla implementacji ważonej wariancji:

Na przykład, jeśli wartości {2,2,4,5,5,5} są rysowane z tego samego rozkładu, wówczas możemy traktować ten zestaw jako próbkę nieważoną lub możemy traktować go jako próbkę ważoną {2,4, 5} o odpowiednich wagach {2,1,3} i powinniśmy uzyskać te same wyniki.

Moje obliczenia podają wartość 2.1667 dla wariancji wartości pierwotnych i 2.9545 dla wariancji ważonej. Czy naprawdę powinienem oczekiwać, że będą takie same? Dlaczego lub dlaczego nie?

confusedCoder
źródło
6
to pytanie tak naprawdę nie dotyczy implementacji, ale leżącą u podstaw teorię
zmieszany

Odpowiedzi:

15

Tak, należy spodziewać się, że oba przykłady (nieważone vs. ważone) dadzą te same wyniki.

Zaimplementowałem dwa algorytmy z artykułu z Wikipedii.

Ten działa:

Jeżeli wszystkie xi pochodzą z tego samego rozmieszczenia i ciężarach całkowitych wi pokazuje częstotliwości występowania w próbce, wówczas nieobciążonym estymatorem ważonej wariancja populacyjna jest dana przez:

s2 =1V11i=1Nwi(xiμ)2,

Jednak ten (przy użyciu wag ułamkowych) nie działa dla mnie:

xi1/wi

s2) =V.1V.12)-V.2)ja=1N.wja(xja-μ)2)

Nadal badam przyczyny, dla których drugie równanie nie działa zgodnie z przeznaczeniem.

/ EDYCJA: Znalazłem powód, dla którego drugie równanie nie działało tak, jak myślałem: możesz użyć drugiego równania tylko wtedy, gdy masz znormalizowane wagi lub wariancje („niezawodność”) i NIE jest to obiektywne, ponieważ jeśli nie używaj wag „powtarzających się” (licząc, ile razy obserwacja była obserwowana i dlatego powinna być powtarzana w operacjach matematycznych), tracisz zdolność do zliczania całkowitej liczby obserwacji, a zatem nie możesz użyć współczynnika korekcji.

To wyjaśnia różnicę w wynikach za pomocą wariancji ważonej i nieważonej: obliczenia są tendencyjne.

Dlatego jeśli chcesz mieć obiektywną wariancję ważoną, użyj tylko „powtarzalnych” wag i użyj pierwszego równania, które opublikowałem powyżej. Jeśli to nie jest możliwe, cóż, nie możesz na to poradzić.

Zaktualizowałem również artykuł w Wikipedii, jeśli chcesz uzyskać więcej informacji: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

I powiązany artykuł na temat obiektywnej kowariancji ważonej (która w rzeczywistości jest tą samą wariancją ze względu na tożsamość polaryzacji ): Poprawne równanie dla ważonej obiektywnej kowariancji próbnej

gaboryczny
źródło
Po przeczytaniu i przemyśleniu wielu kwestii, wciąż nie mam intuicyjnego znaczenia ani przykładu terminu „wagi niezawodności”. Czy mógłbyś rozwinąć tę kwestię?
Peter
@ Wagi niezawodności Peter są znormalizowanymi wagami, np. Ograniczonymi między 0 a 1 lub -1 i 1. Reprezentują one częstotliwość (np. 0,1 oznacza, że ​​próbka była widziana przez 10% czasu w porównaniu do wszystkich innych próbek). Nie wymyśliłem tego terminu, można go znaleźć w publikacjach. W przypadku wag wielokrotnych jest odwrotnie, każda waga reprezentuje liczbę wystąpień, liczność (np. 10, jeśli próbka była obserwowana 10 razy).
gaborous
Jest to mylące, ponieważ to, co nazywasz wagą powtarzalną, często nazywane jest również wagą częstotliwości , ale myślę, że mam różnicę. To zależy od normalizacji, prawda?
Peter
Nie, wagi częstotliwości to alternatywna nazwa wag niezawodności. W przypadku wag wielokrotnych jest to liczba wystąpień, a nie częstotliwość. W przypadku powtarzających się wag w ogóle nie ma normalizacji, o to chodzi: dopóki normalizujesz swoje wagi, tracisz częstotliwość podstawową, więc nie możesz całkowicie rozdzielić swoich obliczeń. Jedynym sposobem jest zachowanie całkowitej liczby wystąpień. Jeśli naprawdę chcesz użyć wag częstotliwości, myślę, że jeśli wcześniej zapiszesz całkowitą liczbę wystąpień N, które możesz przekonwertować w tę iz powrotem, aby powtórzyć wagi przez pomnożenie wag częstotliwości przez N, to jest w porządku.
gaborous
A jeśli twoje wagi to 1 / waga wariancji, jak byś je nazwał? Czy to byłyby zatem „wagi niezawodności”?
Tom Wenseleers,