Maksymalna wartość współczynnika zmienności dla ograniczonego zestawu danych

17

W dyskusji po ostatnim pytaniu o to, czy odchylenie standardowe może przekroczyć średnią, krótko postawiono jedno pytanie, ale nigdy w pełni nie udzielono odpowiedzi. Więc pytam o to tutaj.

Rozważ zestaw n nieujemnych liczb xi gdzie 0xic dla . Nie jest wymagane, aby były odrębne, to znaczy, że zestaw może być multiset. Średnia i wariancja zestawu są zdefiniowane jako a odchylenie standardowe to . Zauważ, że zestaw liczb nie jest1inxi

x¯=1ni=1nxi,  σx2=1ni=1n(xix¯)2=(1ni=1nxi2)x¯2
σxpróbka z populacji i nie szacujemy średniej populacji ani wariancji populacji. Pytanie brzmi zatem:

Jaka jest maksymalna wartość , współczynnika zmienności, dla wszystkich wyborów w przedziale ?σxx¯xi[0,c]

Maksymalna wartość, którą mogę znaleźć dla σxx¯ to n1 która jest osiągana, gdy n1 z xi ma wartość 0 a pozostałe (odstające) xi ma wartość c , dając

x¯=cn,  1nxi2=c2nσx=c2nc2n2=cnn1.
Ale to wcale nie zależy od c i zastanawiam się, czy można osiągnąć większe wartości, prawdopodobnie zależne zarówno od n, jak ni c .

Jakieś pomysły? Jestem pewien, że pytanie to zostało już wcześniej zbadane w literaturze statystycznej, a zatem odniesienia, jeśli nie rzeczywiste wyniki, byłyby bardzo mile widziane.

Dilip Sarwate
źródło
Myślę, że masz rację, że jest to największa możliwa wartość, i jestem również zaskoczony, że nie ma znaczenia. Chłodny. c
Peter Flom - Przywróć Monikę
7
σ xc nie powinno wpływać na wynik, ponieważ nie zmienia się, jeśli wszystkie wartości zostaną pomnożone przez jakąkolwiek dodatnią stałą . kσxx¯k
Henry

Odpowiedzi:

15

Geometria zapewnia wgląd, a klasyczne nierówności zapewniają łatwy dostęp do dyscypliny.

Rozwiązanie geometryczne

Wiemy z geometrii najmniejszych kwadratów , że jest rzutem ortogonalnym wektora danych w liniowej podprzestrzeni generowanej przez wektor stały i że jest wprost proporcjonalna do odległości (euklidesowej) między i Ograniczenia nieujemnościowe są liniowe, a odległość jest funkcją wypukłą, dlatego skrajności odległości muszą zostać osiągnięte na krawędziach stożka określonych przez ograniczenia. Ten stożek jest dodatnim ortantem wx=(x1,x2,,xn)(1,1,,1)σxx ˉ x . Rnxiσx/ ˉ x =x¯=(x¯,x¯,,x¯)x=(x1,x2,,xn)(1,1,,1)σxxx¯.Rna jego krawędzie są osiami współrzędnych, z których natychmiast wynika, że ​​wszystkie z wyjątkiem muszą być zerowe w maksymalnych odległościach. Dla takiego zestawu danych bezpośrednie (proste) obliczenie pokazujexiσx/x¯=n.

Rozwiązanie wykorzystujące klasyczne nierówności

σx/x¯ jest optymalizowany jednocześnie z każdą jego monotoniczną transformacją. W świetle tego zmaksymalizujmy

x12+x22++xn2(x1+x2++xn)2=1n(n1n(σxx¯)2+1)=f(σxx¯).

(Wzór na może wyglądać tajemniczo, dopóki nie uświadomisz sobie, że rejestruje tylko kroki, które należy wykonać algebraicznie, manipulując aby uzyskać prosty wygląd, czyli po lewej stronie.)fσx/x¯

Łatwy sposób zaczyna się od Nierówności Posiadacza ,

x12+x22++xn2(x1+x2++xn)max({xi}).

(Nie wymaga to specjalnego dowodu w tym prostym kontekście: wystarczy zastąpić jeden czynnik każdego wyrażenia maksymalnym składnikiem : oczywiście suma kwadratów nie spadnie. Faktoring wspólny termin zwraca prawą stronę nierówności.)xi2=xi×ximax({xi})max({xi})

Ponieważ to nie wszystkie (co pozostawiłoby niezdefiniowany), dzielenie przez kwadrat ich sumy jest poprawne i daje równoważną nierównośćxi0σx/x¯

x12+x22++xn2(x1+x2++xn)2max({xi})x1+x2++xn.

Ponieważ mianownik nie może być mniejsza niż liczniku (który sam w sobie jest po prostu jednym z warunków w mianowniku), prawa strona jest zdominowany przez wartość , co osiąga się tylko wtedy, gdy wszystkie, ale jeden z równa . Skąd1xi0

σxx¯f1(1)=(1×(n1))nn1=n.

Alternatywne podejście

Ponieważ są nieujemne i nie mogą sumować się do , wartości określają rozkład prawdopodobieństwa na . Pisząc jako sumę , rozpoznajemyxi0p(i)=xi/(x1+x2++xn)F{1,2,,n}sxi

x12+x22++xn2(x1+x2++xn)2=x12+x22++xn2s2=(x1s)(x1s)+(x2s)(x2s)++(xns)(xns)=p1p1+p2p2++pnpn=EF[p].

Aksjomatyczny fakt, że żadne prawdopodobieństwo nie może przekraczać implikuje, że to oczekiwanie również nie może przekroczyć , ale łatwo jest uczynić go równym , ustawiając wszystkie z równe a zatem dokładnie jeden z jest niezerowy. Obliczyć współczynnik zmienności jak w ostatnim wierszu rozwiązania geometrycznego powyżej.111pi0xi

Whuber
źródło
Dziękuję za szczegółową odpowiedź, z której wiele się nauczyłem! Zakładam, że różnica między w twojej odpowiedzi a które uzyskałem (i potwierdził Henry), wynika z faktu, że używasz jako definicję gdy używałemnn1
σx=1n1i=1n(xix¯)2
σx
σx=1ni=1n(xix¯)2?
Dilip Sarwate,
1
Tak, Dilip, zgadza się. Przepraszam za rozbieżność z pytaniem; Powinienem był sprawdzić najpierw i powinienem zdefiniować (co zamierzałem zrobić, ale zapomniałem). σx
whuber
10

Niektóre referencje, takie jak małe świece na torcie innych:

Katsnelson i Kotz (1957) udowodnili, że dopóki wszystkie , współczynnik zmienności nie może przekroczyć . Wynik ten został wspomniany wcześniej przez Longley (1952). Cramér (1946, s. 357) okazał się mniej ostry, a Kirby (1974) okazał się mniej ogólny.xi0n1

Cramér, H. 1946. Matematyczne metody statystyki . Princeton, NJ: Princeton University Press.

Katsnelson, J. i S. Kotz. 1957. W sprawie górnych granic niektórych miar zmienności. Archiv für Meteorologie, Geophysik und Bioklimatologie , Series B 8: 103–107.

Kirby, W. 1974. Algebraiczne ograniczenie statystyk przykładowych. Badania zasobów wodnych 10: 220–222.

Longley, RW 1952. Miary zmienności opadów. Miesięczny przegląd pogody 80: 111–117.

W pracy natknąłem się na te dokumenty

Cox, NJ 2010. Granice skośności próbki i kurtozy. Stata Journal 10: 482–495.

który omawia zasadniczo podobne granice skośności i kurtozy opartej na momentach.

Nick Cox
źródło
8

Dwie liczby , niektóre i dowolne :xixjδ>0μ

(xi+δμ)2+(xjδμ)2(xiμ)2(xjμ)2=2δ(xixj+δ)>0.

Stosując to do nieujemnych punktów danych, oznacza to, że o ile wszystkie oprócz jednej z liczb są zerowe i nie można ich dalej zmniejszyć, możliwe jest zwiększenie wariancji i odchylenia standardowego poprzez zwiększenie odstępu między dowolną parą punktów danych zachowując tę ​​samą średnią, zwiększając w ten sposób współczynnik zmienności. Zatem maksymalny współczynnik zmienności dla zestawu danych jest taki, jak sugerujesz: .nnn1

c nie powinno wpływać na wynik, ponieważ nie zmienia się, jeśli wszystkie wartości zostaną pomnożone przez jakąkolwiek dodatnią stałą (jak powiedziałem w moim komentarzu).σxx¯k

Henz
źródło