Test na skończoną wariancję?

29

Czy możliwe jest sprawdzenie skończoności (lub istnienia) wariancji zmiennej losowej na podstawie próbki? Jako zero, albo {wariancja istnieje i jest skończona}, albo {wariancja nie istnieje / jest nieskończona} byłoby dopuszczalne. Filozoficznie (i obliczeniowo) wydaje się to bardzo dziwne, ponieważ nie powinno być różnicy między populacją bez wariancji skończonej, a populacją o bardzo dużej wariancji (powiedzmy> ), więc nie mam nadziei, że problem ten można rozwiązać.10400

Jedno podejście, które mi zasugerowano, polegało na zastosowaniu centralnego twierdzenia granicznego: zakładając, że próbki mają tę samą wartość, a populacja ma średnią skończoną, można w jakiś sposób sprawdzić, czy średnia próbki ma odpowiedni błąd standardowy wraz ze wzrostem wielkości próby. Nie jestem jednak pewien, czy ta metoda zadziała. (W szczególności nie widzę, jak zrobić z tego odpowiedni test.)

shabbychef
źródło
1
Istotne: stats.stackexchange.com/questions/94402/... Jeśli istnieje najmniejsza możliwość, że wariancja nie istnieje, lepiej użyć modelu, który nie zakłada wariancji skończonej. Nawet nie myśl o przetestowaniu go.
kjetil b halvorsen

Odpowiedzi:

13

Nie, nie jest to możliwe, ponieważ skończona próbka wielkości nie może wiarygodnie rozróżnić, powiedzmy, normalną populację od normalnej populacji skażonej 1 / N ilością rozkładu Cauchy'ego, gdzie N >> n . (Oczywiście pierwsza z nich ma wariancję skończoną, a druga nieskończoną wariancję.) Zatem każdy w pełni nieparametryczny test będzie miał arbitralnie niską moc przeciwko takim alternatywom.n1/NNn

Whuber
źródło
4
to bardzo dobra uwaga. Czy jednak większość testów hipotez nie ma arbitralnie niskiej mocy w porównaniu z jakąś alternatywą? np. test na zerową średnią będzie miał bardzo niską moc, gdy zostanie pobrana próbka z populacji ze średnią dla 0 < | ϵ | mały. Nadal zastanawiam się, czy taki test można w ogóle skonstruować rozsądnie, a tym bardziej, czy w niektórych przypadkach ma on małą moc. ϵ0<|ϵ|
shabbychef
2
także „zanieczyszczone” dystrybucje, takie jak ta, którą przytaczasz, zawsze wydawały mi się sprzeczne z ideą „identycznej dystrybucji”. Być może zgodziłbyś się. Wydaje się, że stwierdzenie, że próbki są pobierane z jakiegoś rozkładu bez stwierdzenia, że ​​rozkład jest bez znaczenia (cóż, „niezależna” część iid jest znacząca).
shabbychef
2
(1) Masz rację co do niskiej mocy, ale problemem tutaj (wydaje mi się) jest to, że nie ma stopniowego kroku od „skończonego” do „nieskończonego”: wydaje się, że problem nie ma naturalnej skali do powiedzenia nam co stanowi „małe” odstępstwo od zera w porównaniu do „dużego” odstępstwa. (2) Forma dystrybucyjna jest niezależna od rozważań iid. Nie chcę przez to powiedzieć, że 1% danych będzie pochodzić z Cauchy, a 99% z normalnego. Mam na myśli, że 100% danych pochodzi z rozkładu, który jest prawie normalny, ale ma ogony Cauchy'ego. W tym sensie dane mogą być przeznaczone na skażoną dystrybucję.
whuber
2
Czy ktoś przeczytał ten artykuł? sciencedirect.com/science/article/pii/S0304407615002596
Christoph Hanck
3
@ shabbychef, jeśli każda obserwacja wynika z dokładnie tego samego procesu mieszania, są one identycznie rozmieszczone, każda jako wyciąg z odpowiedniego rozkładu mieszanki. Jeśli niektóre obserwacje są koniecznie z jednego procesu, a inne niekoniecznie z innego procesu (obserwacje od 1 do 990 są normalne, a obserwacje od 991 do 1000 to Cauchy, powiedzmy), to nie są one identycznie rozmieszczone (nawet jeśli połączona próbka może być nie do odróżnienia z mieszaniny 99% -1%). Zasadniczo sprowadza się to do modelu używanego procesu.
Glen_b
16

Nie możesz być pewien, nie znając dystrybucji. Ale są pewne rzeczy, które możesz zrobić, na przykład patrząc na to, co można nazwać „wariancją częściową”, tj. Jeśli masz próbkę o rozmiarze , rysujesz wariancję oszacowaną na podstawie pierwszych n wyrazów, przy czym n wynosi od 2 do N .NnnN

Przy skończonej wariancji populacyjnej masz nadzieję, że wariancja częściowa wkrótce ustabilizuje się blisko wariancji populacyjnej.

W przypadku nieskończonej wariancji populacji widać skok w częściowej wariancji, a następnie powolne spadki, aż do pojawienia się następnej bardzo dużej wartości w próbce.

To jest ilustracja losowych zmiennych Normalnych i Cauchy'ego (i skali logarytmicznej) Częściowa wariancja

Może to nie pomóc, jeśli kształt twojego rozkładu jest taki, że potrzebna jest znacznie większa próbka niż masz do zidentyfikowania go z wystarczającą pewnością, tj. Gdy bardzo duże wartości są dość (ale nie niezwykle) rzadkie dla rozkładu o skończonej wariancji, lub są niezwykle rzadkie w przypadku dystrybucji z nieskończoną wariancją. Dla danego rozkładu będą wielkości próbek, które najprawdopodobniej nie ujawnią jego natury; i odwrotnie, dla danej wielkości próbki istnieją rozkłady, które raczej nie ukrywają swojej natury dla tej wielkości próbki.

Henz
źródło
4
+1 Podoba mi się, ponieważ (a) grafika zwykle ujawnia znacznie więcej niż test i (b) jest praktyczna. Jestem trochę zaniepokojony, że ma on dowolny aspekt: ​​jego wygląd zależeć będzie (być może, być może) od kolejności, w jakiej dane są podawane. Gdy „częściowa wariancja” wynika z jednej lub dwóch ekstremalnych wartości, które zbliżają się do początku, grafika ta może wprowadzać w błąd. Zastanawiam się, czy istnieje dobre rozwiązanie tego problemu.
whuber
1
+1 za świetną grafikę. Naprawdę utrwala koncepcję „braku wariancji” w rozkładzie Cauchy'ego. @ whuber: Sortujesz dane we wszystkich możliwych permutacjach, przeprowadzasz test dla każdej z nich i bierzesz jakąś średnią? Przyznaję, że niezbyt wydajny pod względem obliczeniowym :) ale może mógłbyś wybrać garść losowych kombinacji?
naught101
2
@ naught101 Uśrednianie dla wszystkich permutacji nic ci nie powie, ponieważ uzyskasz idealnie poziomą linię. Być może źle rozumiem, co masz na myśli?
whuber
1
@whuber: Właściwie miałem na myśli przeprowadzenie testu zbieżności, a nie samego wykresu. Ale przyznaję, że to dość niejasny pomysł, a to głównie dlatego, że nie mam pojęcia, o czym mówię :)
naught101
7

Oto kolejna odpowiedź. Załóżmy, że możesz sparametryzować problem, coś takiego:

H0: Xt(df=3) versus H1: Xt(df=1).

H0H1H1H0 t

f(x|ν)=Γ(ν+12)νπΓ(ν2)(1+x2ν)ν+12,

<x<x1,x2,,xnH0

Λ(x)=i=1nf(xi|ν=1)i=1nf(xi|ν=3)>k,
k0
P(Λ(X)>k|ν=3)=α.

Λ(x)=(32)ni=1n(1+xi2/3)21+xi2.

Λ(x)H0Λ(x)α=0.05n=13

H0Λ

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

12.8842(3/2)13k1.9859

H0H1α

Zastrzeżenia: jest to zabawkowy przykład. Nie mam żadnej rzeczywistej sytuacji, w której byłbym ciekawy, czy moje dane pochodzą z Cauchy, w przeciwieństwie do t Studenta z 3 df. I pierwotne pytanie nie mówiło nic o sparametryzowanych problemach, wydawało się, że szuka ono bardziej nieparametrycznego podejścia, które moim zdaniem dobrze zajęli inni. Ta odpowiedź jest przeznaczona dla przyszłych czytelników, którzy natrafią na tytuł pytania i szukają klasycznego, zakurzonego podręcznika.

H1:ν1


źródło
2
α
1
H1:ν2ν>2
2
α
1
αα=2
6

DY1,Y2,,YN

  1. H0:YiNormal(μ,σ)
  2. HA:YiCauchy(ν,τ)

Jedna hipoteza ma wariancję skończoną, jedna ma wariancję nieskończoną. Wystarczy obliczyć szanse:

P(H0|D,I)P(HA|D,I)=P(H0|I)P(HA|I)P(D,μ,σ|H0,I)dμdσP(D,ν,τ|HA,I)dνdτ

P(H0|I)P(HA|I)

P(D,μ,σ|H0,I)=P(μ,σ|H0,I)P(D|μ,σ,H0,I)
P(D,ν,τ|HA,I)=P(ν,τ|HA,I)P(D|ν,τ,HA,I)

L1<μ,τ<U1L2<σ,τ<U2

(2π)N2(U1L1)log(U2L2)L2U2σ(N+1)L1U1exp(N[s2(Y¯μ)2]2σ2)dμdσ

s2=N1i=1N(YiY¯)2Y¯=N1i=1NYi

πN(U1L1)log(U2L2)L2U2τ(N+1)L1U1i=1N(1+[Yiντ]2)1dνdτ

A teraz, biorąc ten stosunek, stwierdzamy, że ważne części stałych normalizujących anulują się i otrzymujemy:

P(D|H0,I)P(D|HA,I)=(π2)N2L2U2σ(N+1)L1U1exp(N[s2(Y¯μ)2]2σ2)dμdσL2U2τ(N+1)L1U1i=1N(1+[Yiντ]2)1dνdτ

Wszystkie całki są nadal prawidłowe w limicie, dzięki czemu możemy uzyskać:

P(D|H0,I)P(D|HA,I)=(2π)N20σ(N+1)exp(N[s2(Y¯μ)2]2σ2)dμdσ0τ(N+1)i=1N(1+[Yiντ]2)1dνdτ

0σ(N+1)exp(N[s2(Y¯μ)2]2σ2)dμdσ=2Nπ0σNexp(Ns22σ2)dσ

λ=σ2dσ=12λ32dλ

2Nπ0λN121exp(λNs22)dλ=2Nπ(2Ns2)N12Γ(N12)

I otrzymujemy jako ostateczną formę analityczną dla szans na pracę numeryczną:

P(H0|D,I)P(HA|D,I)=P(H0|I)P(HA|I)×πN+12NN2s(N1)Γ(N12)0τ(N+1)i=1N(1+[Yiντ]2)1dνdτ

Można to zatem traktować jako swoisty test wariancji skończonej kontra nieskończonej. Możemy również wykonać rozkład T do tego szkieletu, aby uzyskać kolejny test (przetestować hipotezę, że stopnie swobody są większe niż 2).

prawdopodobieństwo prawdopodobieństwa
źródło
1
s2
2
ss2=N1i=1N(YiY¯)2Y¯x¯
5

Kontrprzykład nie dotyczy zadanego pytania. Chcesz przetestować wartość zerową hipotezę że próbka zmiennych losowych iid jest pobierana z rozkładu o wariancji skończonej na danym poziomie istotności . Polecam dobry tekst referencyjny, taki jak „Wnioskowanie statystyczne” Caselli, aby zrozumieć zastosowanie i granicę testowania hipotez. Jeśli chodzi o ht na wariancję skończoną, nie mam przydatnego odniesienia, ale poniższy artykuł dotyczy podobnej, ale silniejszej wersji problemu, tj. Czy ogony dystrybucji są zgodne z prawem mocy.

DYSTRYBUCJE PRAWODAWSTWA W DANYCH EMPIRYCZNYCH SIAM Review 51 (2009): 661--703.

niezadowolony
źródło
1

Jednym z zaproponowanych mi podejść było zastosowanie centralnego twierdzenia granicznego.

To stare pytanie, ale chcę zaproponować sposób użycia CLT do testowania dużych ogonów.

X={X1,,Xn}Y={Y1,,Yn}X

Z=n×mean(Y)mean(X)sd(Y),

jest również zbliżony do funkcji rozkładu N (0,1).

Teraz wszystko, co musimy zrobić, to wykonać dużą liczbę bootstrapów i porównać empiryczną funkcję rozkładu obserwowanych Z z edf N (0,1). Naturalnym sposobem na dokonanie tego porównania jest test Kołmogorowa – Smirnowa .

Poniższe zdjęcia ilustrują główny pomysł. Na obu obrazach każda kolorowa linia jest skonstruowana na podstawie 1000 obserwacji z określonego rozkładu, a następnie 200 próbek z paska startowego o wielkości 500 dla przybliżenia Z ecdf. Czarna linia ciągła to N (0,1) cdf.

wprowadź opis zdjęcia tutaj wprowadź opis zdjęcia tutaj

Mur1lo
źródło
2
Żadna ilość ładowania początkowego nie doprowadzi cię nigdzie do problemu, który podniosłem w mojej odpowiedzi. Wynika to z faktu, że zdecydowana większość próbek nie dostarczy żadnego dowodu na ciężki ogon - a ładowanie, z definicji, wykorzystuje tylko dane z samej próbki.
whuber
1
@ whuber Jeśli wartości X pochodzą z symetrycznego prawa mocy, zastosowanie ma uogólniony CLT, a test KS wykryje różnicę. Uważam, że twoja obserwacja nie scharakteryzuje poprawnie tego, co mówisz, jest „stopniowym krokiem od„ skończonego ”do„ nieskończonego ””
Mur1lo,
1
CLT nigdy „nie ma zastosowania” do żadnej skończonej próbki. To twierdzenie o limicie.
whuber
1
Kiedy mówię, że „ma zastosowanie”, mówię tylko, że zapewnia dobre przybliżenie, jeśli mamy dużą próbkę.
Mur1lo,
1
Niejasność „dobrego przybliżenia” i „dużego” niestety nie oddaje logiki testów hipotez. W twoim oświadczeniu zawarta jest możliwość pobrania coraz większej próbki, dopóki nie będziesz w stanie wykryć ciężkiego ogona: ale nie tak zwykle działają testy hipotez. W ustawieniu standardowym masz daną próbkę, a Twoim zadaniem jest sprawdzenie, czy pochodzi ona z rozkładu w hipotezie zerowej. W takim przypadku ładowanie początkowe nie zrobi tego lepiej niż jakikolwiek bardziej prosty test.
whuber