Czy istnieje wiarygodny nieparametryczny przedział ufności dla średniej przekrzywionego rozkładu?

30

Bardzo wypaczone rozkłady, takie jak log-normal, nie dają dokładnych przedziałów ufności ładowania. Oto przykład pokazujący, że lewy i prawy obszar ogona są dalekie od idealnego 0,025 bez względu na to, jaką metodę ładowania początkowego wypróbujesz w R:

require(boot)
n    <- 25
B    <- 1000
nsim <- 1000
set.seed(1)
which <- c('basic', 'perc', 'norm', 'bca', 'stud')
mul <- 0; sdl <- 1.65   # on log scale
dist <- c('normal', 'lognormal')[2]
switch(dist, normal    = {g <- function(x) x; mu <- mul},
             lognormal = {g <- exp; mu <- exp(mul + sdl * sdl / 2)})
count <- matrix(0, nrow=length(which), ncol=2,
                dimnames=list(which, c('lower', 'upper')))
stat <- function(x, j) {
## See http://www.psychology.mcmaster.ca/bennett/boot09/percentileT.pdf
  x <- x[j]
  m <- mean(x)
  s <- sd(x)
  n <- length(x)
  sem <- s / sqrt(n)
  m.var <- sem ^ 2
  c(m, m.var)
}
for(i in 1 : nsim) {
  if(i %% 100 == 0) cat(i, '')
  x <- g(rnorm(n, mul, sdl))
  b  <- boot(x, stat, R=B)
  ci <- boot.ci(b, type=which)
  for(w in which) {
    nam <- switch(w, perc='percent', norm='normal', basic='basic',
                  stud='student', bca='bca')
    z <- rev(rev(ci[[nam]])[1:2])
    count[w, 'lower'] <- count[w, 'lower'] + (z[1] > mu)
    count[w, 'upper'] <- count[w, 'upper'] + (z[2] < mu)
  }
}
cat('\n')
count / nsim

Wynik jest poniżej:

      lower upper
basic 0.000 0.329
perc  0.003 0.257
norm  0.000 0.287
bca   0.015 0.185
stud  0.005 0.129

Dla pojedyncze programy ładujące nadal nie zapewniają odpowiednio dokładnego zasięgu:n=400

      lower upper
basic 0.001 0.114
perc  0.005 0.093
norm  0.002 0.102
bca   0.017 0.067
stud  0.011 0.058

Prawdopodobieństwo empiryczne również nie zapewnia dokładnych przedziałów ufności podczas próbkowania z rozkładu logarytmicznego.

Czy istnieje ogólne podejście, które nie zależy od wcześniejszej znajomości dystrybucji? Czy ktoś próbował uzyskać przedziały ufności dla średniej, dopasowując dane do uogólnionego rozkładu Tukey (ten rozkład jest bardzo elastyczny)? Co z wykorzystaniem pasm ufności Kołmogorowa-Smirnowa dla CDF? Czy obliczenie średniej w górnej i dolnej granicy CDF byłoby strasznie konserwatywne? Zadowoliłbym się pewnym konserwatyzmem, gdyby metoda miała szerokie zastosowanie.λ

Aby powtórzyć cele, szukam ogólnie stosowalnego podejścia do uzyskania przedziału ufności dla populacji oznacza, że

  1. przedział jest asymetryczny, jeśli rozkład surowych danych jest asymetryczny
  2. przedział ma prawidłowe pokrycie w obu ogonach (np. prawdopodobieństwo błędu 0,025 w obu)
  3. procedura nie wymaga od analityka określenia niczego na temat rozkładu bazowego lub transformacji potrzebnej do uzyskania symetryczności rozkładu

Zauważ, że centralne twierdzenie o granicy nie ma tu znaczenia; Mam ustaloną małą wielkość próby, a przedział ufności musi być asymetryczny, aby był dokładny w obu ogonach. Parametryczne -na ufności na podstawie modelu logarytmiczno-normalnego o , a jeszcze złe pokrycie (błąd w lewo w prawo, tylna 0,012 0,047 kiedy oba powinny 0,025).μ = 0 , σ = 1,65 n = 20000tμ=0,σ=1,65n=20000

Kontynuując myślenie o tym, istnieją dwa szerokie sposoby konceptualizacji problemu, który chciałbym omówić.

  1. Średnia nie jest wielkością, która nadaje się do wnioskowania nieparametrycznego, przynajmniej wtedy, gdy wymagana jest dokładność wnioskowania. Mediana próbki ma znaczenie dla każdego ciągłego rozkładu i mamy prosty dokładny przedział ufności dla mediany. W próbce o rozmiarze z rozkładu normalnego przedział ufności dla mediany jest dłuższy niż dokładny przedział ufności oparty na dla średniej (patrz kod poniżej). Być może ten współczynnik 1,28 to rozsądna cena za solidność i całkowitą swobodę dystrybucji.1,28 × tn=201.28×t
  2. Mimo że żaden pojedynczy bootstrap nie da odpowiednio dokładnych granic ufności dla próbek z bardzo wypaczonych rozkładów, podwójny bootstrap może znacznie poprawić zasięg ufności w obu ogonach. Nankervis ma niezłe wyniki i zapewnia doskonały algorytm obliczeniowy. Ale żadne oprogramowanie, które znalazłem, nie implementuje tego.

Kod R ilustrujący 1. powyżej:

## Exact CI for median from DescTools package SignTest.default
## See also ttp://www.stat.umn.edu/geyer/old03/5102/notes/rank.pdf,
## http://de.scribd.com/doc/75941305/Confidence-Interval-for-Median-Based-on-Sign-Test
cimed <- function(x, alpha=0.05, na.rm=FALSE) {
  if(na.rm) x <- x[! is.na(x)]
  n <- length(x)
  k <- qbinom(p=alpha / 2, size=n, prob=0.5, lower.tail=TRUE)
  ## Actual CL: 1 - 2 * pbinom(k - 1, size=n, prob=0.5) >= 1 - alpha
  sort(x)[c(k, n - k + 1)]
}

n <- 20
m <- 20000
cil <- cilt <- 0
z <- qt(0.975, n - 1)

for(i in 1 : m) {
  x <- rnorm(n)
  cil  <- cil + diff(cimed(x))
  cilt <- cilt + 2 * z * sqrt(var(x) / n)
}
cil  <- cil / m
cilt <- cilt / m

c(cil, cilt, cilt / cil, cil / cilt)
Frank Harrell
źródło
1
Jest to intensywne obliczeniowo, ale co, jeśli weźmiesz empiryczny plik cdf, zaczniesz losowo generować mosty Browna; każdy most Browna reprezentuje deltę między ecdf a jakimś hipotetycznym cdf. Oblicz średnią za pomocą hipotetycznego cdf i zważ ją współczynnikiem określonym w teście KS. Powtarzając to przez chwilę, będziesz miał ważony zestaw danych średnich i możesz obliczyć przedział ufności.
Nir Friedman,
Nie mam hipotetycznego cdf. A co by się stało, gdybyś użył górnego i dolnego obszaru ufności 0,95 z KS i obliczył z nich średnią, tj. Czy byłoby to okropnie konserwatywne.
Frank Harrell,
Hipotetyczny plik cdf jest wprowadzany przez dodanie losowo generowanego mostu Browna do empirycznego pliku cdf. Ponadto nie sugeruję, aby wziąć środek z regionu zaufania. Sugeruję uzyskanie wielu środków poprzez wygenerowanie wielu hipotetycznych rozkładów, odpowiednio ważonych, a następnie uzyskanie przedziału ufności. Zasadniczo jest to po prostu inne podejście do ładowania, ale myślę, że wynik może być inny.
Nir Friedman,
Interesujące byłoby zobaczyć, jak skutecznie można go zaprogramować i jak dokładny jest zakres przedziału ufności. Dzieki za sugestie. Zastanawiam się, czy bayesowski bootstrap mógłby to naśladować. Próbowałem Bayesian bootstrap w innym kontekście i nie poprawiło to zasięgu przedziału ufności.
Frank Harrell,

Odpowiedzi:

11

Jestem nieco pesymistyczny wobec takiej nieparametrycznej metody, przynajmniej bez wprowadzenia jakichkolwiek ograniczeń w rozkładzie podstawowym.

nn

αααnα

Więc jeśli szukasz odpowiedniego zasięgu asymptotycznego , oczywiście można to osiągnąć za pomocą CLT. Jednak twoje pytanie sugeruje, że jesteś (dość rozsądnie) zainteresowany ograniczonym zasięgiem. Jak pokazuje mój przykład, zawsze będzie przypadek patologiczny, który rujnuje dowolne CI o skończonej długości.

Teraz nadal możesz mieć nieparametryczny CI, który osiąga dobry zasięg skończony poprzez dodanie ograniczeń do twojej dystrybucji. Na przykład ograniczenie log-wklęsłe jest ograniczeniem nieparametrycznym. Wydaje się jednak, że problem jest nieodpowiedni, ponieważ log-normal nie jest wklęsły.

α

Cliff AB
źródło
2
Doskonałe myśli. Waham się wymagać tego rodzaju ograniczeń, ponieważ dość często widzę rozkłady bimodalne i inne złożoności.
Frank Harrell,
1
@FrankHarrell: wykonano prace nad modelami mieszanin z nieparametrycznymi elementami wklęsłymi. Jednak nie mogę sobie obecnie wyobrazić, że istnieją dobre metody na uzyskanie pewności co do ogólnej średniej, zwłaszcza jeśli liczba składników nie jest wcześniej znana.
Cliff AB,
2

Jednym z podstawowych założeń każdej próby jest reprezentatywność. Im dłuższe ogony rozkładu, tym mniejsze prawdopodobieństwo, że jakakolwiek mała próbka będzie wystarczająco reprezentatywna, aby jakakolwiek metoda mogła niezawodnie rozwiązać dla CI, ponieważ próbka nie będzie w stanie reprezentować rozkładu.

Na przykład uruchomienie prostej perc CI z rozkładem wykładniczym o wielkości próbki 250 daje całkiem dobre wyniki. Są znacznie lepsze niż próbka 25, choć nadal nie są idealne.

Zgadzam się z Cliff AB, że nie będzie ogólnego rozwiązania, ale nie musisz stawiać hipotez ekstremalnych rozkładów. Nie będzie niczego, co działałoby ogólnie z małymi próbkami. W niektórych przypadkach próbki mogą być bardzo duże (ale dobrze byłoby się pomylić).

Jan
źródło