Co to za sztuczka z dodaniem tutaj 1?

11

Patrzyłem na tę stronę dotyczącą implementacji Monte Carlo testu Lilleforsa. Nie rozumiem tego zdania:

W obliczeniach występuje błąd przypadkowy z symulacji. Jednak ze względu na sztuczkę polegającą na dodaniu 1 do licznika i mianownika przy obliczaniu wartości P można go stosować prosto, bez względu na przypadkowość.

Co rozumieją przez sztuczkę polegającą na dodaniu 1 do licznika i mianownika?

Odpowiedni fragment kodu znajduje się tutaj:

n <- length(x)
nsim <- 4999
d.star <- double(nsim)
for (i in 1:nsim) {
    x.star <- rnorm(n)
    d.star[i] <- fred(x.star)
}
hist(d.star)
abline(v = d.hat, lty = 2)
## simulation-derived P-value
pval <- (sum(d.star > d.hat) + 1) / (nsim + 1)
Aksakal
źródło
Czy możesz tutaj dodać odpowiedni kontekst?
gung - Przywróć Monikę
4
Wygląda na wygładzenie Laplace'a dla estymatora prawdopodobieństwa Monte Carlo, co zmniejsza go do 1/2; głównym efektem jest prawdopodobnie uniknięcie uzyskania wartości p wynoszącej 0, jak zauważył @Tim (chociaż nie ma ryzyka podzielenia przez 0, jak powiedział, chyba że wykonujesz 0 symulacji). Jednak nie bardzo rozumiem, dlaczego pozwala to używać go „bez względu na przypadkowość”.
Dougal
2
Czy napisałeś bezpośrednio do Geyera, aby zapytać, co znaczy zdanie?
Alexis,
@Alexis, nie, ale to dobry pomysł.
Aksakal
@Dougal, tak, to wygląda jak wygładzanie Laplace'a. Nie jest jasne, dlaczego stosuje go tutaj.
Aksakal

Odpowiedzi:

6

Wyjaśnienie na odnośnej stronie to

Pr(Pk/nsim)k/nsim

Aby to zrozumieć, musimy przyjrzeć się kodowi, którego kluczowe linie (znacznie skrócone)

fred <- function(x) {ks.test(...)$statistic}  # Apply a statistical test to an array
d.hat <- fred(x)                              # Apply the test to the data
d.star <- apply(matrix(rnorm(n*nsim), n, nsim),
                2, fred)                      # Apply the test to nsim simulated datasets
pval <- (sum(d.star > d.hat) + 1) / (nsim + 1)# Estimate a simulation p-value

Istotnym problemem jest to, że kod nie pasuje do cytatu. Jak możemy je pogodzić? Jedna próba rozpoczyna się od ostatniej połowy oferty. Możemy interpretować procedurę jako obejmującą następujące kroki:

  1. Zbierać niezależnie identycznie rozmieszczone danych według pewnego prawa prawdopodobieństwa . Zastosuj procedurę testową (zaimplementowaną w kodzie as ), aby uzyskać liczbę .X1,X2,,XnGtfredT0=t(X1,,Xn)

  2. Generowania przez komputer porównywalnych zbiorów danych, z których każdy o rozmiarze , zgodnie z hipotezą zerową z prawem prawdopodobieństwo . Zastosuj do każdego takiego zestawu danych, aby uzyskać liczb .N=nsimnFtNT1,T2,,TN

  3. Oblicz

    P=(i=1NI(Ti>T0)+1)/(N+1).

    („ ” to funkcja wskaźnika realizowana przez porównanie wartości w wektorze w kodzie). Prawa strona jest rozumiana jako losowa z uwagi na równoczesną losowość (rzeczywista statystyka testu) i losowość ( symulowane statystyki testowe). Id.star > d.hatT0Ti

Powiedzieć, że dane są zgodne z hipotezą zerową jest twierdzić, że . Wybierz rozmiar testowy , . Pomnożenie obu stron przez i odjęcie pokazuje, że szansa, że dla dowolnej liczby jest szansą, że nie więcej niż z przekroczy . Mówi to jedynie, że znajduje się w górnym posortowanego zestawu wszystkich statystyk testowych . Ponieważ (przez budowę)F=Gα0<α<1N+11Pαα(N+1)α1TiT0T0(N+1)αN+1T0jest niezależny od wszystkich , gdy jest rozkładem ciągłym, ta szansa będzie ułamkiem całości reprezentowanym przez część całkowitą ; to znaczy, i będzie dokładnie taki sam, pod warunkiem jest liczbą całkowitą ; to znaczy, gdy .TiF(N+1)α

Pr(Pα)=(N+1)αN+1α
(N+1)αkα=k/(N+1)

Z pewnością jest to jedna z rzeczy, które chcemy spełnić w odniesieniu do każdej wielkości, która zasługuje na miano „wartości p”: powinna mieć jednolity rozkład na . Pod warunkiem, że jest dość duży, więc każdy jest zbliżony do pewnej części formy , to będzie zbliżone do munduru dystrybucja. (Aby dowiedzieć się o dodatkowych warunkach wymaganych dla wartości p, przeczytaj okno dialogowe, które zamieściłem na temat wartości p. )[0,1]N+1αk/(N+1)=k/(nsim+1)P

Oczywiście cytat powinien używać „ ” zamiast „ ”, gdziekolwiek się pojawi.nsim+1nsim

Whuber
źródło
5

Uważam, że tutaj 1 dodaje się do obu, ponieważ obserwowana statystyka jest uwzględniona w rozkładzie odniesienia; w takim przypadku wynika to z „przynajmniej tak dużej” części definicji wartości p.

Nie wiem na pewno, ponieważ tekst wydaje się mówić coś innego, ale właśnie dlatego to zrobiłbym.

Glen_b - Przywróć Monikę
źródło
1
@ whuber Nie rozumiem, jak mogę się zgodzić. Nie wszystkie testy są testami współczynnika prawdopodobieństwa; jeśli nie są to LRT, jakie znaczenie może mieć interpretacja tego pod względem wskaźników prawdopodobieństwa?
Glen_b
1
@whuber Z pewnością może to zrobić. Ale rozważmy na przykład Wilcoxona-Manna-Whitneya (a nawet testy permutacji w szerszym zakresie). Istnieje wiele całkowicie uzasadnionych testów w szerokim użyciu, które nie są ani testem Lillieforsa, ani testem prawdopodobieństwa. Gdy istnieje wyraźna alternatywa, względem której pożądana jest moc, często można zbudować znaczącą statystykę testową, w której uporządkowanie na przestrzeni próbki podane przez statystykę testową ma sens i ma rozsądne właściwości w szerokim zakresie alternatyw.
Glen_b
1
Z pewnością przy opracowywaniu statystyki testowej, która odpowiada (w sensie przyjmowania bardziej ekstremalnych wartości, większych, mniejszych lub obu), rodzaju alternatywnej, którą jest zainteresowany, odwołuje się do „rodzaju alternatywnej, którą jest zainteresowany „- ale nawet gdyby zastosować niedopuszczalne (a nawet bezużyteczne badanie), zasada, którą nakreślam w mojej odpowiedzi dotyczącej włączenia obserwowanej próbki do wyników symulowanych, nadal miałaby zastosowanie. Po uporządkowaniu, nawet jeśli nie jest ono najlepsze, przy obliczaniu wartości p obserwowany przypadek nadal należałby do liczby.
Glen_b
2
@ whuber możemy nie być teraz tak daleko od siebie. Wybierając rozsądną statystykę testową, z pewnością chcielibyśmy się do czegoś odwołać . Ale kiedy już mamy statystykę testową (co musimy mieć, zanim przeprowadzimy symulację pod wartością zerową), już to zrobiliśmy. A kiedy już to zrobimy, powodem, dla którego uwzględnilibyśmy obserwowany przypadek w naszych obliczeniach wartości p, jest to, czym jest wartość p.
Glen_b
1
Nie sądzę, żebyśmy mieli jakiekolwiek różnice. (Zauważ, że moja własna odpowiedź wyjaśnia, że ​​uwzględnienie obserwowanej próbki w liczeniu jest właściwe.) Mój komentarz nie był skierowany na twoją odpowiedź na pytanie (z którym się zgadzam i głosowałem), ale tylko na problematyczne wyrażenie „przynajmniej tak duży ”. Widzę to zdanie źle interpretowane w tak wielu miejscach na tej stronie (i gdzie indziej), że chciałem zwrócić uwagę czytelników na to, co tak naprawdę musi znaczyć.
whuber