Oszacowanie parametru rozkładu jednolitego: niewłaściwy wcześniej?

Mamy N próbek, , z jednolitego rozkładu gdzie jest nieznany. Oszacuj na podstawie danych. $X_i$ $[0,\theta]$ $\theta$ $\theta$

Tak więc zasada Bayesa ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

a prawdopodobieństwo wynosi:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (edytuj: kiedy $0 \le X_i \le \theta$ dla wszystkich $i$ , a 0 w przeciwnym razie - dzięki whuber)

ale bez żadnych innych informacji o $\theta$ , wydaje się, że przeor powinien być proporcjonalny do $1$ (tj. jednolity) lub do $\frac{1}{L}$ (Jeffreys Prior?) w $[0,\infty]$ ale wtedy moje całki nie nie są zbieżne i nie jestem pewien, jak postępować. Jakieś pomysły?

bayesian estimation uniform uninformative-prior Będzie
źródło

Twoje prawdopodobieństwo jest nieprawidłowe: wyniesie zero, gdy będzie mniejsze niż największy .

θ

$\theta$

X_{i}

$X_i$

whuber

Czy możesz pokazać, jakie całki bierzesz?

Tak, więc chyba nie wiem, jak radzić sobie z niewłaściwym przeorem. Np. Chcę napisać

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

Czy

Dla niepoprawnego wcześniejszego, = = a dla wcześniejszego podobnie otrzymujeszPonieważ prawie na pewno, jest pewne, że całki się zbiegną.

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

\int_{max (X_{i})}^{\infty} θ^{- N} d θ

$\int_{\max(X_i)}^\infty \theta^{-N}d\theta$

max (X_{i})^{1 - N} / (N - 1)

$\max(X_i)^{1-N}/(N-1)$

f (θ) \propto 1 / θ

$f(\theta)\propto 1/\theta$

max (X_{i})^{- N} / N .

$\max(X_i)^{-N}/N.$

max X_{i} > 0

$\max{X_i}\gt 0$

whuber

Odniesieniem do Bernardo jest Pareto - patrz katalog nieinformacyjnych priorów .

Stéphane Laurent,

Odpowiedzi:

Wywołało to interesującą debatę, ale zauważ, że tak naprawdę nie ma to większego znaczenia w kwestii zainteresowania. Osobiście uważam, że ponieważ jest parametrem skali, argument grupy transformacji jest odpowiedni, co prowadzi do wcześniejszego $\theta$

\begin{matrix} p (θ | I) = \frac{θ^{- 1}}{\log (\frac{U}{L})} \propto θ^{- 1} & L < θ < U \end{matrix}

$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$

Rozkład ten ma tę samą formę przy zmianie skali problemu (prawdopodobieństwo również pozostaje „niezmienne” przy zmianie skali). Jądro tego przedniego, można uzyskać, rozwiązując równanie funkcjonalne . Wartości zależą od problemu i naprawdę mają znaczenie tylko wtedy, gdy wielkość próbki jest bardzo mała (jak 1 lub 2). Tylne to ścięte pareto, podane przez: $f(y)=y^{-1}$ $af(ay)=f(y)$ $L,U$

\begin{matrix} p (θ | D I) = \frac{N θ^{- N - 1}}{(L^{*})^{- N} - U^{- N}} & L^{*} < θ < U & where & L^{*} = m a x (L, X_{(N)}) \end{matrix}

$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$ Gdzie jest n-tym statystyka zamówień lub maksymalna wartość próbki. Otrzymujemy tylną średnią z Jeśli ustaw i , otrzymamy prostsze wyrażenie .

X_{(N)}

$X_{(N)}$

E (θ | D I) = \frac{N ((L^{*})^{1 - N} - U^{1 - N})}{(N - 1) ((L^{*})^{- N} - U^{- N})} = \frac{N}{N - 1} L^{*} (\frac{1 - {[\frac{L^{*}}{U}]}^{N - 1}}{1 - {[\frac{L^{*}}{U}]}^{N}})

$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$

U \to \infty

$U\to\infty$

L \to 0

$L\to 0$

E (θ | D I) = \frac{N}{N - 1} X_{(N)}

$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

Ale teraz załóżmy, że używamy bardziej ogólnego przeora, podanego przez (zwróć uwagę, że utrzymujemy granice aby upewnić się, że wszystko jest w porządku - nie ma wtedy pojedynczej matematyki ). Tylny jest wtedy taki sam jak powyżej, ale z zastąpiony przez - pod warunkiem, że . Powtarzając powyższe obliczenia, mamy uproszczoną średnią tylną $p(\theta|cI)\propto\theta^{-c-1}$ $L,U$ $N$ $c+N$ $c+N\geq 0$

E (θ | D I) = \frac{N + c}{N + c - 1} X_{(N)}

$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$

Zatem jednolity przed ( ) da oszacowanie pod warunkiem, że (średnia jest nieskończona dla ). To pokazuje, że tutaj debata przypomina trochę, czy użyć czy jako dzielnika w oszacowaniu wariancji. $c=-1$ $\frac{N-1}{N-2}X_{(N)}$ $N\geq 2$ $N=2$ $N$ $N-1$

Jednym argumentem przeciwko stosowaniu niewłaściwego munduru wcześniej w tym przypadku jest to, że tył jest niewłaściwy, gdy , ponieważ jest proporcjonalny do . Ale to ma znaczenie tylko wtedy, gdy lub jest bardzo małe. $N=1$ $\theta^{-1}$ $N=1$

prawdopodobieństwo prawdopodobieństwa
źródło

Ponieważ celem tutaj jest prawdopodobnie uzyskanie pewnego ważnego i użytecznego oszacowania , wcześniejszy rozkład powinien być zgodny ze specyfikacją rozkładu populacji, z której pochodzi próbka. Nie oznacza to w żaden sposób, że „obliczamy” wcześniejsze użycie samej próbki - to unieważniłoby ważność całej procedury. Wiemy, że populacja, z której pochodzi próbka, jest populacją iid jednolitych zmiennych losowych, z których każda mieści się w . Jest to przyjęte założenie i jest częścią wcześniejszych informacji, które posiadamy (i nie ma to nic wspólnego z próbką , tj. Z konkretną realizacją podzbioru tych zmiennych losowych). $\theta$ $[0,\theta]$

Załóżmy teraz, że ta populacja składa się z zmiennych losowych (podczas gdy nasza próbka składa się z realizacji zmiennych losowych). Utrzymane założenie mówi nam, że $m$ $n<m$ $n$

max_{i = 1, . . ., n} {X_{i}} \leq max_{j = 1, . . ., m} {X_{j}} \leq θ

$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$

dla zwartości . Następnie mamy który można również zapisać $\max_{i=1,...,n}\{X_i\} \equiv X^*$ $\theta \ge X^*$

θ = c X^{*} c \geq 1

$\theta = cX^*\qquad c\ge 1$

Funkcja gęstości z IID Jednolity RV uszeregowanych jest $\max$ $N$ $[0,\theta]$

f_{X^{*}} (x^{*}) = N \frac{(x^{*})^{N - 1}}{θ^{N}}

$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$

dla wsparcia i zero w innym miejscu. Następnie, używając i stosując formułę zmiany zmiennej, otrzymujemy wcześniejszy rozkład dla który jest zgodny z zachowanym założeniem: $[0,\theta]$ $\theta = cX^*$ $\theta$

f_{p} (θ) = N \frac{(\frac{θ}{c})^{N - 1}}{θ^{N}} \frac{1}{c} = \frac{N}{c^{N}} θ^{- 1} θ \in [x^{*}, \infty]

$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$

co może być niewłaściwe, jeśli nie podamy odpowiednio stałej . Ale naszym interesem jest posiadanie właściwego tylnego dla , a także, nie chcemy ograniczać możliwych wartości (poza ograniczeniem wynikającym z utrzymanego założenia). Więc pozostawiamy nieokreślony. Następnie piszemy a posterior jest $c$ $\theta$ $\theta$ $c$
$\mathbf X = \{x_1,..,x_n\}$

f (θ ∣ X) \propto θ^{- N} \frac{N}{c^{N}} θ^{- 1} \Rightarrow f (θ ∣ X) = A \frac{N}{c^{N}} θ^{- (N + 1)}

$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$

dla pewnej stałej normalizującej A. Chcemy

\int_{S_{θ}} f (θ ∣ X) d θ = 1 \Rightarrow \int_{x^{*}}^{\infty} A \frac{N}{c^{N}} θ^{- (N + 1)} d θ = 1

$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$

\Rightarrow A \frac{N}{c^{N}} \frac{1}{- N} θ^{- N} |_{x^{*}}^{\infty} = 1 \Rightarrow A = (c x^{*})^{N}

$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$

Wstawianie do tylnego

f (θ ∣ X) = (c x^{*})^{N} \frac{N}{c^{N}} θ^{- (N + 1)} = N (x^{*})^{N} θ^{- (N + 1)}

$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$

Należy zauważyć, że nieokreślona stała wcześniejszej dystrybucji została dogodnie anulowana. $c$

Plakat tylny podsumowuje wszystkie informacje, które konkretna próbka może nam przekazać, dotyczące wartości . Jeśli chcemy uzyskać określoną wartość dla , możemy łatwo obliczyć oczekiwaną wartość tylnej, $\theta$ $\theta$

E (θ ∣ X) = \int_{x^{*}}^{\infty} θ N (x^{*})^{N} θ^{- (N + 1)} d θ = - \frac{N}{N - 1} (x^{*})^{N} θ^{- N + 1} |_{x^{*}}^{\infty} = \frac{N}{N - 1} x^{*}

$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$

Czy w tym wyniku jest jakaś intuicja? Cóż, wraz ze wzrostem liczby , tym bardziej prawdopodobne jest, że maksymalna realizacja wśród nich będzie coraz bliżej ich górnej granicy, - co dokładnie odzwierciedla tylna średnia wartość : jeśli, powiedzmy , , ale jeśli . To pokazuje, że nasza taktyka dotycząca wyboru przełożonego była rozsądna i zgodna z danym problemem, ale w pewnym sensie niekoniecznie „optymalna”. $X$ $\theta$ $\theta$ $N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$ $N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

Alecos Papadopoulos
źródło

Bazowanie na danych wcześniej brzmi dla mnie podejrzanie. Jak usprawiedliwiacie to podejście?

whuber

Nie mam nic przeciwko temu, że twój przeor nie jest „najlepszy”. Gdzie powiedziałem coś takiego? Próbuję zrozumieć twoje podejście. Nie rozumiem jeszcze tej równości. Jeśli jest stałe w równaniu , czy to oznacza, że zarówno i są nielosowe? Nawiasem mówiąc, nie używasz faktu, że w wcześniejszego, prawda? (cc @whuber)

c

$c$

θ = c X^{*}

$\theta=cX^*$

X^{*}

$X^*$

θ

$\theta$

c \geq 1

$c \geq 1$

Stéphane Laurent,

A wsparcie twojego wcześniejszego zależy od danych? ( )

θ \in [x^{*}, \infty [

$\theta \in [x^*, \infty[$

Stéphane Laurent,

Uprzednie uzależnienie (nawet jeśli jest to tylko wsparcie) od danych brzmi źle: nie można poznać maksymalnej próbki przed wygenerowaniem próbki . Ponadto twierdzisz, że jest prawie pewną równością, przy czym zarówno i losowe (stąd korelacja ). Ale to sugeruje, że rozkład tylny (który jest rozkładem warunkowym dla próbki) jest masą Diraca przy . Jest to sprzeczne z twoją pochodną rozkładu tylnego. ... (nie pozostało żadnych znaków ...)

θ = c X^{*}

$\theta = cX^*$

θ

$\theta$

X^{*}

$X^*$

1

$1$

θ

$\theta$

θ

$\theta$

c x^{*}

$cx^*$

Stéphane Laurent,

Rozkład tylny to Dirac przy oznacza, że to . Twierdzenie Bayesa nie jest przyczyną. Wszystko niszczysz, zakładając, że . To implikuje , więc rozkład warunkowy dany jest masą Diraca w , podczas gdy pierwotne założenie jest takie, że ten rozkład jest rozkładem równomiernym na .

θ

$\theta$

c x^{*}

$cx^*$

θ

$\theta$

c x^{*}

$cx^*$

θ = c X^{*}

$\theta = cX^*$

X^{*} = θ / c

$X^*=\theta/c$

X^{*}

$X^*$

θ

$\theta$

θ / c

$\theta/c$

(0, θ)

$(0,\theta)$

Stéphane Laurent,

Twierdzenie o jednolitej wcześniejszej dystrybucji (przypadek przedziałowy):

„Jeśli całość twoich informacji o zewnętrznych w stosunku do danych jest przechwycona przez pojedynczą propozycję wtedy Twoja jedyna możliwa logicznie spójna wcześniejsza specyfikacja to $\theta$ $D$

B = {{Possible values for θ} = {the interval (a, b)}, a < b}

$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$

f (θ) = Uniform (a, b)

$f(\theta)=\text{Uniform}(a,b)$

Zatem wcześniejsza specyfikacja powinna odpowiadać przeorowi Jeffreya, jeśli naprawdę wierzysz w powyższe twierdzenie. ”

Nie stanowi części twierdzenia o jednolitej wcześniejszej dystrybucji:

Alternatywnie możesz podać swój wcześniejszy rozkład jako rozkład Pareto, który jest rozkładem sprzężonym dla munduru, wiedząc, że twój rozkład tylny będzie musiał być innym rozkładem jednolitym przez sprzężenie. Jeśli jednak użyjesz dystrybucji Pareto, będziesz musiał w jakiś sposób określić parametry dystrybucji Pareto. $f(\theta)$

źródło

Najpierw mówisz, że „jedyną możliwą logicznie wewnętrznie spójną” odpowiedzią jest jednolity rozkład, a następnie przystępujesz do proponowania alternatywy. To brzmi dla mnie nielogicznie i niekonsekwentnie :-).

whuber

Nie mogę się zgodzić Na przykład jest również zbioremKiedy plik PDF z to dla . Ale zgodnie z „twierdzeniem” którego pdf to w tym przedziale. Krótko mówiąc, chociaż twierdzenie nie zależy od sposobu parametryzacji problemu, wniosek „twierdzenia” zależy od parametryzacji, stąd jest niejednoznaczny.

B

$B$

{θ | θ^{3} \in (a^{3}, b^{3})} .

$\{\theta | \theta^3\in(a^3, b^3)\}.$

Θ \sim Uniform (a, b),

$\Theta\sim\text{Uniform}(a,b),$

Ψ = Θ^{3}

$\Psi=\Theta^3$

1 / (3 ψ^{2 / 3} (b - a))

$1/(3\psi^{2/3}(b-a))$

a^{3} < ψ < b^{3}

$a^3\lt \psi\lt b^3$

Ψ \sim Uniform (a^{3}, b^{3})

$\Psi\sim\text{Uniform}(a^3,b^3)$

1 / (b^{3} - a^{3})

$1/(b^3-a^3)$

whuber

BabakP: Jak można powiedzieć, że to twierdzenie ? Twierdzenie to twierdzenie matematyczne z matematycznym dowodem. To „twierdzenie” byłoby lepiej nazwane „zasadą”, ale nie jest rozsądne, ponieważ jest sprzeczne, jak pokazuje @whuber.

Stéphane Laurent,

Dzięki za referencję BabakP. Chciałbym zaznaczyć, że „szkic próbny” jest fałszywy. Draper dzieli przedział na skończoną liczbę równomiernie rozmieszczonych wartości i „przechodzi do granicy”. Każdy może podzielić przedział na wartości w odstępach, aby przybliżyć dowolną gęstość, którą lubią i podobnie przekroczyć granicę, tworząc całkowicie dowolne „możliwe tylko logicznie wewnętrznie spójne wcześniejsze specyfikacje”. Tego rodzaju rzeczy - a mianowicie używanie złej matematyki w celu wykazania, że nie-Bayesianie są nielogiczni - nadają analizie Bayesian (niezasłużenie) złe imię. (cc @ Stéphane.)

whuber

@ Stéphane Proszę wybaczyć moją niewrażliwość ( insensibilité ) - Podziwiam twoją umiejętność interakcji tutaj w drugim języku i nie używam świadomie niejasnych terminów! Bogus to przymiotnik wywodzący się z 200-letniego amerykańskiego slangu odnoszącego się do maszyny do fałszowania pieniędzy. W tym przypadku jest to matematyczna maszyna do twierdzeń dotyczących podrabiania :-).

whuber