Czy MLE z

Załóżmy, że ma plik pdf $(X,Y)$

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

Gęstość próbki pobranej z tej populacji jest zatem $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$

\begin{aligned} g_{θ} (x, y) & = \prod_{i = 1}^{n} f_{θ} (x_{i}, y_{i}) \\ = \exp [- \sum_{i = 1}^{n} (\frac{x_{i}}{θ} + θ y_{i})] 1_{x_{1}, \dots, x_{n}, y_{1}, \dots, y_{n} > 0} \\ = \exp [- \frac{n \bar{x}}{θ} - θ n \bar{y}] 1_{x_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

Estymator największego prawdopodobieństwa można uzyskać jako $\theta$

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

Chcę wiedzieć, czy ograniczenie tego MLE jest normalne, czy nie.

Oczywiste jest, że wystarczająca statystyka dla na podstawie próbki to . $\theta$ $(\overline X,\overline Y)$

Powiedziałbym teraz, że MLE jest asymptotycznie normalny bez wątpienia, jeśli byłby członkiem zwykłej jednoparametrowej rodziny wykładniczej. Nie sądzę, żeby tak było, częściowo dlatego, że mamy dwuwymiarową wystarczającą statystykę dla jednowymiarowego parametru (jak na przykład w rozkładzie ). $N(\theta,\theta^2)$

Korzystając z faktu, że i są w rzeczywistości niezależnymi zmiennymi wykładniczymi, mogę wykazać, że dokładny rozkład jest taki, że $X$ $Y$ $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, where F \sim F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

Nie mogę stąd znaleźć ograniczenia dystrybucji.

Zamiast tego mogę argumentować przez WLLN, że i , tak że . $\overline X\stackrel{P}\longrightarrow\theta$ $\overline Y\stackrel{P}\longrightarrow 1/\theta$ $\hat\theta\stackrel{P}\longrightarrow\theta$

To mówi mi, że zbiega się w dystrybucji do . Nie jest to jednak niespodzianką, ponieważ jest „dobrym” estymatorem . Ten wynik nie jest wystarczająco silny, aby stwierdzić, czy coś takiego jak jest asymptotycznie normalne, czy nie. Nie mogłem też wymyślić rozsądnego argumentu za pomocą CLT. $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$

Pozostaje więc pytanie, czy rozkład macierzysty spełnia tutaj warunki regularności, aby rozkład ograniczający MLE był normalny.

maximum-likelihood convergence exponential asymptotics central-limit-theorem UpartyAtom
źródło

Empirycznie wydaje się, że jest bardzo zbliżona do normy. Możesz łatwiej ustawić na (jest to tylko współczynnik skalowania), a następnie zastanowić się, czy rozkład pierwiastka kwadratowego ze współczynnika próby średnich wykładniczych zmiennych losowych jest asymptotycznie normalny. Przy zastosowaniu metody delta odpowiada to rozkładowi współczynnika próbkowania iid wykładniczych zmiennych losowych, które są asymptotycznie normalne. To odpowiada rozkładowi dwóch losowych zmiennych gamma iid, które są asymptotycznie normalne wraz ze wzrostem parametru kształtu.

θ

$\theta$

1

$1$

Henry

Asymptotyczna normalność MLE nie ma nic wspólnego z rodzinami wykładniczymi. Intuicyjnie, aby asymptotyczna normalność się utrzymała, wystarczy upewnić się, że nie ma szans, że rozwiązanie znajdzie się w pobliżu granicy przestrzeni parametrów.

Whuber

@whuber O ile mi wiadomo, pliki pdf, które należą do kanonicznej rodziny wykładniczej, prawie zawsze mają MLE, które są asymptotycznie normalne (nie dlatego, że wynika to z rodziny exp). Właśnie to połączenie chciałem wskazać.

StubbornAtom

Racja: ale połączenie jest jednokierunkowe. Wyniki asymptotyczne dla MLE są znacznie bardziej ogólne i dlatego próbowałem zasugerować, że spojrzenie w tym ogólnym kierunku, zamiast skupiać się na właściwościach rodziny wykładniczej, może być bardziej owocnym badaniem.

Whuber

Dowód przy użyciu wielowymiarowej metody CLT i delty jest również możliwy, tak jak tutaj .

StubbornAtom

Odpowiedzi:

Bezpośredni dowód na asymptotyczną normalność:

Prawdopodobieństwo dziennika jest tutaj

L = - \frac{n \bar{x}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

Pierwszą i drugą pochodną są

\frac{\partial L}{\partial θ} = \frac{n \bar{x}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{x}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

MLE spełnia $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

Zastosowanie rozszerzenia wartości średniej wokół wartości rzeczywistej $\theta_0$ którą mamy

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

dla niektórych pomiędzy a $\tilde \theta_n$ $\hat \theta_n$ $\theta_0$ . Mamy zmiany w aranżacji,

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

Ale w naszym przypadku jednoparametrowym odwrotność jest tylko odwrotnością, więc wstawiając również specyficzne wyrażenia pochodnych,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{x}} (\frac{n \bar{x}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \sqrt{n} \cdot (\bar{x} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{x} θ_{0}^{2}} \cdot (n^{- 1 / 2} \sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

Wariant sumy jest

Var (\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

Manipulując wyrażeniem, które możemy napisać, używając $S_n$ do sumy elementów iid,

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{\sum_{i = 1}^{n} (x_{i} - θ_{0}^{2} y_{i})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

Co więcej, mamy , więc . Mamy więc przedmiot klasycznego CLT i można sprawdzić, czy warunek Lindeberga jest spełniony. Wynika, że $E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

Ze względu na spójność estymatora mamy również

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{x} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

i przez Twierdzenie Słuckiego dochodzimy do

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

Miły. Podwój informacje, połowę wariancji (w porównaniu do przypadku, w którym oszacowalibyśmy $\theta_0$ na podstawie próbki z pojedynczej zmiennej losowej).

PS: Fakt, że w powyższych wyrażeniach pojawia się w mianowniku, wskazuje na komentarz @ whubera, że asymptotyczna normalność MLE wymaga, aby nieznany parametr znajdował się poza granicą przestrzeni parametrów (w naszym przypadku od zera). $\theta_0$

Alecos Papadopoulos
źródło

Przepraszam za późną odpowiedź. Przez cały ten czas zastanawiałem się, czy jest to zakrzywiona wykładnicza rodzina, więc MLE może zachowywać się inaczej.

StubbornAtom

@StubbornAtom Asymptotyczna normalność z pewnością zostaje utracona, gdy szacowany parametr znajduje się na granicy parametru (całkiem intuicyjny wynik, jeśli się nad tym zastanowić).

Alecos Papadopoulos