Ogólne twierdzenia dotyczące spójności i asymptotycznej normalności maksymalnego prawdopodobieństwa

Interesuje mnie dobre odniesienie do wyników dotyczących właściwości asymptotycznych estymatorów maksymalnego prawdopodobieństwa. Rozważ model gdzie jest gęstością wymiarową, a to MLE oparty na próbce z gdzie jest „prawdziwą” wartością . Interesują mnie dwie nieprawidłowości.f n ( x | θ ) n θ n X 1 , ... , X N f n ( ⋅ | θ 0 ) θ 0$\{f_n(\cdot \mid \theta): \theta \in \Theta, n \in \mathbb N\}$$f_n(\mathbf x \mid \theta)$$n$$\hat \theta_n$$X_1, \ldots, X_n$$f_n(\cdot \mid \theta_0)$$\theta_0$$\theta$

1. Dane nie są identyfikowane, w związku z czym informacje Fishera dotyczące są naliczane wolniej niż . θ $X_1, \ldots, X_n$$\theta$$n$
2. $\Theta$ jest zbiorem ograniczonym iz prawdopodobieństwem dodatnim leży na granicy. Granica odpowiada „prostszemu” modelowi, dlatego jest szczególnie interesujące, czy leży na granicy.θ$\hat \theta_n$$\theta_0$

Moje konkretne pytania brzmią:

1. Niech oznacza obserwowaną informację Fishera odpowiadającą , i załóżmy, że leży we wnętrzu . W jakich warunkach asymptotycznie normalny jako ? W szczególności, czy warunki regularności są podobne do zwykłych, przy czym odpowiednią modyfikacją jest w pewnym sensie ?$J_n(\theta)$$\theta$$\theta_0$$\Theta$

   $$\left[J_n(\hat \theta_n)\right]^{1/2}(\hat \theta_n - \theta_0)$$ $n \to \infty$$J_n(\hat \theta_n) \to \infty$

2. Załóżmy zamiast tego, że znajduje się na granicy, i jeszcze raz przypomnij sobie, że dzieje się z prawdopodobieństwem dodatnim - dla konkretności, w modelu efektów mieszanych możemy mieć . W jakich warunkach (prawie na pewno lub w prawdopodobieństwie) i pod jakimi warunkami ostatecznie ostatecznie (to prawdopodobnie nie udaje się w przypadku modelu efektów mieszanych, ale odpowiada właściwościom „wyroczni” dla LASSO i powiązane estymatory, więc może to zbyt wiele, aby prosić o ogólne wyniki)?θ n = θ 0 T I J = μ + β I + ε I J σ 2 β = 0 θ n → θ 0 θ n = θ $\theta_0$$\hat \theta_n = \theta_0$$Y_{ij} = \mu + \beta_i + \epsilon_{ij}$$\hat \sigma_{\beta}^2 = 0$$\hat \theta_n \to \theta_0$$\hat \theta_n = \theta_0$

Ponownie bardzo mile widziane byłoby wskazanie tekstu z wynikami na tym poziomie ogólności.

Referencje, od których możesz zacząć:

W przypadku, gdy prawdziwy parametr leży na granicy :
Moran (1971) „Szacowanie maksymalnego prawdopodobieństwa w niestandardowych warunkach”

Steven G. Self i Kung-Yee Liang (1987) „Asymptotyczne właściwości estymatorów maksymalnego prawdopodobieństwa i testów prawdopodobieństwa w niestandardowych warunkach”

Ziding Feng i Charles E. McCulloch (1990) „Wnioskowanie statystyczne przy użyciu oszacowania maksymalnego prawdopodobieństwa i ogólnego wskaźnika prawdopodobieństwa, gdy prawdziwy parametr znajduje się na granicy przestrzeni parametrów”

Dla nieidentycznych, ale niezależnych rv :
Bruce Hoadley (1971) „Asymptotyczne właściwości estymatorów maksymalnego prawdopodobieństwa dla niezależnego nierozpoznanego przypadku”

Dla zależnych rv:
Martin J. Crowder (1976) „Maksymalne oszacowanie prawdopodobieństwa dla obserwacji zależnych”

Również

Huber, PJ (1967). „Zachowanie szacunków maksymalnego prawdopodobieństwa w niestandardowych warunkach” . W materiałach z piątego sympozjum Berkeleya na temat statystyki matematycznej i prawdopodobieństwa (tom 1, nr 1, s. 221–233).

Aktualizacja 17-03-2017: zgodnie z sugestią zawartą w komentarzu można tu znaleźć następujący artykuł

Andrews, DW (1987). Spójność w nieliniowych modelach ekonometrycznych: Ogólne jednolite prawo dużych liczb. Econometrica: Journal of the Econometric Society, 1465-1471.