Czy MLE wymaga danych ID? Czy tylko niezależne parametry?

16

Oszacowanie parametrów przy użyciu oszacowania maksymalnego prawdopodobieństwa (MLE) obejmuje ocenę funkcji wiarygodności, która odwzorowuje prawdopodobieństwo wystąpienia próbki (X) na wartości (x) w przestrzeni parametrów (θ) dla danej rodziny rozkładów (P (X = x | θ) ) ponad możliwymi wartościami θ (uwaga: czy mam rację?). Wszystkie przykłady, które widziałem, obejmują obliczanie P (X = x | θ) przez obliczenie iloczynu F (X), gdzie F jest rozkładem z wartością lokalną wartość dla θ, a X jest próbką (wektorem).

Skoro tylko mnożymy dane, czy wynika z tego, że dane są niezależne? Np. Czy nie możemy użyć MLE do dopasowania danych szeregów czasowych? A może parametry muszą być po prostu niezależne?

Felix
źródło

Odpowiedzi:

14

Funkcja prawdopodobieństwa jest definiowana jako prawdopodobieństwo zdarzenia E (zbiór danych x ) jako funkcja parametrów modelu θ

L(θ;x)P(Event E;θ)=P(observing x;θ).

Dlatego nie ma założenia niezależności obserwacji. W klasycznym podejściu nie ma definicji niezależności parametrów, ponieważ nie są to zmienne losowe; niektórymi powiązanymi pojęciami mogą być identyfikowalność , ortogonalność parametrów i niezależność estymatorów maksymalnego prawdopodobieństwa (które są zmiennymi losowymi).

Kilka przykładów,

(1). Dyskretna obudowa . jest próbką (niezależny) obserwacje w dyskretnych P ( obserwując  x j ; θ ) > 0 , wtedyx=(x1,...,xn)P(observing xj;θ)>0

L(θ;x)j=1nP(observing xj;θ).

W szczególności, jeśli , przy znanym N , mamy toxjBinomial(N,θ)N

L(θ;x)j=1nθxj(1θ)Nxj.

(2). Ciągłe zbliżenie . Niech jest próbką z ciągłej zmiennej losowej X , o rozkładzie F i gęstość f z błędu pomiaru ε , to jest, można zaobserwować zestawy ( x J - ε , x j + ϵ ) . Następniex=(x1,...,xn)XFfϵ(xjϵ,xj+ϵ)

L(θ;x)j=1nP[observing (xjϵ,xj+ϵ);θ]=j=1n[F(xj+ϵ;θ)F(xjϵ;θ)]

Gdy jest małe, można to aproksymować (używając twierdzenia o wartości średniej) oϵ

L(θ;x)j=1nf(xj;θ)

Na przykład w normalnym przypadku, spójrz na to .

(3). Model zależny i Markowa . Załóżmy, że to zestaw może obserwacji i zależnych pozwalają F jest wspólną gęstości X , a następniex=(x1,...,xn)fx

L(θ;x)f(x;θ).

If additionally the Markov property is satisfied, then

L(θ;x)f(x;θ)=f(x1;θ)j=1n1f(xj+1|xj;θ).

Take also a look at this.

Community
źródło
3
Pisząc funkcję prawdopodobieństwa jako produkt, domyślnie zakładasz strukturę zależności między obserwacjami. Tak więc dla MLE potrzebne są dwa założenia (a) jedno dotyczące rozkładu każdego indywidualnego wyniku i (b) jedno dotyczące zależności między wynikami.
10

(+1) Very good question.

Minor thing, MLE stands for maximum likelihood estimate (not multiple), which means that you just maximize the likelihood. This does not specify that the likelihood has to be produced by IID sampling.

If the dependence of the sampling can be written in the statistical model, you just write the likelihood accordingly and maximize it as usual.

The one case worth mentioning when you do not assume dependence is that of the multivariate Gaussian sampling (in time series analysis for example). The dependence between two Gaussian variables can be modelled by their covariance term, which you incoroporate in the likelihood.

2 from correlated Gaussian variables with same mean and variance. You would write the likelihood as

12πσ21ρ2exp(z2σ2(1ρ2)),

where z is

z=(x1μ)22ρ(x1μ)(x2μ)+(x2μ)2.

This is not the product of the individual likelihoods. Still, you would maximize this with parameters (μ,σ,ρ) to get their MLE.

gui11aume
źródło
2
These are good answers and examples. The only thing I would add to see this in simple terms is that likelihood estimation only requires that a model for the generation of the data be specified in terms of some unknown parameters be described in functional form.
Michael R. Chernick
(+1) Absolutely true! Do you have an example of model that cannot be specified in those terms?
gui11aume
@gu11aume I think you are referring to my remark. I would say that I was not giving a direct answer to the question. The answwer to the question is yes because there are examples that can be shown where the likelihood function can be expressed when the data are genersted by dependent random variables.
Michael R. Chernick
2
Examples where this cannot be done would be where the data are given without any description of the data generating mechanism or the model is not presented in a parametric form such as when you are given two iid data sets and are asked to test whether they come from the same distribution where you only specify that the distributions are absolutely continuous.
Michael R. Chernick
4

Of course, Gaussian ARMA models possess a likelihood, as their covariance function can be derived explicitly. This is basically an extension of gui11ame's answer to more than 2 observations. Minimal googling produces papers like this one where the likelihood is given in the general form.

Another, to an extent, more intriguing, class of examples is given by multilevel random effect models. If you have data of the form

yij=xijβ+ui+ϵij,
where indices j are nested in i (think of students j in classrooms i, say, for a classic application of multilevel models), then, assuming ϵijui, the likelihood is
lnLilnjf(yij|β,ui)dF(ui)
and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response yij, then there is no way out of numerical integration.)
StasK
źródło
2
Stask and @gui11aume, these three answers are nice but I think they miss a point: what about the consistency of the MLE for dependent data ?
Stéphane Laurent