Odnośniki uzasadniające użycie mieszanek gaussowskich

Modele mieszanin gaussowskich (GMM) są atrakcyjne, ponieważ są łatwe do pracy zarówno w analityce, jak i w praktyce, i są w stanie modelować niektóre egzotyczne rozkłady bez zbytniej złożoności. Istnieje kilka właściwości analitycznych, których należy się spodziewać, które nie są ogólnie jasne. W szczególności:

$S_n$ $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Powiedzmy, że mamy ciągły rozkład i znaleźliśmy mieszankę Gaussa składnik która jest zbliżona do w całkowitej zmienności: . Czy możemy związać w kategoriach ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
Jeśli chcemy obserwować $X\sim P_X$ przez niezależny szum addytywny $Y\sim P_Y$ (zarówno rzeczywisty, ciągły), a mamy GMM $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ gdzie $\delta(P,Q)<\epsilon$ , więc ta wartość jest mała: $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ tzn. Czy to prawda, że oszacowanie szumu $X$ do $Y$ jest tak samo trudne, jak oszacowanie hałasu $\hat{X}$ poprzez $\hat{Y}$ ?
Czy można to zrobić w przypadku nieaddytywnych modeli hałasu, takich jak szum Poissona?

Mój (krótki) przegląd literatury do tej pory przedstawił bardzo dobrze zastosowane samouczki. Czy ktoś ma jakieś referencje, które rygorystycznie pokazują, w jakich warunkach jesteśmy uzasadnieni w stosowaniu modeli mieszanin?

probability normal-distribution references gaussian-mixture information-theory enthdegree
źródło

Zbiór GMM jest gęsty w zestawie rozkładów w słabej topologii (odpowiadających zbieżności w rozkładzie); patrz np . tutaj . Nie jestem pewien, czy to Twoja pierwsza wypowiedź posiada, choć to z pewnością wymagać pozwalające zerowej wariancji składników w mieszaninie do czynienia z wszelkich mas punktowych w . Sceptycznie podchodzę również do drugiego punktu, ponownie z powodu kwestii mas punktowych.

P

$P$

Dougal

Chodzi o to, że

podałem

Możesz mieć więcej szczęścia, przeglądając literaturę dotyczącą szacowania gęstości jądra za pomocą jąder Gaussa. Skoro masz mieszankę Gaussów z jedną na próbkę, a wraz ze wzrostem liczby próbek otrzymujesz asymptotycznie bezstronny i spójny estymator rozkładu? Myślę, że odpowiedź brzmi tak, ale nie mogę od razu znaleźć referencji.

Greg Ver Steeg

@enthdegree: Bardzo dobre pytanie. Ponieważ chcesz zastosować silne topologie (dywergencja KL i zmienność całkowita), ogólna odpowiedź na twoje pierwsze dwa punkty brzmi: nie, na przykład rozważ rozkład gruby; KL do dowolnej skończonej mieszanki gaussowskiej jest nieskończony (jestem pewien, że to działa, choć nie w 100%). Ale to prowadzi do o wiele bardziej interesującego pytania, do której podklasy rozkładów prawdopodobieństwa miałyby zastosowanie wszystkie twoje punkty kuli? Nie znam odpowiedzi, ale wydaje się niezwykle interesująca. Domyślam się, że to prawdopodobnie prawie wszystkie rozkłady prawdopodobieństwa.

Guillaume Dehaene

Brałem lekcje z tą książką. link Robi dobre podstawy w zakresie podstaw.

EngrStudent - Przywróć Monikę

Odpowiedzi:

W ekonometrii, gdzie kontekstem są rozkłady mieszanin współczynników w modelach logit, standardowe odniesienie to: MIESZANE MODELE MNL DLA DYSKRETNEJ ODPOWIEDZI DANIEL MCFADDEN I KENNETH TRAIN, DZIENNIK ZASTOSOWANEJ GOSPODARKI, J. Appl. Econ. 15: 447-470 (2000).

Tim
źródło

W odniesieniu do twoich pytań:

W przypadku bardzo podobnego, bayesowskiego problemu mieszanki gaussowskiej w procesie Dirichleta, rozumiem, że odpowiedź brzmi tak. Ghosal (2013) .
Kiedy uczestniczyłem w niektórych rozmowach na ten temat, wydawało mi się, że postępy osiągnięto głównie dzięki dywergencji KL. Zobacz slajdy Harry'ego van Zantena .
Nie jestem jasny. Wygląda to jednak na problem separacji źródeł ( nieznane). Są to na ogół znacznie trudniejsze niż samo modelowanie mieszanin. W szczególności dla prostego przypadku nie stanie zidentyfikować prawdziwego i $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$ ze względu na symetrię rozkładów około zera.
Zobacz czwarty slajd połączony powyżej, znajduje się lista modeli bayesowskich, dla których obowiązuje gwarancja zbieżności.

przypuszczenia
źródło

Oto częściowa odpowiedź.

Powiedzmy, że jest klasą wszystkich mieszanin gaussowskich z składnikami. Czy w przypadku ciągłego rozkładu na realiach mamy gwarancję, że w miarę wzrostu możemy przybliżać za pomocą GMM z nieznaczną stratą w sensie względnej entropii? To znaczy, czy $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

Nie można tylko mieć nadzieję, że KL rozbieżność jest niewielka, jeśli wiesz, że „s ogony są ostatecznie z tej samej kolejności co ” s. To ogólnie nie jest prawda. Nietrudno zauważyć, że dla Cauchy to dla dowolnego , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

Aby to powiedzieć, potrzeba więcej warunków na $P$

Powiedzmy, że mamy ciągły rozkład i znaleźliśmy mieszankę Gaussa składnik która jest zbliżona do w całkowitej zmienności: . Czy możemy związać w kategoriach ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

Nie. Obowiązuje ten sam przykład powyżej.

Jeśli chcemy obserwować poprzez niezależny szum addytywny (zarówno rzeczywisty, ciągły), a mamy GMM gdzie , więc ta wartość jest mała: tzn. Czy to prawda, że oszacowanie szumu do jest tak samo trudne, jak oszacowanie hałasu poprzez ? $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

Nie wiem Jeśli mają skończoną średnią i wariancję, wówczas MMSE to i (proste wyprowadzenie tutaj ). Przy tych założeniach celem jest ustalenie, czyjest mały, gdy jest mały. Związane z. $X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

Nie byłem w stanie tego udowodnić ani ogólnie, ani używając dodatkowej struktury addytywnej, którą założyliśmy na P, Q, ani nie wymyśliłem żadnych kontrprzykładów.

Czy można to zrobić w przypadku nieaddytywnych modeli hałasu, takich jak szum Poissona?

To jest dwuznaczne. W kontekście poprzedniego pytania, jeśli stwierdzenie w tej odpowiedzi można ogólnie udowodnić, wówczas odpowiedź brzmi „tak”.

enthdegree
źródło