Zależność między sumą RV Gaussa a mieszaniną Gaussa

13

Wiem, że suma Gaussów to Gaussowie. Czym więc różni się mieszanina Gaussów?

Mam na myśli, że mieszanina Gaussów to tylko suma Gaussów (gdzie każdy Gaussian jest mnożony przez odpowiedni współczynnik mieszania), prawda?

normal-distribution random-variable mixture gaussian-mixture njk
źródło

7

Mieszanka gaussów jest ważoną sumą gęstości gaussowskich , a nie ważoną sumą losowych zmiennych gaussowskich.

Prawdopodobieństwo

7

Ważona suma losowych zmiennych Gaussa jest losową zmienną Gaussa : if następnie $X_1,\ldots,X_p$

\sum_{i = 1}^{p} β_{i} X_{i}

$\sum_{i=1}^p \beta_i X_i$

(X_{1}, \dots, X_{p}) \sim N_{p} (μ, Σ)

$(X_1,\ldots,X_p)\sim\text{N}_p(\mu,\Sigma)$

β^{T} (X_{1}, \dots, X_{p}) \sim N_{1} (β^{T} μ, β^{T} Σ β)

$\beta^\text{T}(X_1,\ldots,X_p)\sim\text{N}_1(\beta^\text{T}\mu,\beta^\text{T}\Sigma\beta)$

Mieszaninę Gaussa gęstości ma gęstość podane jako ważonej sumy Gaussa gęstości : , który prawie zawsze nie jest równy gęstości Gaussa. Zobacz np. Niebieską szacunkową gęstość mieszaniny poniżej (gdzie żółty pasek jest miarą zmienności szacowanej mieszaniny):

f (\cdot; θ) = \sum_{i = 1}^{p} ω_{i} φ (\cdot; μ_{i}, σ_{i})

$f(\cdot;\theta)=\sum_{i=1}^p \omega_i \varphi(\cdot;\mu_i,\sigma_i)$ wprowadź opis zdjęcia tutaj

[Źródło: Marin i Robert, Bayesian Core , 2007]

Zmienną losową o tej gęstości, można przedstawić jako , gdzie a jest wielomianowe z : $X\sim f(\cdot;\theta)$

X = \sum_{i = 1}^{p} I (Z = i) X_{i} = X_{Z}

$X=\sum_{i=1}^p \mathbb{I}(Z=i) X_i = X_{Z}$

X_{i} \sim N_{p} (μ_{i}, σ_{i})

$X_i\sim\text{N}_p(\mu_i,\sigma_i)$

Z

$Z$

P (Z = i) = ω_{i}

$\mathbb{P}(Z=i)=\omega_i$

Z \sim M (1; ω_{1}, \dots, ω_{p})

$Z\sim\text{M}(1;\omega_1,\ldots,\omega_p)$

Xi'an
źródło

3

A oto kod R do uzupełnienia odpowiedzi @ Xi'an:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

wprowadź opis zdjęcia tutaj

Alberto
źródło

1

Rozkład sumy niezależnych zmiennych losowych jest splotem ich rozkładów. Jak zauważyłeś, splot dwóch Gaussów okazuje się być Gaussowski.

Rozkład modelu mieszanki wykonuje średnią ważoną rozkładów RV. Próbki z (skończonych) modeli mieszanych można wytworzyć, rzucając monetą (lub rzucając kostką), aby zdecydować, z którego rozkładu pobrać: Powiedzmy, że mam dwa RV i chcę wyprodukować RV którego rozkład jest średnią i Jeśli monetą, niech . gdybym wylądować ogony, niech . $X,Y$ $Z$ $X$ $Y$ $Z=X$ $Z=Y$

enthdegree
źródło

Dzięki enthdegree. Wiem, że poniższy przykład jest z natury błędny, ale i tak może być interesujący: powiedzmy, że mamy specjalny rodzaj „mieszanki” (jeśli nadal możemy to nazwać „mieszanką”) o 2 gęstościach Gaussa, w których współczynniki mieszania oba odpowiadają 1, czy byłoby to to samo z sumą RV Gaussa?

njk

Nie, chociaż w tym przypadku rv mieszaniny będzie gaussowskie, jeśli dodasz dwa RV z rozkładem składnika, suma RV będzie miała większą wariancję niż RV mieszaniny.

enthdegree

@enthdegree Jaka jest mieszanina rv gaussian? Może to być bimodalne, jeśli środki się nie pokrywają, prawda?

nauka

@learning, Tak, masz rację. Kiedy napisałem poprzedni. skomentuj z jakiegoś powodu zakładałem, że mają ten sam środek.

enthdegree

Zależność między sumą RV Gaussa a mieszaniną Gaussa

Odpowiedzi: