Jaka jest wariancja ważonej mieszanki dwóch gaussów?

Powiedzieć, że mają dwa normalnych rozkładów A i B ze środkami i i wariancje i . Chcę wziąć ważoną mieszaninę tych dwóch rozkładów przy użyciu wag i gdzie i . Wiem, że średnia tej mieszaniny to . $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

Jaka byłaby ta wariancja?

Konkretnym przykładem byłoby, gdybym znał parametry rozkładu wysokości męskiej i żeńskiej. Gdybym miał pokój ludzi w 60% płci męskiej, mógłbym uzyskać oczekiwaną średnią wysokość dla całego pokoju, ale co z wariancją?

normal-distribution mixture JoFrhwld
źródło

Terminologia: mieszanina ma po prostu średnią i wariancję; nie ma sensu kwalifikować ich jako „oczekiwanych”, chyba że sugerujesz, że i powinny być uważane za zmienne losowe.

p

$p$

q

$q$

whuber

Wiem, że mieszanina dwóch rozkładów gaussowskich jest możliwa do zidentyfikowania. Ale jeśli te dwie dystrybucje mają te same emany? Tj .: czy można zidentyfikować mieszaninę dwóch rozkładów normalnych o tych samych średnich wartościach i różnych odchyleniach standardowych? W tym kontekście są dokumenty? Z góry

Podobne pytanie z odpowiedziami (dotyczące również COVARIANCES) znajduje się tutaj: math.stackexchange.com/q/195911/96547

hplieninger

Wariancja jest drugim momentem minus kwadrat pierwszego momentu, więc wystarczy obliczyć momenty mieszanin.

Ogólnie biorąc, biorąc pod uwagę rozkłady z plikami PDF i stałymi (nieprzypadkowymi) wagami , PDF mieszanki to $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

z którego wynika bezpośrednio na dowolnej chwili tym $k$

μ^{(k)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

I napisane dla momentu i dla momentu . $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

Korzystając z tych wzorów, można zapisać wariancję

Var (f) = μ^{(2)} - {(μ^{(1)})}^{2} = \sum_{i} p_{i} μ_{i}^{(2)} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} .

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

Odpowiednio, jeśli wariancje są podane jako , to , umożliwiając zapisanie wariancji mieszaniny pod względem wariancji i środków jej składników jak $f_i$ $\sigma^2_i$ $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ $f$

\begin{aligned} Var (f) & = \sum_{i} p_{i} (σ_{i}^{2} + {(μ_{i}^{(1)})}^{2}) - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} \\ = \sum_{i} p_{i} σ_{i}^{2} + \sum_{i} p_{i} {(μ_{i}^{(1)})}^{2} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} . \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

Innymi słowy, jest to (ważona) średnia wariancja powiększona o średnią kwadratową średnią minus kwadrat średniej średniej. Ponieważ kwadratowanie jest funkcją wypukłą, Nierówność Jensena stwierdza, że średnia kwadratowa średnia może być nie mniejsza niż kwadrat średniej średniej. To pozwala nam zrozumieć formułę, w której stwierdzono, że wariancja mieszaniny jest mieszaniną wariancji plus nieujemny termin uwzględniający (ważoną) dyspersję średnich.

W twoim przypadku wariancja jest

p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + [p_{A} μ_{A}^{2} + p_{B} μ_{B}^{2} - (p_{A} μ_{A} + p_{B} μ_{B})^{2}] .

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

Możemy zinterpretować, że jest to ważona mieszanina dwóch wariancji, , plus (koniecznie dodatni) składnik korekcyjny uwzględniający przesunięcia od poszczególnych średnich w stosunku do ogólnej średniej mieszaniny. $p_A\sigma_A^2 + p_B\sigma_B^2$

Przydatność tej wariancji w interpretacji danych, takich jak podana w pytaniu, jest wątpliwa, ponieważ rozkład mieszaniny nie będzie Normalny (i może znacznie od niego odstąpić, do tego stopnia, że wykaże bimodalność).

Whuber
źródło

W szczególności, zauważając, że , twoje ostatnie wyrażenie upraszcza do .

p_{A} + p_{B} = 1

$p_A+p_B=1$

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$

Ilmari Karonen

Lub jeśli nakładają probabilistyczny wyjaśnienie gęstości mieszaniny (to jest zdarzenie z probabiity i warunkowe gęstość podano jest a uwarunkowane gęstość podane to ), a następnie var jest sumą średniej wariancji warunkowej plus wariancji średniej warunkowej. Ta ostatnia jest dyskretną RV o wartościach z prawdopodobieństwami i

A

$A$

p_{A}

$p_A$

X

$X$

A

$A$

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$

X

$X$

A^{c} = B

$A^c = B$

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$

(X)

$(X)$

Y

$Y$

μ_{A}, μ_{B}

$\mu_A, \mu_B$

p

$p$

q

$q$ a twoje wyrażenie w nawiasach kwadratowych jest łatwo rozpoznawane jako .

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$

Dilip Sarwate,

@Neodyme Z definicji wariancja jest drugim momentem minus średnia kwadratowa. Dlatego drugim momentem jest wariancja plus średnia kwadratowa.

whuber

@Neodyme użyj .

E (X) = μ

$E(X)=\mu$

whuber

@Kiran Chociaż w niektórych przypadkach mieszanina może wyglądać normalnie, nie będzie. Jednym ze sposobów, aby to sprawdzić, jest obliczenie nadmiaru kurtozy za pomocą podanych tu wzorów. Będzie niezerowy, chyba że wszystkie standardowe odchylenia są równe - w takim przypadku „mieszanina” nie jest tak naprawdę mieszaniną.

whuber

Jaka jest wariancja ważonej mieszanki dwóch gaussów?

Odpowiedzi: