Różne typy kowariancji modeli mieszanki Gaussa

14

Próbując tutaj modeli mieszanki Gaussa , znalazłem 4 rodzaje kowariancji.

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

Dużo szukałem w Google, aby znaleźć więcej szczegółów na temat każdego z tych typów, ale znalazłem tylko opisy bardzo wysokiego poziomu (takie jak ten ).

Doceń, czy ktoś może mi pomóc je zrozumieć, lub przynajmniej skierować mnie do miejsca, w którym mogę o nich przeczytać.

pszczoła
źródło

Odpowiedzi:

18

Rozkład Gaussa jest całkowicie determinowany przez jego macierz kowariancji i jego średnią (lokalizację w przestrzeni). Macierz kowariancji rozkładu Gaussa określa kierunki i długości osi jej konturów gęstości, z których wszystkie są elipsoidami.

(0,0)(4,5)3/52/5

Postać

Kliknięcie obrazu spowoduje wyświetlenie wersji w wyższej rozdzielczości.

Uwaga: Są to wykresy rzeczywistych mieszanin, a nie poszczególnych składników. Ponieważ składniki są dobrze oddzielone i mają porównywalną masę, kontury mieszanki bardzo przypominają kontury składników (z wyjątkiem niskich poziomów, w których mogą się zniekształcać i łączyć, jak pokazano na przykład na środku „związanego” wykresu).

  • Pełna oznacza, że ​​komponenty mogą niezależnie przyjmować dowolne położenie i kształt.

  • Związany oznacza, że ​​mają ten sam kształt, ale kształt może być dowolny.

  • Przekątna oznacza, że ​​osie konturu są zorientowane wzdłuż osi współrzędnych, ale w przeciwnym razie mimośrody mogą się różnić między elementami.

  • Tied Diagonal to sytuacja „ Tied ”, w której osie konturu są zorientowane wzdłuż osi współrzędnych. (Dodałem to, ponieważ początkowo błędnie interpretowałem „przekątną”).

  • Sferyczny to sytuacja „diagonalna” z konturami kołowymi (sferycznymi w wyższych wymiarach, stąd nazwa).

nn(n+1)/2

Whuber
źródło
Świetna odpowiedź. Dziękuję Ci. Ostatnie pytanie. Czy to jedyne 4 typy? czy są też jakieś inne typy?
Pszczoła
1
1
Dzięki. Właśnie porównałem cytowany opis w moim poście i twoją odpowiedź. W moim przypadku „Tied” jest jedynym wspólnym dla wszystkich komponentów. Ale w twoim przypadku „Pełny” wydaje się być jedynym, który NIE jest wspólny dla każdego komponentu. Po prostu czuję, że te 2 są ze sobą sprzeczne. (Jestem pewien, że coś mi umknęło). Czy możesz to wyjaśnić? Wielkie dzięki.
Pszczoła
Nie widzę żadnej sprzeczności: wiernie przedstawiłem dokładnie warunki, które nakreśliłeś. Rzeczywiście, nie odwoływałem się do żadnych innych źródeł, aby stworzyć te obrazy.
whuber
1
Dziękuję - rozumiem, co masz na myśli. Zaktualizuję wyjaśnienie, aby to odzwierciedlić.
whuber