Czy algorytm EM konsekwentnie szacuje parametry w modelu mieszanki Gaussa?

9

Studiuję model mieszanki Gaussa i sam wymyślam to pytanie.

Załóżmy, że podstawowe dane są generowane z mieszaniny rozkładu Gaussa, a każdy z nich ma średni wektor , gdzie a każdy z nich ma takie same współ- macierz wariancji i załóżmy, że jest macierzą diagonalną. Przyjmijmy, że stosunek zmieszania wynosi , tj. Każdy klaster ma taką samą wagę.KμkRp1kKΣΣ1/K

Tak więc w tym idealnym przykładzie jedynym zadaniem jest oszacowanie wektorów średnich , gdzie i macierz współwariancji .KμkRp1kKΣ

Moje pytanie brzmi: jeśli użyjemy algorytmu EM, czy będziemy w stanie konsekwentnie oszacować i , tj. Kiedy wielkość próbki , estymator wytworzony przez algorytm EM osiągnie prawdziwą wartość i ?μkΣnμkΣ

KevinKim
źródło

Odpowiedzi:

1

Jeśli algorytm jest inicjowany za pomocą losowych wartości za każdym razem, to nie, konwergencja niekoniecznie będzie spójna. Nieprzypadkowa inicjalizacja prawdopodobnie przyniesie ten sam wynik za każdym razem, ale nie sądzę, że to wymagałoby uzyskania „poprawnych” wartości .μk

Nawiasem mówiąc, ustawiając proporcje mieszania na i ustawiając na ukośne, algorytm staje się bardzo podobny do algorytmu średnich. Ma to również niespójną zbieżność, w zależności od losowej inicjalizacji.1/KΣk

dcorney
źródło
Eksperymentowałem numerycznie, przynajmniej dla 2 niezależnych klas rozkładu normalnego, EM wytwarza spójny estymator średniej klasy. Jednak K oznacza, że ​​nie może tego zrobić, udowodniłem to matematycznie
KevinKim,
1
Czy możesz podać więcej szczegółów? Np. Jakich danych
używałeś
Zgadzam się z @dcorney. To zależy od początkowych wartości, które wybierzesz. Przynajmniej w praktyce zły wybór wartości początkowych prowadzi do niespójnego oszacowania (używam pakietu mixtools R)
niemiecki Demidov