Optymalna liczba składników w mieszaninie Gaussa

Tak więc uzyskanie „idei” optymalnej liczby klastrów w k-średnich jest dobrze udokumentowane. Znalazłem artykuł o robieniu tego w mieszankach gaussowskich, ale nie jestem pewien, czy mnie to przekonuje, nie rozumiem tego zbyt dobrze. Czy istnieje ... łagodniejszy sposób na zrobienie tego?

classification k-means mixture unsupervised-learning JEquihua
źródło

Czy możesz zacytować ten artykuł lub przynajmniej przedstawić proponowaną przez niego metodologię? Trudno wymyślić „łagodniejszy” sposób na zrobienie tego, jeśli nie znamy linii podstawowej :)

jbowman

Geoff McLachlan i inni napisali książki o dystrybucji mieszanin. Jestem pewien, że obejmują one podejścia do określania liczby składników w mieszaninie. Prawdopodobnie mógłbyś tam zajrzeć. Zgadzam się z łucznikiem, że złagodzenie zamieszania najlepiej byłoby osiągnąć, gdybyś wskazał nam, o co się mylisz.

Michael R. Chernick

Szacowanie optymalnej liczby mieszanek gaussowskich na podstawie przyrostowej wartości k dla identyfikacji głośników .... To tytuł, który można pobrać bezpłatnie. Zasadniczo zwiększa liczbę klastrów o 1, dopóki nie zobaczysz, że dwa klastry stają się od siebie zależne, coś w tym rodzaju. Dziękuję Ci!

JEquihua

Dlaczego po prostu nie wybrać liczby składników, które maksymalizują szacunkową weryfikację prawdopodobieństwa? Jest to drogie obliczeniowo, ale w większości przypadków trudno jest pokonać weryfikację krzyżową przy wyborze modelu, chyba że istnieje wiele parametrów do dostrojenia.

Dikran Torbacz

Czy potrafisz wyjaśnić nieco, jakie jest oszacowanie prawdopodobieństwa krzyżowej weryfikacji? Nie jestem świadomy tej koncepcji. Dziękuję Ci.

JEquihua,

Odpowiedzi:

Tylko pewne rozszerzenie komentarza Dikran Marsupial (cross-validation). Główną ideą jest podzielenie danych na zestawy szkoleniowe i walidacyjne, wypróbowanie innej liczby komponentów i wybranie najlepszego na podstawie odpowiednich wartości prawdopodobieństwa szkolenia i walidacji.

Prawdopodobieństwo GMM jest słuszne $p(x|\pi,\mu,\Sigma)=\sum_K\pi_kN(x|\mu_k,\Sigma_k)$ z definicji gdzie $K$ to liczba składników (klastrów) i $\pi$ , $\mu$ , $\Sigma$ są parametrami modelu. Zmieniając wartość $K$ możesz wykreślić prawdopodobieństwo GMM dla zestawów szkoleniowych i walidacyjnych w następujący sposób.

W tym przykładzie powinno być oczywiste, że optymalna liczba komponentów wynosi około 20. Jest fajny film na ten temat na Coursera, i tam właśnie otrzymałem powyższe zdjęcie.

Inną powszechnie stosowaną metodą jest bayesowskie kryterium informacyjne (BIC) :

b ja do = - 2) \log (L.) + K. \log (n)

$BIC = -2\log(L)+K\log(n)$ gdzie

L

$L$ to prawdopodobieństwo, K liczba parametrów i

n

$n$ liczba punktów danych. Można to rozumieć jako dodanie kary za liczbę parametrów do prawdopodobieństwa dziennika.

dontloo
źródło