Jaka jest odległość między skończoną mieszanką gaussowską a gaussowską?

12

Załóżmy, że mam mieszankę skończonej liczby Gaussów ze znanymi wagami, średnimi i standardowymi odchyleniami. Średnie nie są równe. Oczywiście można obliczyć średnią i odchylenie standardowe mieszaniny, ponieważ momenty są ważonymi średnimi momentów składników. Mieszanina nie ma rozkładu normalnego, ale jak daleko jest od normalności?

Mieszanina Gaussów oddzielona 2 odchyleniami standardowymi w porównaniu do Gaussa z tą samą średnią i wariancją

Powyższy obraz pokazuje gęstości prawdopodobieństwa dla mieszaniny Gaussa ze średnimi składowymi oddzielonymi odchyleniami standardowymi (składników) i pojedynczym gaussowskim o tej samej średniej i wariancji.2)

Mieszanina Gaussów oddzielona 1 odchyleniem standardowym w porównaniu do Gaussa z tą samą średnią i wariancją

W tym przypadku średnie są oddzielone o odchylenie standardowe i trudniej jest oddzielić mieszaninę od Gaussa wzrokiem.1


Motywacja: Nie zgadzam się z niektórymi leniwymi ludźmi co do niektórych faktycznych rozkładów, których nie zmierzyli, które, jak zakładają, są bliskie normalności, ponieważ byłoby miło. Też jestem leniwy. Nie chcę też mierzyć rozkładów. Chcę móc powiedzieć, że ich założenia są niespójne, ponieważ twierdzą, że skończona mieszanina Gaussów na różne sposoby jest gaussowskim, co jest niewłaściwe. Nie chcę tylko powiedzieć, że asymptotyczny kształt ogona jest niewłaściwy, ponieważ są to tylko przybliżenia, które powinny być dość dokładne w granicach kilku standardowych odchyleń średniej. Chciałbym móc powiedzieć, że jeśli składniki są dobrze aproksymowane przez normalne rozkłady, to mieszanina nie jest, i chciałbym móc to określić ilościowo.


Nie znam właściwej odległości od normalności: supremum różnic między CDF, odległość odległość od robota ziemnego, dywergencja KL itp. Z przyjemnością dostanę granice pod względem któregokolwiek z nich, lub inne środki. Byłbym szczęśliwy, mogąc poznać odległość do Gaussa przy takim samym średnim i standardowym odchyleniu jak mieszanina lub minimalną odległość dla dowolnego Gaussa. Jeśli to pomoże, możesz ograniczyć się do przypadku, w którym mieszanina składa się z gaussów, tak że mniejsza waga jest większa niż . 2 1 / 4L.12)1/4

Douglas Zare
źródło
2
Jeśli mieszanina jest bardzo zbliżona do nrmal, wówczas zastosowanie normalnego przybliżenia nie jest lenistwem, jest to uproszczenie i może być dobre. Ale w twoim przykładzie pokazano mieszankę, która jest bardziej płaska niż nromal w środku, bardziej rozłożona w środku i krótsza w ogonie, w porównaniu do najlepszej normalnej aproksymacji. Myślę, że chciałbyś spojrzeć na jakąś zintegrowaną różnicę między tymi dwoma plikami cdf. Nie jest to miara KS, ponieważ rozbieżność maximu może nie być bardzo duża, ale średnia rozbieżność w regionie może być stosunkowo duża.
Michael R. Chernick,
Czy możemy założyć, że istnieją statystycznie istotne dowody na mieszankę Gaussów w stosunku do normalnego przybliżenia? Musimy się tylko martwić, czy różnica ma znaczenie praktyczne, jeśli wiadomo, że różnica jest istotna statystycznie. Sugestia Michaelsa dotycząca czegoś takiego jak statystyka Andersona-Darlinga byłaby rozsądnym miejscem do rozpoczęcia.
Dikran Torbacz
1/2)2)
3
Wygląda na to, że naprawdę zadajesz pytanie dotyczące wyboru modelu: biorąc pod uwagę pewne dane do modelu, kiedy należy preferować rozkład normalny w porównaniu z mieszaniną (lub bardziej ogólnie, w jaki sposób należy wybrać liczbę składników mieszaniny)? Przeformułowanie takiego pytania da ci dostęp do kilkuset powiązanych pytań na tej stronie :-).
whuber
@ whuber: odległość do normy można by następnie wyrazić jako (średnią) moc testu mającego na celu oddzielenie mieszaniny od pojedynczego gaussa.
Xi'an

Odpowiedzi:

9

Rozbieżność KL byłaby naturalna, ponieważ masz naturalny rozkład bazy, pojedynczy gaussowski, od którego rozchodzi się twoja mieszanina. Z drugiej strony rozbieżność KL (lub jej symetryczna „odległość”) między dwiema mieszankami gaussowskimi, których szczególnym przypadkiem jest twój problem, wydaje się ogólnie trudna do rozwiązania. Hershey i Olson (2007) wyglądają jak rozsądne podsumowanie dostępnych przybliżeń, w tym metod wariacyjnych, które mogą oferować łatwiejsze granice.

Jeśli jednak chcesz spierać się o negatywne skutki zakładania, że ​​coś jest gaussowskie, gdy jest to naprawdę mieszanka, najlepiej mieć dobry pomysł na temat konsekwencji, którymi naprawdę jesteś zainteresowany - coś bardziej konkretnego niż po prostu „bycie nie tak” „(to jest punkt @ Michaela-Chernicka). Na przykład konsekwencje dla testu, odstępu lub czegoś takiego. Dwa oczywiste efekty tej mieszaniny to nadmierna dyspersja, która jest prawie w pełni gwarantowana, oraz multimodalność, która dezorientuje maksymalizatory.

sprzężonyprior
źródło
1

Pozwól, że podejmę dalsze działania w związku z konsekwencjami nieprawidłowej specyfikacji dystrybucji. Zamiast korzystać z ogólnej miary odległości, takiej jak dywergencja KL, możesz ocenić niestandardową miarę „różnicy”, mającą związek z konkretnymi konsekwencjami.

Na przykład, jeśli rozkład ma być zastosowany do obliczenia ryzyka, na przykład w celu ustalenia, że ​​prawdopodobieństwo awarii jest wystarczająco niskie, wówczas jedyne, co ma znaczenie w dopasowaniu, to obliczenia prawdopodobieństwa w skrajnym ogonie. Może to mieć znaczenie przy podejmowaniu decyzji dotyczących programów o wartości wielu miliardów dolarów i dotyczyć spraw życia i śmierci.

Gdzie jest prawdopodobne, że założenie Normalne jest najbardziej niedokładne? W wielu przypadkach, w skrajnych ogonach, jedyne miejsce, które ma znaczenie dla tych kluczowych obliczeń ryzyka. Jeśli na przykład twój prawdziwy rozkład jest mieszaniną normalnych mających tę samą średnią, ale różne odchylenia standardowe, wówczas ogony rozkładu mieszanki są grubsze niż ogony rozkładu normalnego o tej samej średniej i odchyleniu standardowym. Może to łatwo skutkować różnicą wielkości rzędu (niedoszacowanie ryzyka) dla prawdopodobieństw w skrajnym ogonie.

UP.(XM.jaxturmi>U)-P.(XN.ormzal>U)

Mark L. Stone
źródło