Załóżmy, że mam mieszankę skończonej liczby Gaussów ze znanymi wagami, średnimi i standardowymi odchyleniami. Średnie nie są równe. Oczywiście można obliczyć średnią i odchylenie standardowe mieszaniny, ponieważ momenty są ważonymi średnimi momentów składników. Mieszanina nie ma rozkładu normalnego, ale jak daleko jest od normalności?
Powyższy obraz pokazuje gęstości prawdopodobieństwa dla mieszaniny Gaussa ze średnimi składowymi oddzielonymi odchyleniami standardowymi (składników) i pojedynczym gaussowskim o tej samej średniej i wariancji.
W tym przypadku średnie są oddzielone o odchylenie standardowe i trudniej jest oddzielić mieszaninę od Gaussa wzrokiem.
Motywacja: Nie zgadzam się z niektórymi leniwymi ludźmi co do niektórych faktycznych rozkładów, których nie zmierzyli, które, jak zakładają, są bliskie normalności, ponieważ byłoby miło. Też jestem leniwy. Nie chcę też mierzyć rozkładów. Chcę móc powiedzieć, że ich założenia są niespójne, ponieważ twierdzą, że skończona mieszanina Gaussów na różne sposoby jest gaussowskim, co jest niewłaściwe. Nie chcę tylko powiedzieć, że asymptotyczny kształt ogona jest niewłaściwy, ponieważ są to tylko przybliżenia, które powinny być dość dokładne w granicach kilku standardowych odchyleń średniej. Chciałbym móc powiedzieć, że jeśli składniki są dobrze aproksymowane przez normalne rozkłady, to mieszanina nie jest, i chciałbym móc to określić ilościowo.
Nie znam właściwej odległości od normalności: supremum różnic między CDF, odległość odległość od robota ziemnego, dywergencja KL itp. Z przyjemnością dostanę granice pod względem któregokolwiek z nich, lub inne środki. Byłbym szczęśliwy, mogąc poznać odległość do Gaussa przy takim samym średnim i standardowym odchyleniu jak mieszanina lub minimalną odległość dla dowolnego Gaussa. Jeśli to pomoże, możesz ograniczyć się do przypadku, w którym mieszanina składa się z gaussów, tak że mniejsza waga jest większa niż . 2 1 / 4
źródło
Odpowiedzi:
Rozbieżność KL byłaby naturalna, ponieważ masz naturalny rozkład bazy, pojedynczy gaussowski, od którego rozchodzi się twoja mieszanina. Z drugiej strony rozbieżność KL (lub jej symetryczna „odległość”) między dwiema mieszankami gaussowskimi, których szczególnym przypadkiem jest twój problem, wydaje się ogólnie trudna do rozwiązania. Hershey i Olson (2007) wyglądają jak rozsądne podsumowanie dostępnych przybliżeń, w tym metod wariacyjnych, które mogą oferować łatwiejsze granice.
Jeśli jednak chcesz spierać się o negatywne skutki zakładania, że coś jest gaussowskie, gdy jest to naprawdę mieszanka, najlepiej mieć dobry pomysł na temat konsekwencji, którymi naprawdę jesteś zainteresowany - coś bardziej konkretnego niż po prostu „bycie nie tak” „(to jest punkt @ Michaela-Chernicka). Na przykład konsekwencje dla testu, odstępu lub czegoś takiego. Dwa oczywiste efekty tej mieszaniny to nadmierna dyspersja, która jest prawie w pełni gwarantowana, oraz multimodalność, która dezorientuje maksymalizatory.
źródło
Pozwól, że podejmę dalsze działania w związku z konsekwencjami nieprawidłowej specyfikacji dystrybucji. Zamiast korzystać z ogólnej miary odległości, takiej jak dywergencja KL, możesz ocenić niestandardową miarę „różnicy”, mającą związek z konkretnymi konsekwencjami.
Na przykład, jeśli rozkład ma być zastosowany do obliczenia ryzyka, na przykład w celu ustalenia, że prawdopodobieństwo awarii jest wystarczająco niskie, wówczas jedyne, co ma znaczenie w dopasowaniu, to obliczenia prawdopodobieństwa w skrajnym ogonie. Może to mieć znaczenie przy podejmowaniu decyzji dotyczących programów o wartości wielu miliardów dolarów i dotyczyć spraw życia i śmierci.
Gdzie jest prawdopodobne, że założenie Normalne jest najbardziej niedokładne? W wielu przypadkach, w skrajnych ogonach, jedyne miejsce, które ma znaczenie dla tych kluczowych obliczeń ryzyka. Jeśli na przykład twój prawdziwy rozkład jest mieszaniną normalnych mających tę samą średnią, ale różne odchylenia standardowe, wówczas ogony rozkładu mieszanki są grubsze niż ogony rozkładu normalnego o tej samej średniej i odchyleniu standardowym. Może to łatwo skutkować różnicą wielkości rzędu (niedoszacowanie ryzyka) dla prawdopodobieństw w skrajnym ogonie.
źródło