Poświęciłem dużo czasu na opracowanie metod i oprogramowania do walidacji modeli predykcyjnych w tradycyjnej dziedzinie statystyki częstokroć. Wprowadzając w życie więcej pomysłów bayesowskich i nauczając, dostrzegam kilka kluczowych różnic do przyjęcia. Po pierwsze, bayesowskie modelowanie predykcyjne prosi analityka o przemyślenie wcześniejszych dystrybucji, które można dostosować do cech kandydujących, a ci pierwsi przyciągną model do nich (tj. Uzyskają skurcz / karanie / regularyzację z różnymi wielkościami kar za różne cechy predykcyjne ). Po drugie, „prawdziwa” metoda bayesowska nie daje jednego modelu, ale otrzymuje się cały rozkład boczny dla prognozy.
Biorąc pod uwagę te cechy bayesowskie, co oznacza nadmierne dopasowanie? Czy powinniśmy to ocenić? Jeśli tak to jak? Skąd wiemy, kiedy model bayesowski jest niezawodny do użytku w terenie? Czy też jest to kwestia sporna, ponieważ tylny będzie nosił wszystkie niepewności niepewności, gdy użyjemy modelu, który opracowaliśmy do przewidywania?
Jak zmieniłoby się myślenie, gdybyśmy zmusili model Bayesa do destylacji do pojedynczej liczby, np. Średniej tylnej / trybu / mediany ryzyka?
Widzę tutaj podobne myślenie . Równoległą dyskusję można znaleźć tutaj .
Dalsze pytanie : jeśli jesteśmy w pełni Bayesianami i spędzamy trochę czasu na zastanawianiu się nad kwestiami priorytetowymi przed zobaczeniem danych, i dopasowujemy model, w którym prawdopodobieństwo danych zostało odpowiednio określone, jesteśmy zmuszeni do zadowolenia z naszego modelu w odniesieniu do nadmiernego dopasowania ? Czy też musimy robić to, co robimy w świecie częstych, w którym losowo wybrany podmiot można przewidzieć średnio dobrze, ale jeśli wybierzemy podmiot, który ma bardzo niską prognozę lub ten, który ma bardzo wysoką przewidywaną wartość, nastąpi regresja na myśli?
Odpowiedzi:
Mógłbym zacząć od stwierdzenia, że model bayesowski nie może systematycznie zastępować (lub niedopasowywać) danych pochodzących z wcześniejszego rozkładu predykcyjnego, co stanowi podstawę procedury sprawdzania, czy oprogramowanie bayesowskie działa poprawnie przed zastosowaniem go do danych zebranych z świat.
Ale może zastąpić pojedynczy zestaw danych zaczerpnięty z wcześniejszego rozkładu predykcyjnego lub pojedynczy zestaw danych zebrany ze świata w tym sensie, że różne miary predykcyjne zastosowane do danych, na których się opierasz, wyglądają lepiej niż te same miary predykcyjne zastosowane do danych przyszłych, które są wygenerowane przez ten sam proces. Rozdział 6 bayesowskiej książki Richarda McElreatha poświęcony jest nadmiernemu dopasowaniu.
Nasilenie i częstość nadmiernego dopasowania mogą być zmniejszone przez dobrych aurorzy, szczególnie tych, którzy informują o skali efektu. Umieszczając znikające wcześniejsze prawdopodobieństwo na nieprawdopodobnie dużych wartościach, zniechęcasz tylną dystrybucję do nadmiernego ekscytowania jakimś idiosynkratycznym aspektem danych, na których się opierasz, co może sugerować nieprawdopodobnie duży efekt.
Najlepsze sposoby wykrywania nadmiernego dopasowania obejmują walidację krzyżową z pominięciem jednego, która może być aproksymowana z rozkładu tylnego, który w rzeczywistości nie pozostawia żadnych obserwacji poza zestawem warunkowania. Istnieje założenie, że żadna indywidualna „obserwacja” [*], na którą warunkujesz, nie ma zbyt dużego wpływu na rozkład tylny, ale założenie to można sprawdzić, oceniając wielkość oszacowania parametru kształtu w uogólnionym rozkładzie Pareto, który jest dopasowanie do ważonych wag próbkowania (które pochodzą z logarytmu prawdopodobieństwa obserwacji oszacowanej dla każdego losowania z rozkładu tylnego). Jeśli to założenie zostanie spełnione, możesz uzyskać miary predykcyjne dla każdej obserwacji, które są tak, jakby ta obserwacja została pominięta, widok tylny został wyciągnięty z pozostałych obserwacji, a tylny rozkład predykcyjny został skonstruowany dla pominiętej obserwacji. Jeśli cierpią twoje przewidywania dotyczące pominiętych obserwacji, to na początku twój model był zbyt dobry. Te pomysły są wdrażane w Pakiet loo dla R, który zawiera cytaty takie jak tu i tam .
Jeśli chodzi o destylację do pojedynczej liczby, lubię obliczać odsetek obserwacji, które mieszczą się w 50% przedziałach predykcyjnych. W zakresie, w jakim proporcja ta jest większa niż połowa, model jest zbyt dopasowany, chociaż potrzeba więcej niż kilku obserwacji, aby przeciąć hałas w funkcji wskaźnika włączenia. Do porównania różnych modeli (które mogą się nakładać) oczekiwana gęstość predykcyjna logarytmiczna (która jest obliczana przez
loofunkcję w loopakiet) jest dobrym miernikiem (zaproponowanym przez IJ Good), ponieważ bierze pod uwagę możliwość, że bardziej elastyczny model może lepiej pasować do dostępnych danych niż mniej elastyczny model, ale oczekuje się, że pogorszy przyszłe dane. Ale te pomysły można zastosować do oczekiwania na jakąkolwiek miarę predykcyjną (która może być bardziej intuicyjna dla praktyków); zobaczE_loofunkcję w pakiecie loo .[*] Musisz wybrać, co stanowi obserwację w modelu hierarchicznym. Na przykład, czy jesteś zainteresowany przewidywaniem nowego pacjenta lub nowego punktu czasowego dla istniejącego pacjenta? Możesz to zrobić w każdy sposób, ale ten pierwszy wymaga (ponownego) napisania funkcji prawdopodobieństwa w celu zintegrowania parametrów specyficznych dla pacjenta.
źródło
Przeregulowanie oznacza, że model działa dobrze na zestawie treningowym, ale słabo działa na zestawie testowym. IMHO pochodzi z dwóch źródeł: danych i modelu, którego używamy (lub naszej podmiotowości).
W rezultacie, jeśli jesteśmy częstymi, źródłem nadmiernego dopasowania jest MLE. Jeśli jesteśmy Bayesianami, wynika to z (subiektywnego) wyboru wcześniejszej dystrybucji (i oczywiście wyboru prawdopodobieństwa)). Tak więc, nawet jeśli użyjesz rozkładu tylnego / średniej / mediany, już od początku byłeś nadmiernie dopasowany, a to nadmierne dopasowanie jest kontynuowane. Właściwy wybór wcześniejszej dystrybucji i prawdopodobieństwa pomoże, ale nadal są to modele, nigdy nie można całkowicie uniknąć przeregulowania.
źródło