Moje podstawowe pytanie brzmi: w jaki sposób próbowałbyś z niewłaściwej dystrybucji? Czy sens ma nawet próbkowanie z niewłaściwej dystrybucji?
Komentarz Xi'ana tutaj w pewnym sensie odpowiada na pytanie, ale szukałem więcej szczegółów na ten temat.
Bardziej specyficzne dla MCMC:
Mówiąc o MCMC i czytając artykuły, autorzy podkreślają, że uzyskali prawidłowe rozkłady tylne. Istnieje słynny artykuł Geyera (1992), w którym autor zapomniał sprawdzić, czy jego tylna część była odpowiednia (w przeciwnym razie doskonała praca)
Załóżmy jednak, że mamy prawdopodobieństwo i niewłaściwą wcześniejszą dystrybucję na θ, tak że wynikowy tył jest również niewłaściwy, a MCMC jest używane do pobierania próbek z rozkładu. W takim przypadku co wskazuje próbka? Czy w tej próbce są jakieś przydatne informacje? Wiem, że łańcuch Markowa tutaj jest albo przejściowy, albo zerowy. Czy są jakieś pozytywne dania na wynos, jeśli są zerowe ?
Wreszcie, w odpowiedzi Neila G. wspomina tutaj
zazwyczaj możesz pobierać próbki (za pomocą MCMC) z tyłu, nawet jeśli jest to niewłaściwe.
Wspomina, że takie pobieranie próbek jest powszechne w głębokim uczeniu się. Jeśli to prawda, jak to ma sens?
źródło
Odpowiedzi:
Pobieranie próbek z niewłaściwej tylnej (gęstości) nie ma sensu z probabilistycznego / teoretycznego punktu widzenia. Powodem tego jest to, że funkcja f nie ma całki skończonej w przestrzeni parametrów i w związku z tym nie może być powiązana z modelem prawdopodobieństwa ( miara skończona) ( Ω , σ , P ) (przestrzeń, sigma-algebra, miara prawdopodobieństwa ).fa fa ( Ω , σ, P )
Jeśli masz model z niewłaściwym przodem, który prowadzi do niewłaściwego tylnego odcinka, w wielu przypadkach możesz nadal pobierać z niego próbki za pomocą MCMC, na przykład Metropolis-Hastings, a „próbki tylne” mogą wyglądać rozsądnie. Na pierwszy rzut oka wygląda to intrygująco i paradoksalnie. Powodem tego jest jednak to, że metody MCMC są ograniczone do ograniczeń numerycznych komputerów w praktyce, a zatem wszystkie podpory są ograniczone (i dyskretne!) Dla komputera. Następnie, zgodnie z tymi ograniczeniami (ograniczeniami i dyskrecją), w większości przypadków tylne jest właściwe.
Jest świetne odniesienie Hoberta i Caselli, które przedstawia przykład (nieco innej natury), w którym możesz skonstruować próbnik Gibbs dla a posterior, próbki a posterior wyglądają zupełnie rozsądnie, ale a posterior jest niewłaściwy!
http://www.jstor.org/stable/2291572
Podobny przykład ostatnio pojawił się tutaj . W rzeczywistości Hobert i Casella ostrzegają czytelnika, że metod MCMC nie można użyć do wykrycia niewłaściwości tylnej części ciała i że należy to sprawdzić osobno przed wdrożeniem jakichkolwiek metod MCMC. W podsumowaniu:
PS (nieco język w policzek): Nie zawsze wierz w to, co ludzie robią w uczeniu maszynowym. Jak powiedział prof. Brian Ripley: „uczenie maszynowe to statystyka pomniejszona o sprawdzenie modeli i założeń”.
źródło
Dając alternatywny, bardziej zastosowany, widok z doskonałej odpowiedzi Rod powyżej powyżej -
Zasadniczo więc byłbym całkiem w porządku z użyciem próbki wygenerowanej przez MCMC z niewłaściwego rozkładu w zastosowanej pracy, ale zwracałbym dużą uwagę na to, jak doszło do tej nieprawidłowości i jak wpłynie ona na losową próbkę . Idealnie nie wpłynęłoby to na losową próbkę, jak w moim przykładzie z hot-dogami, gdzie w rozsądnym świecie nigdy nie wygenerowałbyś przypadkowej liczby większej niż liczba ludzi w San Francisco ...
Powinieneś także zdawać sobie sprawę z faktu, że twoje wyniki mogą być dość wrażliwe na cechę tylnej części ciała, która spowodowała, że była niewłaściwa, nawet jeśli później przycinasz ją o pewną dużą liczbę później (lub jakąkolwiek zmianę odpowiednią dla twojego modelu. ) Chcesz, aby Twoje wyniki były odporne na niewielkie zmiany, które zmieniają twój tył z niewłaściwego na właściwy. Może to być trudniejsze do zapewnienia, ale jest to część większego problemu polegającego na upewnieniu się, że wyniki są zgodne z założeniami, zwłaszcza tymi, które zostały stworzone dla wygody.
źródło