Czy można najpierw dopasować model Bayesa, a następnie zacząć osłabiać priory?

10

Podczas częstych statystyk istnieje długa lista dużych „no-nosów”, takich jak przeglądanie wyników testów statystycznych przed podjęciem decyzji o zebraniu większej ilości danych. Zastanawiam się na ogół, czy istnieje podobna lista numerów zerowych dla metodologii stosowanych w statystyce bayesowskiej, a konkretnie, czy jedna z nich jest następująca.

Niedawno zdałem sobie sprawę, że w przypadku niektórych modeli, które pasowałem, moim procesem było najpierw dopasowanie modelu do pouczających priorów, aby sprawdzić, czy działa, czy też wybuchło, a następnie osłabienie priorsów do niedoinformujących lub słabo informujących i zamontuj model.

Moja motywacja do tego naprawdę wiąże się z tym, że piszę te modele w JAGS / Stan i moim zdaniem traktuję to bardziej jako zadanie programistyczne niż statystyczne. Robię więc pierwszą próbę, tak jakby ją zmontowałem, aby szybko zbiegła się przy użyciu pouczających priorów, co ułatwia wykrycie błędów w modelu, który napisałem. Następnie, po debugowaniu modelu, zmieniam go na nieprzydatne lub słabo informujące priory.

Moje pytanie dotyczy tego, czy w tym procesie łamię jakieś poważne reguły. Na przykład, aby moje wnioski były ważne i aby uniknąć wykorzystywania stopni swobody badaczy, czy muszę zobowiązać się do określonych priorytetów, zanim zacznę pasować do jakichkolwiek modeli?

JoFrhwld
źródło
4
Poza tym (mam nadzieję) humorystyczny jest tutaj wiersz, który napisałem . (Tak, wiem, że to nie oda)
Peter Flom
@PeterFlom, oh, to złowieszcze.
JoFrhwld

Odpowiedzi:

9

Subiektywni Bayesianie mogą się nie zgadzać, ale z mojej perspektywy przeor jest tylko częścią modelu, podobnie jak prawdopodobieństwo. Zmiana uprzedniej w odpowiedzi na zachowanie modelu nie jest lepsza ani gorsza niż zmiana funkcji prawdopodobieństwa (np. Wypróbowanie różnych rozkładów błędów lub różnych sformułowań modelu).

Może być niebezpieczny, jeśli pozwala ci wybrać się na wyprawę wędkarską, ale alternatywy mogą być gorsze. Na przykład, w przypadku, o którym wspomniałeś, gdy Twój model wysadza się w powietrze i otrzymujesz nonsensowne współczynniki, wtedy nie masz dużego wyboru, tylko spróbować ponownie.

Istnieją również kroki, które można podjąć, aby nieco zminimalizować niebezpieczeństwa związane z wyprawą na ryby:

  • Zdecyduj z góry, którego wcześniej użyjesz w końcowej analizie
  • Bądź otwarty, kiedy publikujesz lub opisujesz swoją analizę dotyczącą całej procedury
  • Robiąc jak najwięcej z danymi symulowanymi i / lub trzymając dane do ostatecznej analizy. W ten sposób nie za bardzo zanieczyścisz swoją analizę.
David J. Harris
źródło
4

Jeśli eksperymentujesz z priorytetami i wybierasz jeden pod względem wydajności na dostępnych danych, nie jest to już „uprzednia”. Nie tylko zależy to od danych (jak w empirycznej analizie Bayesa), ale także zależy od tego, co chcesz zobaczyć (co jest gorsze). W końcu używasz narzędzi bayesowskich, ale nie można tego nazwać analizą bayesowską.

Xi'an
źródło
1
Rozumiem, że PO nie wykorzystuje jednego przeora, nie patrzy na wyniki i decyduje, że inny przełożony da mu lepsze wyniki. Używa sztucznego, aby sprawdzić, czy jego model jest odpowiednio zakodowany, a następnie przełącza się na jego faktyczny uprzedni do analizy. Być może, jeśli użyłby również danych syntetycznych w swoim pierwszym kroku, a następnie przestawił się zarówno na faktyczne wcześniejsze, jak i rzeczywiste dane na drugim etapie, byłoby to bardziej do przyjęcia?
Wayne
3

Myślę, że w tej sprawie nic ci nie jest z trzech powodów:

  1. W rzeczywistości nie dostosowujesz swoich priorytetów w odpowiedzi na swoje wyniki. Jeśli powiedziałeś coś w stylu: „Korzystam z priory XYZ i w zależności od szybkości konwergencji i moich wyników DIC, modyfikuję mój wcześniejszy abc”, to powiedziałbym, że popełniasz „nie”, ale w tym przypadku brzmi jakbyś naprawdę tego nie robił.

  2. W kontekście bayesowskim priory są jawne. Możliwe jest zatem nieprawidłowe poprawianie swoich priorytetów, ale wynikające z nich priorytety będą zawsze widoczne do wglądu dla innych osób, które mogą zapytać, dlaczego macie te szczególne priorytety. Może jestem tu naiwny, ponieważ łatwo jest rzucić okiem na coś takiego jak przeor i powiedzieć: „Hmm, wygląda rozsądnie” po prostu dlatego, że ktoś to zaproponował, ale ...

  3. Myślę, że to, co robisz, jest związane z radą Gelmana (i innych), aby zbudować model JAGS kawałek po kawałku, najpierw pracując z danymi syntetycznymi, a następnie danymi rzeczywistymi, aby upewnić się, że nie wystąpił błąd specyfikacji . To nie jest tak naprawdę czynnik częstokroć metodologii i nie jest tak naprawdę metodologią eksperymentalną.

Z drugiej strony nadal sam się tego uczę.

PS Kiedy mówisz, że pierwotnie ustawiłeś go tak, by szybko zbiegał się z „informacyjnymi aurorzy”, masz na myśli faktycznie informacyjny aurorzy, którzy są motywowani danym problemem, czy po prostu ci aurorzy, którzy z arbitralnych powodów silnie naciskają / ograniczają tylną część, aby przyspieszyć „konwergencję” „do jakiegoś arbitralnego punktu? Jeśli to pierwszy przypadek, dlaczego odsuwasz się od tych (zmotywowanych) priorów?

Wayne
źródło
1

Myślę, że może to być „nie, nie” niezależne od szkoły bayesowskiej. Jeffreys chciałby użyć nieinformacyjnych priorów. Lindley może chcieć, abyś używał pouczających priorów. Empiryczni Bayesianie proszą, abyś pozwolił, aby dane wpłynęły na przeora. Ale myślę, że chociaż każda szkoła przedstawia inną sugestię dotyczącą wyboru przeora, wszystkie mają podejście, które nie oznacza, że ​​możesz wziąć przeora i ciągle go ulepszać, dopóki nie uzyskasz pożądanych rezultatów. To na pewno byłoby jak patrzenie na dane i ciągłe gromadzenie danych i testowanie, aż dojdziesz do z góry założonego pojęcia, jaka powinna być odpowiedź.

Częstotliwość lub Bayesian to nie ma znaczenia, nie sądzę, aby ktokolwiek chciał, abyś grał sztuczki z danymi (lub masował je). Może jest to coś, na co wszyscy możemy się zgodzić, a zabawny wiersz Petera jest naprawdę apropo.

Michael R. Chernick
źródło
1

Powiedziałbym „nie”, nie musicie angażować się w konkretne priorytety. Ogólnie podczas każdej analizy danych bayesowskich należy przeprowadzić analizę wrażliwości modelu na wcześniejsze. Obejmuje to wypróbowanie różnych innych priorytetów, aby zobaczyć, co stanie się z wynikami. Może to ujawnić lepszy lub bardziej niezawodny wcześniej, który należy zastosować.

Dwa oczywiste „nie-nie” to: zbyt wiele zabawy z uprzednim, aby uzyskać lepsze dopasowanie, co powoduje nadmierne dopasowanie i zmiana innych parametrów modelu, aby uzyskać lepsze dopasowanie. Jako przykład pierwszego: zmiana wartości początkowej na średniej, tak aby była ona bliższa średniej próbki. Po drugie: zmiana zmiennych / cech wyjaśniających w regresji, aby uzyskać lepsze dopasowanie. Jest to problem występujący w każdej wersji regresji i zasadniczo unieważnia stopnie swobody.

Fraijo
źródło
+1 za wzmiankę o analizie wrażliwości. Powinieneś wiedzieć, jak bardzo twoje wyniki zależą od zastosowanych priorytetów ...
Manoel Galdino,