Jak odpowiedzieć recenzentom proszącym o wartości pw bayesowskim modelu wielopoziomowym?

Recenzent poprosił nas o podanie wartości p, aby lepiej zrozumieć szacunki modelu w naszym bayesowskim modelu wielopoziomowym. Model jest typowym modelem wielu obserwacji na uczestnika eksperymentu. Oszacowaliśmy model ze Stanem, dzięki czemu możemy łatwo obliczyć dodatkowe statystyki z tyłu. Obecnie raportujemy (wizualnie i w tabelach) średnią wartość szacunkową oraz kwantyle 0,025 i 0,975.

Moja dotychczasowa odpowiedź obejmowałaby:

1. Wartości P są niespójne z modelami bayesowskimi, tj.$P(X|\theta) \neq P(\theta|X).$
2. Na podstawie a posteriori możemy obliczyć prawdopodobieństwo, że parametry będą większe (mniejsze) niż 0. To wygląda trochę jak tradycyjna wartość p.

Moje pytanie brzmi, czy jest to odpowiedź, która może zadowolić recenzenta, czy spowoduje tylko więcej zamieszania?

Aktualizacja 10-paź: Przepisaliśmy artykuł z myślą o odpowiedzi. Artykuł został zaakceptowany, dlatego powtórzę mój wcześniejszy komentarz, że była to naprawdę pomocna rada!

Po pierwsze, szybkie wyjaśnienie: chociaż prawdopodobieństwo rzeczywiście nie jest późniejsze, wartości p nie są tak niespójne z wnioskowaniem Bayesowskim, jak zwykle inną rzeczą, z wszystkich powodów, dla których przedziały ufności mogą, ale nie muszą, zgadzać się z wiarygodnymi przedziałami. (Chociaż niekoniecznie jest to zupełnie inna rzecz, jak pokazuje późniejsza kontrola predykcyjna, która tak naprawdę wiąże się z wartościami p).

Zgaduję jednak, że ten poziom wyrafinowania nie jest tym, co ma na myśli recenzent. Sądzę, że po prostu „wiedzą”, że modele statystyczne mają mieć wartości p, więc poprosili o nie. Pozostaje więc pytanie: jak odpowiedzieć?

Kiedy „recenzent chce X”, uznałem, że warto zadać sobie dwa powiązane pytania:

1. Motywacja: Co chcą dla nich zrobić X?

2. Racjonalna rekonstrukcja: o jaką najbardziej rozsądnie brzmiącą rzecz, o którą mogliby poprosić zamiast X, gdyby chcieli to zrobić?

Więc daj im to.

Zaletą nieświadomego recenzenta (który mimo wszystko może być mądry i ma rację co do papieru) jest to, że rzadko mają jasne pojęcie o tym, co mają na myśli, gdy proszą o X. Oznacza to, że jeśli zrekonstruujesz je, zadając lepsze pytanie, „ Będę zadowolony, że zamiast tego odpowiesz.

W twoim przypadku jest całkiem możliwe, że recenzent chce równoległej analizy częstokroć, choć w to wątpię. To, co myślę, że chcesz pracować, to wskazówka recenzenta, że ​​chcą, aby wartości p „lepiej zrozumiały model”. Twoim zadaniem, jak sądzę, jest przeanalizowanie tego w taki sposób, aby recenzent brzmiał mądrze. Przypuszczalnie było kilka kolejnych zdań, w których zauważono, co jest niejasne z gazety. Być może recenzent przyniósł pewne efekty, których nie można odtworzyć na podstawie marginesów parametrów, lub pewne ilości, które wyjaśniłyby, co model powiedziałby o interesujących ich przypadkach, lub brak podsumowań z pojedynczą liczbą ...

Jeśli potrafisz zidentyfikować te obawy, możesz zawrzeć odpowiedź w następujących formularzach (oryginalne zapytanie w nawiasach kwadratowych):

„recenzent [domaga się wartości p dla terminu interakcji] martwił się, że z naszej prezentacji nie jest jasne, jak A różni się od B, więc na rycinie 2 pokazujemy ...” lub „recenzent zastanawiał się [czy możemy odrzucić hipoteza, że ​​efekt A wynosi zero] w stosunku do kierunku działania A. Tabela 3 pokazuje, że model ten daje 99% prawdopodobieństwo, że jest on ujemny ”lub„ recenzent zastanawia się [czy nasz model jest znacznie lepiej dopasowany niż model zawierające tylko A], w jaki sposób nasz model w porównaniu z modelem zawierającym tylko A. Zajmujemy się tym pytaniem, porównując je z ... za pomocą DIC / obliczania współczynnika Bayesa / pokazując, że nasze wnioski na temat A są odporne na włączenie B "itp.

W każdym przypadku znajduje się dokładne tłumaczenie oryginalnej prośby i odpowiedź.

Zastrzeżenia: ta strategia wydaje się działać najlepiej, gdy recenzent jest ekspertem od tematu i stosunkowo słabo rozumie statystyki. To ma nie pracować z własnym zidentyfikowane statystycznie wyrafinowany recenzentem, który rzeczywiście chce X, bo jak Xs lub poczytać o nich gdzieś niedawno. Nie mam sugestii dotyczących tego drugiego.

Na koniec zdecydowanie zalecałbym, aby nie mówić nic, nawet lekko religijnego, o tym, że Bayes jest innym paradygmatem, a pytania recenzentów nie mają w tym sensu. Nawet jeśli jest to prawda, sprawia, że ​​wszyscy są zrzędliwi bez żadnego prawdziwego zysku.