Dlaczego priory Jeffreysa uważane są za nieinformacyjne?

27

Rozważmy Jeffreysa przed gdzie , gdzie jest informacją Fishera.p(θ)|i(θ)|i

Nadal widzę, że ten uprzedzenie jest wymieniany jako nieinformacyjny, ale nigdy nie widziałem argumentu, dlaczego jest on nieinformacyjny. W końcu nie jest to stały uprzedni, więc musi być jakiś inny argument.

Rozumiem, że nie zależy to od reparametryzacji, co prowadzi mnie do następnego pytania. Czy to, że wyznacznik informacji Fishera nie zależy od reparametryzacji? Ponieważ informacje Fishera zdecydowanie zależą od parametryzacji problemu.

Dzięki.

Bayesian
źródło
Czy przeczytałeś artykuł w Wikipedii? en.wikipedia.org/wiki/Jeffreys_prior
whuber
2
Tak, szukałem tam. być może coś mi brakuje, ale nie sądzę, że artykuł w Wikipedii daje odpowiednią odpowiedź na moje pytania.
bayesian
Zobacz także stats.stackexchange.com/questions/38962/...
Stéphane Laurent,
Zauważ, że wcześniejszy Jeffreys nie jest niezmienny w odniesieniu do równoważnych modeli. Na przykład wnioskowanie na temat parametru jest inne, gdy stosuje się dwumianowe lub ujemne dwumianowe rozkłady próbkowania. Dzieje się tak pomimo tego, że funkcje prawdopodobieństwa są proporcjonalne, a parametr ma takie samo znaczenie w obu modelach. p
probabilityislogic

Odpowiedzi:

12

Jest uważany za nieinformacyjny ze względu na niezmienność parametryzacji. Wydaje się, że masz wrażenie, że jednolity (stały) przeor nie ma charakteru informacyjnego. Czasami tak jest, czasem nie.

To, co dzieje się z wcześniejszym przeobrażeniem Jeffreysa, polega na tym, że Jacobian z transformacji zostaje wciągnięty do oryginalnej informacji Fishera, co ostatecznie daje ci informacje Fishera w ramach nowej parametryzacji. Bez magii (przynajmniej w mechanice), tylko mały rachunek różniczkowy i algebra liniowa.

JMS
źródło
6
Nie zgadzam się z tą odpowiedzią. Korzystanie z subiektywnego przeora jest również procedurą niezmienniczą parametryzacji!
Stéphane Laurent,
29

Wcześniejszy Jeffreys pokrywa się z wcześniejszym odniesieniem Bernardo dla jednowymiarowej przestrzeni parametrów (i modeli „regularnych”). Z grubsza rzecz biorąc, jest to dla przełożonego, dla którego rozbieżność Kullbacka-Leiblera między przejęciem a tylnym jest maksymalna. Ta ilość reprezentuje ilość informacji dostarczonych przez dane. Właśnie dlatego przeor uważany jest za nieinformacyjny: dla tego dane przynoszą maksymalną ilość informacji.

Nawiasem mówiąc, nie wiem, czy Jeffreys był świadomy tej charakterystyki swojego przeora?

Stéphane Laurent
źródło
2
„Z grubsza mówiąc, jest to przeor, dla którego rozbieżność między Kullbackiem a Leiblerem jest najwyższa”. Co ciekawe, nie wiedziałem o tym.
Cam.Davidson.Pilon
1
(+1) Dobra odpowiedź. Byłoby miło zobaczyć odniesienia do niektórych twoich punktów ( np. 1 , 2 ).
1
@Procrastinator Obecnie piszę nowy post o nieinformacyjnych aurorzy;) Poczekaj, może kilka dni.
Stéphane Laurent,
6

Powiedziałbym, że nie jest to absolutnie nieinformacyjne, ale minimalnie informacyjne. Koduje (raczej słabą) wcześniejszą wiedzę, że znasz swój wcześniejszy stan wiedzy, nie zależy od jego parametryzacji (np. Jednostek miary). Jeśli twój poprzedni stan wiedzy był dokładnie zerowy, nie wiedziałbyś, że twój uprzedni był niezmienny dla takich przekształceń.

Dikran Torbacz
źródło
Jestem zdezorientowany. W jakim przypadku wiesz, że wcześniej powinieneś polegać na parametryzacji modelu?
John Lawrence Aspden
2
Jeśli chcemy przewidzieć długość życia jako funkcję masy ciała, korzystając z GLM, wiemy, że nie należy wpływać na to, czy ważymy pacjenta w kg, czy w funtach; jeśli użyjesz prostego munduru przed ciężarkami, możesz uzyskać inny wynik w zależności od jednostek miary.
Dikran Torbacz
1
Jest to przypadek, gdy wiesz, że nie powinno to mieć wpływu. Co to jest przypadek, w którym powinien?
John Lawrence Aspden
1
Myślę, że nie rozumiesz mnie. Powiedzmy, że nie wiemy nic o atrybutach, nawet że mają one jednostki miary, do których analiza powinna być niezmienna. W takim przypadku twój przeor zakoduje mniej informacji o problemie niż przeor Jeffreya, dlatego przeor Jeffrey nie jest całkowicie pozbawiony informacji. Mogą to być lub nie sytuacje, w których analiza nie powinna być niezmienna dla niektórych przekształceń, ale to nie ma sensu.
Dikran Torbacz
2
NB, zgodnie z książką BUGS (str. 83), sam Jeffrey nazywał takie niezmiennicze priory transformacji jako „minimalnie informacyjne”, co sugeruje, że widział je jako kodujące pewne informacje o problemie.
Dikran Marsupial