W R, biorąc pod uwagę wynik optymalizacji z macierzą hessianową, jak obliczyć przedziały ufności parametrów za pomocą macierzy hessianowej?

22

Biorąc pod uwagę wynik optymalizacji z macierzą hessianową, jak obliczyć przedziały ufności parametrów za pomocą macierzy hessianowej?

fit<-optim(..., hessian=T)

hessian<-fit$hessian

Najbardziej interesuje mnie kontekst analizy maksymalnego prawdopodobieństwa, ale ciekawy jestem, czy można rozszerzyć tę metodę.

r maximum-likelihood Etienne Low-Décarie
źródło
2
To pytanie jest zbyt niejasne. Jakie przedziały ufności? Jakimi modelami jesteś zainteresowany? Zastanów się, czy nie rzucisz okiem na literaturę, zanim opublikujesz 3 pytania z rzędu.
Metoda powinna być niezależna od przedziału i modelu.
Etienne Low-Décarie
Jaką funkcję optymalizujesz?
Stéphane Laurent
Powiedziano mi, że powinienem być w stanie to zrobić niezależnie od używanego modelu.
Etienne Low-Décarie,
Corey Chivers udzielił odpowiedzi.
Etienne Low-Décarie,

Odpowiedzi:

32

Jeśli maksymalizujesz prawdopodobieństwo, to macierz kowariancji oszacowań jest (asymptotycznie) odwrotnością ujemnej wartości Hesji. Standardowymi błędami są pierwiastki kwadratowe diagonalnych elementów kowariancji ( z dowolnego miejsca w sieci!, Od prof. Thomasa Lumleya i inż. Spencera Gravesa).

Dla 95% przedziału ufności

fit<-optim(pars,li_func,control=list("fnscale"=-1),hessian=TRUE,...)
fisher_info<-solve(-fit$hessian)
prop_sigma<-sqrt(diag(fisher_info))
prop_sigma<-diag(prop_sigma)
upper<-fit$par+1.96*prop_sigma
lower<-fit$par-1.96*prop_sigma
interval<-data.frame(value=fit$par, upper=upper, lower=lower)

Uwaga:

  • Jeśli maksymalizujesz log (prawdopodobieństwo), NEGATYWĄ hessian jest „obserwowana informacja” (jak tutaj).
  • Jeśli ZMINIMALIZUJESZ „odchylenie” = (-2) * log (prawdopodobieństwo), to PÓŁ HESYNA jest obserwowaną informacją.
  • W mało prawdopodobnym przypadku, gdy maksymalizujesz samo prawdopodobieństwo, musisz podzielić negatywną wartość hessianu przez prawdopodobieństwo uzyskania zaobserwowanych informacji.

Zobacz to, aby zapoznać się z dalszymi ograniczeniami wynikającymi z zastosowanej procedury optymalizacji.

Etienne Low-Décarie
źródło
Corey Chivers udzielił odpowiedzi.
Etienne Low-Décarie,
2
(+1) Odwrotność ujemnego hessianu jest estymatorem asymptotycznej macierzy kowariancji - wiem, że pojawia się to w twoim kodzie, ale myślę, że należy to zaznaczyć.
Makro
1
Doskonała odpowiedź, czy należy odczytać górną i dolną granicę upper<-fit$par+1.96*(prop_sigma/sqrt(n)) lower<-fit$par-1.96*(prop_sigma/sqrt(n))? Dzięki
prezenter
3
Dlaczego nie usunąć wiersza 4?
Jason
2
Czy włączenie linii prop_sigma<-diag(prop_sigma)jest błędem?
Mark Miller