Estymacja parametru LogLikelihood dla liniowego Gaussowskiego filtra Kalmana

Napisałem kod, który potrafi filtrować Kalmana (używając wielu różnych filtrów typu Kalmana [Information Filter i in.]) Dla liniowej analizy przestrzeni stanu gaussowskiego dla n-wymiarowego wektora stanu. Filtry działają świetnie i otrzymuję niezłą wydajność. Jednak oszacowanie parametru za pomocą oszacowania wiarygodności logicznej mnie dezorientuje. Nie jestem statystykiem, ale fizykiem, więc proszę bądź miły.

Rozważmy liniowy model Gaussian State Space

y_{t} = Z_{t} α_{t} + ϵ_{t},

$y_t = \mathbf{Z}_{t}\alpha_{t} + \epsilon_{t},$

α_{t + 1} = T_{t} α_{t} + R_{t} η_{t},

$\alpha_{t + 1} = \mathbf{T}_{t}\alpha_{t} + \mathbf{R}_{t}\eta_{t},$

gdzie $y_{t}$ jest naszym wektorem obserwacji, $\alpha_{t}$ naszym wektorem stanu w kroku czasowym $t$ . Ilości pogrubione to macierze transformacji modelu przestrzeni stanów, które są ustawione zgodnie z charakterystyką rozważanego układu. Mamy też

ϵ_{t} \sim N I D (0, H_{t}),

$\epsilon_{t} \sim NID(0, \mathbf{H}_{t}),$

η_{t} \sim N I D (0, Q_{t}),

$\eta_{t} \sim NID(0, \mathbf{Q}_{t}),$

α_{1} \sim N I D (a_{1}, P_{1}) .

$\alpha_{1} \sim NID(a_{1}, \mathbf{P}_{1}).$

gdzie . Teraz wyprowadziłem i zaimplementowałem rekursję dla filtru Kalmana dla tego ogólnego modelu przestrzeni stanów, zgadując początkowe parametry i macierze wariancji i Mogę tworzyć wykresy takie jak $t = 1,\ldots, n$ $\mathbf{H}_{1}$ $\mathbf{Q}_{1}$

Filtr Kalmana

gdzie punktami są poziomy wody w Nilu dla stycznia ponad 100 lat, linia jest stanem szacunkowym Kalamn, a linie przerywane to 90% poziom ufności.

$\mathbf{H}_{t}$ $\mathbf{Q}_{t}$ $\sigma_{\epsilon}$ $\sigma_{\eta}$

\log L (Y_{n}) = - \frac{n p}{2} \log (2 π) - \frac{1}{2} \sum_{t = 1}^{n} (l o g | F_{t} | + v_{t}^{T} F_{t}^{- 1} v_{t})

$\log L(Y_{n}) = -\frac{np}{2}\log(2\pi) - \frac{1}{2}\sum^{n}_{t = 1}(log|\mathbf{F}_{t}| + v^{\mathsf{T}}_{t}\mathbf{F}_{t}^{-1}v_{t})$

$v_{t}$ $\mathbf{F}_{t}$ $L$ $\sigma_{\epsilon}$ $\sigma_{\eta}$ $\sigma_{\epsilon}$ $\sigma_{\eta}$

Dziękuję za Twój czas.

$\mathbf{H}_{t} = \sigma^{2}_{\epsilon}$ $\mathbf{H}_{t} = \sigma^{2}_{\eta}$

maximum-likelihood algorithms kalman-filter likelihood Księżycowy rycerz
źródło

Odpowiedzi:

$\sigma_\epsilon^2$ $\sigma^2_\eta$ $\nu_t$ $\boldsymbol{F_t}$ $\log L(Y_n)$

Innymi słowy, można traktować filtr Kalmana jako sposób na obliczenie domyślnej funkcji i . Jedyne, co musisz zrobić, to spakować to obliczenie do funkcji lub podprogramu i obsłużyć tę funkcję w procedurze optymalizacji - podobnie jak w R. Ta funkcja powinna akceptować jako dane wejściowe i i zwróć . $\sigma_\epsilon^2$ $\sigma^2_\eta$ optim $\sigma_\epsilon^2$ $\sigma^2_\eta$ $\log L(Y_n)$

Niektóre pakiety w R (np. dlm) Robią to za Ciebie (patrz np. Funkcja dlmMLE).

F. Tusell
źródło

Dzięki za odpowiedź. Rozumiem, że wydaje mi się, że mam wszystkie składniki wymagane do jawnego obliczenia prawdopodobieństwa logarytmu, jednak wszystkie odniesienia, które wydaje mi się sugerować, używają i jako niewiadomych w funkcji loglikelihood i maksymalizują to przy użyciu Newtona metoda typu? To mnie dezorientuje; „logiczne prawdopodobieństwo jest zmaksymalizowane numerycznie w odniesieniu do nieznanego wektora stanu” - jak?

σ_{ϵ}

$\sigma_\epsilon$

σ_{η}

$\sigma_\eta$

MoonKnight

Obliczenie prawdopodobieństwa nie jest tak jednoznaczne, że i nie pojawiają się jawnie w wyrażeniu . Wpływają raczej na prawdopodobieństwo poprzez i . Dlatego musisz uruchomić filtr Kalmana, aby obliczyć dla każdej pary wartości i . Po zakodowaniu tego w postaci funkcji, obsłużysz to do funkcji maksymalizującej typu Newtona (lub dowolnej innej funkcji) i to wszystko.

σ_{ϵ}

$\sigma_\epsilon$

σ_{η}

$\sigma_\eta$

\log L (Y_{n})

$\log L(Y_n)$

ν_{t}

$\nu_t$

F_{t}

$\boldsymbol{F_t}$

\log L (Y_{n})

$\log L(Y_n)$

σ_{ϵ}

$\sigma_\epsilon$

σ_{η}

$\sigma_\eta$

F. Tusell,

Zdarza się, że mam szczegółowy kod (w R) pokazujący, jak to zrobić dokładnie dla danych Nilu. Używam tego jako ilustracji dla moich uczniów. Niestety jest w języku hiszpańskim, ale mam nadzieję, że kod jest dość przejrzysty (i mogę przetłumaczyć komentarze, jeśli nie). Możesz pobrać ten przykład z et.bs.ehu.es/~etptupaf/N4.html .

F. Tusell,

Jest to bardzo pomocne. Bardzo dziękuje za twój czas. Twój komentarz bardzo pomógł! Czasami trudno „zobaczyć drewno drzew”, a wyjaśnienie czegoś prostego jest wszystkim, czego potrzeba ... Jeszcze raz dziękuję.

MoonKnight

Chciałbym również zapytać, czy mógłbym zajrzeć na stronę, na której przechodzisz przez rekursję wygładzania stanu. Twoje wygładzanie wygląda lepiej niż moje i nie jestem pewien, dlaczego !? Próbowałem go znaleźć na twojej stronie, ale nie mogę znaleźć wymaganej strony ...

MoonKnight