Determinator macierzy informacji Fishera dla modelu nadparametryzowanego

Rozważ losową zmienną Bernoulliego $X\in\{0,1\}$ z parametrem $\theta$ (prawdopodobieństwo sukcesu). Funkcja prawdopodobieństwa i informacje Fishera (a $1 \times 1$ macierz) to:

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

Rozważmy teraz wersję „o zbyt dużej parametryzacji” z dwoma parametrami: prawdopodobieństwo sukcesu $\theta_1$ i prawdopodobieństwo niepowodzenia $\theta_0$ . (Należy zauważyć, że $\theta_1+\theta_0=1$ , a to ograniczenie oznacza, że jeden z parametrów jest zbędny.) W tym przypadku funkcja prawdopodobieństwa i macierz informacji Fishera (FIM) to:

\begin{aligned} {L.}_{2)} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ {ja}_{2)} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det {ja}_{2)} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

Zauważ, że wyznaczniki tych dwóch FIM-ów są identyczne. Ponadto ta właściwość rozciąga się na bardziej ogólny przypadek modeli jakościowych (tj. Więcej niż dwa stany). Wydaje się, że obejmuje również logarytmiczne modele z różnymi podzbiorami parametrów ograniczonymi do zera; w tym przypadku dodatkowy „redundantny” parametr odpowiada funkcji podziału logu, a równoważność dwóch wyznaczników FIM można wykazać na podstawie uzupełnienia Schur większego FIM. (W rzeczywistości dla modeli logarytmiczno-liniowych mniejszy FIM jest tylko uzupełnieniem Schur większego FIM.)

Czy ktoś może wyjaśnić, czy ta właściwość rozciąga się na większy zestaw modeli parametrycznych (np. Na wszystkie rodziny wykładnicze), umożliwiając wyprowadzenie wyznaczników FIM na podstawie takiego „rozszerzonego” zestawu parametrów? Tj. Zakładamy dowolny model statystyczny z parametrami, które leżą na wymiarowym kolektorze osadzonym w przestrzeni . Teraz, jeśli rozszerzymy zestaw parametrów, aby obejmował jeszcze jeden wymiar (który jest całkowicie ograniczony w oparciu o inne) i obliczymy te parametry na podstawie FIM , zawsze otrzymamy tę samą determinantę, jak ta oparta na oryginale (niezależne) parametry? W jaki sposób te dwa FIM są powiązane? $n$ $n$ $(n+1)$ $(n+1)$ $n$

Powód, dla którego zadaję to pytanie, jest taki, że FIM z dodatkowym parametrem często wydaje się prostszy. Moja pierwsza myśl jest taka, że to nie powinno działać w ogóle. FIM polega na obliczeniu częściowych pochodnych prawdopodobieństwa logarytmu względem każdego parametru. Te częściowe pochodne zakładają, że podczas gdy parametr, o którym mowa, zmienia się, wszystkie inne parametry pozostają stałe, co nie jest prawdą, gdy uwzględnimy parametr dodatkowy (ograniczony). W tym przypadku wydaje mi się, że częściowe pochodne nie są już ważne, ponieważ nie możemy założyć, że pozostałe parametry są stałe; Muszę jednak znaleźć dowody, że jest to problem. (Jeśli pochodne częściowe są problematyczne w przypadkach o parametrach zależnych, są to pochodne ogółem $(n+1) \times (n+1)$ potrzebujesz zamiast tego? Nie widziałem jeszcze przykładu obliczania FIM z całkowitymi pochodnymi, ale może to jest rozwiązanie ...)

Jedyny przykład, jaki mogłem znaleźć w Internecie, który oblicza FIM na podstawie takiego „rozszerzonego” zestawu parametrów, jest następujący: te uwagi zawierają przykład rozkładu kategorycznego, obliczając jak zwykle wymagane częściowe pochodne (tj. Jakby każdy parametr był niezależny , mimo że wśród parametrów występuje ograniczenie).

bernoulli-distribution parameterization fisher-information determinant Tyler Streeter
źródło

Dobre pytanie! Myślę, że dwuparametrowa specyfikacja losowej zmiennej Bernoulli jest raczej niefortunnym przykładem, ponieważ bez ograniczenia nie musi już być gęstością. Czy potrafisz na przykład odtworzyć obserwację dla zakrzywionej rodziny wykładniczej?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

Khashaa

@Khashaa Zakładam, że ograniczenie ma zastosowanie w przypadku dwuparametrowym (ten, o którym wspomniałeś), więc funkcja wiarygodności nadal będzie miała prawidłową gęstość. Tak, mogę odtworzyć tę obserwację, np. Dla modeli logarytmiczno-liniowych z różnymi podzbiorami parametrów ograniczonymi do zera; w tym przypadku parametr „redundantny” odpowiada funkcji partycji dziennika.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

Tyler Streeter

Co powiesz na ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

Khashaa

Odpowiedzi:

Dla normalnego macierz informacyjna to Dla zakrzywionego normalnegoZatem twoja obserwacja, że wyznaczniki są równe, nie jest uniwersalna, ale to nie jest cała historia. $X\sim N(\mu,\sigma^2)$

{ja}_{1} = (\begin{matrix} \frac{1}{σ^{2)}} & 0 \\ 0 & \frac{1}{2) σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

{ja}_{2)} = \frac{3)}{μ^{2)}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

Ogólnie rzecz biorąc, jeśli jest matrycą informacyjną w ramach reparametryzacji , to nietrudno to dostrzec matryca informacji dla oryginalnych parametrów to gdzie jest jakobianem transformacji . $\mathcal{I}_g$

sol (θ) = ({sol}_{1} (θ), . . ., {sol}_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

ja (θ) = {sol}^{'} {ja}_{sol} (sol (θ)) sol

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Na przykład Bernoulliego i . Jakobian to a zatem $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

ja (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

W przypadku normalnego zakrzywionego przykładu,

{ja}_{2)} = (\begin{matrix} 1 & 2) μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2)}} & 0 \\ 0 & \frac{1}{2) μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2) μ \end{matrix}) = \frac{3)}{μ^{2)}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

Myślę, że teraz możesz łatwo powiązać wyznaczniki.

Dalsze działania po komentarzu

Jeśli dobrze cię zrozumiałem, FIM jest ważny, pod warunkiem, że rozszerzysz parametry w znaczący sposób: prawdopodobieństwo przy nowej parametryzacji powinno być prawidłową gęstością. Dlatego nazwałem przykład Bernoulliego niefortunnym.

Myślę, że podany link ma poważną wadę w wyprowadzeniu FIM dla zmiennych kategorialnych, ponieważ mamy i . Oczekiwanie na ujemny Hesjan daje , ale nie dla kowariancji wektorów punktacji. Jeśli zaniedbasz ograniczenia, równość macierzy informacji nie będzie obowiązywać. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

Khashaa
źródło

Dziękujemy za wspomnienie o metodzie transformacji jakobianów i za proste, jasne przykłady. Czy możesz (lub ktokolwiek inny) skomentować następującą kwestię, która wciąż mnie dotyczy: rozszerzając zestaw parametrów o jeden wymiar, tak jak robimy tutaj, wprowadzamy ograniczenie między parametrami, tak że wszelkie częściowe pochodne (zgodnie z wymaganiami FIM) powinien być nieprawidłowy, ponieważ teraz, kiedy zmieniamy jeden parametr, pozostałe nie są już stałe. Czy FIM jest nawet ważny dla rozszerzonego zestawu parametrów, biorąc pod uwagę, że częściowe pochodne są nieważne z powodu dodatkowego ograniczenia?

Tyler Streeter,

@TylerStreeter Zaktualizowałem moją odpowiedź, aby rozwiązać Twój problem.

Khashaa,

Wydaje się, że wynik dotyczy określonego rodzaju relacji między parametrami.

Nie domagając się pełnej ogólności dla poniższych wyników, trzymam się przypadku „jeden do dwóch parametrów”. Oznaczenia ukrytą równanie wyraża związek, który musi posiadać między dwoma parametrami. Wtedy „poprawne rozszerzone”, „dwuparametrowe” prawdopodobieństwo dziennika (nie to, co oblicza OP - tam dotrzemy) $g(\theta_0,\theta_1) =0$

{L.}^{mi} = {L.}^{*} (θ_{0}, θ_{1}) + λ sol (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ jest równoważne prawdziwemu prawdopodobieństwu , ponieważ , ( jest mnożnik) i możemy traktować dwa parametry jako niezależne, podczas gdy my różnicujemy.

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

Używając indeksów dolnych do oznaczania pochodnych w odniesieniu do parametrów (jeden pierwszy indeks dolny, dwa drugi indeks dolny), wyznacznikiem Heskiego prawidłowego rozszerzonego prawdopodobieństwa logarytmicznego będzie

\begin{matrix} (1) & {re}_{H.} ({L.}^{mi}) = [{L.}_{00}^{*} + λ {sol}_{00}] [{L.}_{11}^{*} + λ {sol}_{11}] - [{L.}_{01}^{*} + λ {sol}_{01}]^{2)} = {re}_{H.} (L.) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

Co zamiast tego robi OP?

Uważa błędne prawdopodobieństwo „ignorując” relację między dwoma parametrami i nie biorąc pod uwagę ograniczenia . Następnie przechodzi do różnicowania i osiąga $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & {re}_{H.} ({L.}^{*}) = {L.}_{00}^{*} {L.}_{11}^{*} - [{L.}_{01}^{*}]^{2)} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

Oczywiste jest, że zasadniczo nie jest równe . $(2)$ $(1)$

Ale jeśli , to $g_{00}=g_{11}=g_{00}=0$

(1) \to {re}_{H.} ({L.}^{mi}) = {L.}_{00}^{*} {L.}_{11}^{*} - [{L.}_{01}^{*}]^{2)} = {re}_{H.} ({L.}^{*}) = {re}_{H.} (L.)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

Jeśli więc relacja między parametrem faktycznym a parametrem redundantnym jest taka, że wszystkie częściowe pochodne funkcji niejawnej, która je łączy, są zerowe , wówczas podejście, które jest zasadniczo błędne, kończy się „poprawnością”.

W przypadku Bernoulliego rzeczywiście mamy

sol (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow {sol}_{00} = {sol}_{11} = {sol}_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

DODATEK
Aby odpowiedzieć na pytanie @ Khashaa i pokazać tutaj mechanikę, rozważamy prawdopodobieństwo określone za pomocą parametru redundantnego, ale także pod ograniczeniem, które łączy redundantny parametr z prawdziwym. To, co robimy z prawdopodobieństwami logarytmicznymi, to maksymalizowanie ich - tutaj mamy przypadek ograniczonej maksymalizacji. Załóżmy próbkę o rozmiarze : $n$

max {L.}_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{ja = 1}^{n} x_{ja} + (n - \sum_{ja = 1}^{n} x_{ja}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

Ten problem ma Langrangeana (co nieformalnie nazwałem powyżej „poprawnym rozszerzonym prawdopodobieństwem”),

{L.}^{mi} = \ln θ_{0} \sum_{ja = 1}^{n} x_{ja} + (n - \sum_{ja = 1}^{n} x_{ja}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

Warunki pierwszego rzędu dla maksimum to

\frac{\sum_{ja = 1}^{n} x_{ja}}{θ_{0}} + λ = 0, \frac{n - \sum_{ja = 1}^{n} x_{ja}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

dla którego uzyskujemy relację

\frac{\sum_{ja = 1}^{n} x_{ja}}{θ_{0}} = \frac{n - \sum_{ja = 1}^{n} x_{ja}}{θ_{1}} \Rightarrow θ_{1} \sum_{ja = 1}^{n} x_{ja} = (n - \sum_{ja = 1}^{n} x_{ja}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

używając ograniczenia, na mocy którego powyższe są poprawne, otrzymujemy $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{ja = 1}^{n} x_{ja} = (n - \sum_{ja = 1}^{n} x_{ja}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{ja = 1}^{n} x_{ja} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{ja = 1}^{n} x_{ja}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

tak jak powinniśmy.

Ponadto, ponieważ ograniczenie jest liniowe we wszystkich parametrach, jego drugie pochodne będą wynosić zero. Odzwierciedla to fakt, że w pierwszych pochodnych lagrangeanu mnożnik „stoi sam” i zostanie wyeliminowany, gdy weźmiemy drugie pochodne lagrangeanu. Co z kolei doprowadzi nas do Heskiego, którego wyznacznik będzie równy (jednowymiarowej) drugiej pochodnej pierwotnego prawdopodobieństwa logarytmu jednoparametrowego, po nałożeniu również ograniczenia (co robi OP). Zatem przyjęcie ujemnej wartości oczekiwanej w obu przypadkach nie zmienia tej matematycznej równoważności i dochodzimy do relacji „jednowymiarowa informacja Fishera = wyznacznik dwuwymiarowej informacji Fishera”. Teraz $\lambda$ biorąc pod uwagę, że ograniczenie jest liniowe we wszystkich parametrach, OP uzyskuje ten sam wynik (na poziomie drugiej pochodnej) bez wprowadzania ograniczenia z mnożnikiem w funkcji, która ma zostać zmaksymalizowana, ponieważ na drugim poziomie pochodnej obecność / działanie ograniczenie w takim przypadku znika.

Wszystko to dotyczy rachunku różniczkowego, a nie statystycznego.

Alecos Papadopoulos
źródło

Nie mogę podążać za twoją logiką. Czy mógłbyś wyjaśnić, dlaczego podobne do Lagrangeana jest uważane za „poprawne rozszerzone”, „dwuparametrowe” prawdopodobieństwo dziennika? Poza tym Hesjan jest dla mnie całkowicie tajemniczy. Czy obliczasz zaobserwowaną matrycę informacji?

L^{e}

$L^e$

Khashaa

@ Khashaa Ustalono terminologię, że „Hesjan” jest macierzą drugich pochodnych funkcji wielowymiarowej.

Alecos Papadopoulos

Przydałoby się, aby tutaj downvoters opublikowali odpowiedź - ponieważ konkretny przykład PO istnieje - i wymaga wyjaśnienia.

Alecos Papadopoulos

Przepraszam, jeśli moje pytanie było niejasne. Moje pytanie dotyczyło sposobu, w jaki połączyłeś Hesję z matrycą informacji, ponieważ nie widziałem żadnych oczekiwań, a wynik wydawał się obserwowaną matrycą informacji. Poza tym, czy możesz wyjaśnić, dlaczego ma poprawne prawdopodobieństwo logiczne? Wydaje mi się, że używasz jakiejś opartej na zasadach metody oceny ograniczonego prawdopodobieństwa, ale nie rozumiem, jak to działa.

L^{e}

$L^e$

Khashaa

@Khashaa Dodałem ekspozycję na przykładzie OP.

Alecos Papadopoulos