Wyjaśnienie w geometrii informacji

To pytanie dotyczy artykułu Różnicowa geometria zakrzywionych rodzin wykładniczych-krzywizny i utraty informacji autorstwa Amari.

Tekst wygląda następująco.

Niech będzie wymiarowym kolektorem rozkładów prawdopodobieństwa z układem współrzędnych , gdzie zakłada się ... $S^n=\{p_{\theta}\}$ $n$ $\theta=(\theta_1,\dots,\theta_n)$ $p_{\theta}(x)>0$

Możemy uznać każdy punkt o a przeprowadzania funkcji z ... $\theta$ $S^n$ $\log p_{\theta}(x)$ $x$

Niech będzie przestrzenią styczną w , która z grubsza jest utożsamiana z linearyzowaną wersją małego sąsiedztwa w . Niech będą naturalną podstawą powiązanego ze skoordynowanym układem ... $T_{\theta}$ $S^n$ $\theta$ $\theta$ $S^n$ $e_i(\theta), i=1,\dots,n$ $T_{\theta}$

Ponieważ każdy punkt z niesie funkcję z , naturalne jest, że w reprezentuje funkcję $\theta$ $S^n$ $\log p_{\theta}(x)$ $x$ $e_i(\theta)$ $\theta$

e_{i} (θ) = \frac{\partial}{\partial θ_{i}} \log p_{θ} (x) .

$e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x).$

Nie rozumiem ostatniego stwierdzenia. Pojawia się to w sekcji 2 wyżej wymienionego artykułu. W jaki sposób podstawę przestrzeni stycznej określa powyższe równanie? Byłoby pomocne, gdyby ktoś w tej społeczności zaznajomiony z tego rodzaju materiałami mógł mi to pomóc. Dzięki.

Aktualizacja 1:

Chociaż zgadzam się, że (od @aginensky) jeśli są liniowo niezależni, to są również liniowo niezależne, to, w jaki sposób są one członkami przestrzeni stycznej, nie jest bardzo jasne. Jak więc można uznać za podstawę przestrzeni stycznej. Każda pomoc jest mile widziana. $\frac{\partial}{\partial\theta_i}p_{\theta}$ $\frac{\partial}{\partial\theta_i}\log p_{\theta}$ $\frac{\partial}{\partial\theta_i}\log p_{\theta}$

Aktualizacja 2:

@aginensky: W swojej książce Amari mówi:

Rozważmy przypadek, w którym , zbiór wszystkich (ściśle) pozytywnych miar prawdopodobieństwa na , gdzie traktujemy jako podzbiór . W rzeczywistości jest otwartym podzbiorem przestrzeni afinicznej . $S^n=\mathcal{P}(\mathcal{X})$ $\mathcal{X}=\{x_0,\dots,x_n\}$ $\mathcal{P}(\mathcal{X})$ $\mathbb{R}^{\mathcal{X}}=\{X\big|X:\mathcal{X}\to \mathbb{R}\}$ $\mathcal{P}(\mathcal{X})$ $\{X\big |\sum_x X(x)=1\}$

Następnie przestrzeń styczna z w każdym miejscu mogą być oczywiście określone liniowymi podprzestrzeń . Dla naturalnej podstawy układu współrzędnych , mamy . $T_p(S^n)$ $S^n$ $\mathcal{A}_0=\{X\big |\sum_x X(x)=0\}$ $\frac{\partial}{\partial\theta_i}$ $\theta=(\theta_1,\dots,\theta_n)$ $(\frac{\partial}{\partial\theta_i})_{\theta}=\frac{\partial}{\partial\theta_i}p_{\theta}$

Następnie weźmy kolejne osadzanie i zidentyfikujmy za pomocą podzbioru z . Wektor styczny jest następnie reprezentowany przez wynik działania na , które oznaczamy przez . W szczególności mamy . Oczywiste jest, że i że $p\mapsto \log p$ $S^n$ $\log S^n:=\{\log p\big |p\in S^n\}$ $\mathbb{R}^{\mathcal{X}}$ $X\in T_p(S^n)$ $X$ $p\mapsto \log p$ $X^{(e)}$ $(\frac{\partial}{\partial\theta_i})_{\theta}^{(e)}=\frac{\partial}{\partial\theta_i}\log p_{\theta}$ $X^{(e)}=X(x)/p(x)$

T_{p}^{(e)} (S^{n}) = {X^{(e)} | X \in T_{p} (S^{n})} = {A \in R^{X} | \sum_{x} A (x) p (x) = 0} .

$T_p^{(e)}(S^n)=\{X^{(e)}\big |X\in T_p(S^n)\}=\{A\in \mathbb{R}^{\mathcal{X}}\big |\sum_x A(x)p(x)=0\}.$

Moje pytanie: jeśli zarówno i są podstawą przestrzeni stycznej, to czy nie byłoby to sprzeczne z fakt, że i są różne i ? $\frac{\partial}{\partial\theta_i}$ $(\frac{\partial}{\partial\theta_i})^{(e)}$ $T_p$ $T_p^{(e)}$ $\frac{\partial}{\partial\theta_i}^{(e)}\in T_p^{(e)}$

Wydaje mi się, że istnieje związek między ( ) i . Jeśli możesz to wyjaśnić, byłoby to bardzo pomocne. Możesz dać to jako odpowiedź. $S^n,T_p$ $(\log S^n,T_p^{(e)})$

mathematical-statistics statistical-learning geometry information-geometry Ashok
źródło

Osobiście rozumiem twoje zamieszanie. Wydaje się, że nie jest naturalne używanie współrzędnych „ ” dla przestrzeni stycznej. Twoje pytanie ma charakter lokalny, więc bierzemy za lokalne współrzędne. Typowe współrzędne dla przestrzeni stycznej to . Biorąc pod uwagę rozsądne warunki gładkości, pochodnej nie znikającej itp., A następnie regułą łańcucha przyjmuje się standardową podstawę przestrzeni stycznej i mnożąc ją przez funkcje, które generalnie nadal będą podstawą .

e_{i} (θ) = \frac{\partial}{\partial θ_{i}} \log p_{θ} (x)

$e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x)$

θ_{i}

$\theta_{i}$

\frac{\partial}{\partial θ_{i}}

$\frac{\partial}{\partial\theta_i}$

p_{θ}

$p_{\theta}$

Meh

Próbowałem edytować swój komentarz dla jasności i nie mogłem tego zrobić. Daj mi znać, jeśli chcesz więcej szczegółów.

Meh

Dziękuję @aginensky: Masz na myśli, ponieważ , to także podstawa dla przestrzeni stycznej, prawda?

\frac{\partial}{\partial θ_{i}} \log p_{θ} (x) = 1 / p_{θ} (x) \frac{\partial}{\partial θ_{i}} p_{θ} (x)

$\frac{\partial}{\partial\theta_i}\log p_{\theta}(x)=1/p_{\theta}(x)\frac{\partial}{\partial\theta_i}p_{\theta}(x)$

Ashok,

Ostateczne stwierdzenie jest (uszkodzoną) wersją jednej definicji przestrzeni stycznej. Ściśle mówiąc, przestrzeń styczna w punkcie rozmaitości różniczkowej jest przestrzenią podwójną (przestrzeń wektorową) w stosunku do przestrzeni pochodnych zarodków funkcji różniczkowalnych w sąsiedztwie tego punktu. Podstawą dla Dual i przez określenie The jest jej podwójne podstawą. Standardowym materiałem źródłowym w tym materiale jest tom 1 geometrii różnicowej Michaela Spivaka , amazon.com/… .

{d θ_{i}}

$\{d\theta_i\}$

{\frac{\partial}{\partial θ_{i}}}

$\{\frac{\partial}{\partial\theta_i}\}$

whuber

@ Ashok - tak. Rozważę to, co napisałem, oparte na zwięzłej wersji jednej definicji przestrzeni stycznej. Oczywiście, ponieważ przestrzeń cotangensowa jest podwójna względem przestrzeni stycznej, można również argumentować, że są prawdziwą podwójną podstawą. W każdym razie, dopóki nie zniknie, myślę, że jesteś dobry.

d θ

$d\theta$

p_{θ}

$p_{\theta}$

Meh

Moje komentarze są tak długie, że zamieszczam je jako odpowiedź.

Myślę, że pytanie jest w tym momencie bardziej filozoficzne niż matematyczne. Mianowicie, co rozumiesz przez spację, aw tym przypadku rozmaitość? Typowa definicja rozmaitości nie obejmuje osadzenia w przestrzeni afinicznej. To jest podejście „nowoczesne” (150 lat?). Na przykład dla Gaussa kolektor był kolektorem ze specyficznym osadzeniem w określonej przestrzeni afinicznej ( ). Jeśli ktoś ma kolektor z osadzeniem w określonym , to przestrzeń styczna (w dowolnym punkcie kolektora) jest izomorficzna do określonej podprzestrzeni przestrzeni stycznej do w tym punkcie. Zauważ, że przestrzeń styczna do w dowolnym punkcie jest identyfikowana z „tym samym” . $R^n$ $R^n$ $R^n$ $R^n$ $R^n$

Myślę, że chodzi o to, że w artykule Amari przestrzeń, którą określa jako zawiera pewne „naturalne” osadzenie w przestrzeni afinicznej ze współrzędnymi dla których można rozważyć jako współrzędne w przestrzeni stycznej . Mógłbym dodać, że jest jasne tylko, czy funkcja jest w pewnym sensie „ogólna” - dla zdegenerowanego to się nie powiedzie. Na przykład, jeśli funkcja nie obejmowała wszystkich zmiennych . Najważniejsze jest to, że to osadzenie kolektora w konkretnym , powoduje specyficzną identyfikację przestrzeni stycznej za pomocą $S^n$ $\theta_{i}$ $p_{\theta}$ $S^n$ $p$ $p$ $\theta_{i}$ $R^n$ $p_{\theta}$ . Kolejnym jego punktem jest to, że ze względu na właściwości może mapować swój rozmaitość za pomocą funkcji logu na inną przestrzeń afiniczną, w której przestrzeń styczna ma inną identyfikację pod względem nowych współrzędnych (logi i ich pochodne). Następnie mówi, że ze względu na właściwości jego sytuacji dwa rozmaitości są izomorficzne, a mapa indukuje izomorfizm w przestrzeniach stycznych. Prowadzi to do identyfikacji (tj. Izomorfizmu) dwóch przestrzeni stycznych. $p$

Kluczową ideą jest to, że dwie przestrzenie styczne nie są tymi samymi zbiorami, ale są po ich poprawnej identyfikacji izomorficzne (co w zasadzie jest po grecku „identyczne”). Na przykład, czy grupa wszystkich permutacji to ta sama grupa co grupa wszystkich permutacji ? Jako prosty eksperyment myślowy, rozważ , dodatnie rzeczywiste odwzorowanie na , wszystkie rzeczywiste pod dziennikiem mapy. Wybierz swoją ulubioną liczbę rzeczywistą i zastanów się, jaka mapa znajduje się na przestrzeniach stycznych. Czy w końcu rozumiem twoje pytanie? Zastrzeżenie jest słuszne, a mianowicie, że geometria różnicowa nie jest moim głównym obszarem specjalizacji. Myślę, że mam rację, ale nie wahaj się krytykować lub wciąż kwestionować tę odpowiedź. $\{1,2,3\}$ $\{a,b,c\}$ $R^{+}$ $R$ $>0$

meh
źródło

Twoje znaczenie słowa „izomorficzny” nie jest w pełni jasne, ale wydaje się, że jest bardzo słabe; mianowicie ta, którą podaje pchnięcie do przodu odwracalnej mapy różniczkowalnej, która jest tylko pewną odwracalną transformacją liniową. Kluczowym pomysłem do wykonywania geometrii jest uzyskanie sensownej i użytecznej metryki Riemanninana zdefiniowanej na rozmaitości. Istotnym sensem „izomorfizmu” byłaby izometria : to znaczy mapa między przestrzeniami stycznymi musi zachowywać odległość.

f_{*}

$f_{*}$

whuber

@whuber. Rzeczywiście, moje komentarze dotyczą jedynie geometrii różnicowej sytuacji i przestrzeni stycznej. Nie jestem wcale pewien, jakie warunki na byłyby konieczne, aby mapa była izometryczna. Ale gdy zrozumiałem pytanie, naprawdę docierało do różnicy między identyfikacją („tą samą”) a izomorfizmem.

p

$p$

meh

@ whuber: Odpowiednia metryka Riemanniana jest podana przez , gdzie . Czy to sugeruje, że można również uznać za wektory styczne?

G = [g_{i, j}]

$G=[g_{i,j}]$

g_{i, j} = \sum_{x} \partial_{i} p_{θ} (x) \partial_{j} \log p_{θ} (x)

$g_{i,j}=\sum_x\partial_i p_{\theta}(x)~\partial_j\log p_{\theta}(x)$

\partial_{j} \log p_{θ}

$\partial_j\log p_{\theta}$

Ashok

Wyjaśnienie w geometrii informacji

Odpowiedzi: