Macierz kowariancji dla procesu Gaussa i rozkładu Wishart

Czytam ten artykuł na temat ogólnych procesów Wishart (GWP). Artykuł oblicza kowariancje między różnymi zmiennymi losowymi (zgodnie z procesem Gaussa ) za pomocą kwadratowej funkcji kowariancji wykładniczej, tj. . Następnie mówi, że ta macierz kowariancji jest zgodna z GWP. $K(x,x') = \exp\left(-\frac{|(x-x')|^2}{2l^2}\right)$

Kiedyś myślałem, że macierz kowariancji obliczona z liniowej funkcji kowariancji ( ) $K(x,x') = x^Tx'$ , podąża za rozkładem Wishart z odpowiednimi parametrami.

Moje pytanie brzmi: w jaki sposób możemy nadal zakładać, że kowariancja podąża za rozkładem Wisharta z kwadratową wykładniczą funkcją kowariancji? Ponadto, ogólnie, jaki jest konieczny warunek dla funkcji kowariancji do wytworzenia macierzy kowariancji rozproszonej Wishart?

machine-learning normal-distribution covariance wishart nonparametric-bayes steadyfish
źródło

To, co się pomieszało, to specyfikacja kowariancji pod względem przestrzeni otoczenia, w której zdefiniowany jest proces Gaussa, oraz operacja, która przekształca losową zmienną Gaussa o skończonym wymiarze w celu uzyskania rozkładu Wishart.

Jeśli jest wymiarową zmienną losową Gaussa (wektor kolumny) ze średnią 0 i macierzą kowariancji , rozkład jest rozkładem Wishart . Zauważ, że jest macierzą . Jest to ogólny wynik tego, w jaki sposób kwadratowa forma przekształca rozkład Gaussa w rozkład Wishart. Dotyczy dowolnego wyboru dodatniej określonej macierzy kowariancji . Jeśli masz obserwacje $\mathbf{X} \sim \mathcal{N}(0, \Sigma)$ $p$ $\Sigma$ $\mathbf{W} = \mathbf{X} \mathbf{X}^T$ $W_p(\Sigma, 1)$ $\mathbf{W}$ $p \times p$

x \mapsto x x^{T}

$\mathbf{x} \mapsto \mathbf{x} \mathbf{x}^T$

Σ

$\Sigma$

X_{1}, \dots, X_{n}

$\mathbf{X}_1, \ldots, \mathbf{X}_n$ następnie z dystrybucja jest Wishart -dystrybucja. Dzieląc przez , otrzymujemy empiryczną macierz kowariancji oszacowanie .

W_{i} = X_{i} X_{i}^{T}

$\mathbf{W}_i = \mathbf{X}_i \mathbf{X}_i^T$

W_{1} + \dots + W_{n}

$\mathbf{W}_{1} + \ldots + \mathbf{W}_n$

W_{p} (Σ, n)

$W_p(\Sigma, n)$

n

$n$

-

$-$

Σ

$\Sigma$

Dla procesów gaussowskich istnieje przestrzeń otoczenia, powiedzmy dla ilustracji, że jest to , tak że rozważane zmienne losowe są indeksowane przez elementy w przestrzeni otoczenia. Oznacza to, że rozważamy proces . Jest Gaussowski (i dla uproszczenia, tutaj ze średnią 0), jeśli jego skończone wymiarowe rozkłady brzeżne są Gaussowskie, to znaczy, jeśli dla wszystkich . Wybór funkcji kowariancji , jak wspomniano w OP, określa macierz kowariancji, czyli $\mathbb{R}$ $(X(x))_{x \in \mathbb{R}}$

X (x_{1}, \dots, x_{p}) := (X (x_{1}), \dots, X (x_{p}))^{T} \sim N (0, Σ (x_{1}, \dots, x_{p}))

$\mathbf{X}(x_1, \ldots, x_p) := (X(x_1), \ldots, X(x_p))^T \sim \mathcal{N}(0, \Sigma(x_1, \ldots, x_p))$

x_{1}, \dots, x_{p} \in R

$x_1, \ldots, x_p \in \mathbb{R}$

cov (X (x_{i}), X (x_{j})) = Σ (x_{1}, \dots, x_{p})_{i, j} = K (x_{i}, x_{j}) .

$\text{cov}(X(x_i), X(x_j)) = \Sigma(x_1, \ldots, x_p)_{i,j} = K(x_i, x_j).$ Niezależnie od wyboru rozkład będzie Wishart -dystrybucja.

K

$K$

X (x_{1}, \dots, x_{p}) X (x_{1}, \dots, x_{p})^{T}

$\mathbf{X}(x_1, \ldots, x_p) \mathbf{X}(x_1, \ldots, x_p)^T$

W_{p} (Σ (x_{1}, \dots, x_{p}), 1)

$W_p(\Sigma(x_1, \ldots, x_p), 1)$

NRH
źródło

Dziękuję za odpowiedź. Mam kilka pytań, reg. twoja odpowiedź -Gdy powiesz, że transformacja przekształcająca dystans Gaussa w dystans Wishart ma dowolny wybór + ve określonej macierzy cov, jakie mamy różne wybory dla tej macierzy cov? Również, aby wyjaśnić - dla macierzy cov zdefiniowanej przez funkcję cov, i i j wskazują elementy w przestrzeni otoczenia Procesu Gaussa (na przykład, jeśli jest to proces czasowy, to momenty t_1 it_2)?

steadyfish,

@steadyfish, tak, wskaźniki i odnoszą się do punktów i w przestrzeni otoczenia, a dla procesu czasowego do dwóch punktów czasowych. Macierze kowariancji są zawsze dodatnie (pół) określone. Sformułowanie nie miało na celu ograniczenia wyniku w żaden sposób, ale raczej podkreślenie, że dotyczy dowolnego wyboru o ile jest macierzą kowariancji. Pominąłem możliwość, że może być tylko pół-skończona, aby uniknąć zaśmiecania odpowiedzi nieistotnymi kwestiami dotyczącymi pojedynczych rozkładów normalnych itp.

i

$i$

j

$j$

x_{i}

$x_i$

x_{j}

$x_j$

Σ

$\Sigma$

-

$-$

Σ

$\Sigma$

Σ

$\Sigma$

NRH

Dzięki @NRH. Chodzi mi o przestrzeń otoczenia. Jeśli chodzi o macierz kowariancji, moje pytanie dotyczyło tego, czy istnieje inny sposób definiowania macierzy kowariancji oprócz (a nie o dodatniej określonej lub dodatniej właściwości semidefinite). (Mam nadzieję, że tym razem pytanie jest jasne!)

x^{T} x

$x^{T}x$

steadyfish 05.04.13

@steadyfish, och, rozumiem. W rzeczywistości byłem niechlujny z transpozycjami i czy wektory były wektorami rzędowymi czy kolumnowymi. Uściśliłem to teraz i dodałem trochę o związku między empiryczną macierzą kowariancji a teoretyczną macierzą kowariancji. Teoretyczna nie jest zdefiniowana w kategoriach obserwacji.

NRH

Macierz kowariancji dla procesu Gaussa i rozkładu Wishart

Odpowiedzi: