Aktualizacja bayesowska o nowe dane

Jak przejść do obliczania tylnej z wcześniejszym N ~ (a, b) po zaobserwowaniu n punktów danych? Zakładam, że musimy obliczyć średnią próbki i wariancję punktów danych i wykonać jakieś obliczenia, które łączą tylną z wcześniejszą, ale nie jestem pewien, jak wygląda wzór kombinacji.

Podstawową ideą aktualizacji bayesowskiej jest to, że biorąc pod uwagę niektóre dane $X$ i wcześniejsze parametry niż parametr $\theta$ , gdzie relacja między danymi a parametrem jest opisana za pomocą funkcji prawdopodobieństwa , używasz twierdzenia Bayesa, aby uzyskać później

$$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$$

Można to zrobić sekwencyjnie, gdy po zobaczeniu pierwszego punktu danych przed aktualizacją θ zostanie zaktualizowany do tylnej θ ′ , następnie możesz wziąć drugi punkt danych x 2 i użyć$x_1$ $\theta$ $\theta'$$x_2$ tylnej uzyskanej przed jako swojego wcześniejszego , aby zaktualizować go ponownie itp.$\theta'$

Dam ci przykład. Wyobraź sobie, że chcesz oszacować średnią rozkładu normalnego, a σ 2 jest ci znane. W takim przypadku możemy zastosować model normalny-normalny. Zakładamy normalną wcześniej dla μ z hiperparametrami μ 0 , σ $\mu$$\sigma^2$$\mu$$\mu_0,\sigma_0^2:$

$$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$$

Od rozkładu normalnego jest koniugat przed dla rozkładu normalnego, mamy zamknięty w postaci roztworu w celu zaktualizowania przed$\mu$

$$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$$

Niestety, takie proste rozwiązania w formie zamkniętej nie są dostępne dla bardziej wyrafinowanych problemów i musisz polegać na algorytmach optymalizacyjnych (dla szacunków punktowych przy użyciu podejścia maksymalnie a posteriori ) lub symulacji MCMC.

Poniżej możesz zobaczyć przykład danych:

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

Jeśli spiszesz wyniki, zobaczysz, jak to zrobić posterunek podchodzi do oszacowanej wartości (jej prawdziwa wartość jest oznaczona czerwoną linią) w miarę gromadzenia nowych danych.

Aby dowiedzieć się więcej, sprawdź te slajdy i analizę sprzężoną bayesowską Gaussowskiego dokumentu dystrybucyjnego autorstwa Kevina P. Murphy'ego. Sprawdź także Czy priory bayesowskie stają się nieistotne przy dużej liczebności próby? Możesz także sprawdzić te notatki i ten wpis na blogu na aby uzyskać dostęp do krok po kroku wstępnego wnioskowania bayesowskiego.

$P(\theta)$$P(x \mid \theta)$

$$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$$

$P(x)$

$$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$$

$\sim$

Przypadek sprzężonych priorów (gdzie często dostajesz ładne formuły zamknięte)

$\boldsymbol{\theta}$$P(\boldsymbol{\theta})$$P(\mathbf{x} \mid \boldsymbol{\theta})$$P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$ należą do tej samej rodziny (np. Oba gaussowskie).

Tabela rozkładów sprzężonych może pomóc w zbudowaniu intuicji (a także dać kilka pouczających przykładów, jak przepracować siebie).

Jest to główny problem obliczeniowy dla analizy danych bayesowskich. To naprawdę zależy od danych i zaangażowanych dystrybucji. W prostych przypadkach, w których wszystko można wyrazić w formie zamkniętej (np. Z sprzężonymi priory), można bezpośrednio zastosować twierdzenie Bayesa. Najpopularniejszą rodziną technik dla bardziej skomplikowanych przypadków jest sieć Markov Monte Carlo. Szczegółowe informacje można znaleźć w dowolnym podręczniku na temat analizy danych bayesowskich.