Rozkład MSE do wariancji i odchylenia kwadratowego

Pokazując, że MSE można rozłożyć na wariancję plus kwadrat odchylenia, dowód w Wikipedii ma krok, zaznaczony na zdjęciu. Jak to działa? W jaki sposób oczekiwanie jest przenoszone na produkt z 3 na 4 etap? Jeśli te dwa warunki są niezależne, czy nie należy stosować oczekiwań do obu warunków? a jeśli nie są, czy ten krok jest ważny? wprowadź opis zdjęcia tutaj

random-variable expected-value mse statBeginner
źródło

Odpowiedzi:

Sztuka polega na tym, że jest stałą. $\mathbb{E}(\hat{\theta}) - \theta$

AdamO
źródło

Rozumiem. Jedyną niewiadomą jest estymator. Dobrze?

statBeginner,

Tak. Przyjmowanie oczekiwań oznacza, że estymator przechodzi do wszystkiego, co szacuje, dlatego

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

przyjmuje

Przepraszam, to zdanie nie ma dla mnie większego sensu. Jeśli estymator poszedłby do tego, co szacował, czy nie uczyniłoby to go obiektywnym? Czy można to wyjaśnić, mówiąc: = = = 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

user1158559

@ user1158559 termin produktu w środku jest stałą razy coś o oczekiwanej wartości 0. Nawet jeśli theta-hat jest tendencyjny, to wciąż jest stały razy 0.

AdamO 18.04.17

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$ jest zmienną, a nie stałą. Sztuczka jest również mniej trywialna i z stała nie staje się 0 jako domyślna (na przykład ). Prawdziwa sztuczka polega na tym, że jest stałą (i można ją wyjąć z całki), więc

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

Sextus Empiricus

Odpowiedź Adama jest poprawna na temat sztuczki, w której jest stałą. Pomaga jednak znaleźć wynik końcowy i nie wyjaśnia jasno pytania o konkretny krok w artykule na Wikipedii (edytuj: który, jak widzę, był niejednoznaczny, jeśli chodzi o wyróżnienie i krok od linii trzeciej do linii czwartej). $E(\hat{\theta}) - \theta$

(zwróć uwagę, że pytanie dotyczy zmiennej , która różni się od stałej w odpowiedzi Adama. Napisałem to źle w moim komentarzu. Rozszerzając terminy dla większej przejrzystości: zmienna jest szacowana , stałe są oczekiwaniem na to oszacowanie i prawdziwa wartość ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Sztuczka 1: Zastanów się

zmienna $x=\hat{\theta}$

stała $a=\mathbb{E}\left[ \hat{\theta} \right]$

i stała $b = \theta$

Następnie relację można łatwo napisać za pomocą reguł transformacji wyrażających momenty zmiennej o w kategoriach momentów zmiennej o . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Sztuczka 2: Po raz drugi powyższa formuła ma w podsumowaniu trzy terminy. Możemy wyeliminować jeden z nich (przypadek ), ponieważ $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Tutaj można również argumentować, że coś jest stałe. Mianowicie jeśli jest stałą i używając , która jest stałą, otrzymujesz . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

Bardziej intuicyjnie: uczyniliśmy moment około , równy momentowi środkowemu (a nieparzyste momenty centralne wynoszą zero). Dostajemy trochę tautologii. Odejmując średnią ze zmiennej, , generujemy zmienną o średniej zero. A średnia „zmiennej ze średnią zero” wynosi zero. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

Artykuł w Wikipedii wykorzystuje te dwie sztuczki odpowiednio w trzeciej i czwartej linii.

Zagnieżdżone oczekiwanie w trzeciej linii

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

upraszcza się, biorąc stałą część poza nią (sztuczka 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
Termin rozwiązuje się (jako równy zeru), wykorzystując fakt, że zmienna ma zero (sztuczka 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

Sextus Empiricus
źródło

$E(\hat{\theta}) - \theta$ nie jest stałą.

Komentarz @ user1158559 jest właściwie poprawny:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

mały potwór
źródło

Nie widzę tego, co próbujesz pokazać. Również odchylenie może nie być zerowe, ale to nie znaczy, że nie jest stałe.

Michael R. Chernick

Nie jest to stałe, ponieważ gdzie to dane treningowe, które są również zmienną losową. Zatem jego oczekiwanie nie jest stałe.

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

little_monster,

Ponadto fakt, że nie jest on stały lub nie, nie może wyjaśnić, w jaki sposób krok 4 jest możliwy od kroku 3. Z drugiej strony komentarz @ user1158559 wyjaśnia to.

little_monster,

@Michael, doszło do zamieszania na temat tego pytania. Podświetlona część zawiera to wyrażenie , ale w tekście pytania wspomniano, że tak jest o zmianie z trzeciej linii na czwartą linię, zmieniając zagnieżdżanie oczekiwań.

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

Sextus Empiricus