Co to jest kompromis wariancji odchylenia dla współczynników regresji i jak je uzyskać?

9

W tym artykule ( Bayesian Inference for Variance Components using Only Error Contrasts , Harville, 1974), autor twierdzi

(y - X β)^{'} {H.}^{- 1} (y - X β) = (y - X \hat{β})^{'} {H.}^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} {H.}^{- 1} X) (β - \hat{β})

$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$ być „znaną relacją” dla regresji liniowej

y = X β + ϵ,

$y=X\beta+\epsilon,$ gdzie

ϵ \sim N. (0, H.) .

$\epsilon\sim\mathcal{N}(0, H).$

Jak to jest dobrze znane? Jak najłatwiej to udowodnić?

regression regression-coefficients heteroscedasticity bias linear-algebra Hazard Sibbs
źródło

1

Jest na wikipedii , patrz „wyprowadzanie” tam.

user603

@ user603 Czy masz coś przeciwko, aby link był wyraźniejszy? Dzięki!

Sibbs Gambling

@ user603 Niestety nie widzę, jak link rozwiązuje problem. Dla mnie w moim przypadku równanie to Var (y) = stronniczość + ... Czy możesz to rozwinąć?

Sibbs Gambling

4

@SibbsGambling Pamiętaj, że twoje równanie ma dwa terminy związane z wariancją w tym sformułowaniu ważonej regresji liniowej . Termin po lewej jest związany z wariancją wokół prawdziwego modelu (ważoną macierzą dokładności)

H^{- 1}

$H^{-1}$ ). Pierwszy termin po prawej dotyczy wariancji wokół dopasowanych modeli. Drugi termin po prawej jest związany z kwadratem błędu. To jest kompromis polegający na odchyleniu wariancji.

EdM

6

Ostatni termin w równaniu można zapisać jako

(X β - X \hat{β})^{'} {H.}^{- 1} (X β - X \hat{β}) .

$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$

W tej formie równanie mówi coś interesującego. Zarozumiały $H$ jest dodatnia określona i symetryczna, podobnie jak jej odwrotność. Dlatego możemy zdefiniować produkt wewnętrzny $<x, y>_{H^{-1}} = x'H^{-1}y$ , dając nam geometrię. Zatem powyższa równość zasadniczo mówi, że:

(X β - X \hat{β}) ⊥ (y - X \hat{β}) .

$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$

Chciałem dać ci trochę intuicji, ponieważ komentator już zostawił link do pochodnej.

Edycja: Dla potomności

LHS:

\begin{array}{rcl} (y - X β)^{'} {H.}^{- 1} (y - X β) & = & y^{'} {H.}^{- 1} y & - & 2) y^{'} {H.}^{- 1} X β & + & β^{'} X^{'} {H.}^{- 1} X β \\ = & (ZA) & - & (b) & + & (do) \end{array}

$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$

RHS:

(y - X \hat{β})^{'} {H.}^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} {H.}^{- 1} X) (β - \hat{β})

$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

\begin{array}{rcl} = & y^{'} {H.}^{- 1} y & - 2) y^{'} {H.}^{- 1} X \hat{β} & + {\hat{β}}^{'} X^{'} {H.}^{- 1} X \hat{β} & + β X^{'} {H.}^{- 1} X β & - 2) \hat{β} X^{'} {H.}^{- 1} X β & + {\hat{β}}^{'} X^{'} {H.}^{- 1} X \hat{β} \\ = & (ZA) & - (re) & + (mi) & + (do) & - (fa) & + (mi) \end{array}

$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$

Relacja:

\hat{β} = (X^{'} {H.}^{- 1} X)^{- 1} X^{'} {H.}^{- 1} y

$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

Podłączając relację możesz pokazać, że (B) = (F) i że 2 (E) = (D). Wszystko gotowe.

jlimahaverford
źródło

Niestety nie widzę, jak link rozwiązuje problem. Dla mnie w moim przypadku równanie to Var (y) = stronniczość + ... Czy możesz to rozwinąć?

Sibbs Gambling

@SibbsGambling zredagował moją odpowiedź, w tym wyprowadzenie.

jlimahaverford,

@ jlimahaverford nie zapominasz

y

$y$ na końcu wzoru na

\hat{β}

$\hat{\beta}$ ?

Gumeo

7

Dochodzą do tej tożsamości techniką zwaną uzupełnianiem kwadratu. Lewa strona ma kwadratową formę, więc zacznij od pomnożenia

(y - X β)^{'} {H.}^{- 1} (y - X β) = y^{'} {H.}^{- 1} y - 2) y^{'} {H.}^{- 1} X β + β^{'} X^{'} {H.}^{- 1} X β

$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$

kontynuuj, a następnie przepisz w kategoriach $\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$ . Algebra jest jakby długa, ale googlująca się po kwadracie w regresji bayesowskiej i można znaleźć wiele wskazówek. Na przykład zobacz wikipedię na temat regresji liniowej Bayesa i inne odpowiedzi CrossValided dotyczące wypełnienia kwadratu, tak jak tutaj .

bill_e
źródło

2

Jeśli znasz swoją algebrę macierzy, powinno to być możliwe poprzez pomnożenie wszystkiego i sprawdzenie, czy rzeczywiście masz to samo po obu stronach. To właśnie wykazał jlimahaverford.

Aby to zrobić, potrzebujesz wzoru na oszacowanie $\hat{\beta}$ . Możemy wyprowadzić wzór w podobny sposób jak dla regresji liniowej, gdy mamy nieskorelowane terminy błędów. Sztuką jest standaryzacja.

Oto kilka informacji na temat standaryzacji RV, która pochodzi z wielowymiarowego rozkładu normalnego. Załóżmy, że masz

X \sim N. (μ, Σ) .

$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$

Σ

$\Sigma$ jest pozytywnie określony, więc można go podzielić na czynniki pierwsze

Σ = P P^{T}

$\Sigma = PP^T$ . Teraz zmienna losowa

Y = {P.}^{- 1} (X - μ)

$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$ pochodzi z dystrybucji

N (0, I)

$\mathcal{N}(0,I)$ . Teraz możemy użyć tej sztuczki, aby znaleźć problem

\hat{β}

$\hat{\beta}$ . Rozłóżmy na czynniki

H = P P^{T}

$H=PP^T$ . Mamy

\begin{aligned} y & = X β + ϵ \\ {P.}^{- 1} y & = {P.}^{- 1} X β + {P.}^{- 1} ϵ \end{aligned}

$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$ Teraz

ϵ

$\epsilon$ został znormalizowany, tak że

cov (P^{- 1} ϵ) = I

$\text{cov}(P^{-1}\epsilon)=I$ , dzięki czemu możemy teraz traktować to jako prosty model wielokrotnej regresji liniowej, w którym:

\tilde{X} = {P.}^{- 1} X, \tilde{y} = {P.}^{- 1} y i \tilde{ϵ} = {P.}^{- 1} ϵ .

$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$ Mamy więc problem z regresją:

\tilde{y} = \tilde{X} β + \tilde{ϵ}

$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$ Wzór na

\hat{β}

$\hat{\beta}$ jest

\begin{aligned} \hat{β} & = ({\tilde{X}}^{T.} \tilde{X})^{- 1} {\tilde{X}}^{T.} \tilde{y} \\ = (({P.}^{- 1} X)^{T.} {P.}^{- 1} X)^{- 1} ({P.}^{- 1} X)^{T.} {P.}^{- 1} y \\ = (X^{T.} (P. {P.}^{T.})^{- 1} X)^{- 1} X (P. {P.}^{T.})^{- 1} y \\ = (X^{T.} {H.}^{- 1} X)^{- 1} X {H.}^{- 1} y \end{aligned}

$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$ To jest klucz do tego, reszta to manipulacja algebraiczna pokazana w rozwiązaniu przez jlimahaverford.

Gumeo
źródło

Co to jest kompromis wariancji odchylenia dla współczynników regresji i jak je uzyskać?

Odpowiedzi: