Stosujesz regresję kalenicową dla nieokreślonego układu równań?

Gdy , problem najmniejszych kwadratów, który nakłada sferyczne ograniczenie na wartość można zapisać jako dla zbyt określonego systemu. \ | \ cdot \ | _2 to euklidesowa norma wektora.$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

Odpowiednie rozwiązanie dla $\beta$ podano przez

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ który można wyprowadzić z metody mnożników Lagrange'a ( \ mnożnik to \ lambda$\lambda$ ): $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

Rozumiem, że istnieje właściwość, która

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ Prawa strona przypomina pseudo-odwrotność macierzy regresora $X$ w niedookreślonym przypadku (z dodanym parametrem regularyzacji $\lambda$ ). Czy to oznacza, że ​​można użyć tego samego wyrażenia do przybliżenia $\beta$ dla niedookreślonego przypadku? Czy istnieje oddzielne wyprowadzenie dla odpowiedniego wyrażenia w nieokreślonym przypadku, ponieważ ograniczenie sferyczne jest zbędne z funkcją celu (minimalna norma $\beta$ ):

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

Począwszy od sformułowania problemu regresji kalenicy jako

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

możesz napisać problem jako

$\min \| A\beta - b \|_{2}^{2}$

gdzie

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

i

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

Matryca ma pełnej kolumny powodu części. Zatem problem najmniejszych kwadratów jako unikalne rozwiązanie$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

Pisząc to w kategoriach i , i upraszczając wiele zer, otrzymujemy$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

Nic w tym wyprowadzeniu nie zależy od tego, czy ma więcej wierszy lub kolumn, a nawet od tego, czy ma pełną pozycję. Ta formuła ma zatem zastosowanie do nieokreślonego przypadku. $X$$X$

Algebraicznym faktem jest to, że dla ,$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Mamy więc również możliwość korzystania

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ .

Aby odpowiedzieć na konkretne pytania:

1. Tak, obie formuły działają zarówno dla przypadku nieokreślonego, jak i przypadku nadmiernie określonego. Oni także praca jeśli jest mniejsza niż minimum liczbę wierszy i kolumn . Druga wersja może być bardziej wydajna w przypadku problemów, które nie są określone, ponieważ jest mniejszy niż w tym przypadku. $\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. Nie znam żadnych pochodnych alternatywnej wersji formuły, która zaczyna się od jakiegoś innego problemu z najmniejszymi kwadratami i używa normalnych równań. W każdym razie możesz to uzyskać w prosty sposób, używając odrobiny algebry.

Możliwe, że myślisz o problemie regresji grzbietu w formie

$\min \| \beta \|_{2}^{2}$

z zastrzeżeniem

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

Jednak ta wersja problemu regresji kalenicy po prostu prowadzi do tego samego problemu z tłumieniem najmniejszych kwadratów .$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$