Statystyka walidacji krzyżowej (CV) i ogólne statystyki walidacji krzyżowej (GCV)

Znalazłem potencjalnie sprzeczne definicje dla statystyki walidacji krzyżowej (CV) i statystyki uogólnionej walidacji krzyżowej (GCV) związanej z modelem liniowym (z normalnym, homoscedastycznym wektorem błędu ). $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ $\boldsymbol\varepsilon$

Z jednej strony Golub, Heath i Wahba definiują oszacowanie GCV $\hat{\lambda}$ jako (s. 216)

minimalizator $V\left(\lambda\right)$ podany przez
$V (λ) = \frac{\frac{1}{n} {‖ (I - A (λ)) y ‖}^{2}}{{(\frac{1}{n} t r (I - A (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ gdzie $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

Z drugiej strony Efron definiuje to samo pojęcie, co $V\left(0\right)$ (s. 24), ale przypisuje wprowadzenie tego pojęcia Cravenowi i Wahbie, gdzie jego definicja (s. 377) jest zasadniczo taka sama jak wyżej wymieniona definicja Goluba, Heatha i Wahby.

Czy to oznacza, że $0$ minimalizuje $V\left(\lambda\right)$ ?

Podobnie Golub, Heath i Wahba definiują oszacowanie CV $\lambda$ (s. 217) jako minimalizator

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

gdzie $\beta^{\left(k\right)}\left(\lambda\right)$ jest wartością szacunkową

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

z $\beta$ z $k$ th punkt danych $y_i$ pominięte.

Autorzy przypisują wprowadzenie oszacowania CV (zwanego także oszacowaniem PRESS) Allenowi („PRESS Allena”, ibid.). Jednak w pracy Allena oszacowanie PRESS jest zdefiniowane (s. 126) jako $n P\left(0\right)$ (w artykule Efrona jest to zdefiniowane jako $P\left(0\right)$ (s. 24)).

Znów, czy to oznacza, że $0$ minimalizuje $P\left(\lambda\right)$ ?

Allen, David M. Związek między wyborem zmiennych i analizowaniem danych a metodą prognozowania. Technometrics, tom. 16, nr 1 (luty 1974 r.), S. 125–127
Craven, Peter and Wahba, Grace. Wygładzanie zaszumionych danych za pomocą funkcji splajnu. Numerische Mathematik 31, (1979), s. 377-403
Efron, Bradley. Jak stronniczy jest pozorny poziom błędu regresji logistycznej? Raport techniczny nr 232. Katedra Statystyki, Uniwersytet Stanforda (kwiecień 1985)
Golub, Gene H., Heath and Grace Wahba. Uogólniona walidacja krzyżowa jako metoda wyboru dobrego parametru kalenicy. Technometrics, tom. 21, nr 2 (maj 1979 r.), S. 215–223

cross-validation Evan Aad
źródło

Czy zapomniałeś wspomnieć, że będzie to wyposażone w regresję grzbietu i nie tylko kwadraty? Byłem całkowicie zdezorientowany tym, czym był dopóki nie zobaczyłem tytułów papieru na dole

λ

$\lambda$

shadowtalker

Usuń Uogólnioną Walidację Krzyżową w tytule i dodaj Regresję Ridge'a w tytule. Oto domyślne wartości GridSearchCV () dla RidgeCV ():

HoofarLotusX

Odpowiedzi:

Uważam, że komentarze wskazują na odpowiedź, ale nie mówią wprost. Więc będę tępy.

Cytowana tutaj formuła V jest specyficzna dla liniowej regresji kalenicy. Nie twierdzą, że jest to to samo, co PRESS, twierdzą, że jest to niezmienna rotacja wersja PRESS. Część „niezmienna rotacja” sprawia, że jest to uogólnione.

Artykuł Efrona dotyczy regresji logistycznej dostosowanej do tego kontekstu. Jeśli chcesz zobaczyć tłumaczenie matematyczne między tymi dwoma kontekstami, odpowiednią książką do przeczytania są: Elements of Statistics Learning, 2ed, autorstwa Hastie, Tibshirani i Freedman. Oferują tę książkę bezpłatnie, online: https://web.stanford.edu/~hastie/Papers/ESLII.pdf . Kolejną przydatną lekturą na temat GCV są Uogólnione modele addytywne autorstwa Simona Wooda. Jego leczenie ogólnie integruje GCV z zastosowaniami w regresji i regresji logistycznej.

Jeśli spojrzysz na książkę ESL, str. 244, zobaczysz w zasadzie tę samą symbolikę. Odnoszą się do tego dużego produktu matrycowego, który macie jako Matryca Smoothera (powiedziałbym, że jest to matryca Hat lub bliski kuzyn). Opisują Smoother jako mapowanie od do $S$ $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ może być użyte do obliczenia pominięcia jednej wartości CV, jednej dla każdego wiersza w danych. Dla modeli liniowych The matryca odgrywa rolę matrycy kapelusz w diagnostyce regresji. Mówią jednak, że może to być trudne obliczeniowo lub niepotrzebne, aby to rozwiązać, a podejście GCV jest nieco bardziej ogólną wersją tego samego pomysłu. $S$

Oferują formułę przybliżenia GCV:

G C V (\hat{f}) = \frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i} - \hat{f} (x_{i})}{1 - t r a c e (S) / N}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

W wielu modelach jest to bardzo podobne zachowanie do AIC. efektywna ilość parametrów. $trace{S}$

$n\lambda$ kawałek cytujesz jest bardziej ogólnie śladem . O ile rozumiem, w abstrakcyjnej wersji GCV jest przybliżoną wersją pomijania jednej krzyżówki, ale w niektórych przypadkach (uważam, że regresja grzbietu) jest dokładna. To główny punkt w pracy Goluba. $S$

Powodzenia, odpisz, jeśli dowiesz się więcej.

pauljohn32
źródło

Dzięki. Zadałem pytanie ponad 5 lat temu i od tego czasu zapomniałem większość tego materiału, więc nie mogę ocenić twojej odpowiedzi, aby stwierdzić, czy jest dobra (która wydaje się być) czy zła, i z tego powodu Ja też nie mogę tego zaakceptować. Ale dziękuję za opublikowanie. Mamy nadzieję, że przyda się innym osobom, które mogą natknąć się na tę stronę.

Evan Aad