Czytałem opis regresji grzbietu w Applied Linear Statistics Models , 5th Ed, rozdział 11. Regresję grzbietu wykonuje się na podstawie danych tkanki tłuszczowej dostępnych tutaj .
Podręcznik pasuje do danych wyjściowych w SAS, gdzie współczynniki przekształcone wstecz są podane w dopasowanym modelu jako:
Pokazuje to SAS:
proc reg data = ch7tab1a outest = temp outstb noprint;
model y = x1-x3 / ridge = 0.02;
run;
quit;
proc print data = temp;
where _ridge_ = 0.02 and y = -1;
var y intercept x1 x2 x3;
run;
Obs Y Intercept X1 X2 X3
2 -1 -7.40343 0.55535 0.36814 -0.19163
3 -1 0.00000 0.54633 0.37740 -0.13687
Ale R daje bardzo różne współczynniki:
data <- read.table("http://www.cst.cmich.edu/users/lee1c/spss/V16_materials/DataSets_v16/BodyFat-TxtFormat.txt",
sep=" ", header=FALSE)
data <- data[,c(1,3,5,7)]
colnames(data)<-c("x1","x2","x3","y")
ridge<-lm.ridge(y ~ ., data, lambda=0.02)
ridge$coef
coef(ridge)
> ridge$coef
x1 x2 x3
10.126984 -4.682273 -3.527010
> coef(ridge)
x1 x2 x3
42.2181995 2.0683914 -0.9177207 -0.9921824
>
Czy ktoś może mi pomóc zrozumieć, dlaczego?
r
sas
ridge-regression
B_Miner
źródło
źródło
Odpowiedzi:
Choć regresja kalenicy na początku wygląda jak prosty algorytm, diabeł tkwi w szczegółach. Najwyraźniej oryginalne zmienne są skalowane, a parametr nie jest parametrem, o którym można by sądzić, że ma oryginalny opis. Z tego, co zebrałem, czytając odniesienie podane na stronie pomocy R, nie ma jednego uzgodnionego sposobu przeprowadzenia regresji grzbietu. Tak więc różnicę w wynikach można wyjaśnić jedynie różnymi algorytmami stosowanymi przez R i SAS. Mam nadzieję, że ktoś bardziej kompetentny może udzielić bardziej szczegółowej odpowiedzi.λ
lm.ridge
Możesz zobaczyć, jakiego rodzaju algorytm stosuje się w R, patrząc na źródło
lm.ridge
. Po prostu wpiszlm.ridge
znak zachęty R.źródło
Użycie lm.ridge tworzy również wektor skalowania (wypróbuj głowicę (model), aby zobaczyć wszystkie dane wyjściowe). Aby uzyskać przewidywane wartości w R, które widzisz w SAS, weź współczynniki i podziel przez wektor skalarny.
źródło