Patrzę na użycie lasso jako metody wybierania cech i dopasowywania modelu predykcyjnego do celu binarnego. Poniżej znajduje się kod, z którym bawiłem się, aby wypróbować metodę ze znormalizowaną regresją logistyczną.
Moje pytanie brzmi: otrzymuję grupę „znaczących” zmiennych, ale czy jestem w stanie uporządkować je w celu oszacowania względnej ważności każdej z nich? Czy współczynniki można znormalizować w tym celu rangi według wartości bezwzględnej (rozumiem, że są pokazane w oryginalnej skali zmiennej poprzez coef
funkcję)? Jeśli tak, jak to zrobić (używając standardowego odchylenia xiy) Standaryzuj współczynniki regresji .
PRZYKŁADOWY KOD:
library(glmnet)
#data comes from
#http://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Diagnostic)
datasetTest <- read.csv('C:/Documents and Settings/E997608/Desktop/wdbc.data.txt',head=FALSE)
#appears to use the first level as the target success
datasetTest$V2<-as.factor(ifelse(as.character(datasetTest$V2)=="M","0","1"))
#cross validation to find optimal lambda
#using the lasso because alpha=1
cv.result<-cv.glmnet(
x=as.matrix(dataset[,3:ncol(datasetTest)]),
y=datasetTest[,2],
family="binomial",
nfolds=10,
type.measure="deviance",
alpha=1
)
#values of lambda used
histogram(cv.result$lambda)
#plot of the error measure (here was deviance)
#as a CI from each of the 10 folds
#for each value of lambda (log actually)
plot(cv.result)
#the mean cross validation error (one for each of the
#100 values of lambda
cv.result$cvm
#the value of lambda that minimzes the error measure
#result: 0.001909601
cv.result$lambda.min
log(cv.result$lambda.min)
#the value of lambda that minimzes the error measure
#within 1 SE of the minimum
#result: 0.007024236
cv.result$lambda.1se
#the full sequence was fit in the object called cv.result$glmnet.fit
#this is same as a call to it directly.
#here are the coefficients from the min lambda
coef(cv.result$glmnet.fit,s=cv.result$lambda.1se)
źródło
Aby uzyskać współczynnik w przestrzeni, która pozwala bezpośrednio porównać ich ważność, musisz je znormalizować. Napisałem notatkę na temat Thinklab, aby omówić standaryzację współczynników regresji logistycznej.
(Bardzo) Krótko mówiąc, radzę stosować metodę Agresti :
Jeśli polegałeś na wewnętrznej standaryzacji przez glmnet (opcja domyślna
standardize = TRUE
), te znormalizowane współczynniki są w rzeczywistości tymi, które wynikają z kroku dopasowania, przed ponowną transformacją przez glmnet w pierwotnej przestrzeni (patrz inna uwaga :-)).źródło
std_coefs <- coefs[-1, 1] * sds
glmnet
obiekt został utworzony za pomocą,standardize = TRUE
czystandardize = FALSE
tak?