Wiem, że powszechną praktyką jest standaryzacja cech regresji grzbietu i lasso, jednak czy bardziej praktyczna byłaby normalizacja cech w skali (0,1) jako alternatywa dla standaryzacji z-score dla tych metod regresji?
11
Wiem, że powszechną praktyką jest standaryzacja cech regresji grzbietu i lasso, jednak czy bardziej praktyczna byłaby normalizacja cech w skali (0,1) jako alternatywa dla standaryzacji z-score dla tych metod regresji?
Jeśli zastosujesz normalizację (ściśnij w [0,1]), uzyskasz miarę względnej ważności zmiennych, ale zmieni to skalę twoich zmiennych i stracisz wszelką interpretowalność modelu. Zaletą standaryzacji jest to, że nadal można interpretować model w taki sam sposób, jak w przypadku nieregularnej regresji OLS (na to już tutaj odpowiedziano ).
Normalizacja jest bardzo ważna w przypadku metod z regularyzacją. Wynika to z faktu, że skala zmiennych wpływa na to, ile regularyzacji będzie miało zastosowanie do określonej zmiennej.
Załóżmy na przykład, że jedna zmienna ma bardzo dużą skalę, powiedzmy, że kolejność milionów, a inna zmienna ma wartość od 0 do 1. Wówczas możemy myśleć, że regularyzacja będzie miała niewielki wpływ na pierwszą zmienną.
Podobnie jak normalizacja, normalizacja do wartości 0 do 1 lub standaryzacja funkcji nie ma większego znaczenia.
źródło