Niech A będzie macierzą zmiennych niezależnych, a B będzie odpowiadającą macierzą wartości zależnych. Regresję kalenicy, że określenie parametrów tak, że: . Teraz pozwól [usv] = svd (A) i ukośny wpis „s”. definiujemy stopnie swobody (df) = . Regresja grzbietu zmniejsza współczynniki składników o niskiej wariancji, a zatem parametr kontroluje stopnie swobody, więc dla, co ma miejsce w przypadku regresji normalnej, df = n, a zatem zostaną uwzględnione wszystkie zmienne niezależne. Problem, przed którym stoję, polega na znalezieniu wartości „df” i macierzy „s”. Próbowałem zmienić powyższe równanie, ale nie otrzymałem rozwiązania w formie zamkniętej. Podaj wszelkie pomocne wskazówki.
ridge-regression
Amit
źródło
źródło
Odpowiedzi:
Byłby do tego odpowiedni algorytm Newton-Raphson / Fisher-score / Taylor-series.
Masz równanie do rozwiązania dla h ( λ ) = p ∑ i = 1 d 2 iλ
z pochodną
∂h
przearanżowanie dla otrzymujesz: λ = λ ( 0 ) - [ ∂ godzλ
źródło
Oto mały kod Matlab oparty na formule udowodnionej logiką prawdopodobieństwa:
źródło
while ( abs(diff)>threshold )
.while( abs(diff) > threshold )