Czytam rozdział dotyczący kompromisu wariancji odchylenia w elementach statystycznego uczenia się i mam wątpliwości co do wzoru na stronie 29. Niech dane pochodzą z modelu takiego, że gdzie jest losowy liczba o oczekiwanej wartości i wariancja . Niech oczekiwana wartość błędu modelu wynosi gdzie jest prognozą naszego ucznia. Zgodnie z książką, błąd to
Moje pytanie brzmi: dlaczego pojęcie błędu nie jest równe 0? opracowując formułę błędu widzę
ponieważ jest niezależną liczbą losową 2E [(f (x) -f_k (x)) \ epsilon] = 2E [(f (x) -f_k (x))] E [\ epsilon] = 02 E [ ( f ( x ) - f k ( x ) ) ϵ ] = 2 E [ ( f ( x ) - f k ( x ) ) ] E [ ϵ ] = 0
Gdzie się mylę?
Jeszcze kilka kroków rozkładu odchylenia - odchylenie
Rzeczywiście, pełna pochodna rzadko jest podawana w podręcznikach, ponieważ wiąże się z wieloma mało inspirującymi algebrami. Oto pełniejsze wyprowadzenie za pomocą notacji z książki „Elementy uczenia statystycznego” na stronie 223
Jeśli założymy, że i i to możemy wyprowadzić wyrażenie dla oczekiwanego błędu prognozy dopasowania regresji na wejściu wykorzystaniem kwadratowej utraty błędówY=f(X)+ϵ E[ϵ]=0 Var(ϵ)=σ2ϵ f ( X ) X = x 0f^(X) X=x0
Dla uproszczenia notacyjnego niech , i przypomnij sobie, że if^(x0)=f^ f(x0)=f E[f]=f E[Y]=f
Dla terminu możemy użyć podobnej sztuczki jak powyżej, dodając i odejmując aby uzyskaćE[(f−f^)2] E[f^]
Składając to razem
Kilka komentarzy na temat tego, dlaczegoE[f^Y]=fE[f^]
Zaczerpnięte z Alecos Papadopoulos tutaj
Przypomnijmy, że jest predyktorem, który zbudowaliśmy na podstawie punktów danych , abyśmy mogli napisać aby to zapamiętać.f^ m { ( x( 1 ), y( 1 )) , . . . , ( x( m ), y( m )) } fa^= f^m
Z drugiej strony jest prognozą, którą tworzymy dla nowego punktu danych za pomocą modelu zbudowanego na punktach danych powyżej. Tak więc średni błąd kwadratu można zapisać jakoY ( x( m + 1 ), y( m + 1 )) m
Rozszerzanie równania z poprzedniej sekcji
Ostatnia część równania może być postrzegana jako
Ponieważ przyjmujemy następujące założenia dotyczące punktu :x( m + 1 )
Inne źródła z pełnymi pochodnymi
źródło