Co należy rozumieć przez wariancję * funkcji * w * Wstęp do nauki statystycznej *?

Na str. 34 wstępu do nauki statystycznej :$\newcommand{\Var}{{\rm Var}}$

Choć dowód matematyczny jest poza zakresem tej książki, jest możliwe, aby pokazać, że oczekiwany MSE testy, dla danej wartości , zawsze można rozłożyć na sumę trzech podstawowych ilości: w sprzeczności z f ( x 0 ) , kwadrat Odchylenie od f ( x 0 ) , a wariancja błędu warunki ε . To jest,$x_0$$\hat{f}(x_0)$$\hat{f}(x_0)$$\varepsilon$

$$E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$$

[...] Odchylenie odnosi się do ilości, w którym F uległaby zmianie, gdyby oszacowano je za pomocą różnych zbiorów danych.$\hat{f}$

Pytanie: Od wydaje się oznaczać wariancji funkcji , co to oznacza formalnie?$\Var\big(\hat{f}(x_0)\big)$

To znaczy, jestem zaznajomiony z koncepcją wariancji zmiennej losowej , ale co z wariancją zestawu funkcji? Czy można to traktować jako wariancję innej zmiennej losowej, której wartości przyjmują postać funkcji?$X$

Twoja korespondencja z @whuber jest poprawna.

Algorytm uczenia się może być postrzegany jako funkcja wyższego poziomu, odwzorowująca zestawy szkoleniowe na funkcje.$\mathcal{A}$

gdzie jest przestrzenią możliwych zestawów treningowych. Może to być nieco owłosione koncepcyjnie, ale w zasadzie każdy zestaw treningowy daje wyniki, po zastosowaniu algorytmu modelowania treningu, w funkcji specyficznej f, której można użyć do prognozowania na podstawie punktu danych x .$\mathcal{T}$$f$$x$

Jeśli spojrzymy na przestrzeń zbiorów treningowych jako przestrzeń prawdopodobieństwa, tak że istnieje pewien rozkład możliwych zbiorów danych treningowych, wówczas algorytm modelowania szkolenia staje się zmienną losową o wartości funkcji i możemy myśleć o pojęciach statystycznych. W szczególności, jeśli naprawimy określony punkt danych , otrzymamy losową zmienną o wartości liczbowej$x_0$

To znaczy najpierw wytrenuj algorytm na , a następnie oceń uzyskany model na x 0 . To jest po prostu stara, ale raczej genialnie skonstruowana, losowa zmienna w przestrzeni prawdopodobieństwa, więc możemy mówić o jej wariancji. To jest różnica w twojej formule od ISL.$T$$x_0$

Interpretacja wizualna przy użyciu powtarzanych kfolds

Aby dać wizualną / intuicyjną interpretację odpowiedzi @Matthew Drury, rozważ następujący przykład zabawki.

• Dane są generowane z hałaśliwej krzywej sinusoidalnej: „True hałas”$f(x) \ +$
• Dane są podzielone między próbki szkoleniowe i testowe (75% - 25%)
• Wzór liniowa (wielomian) jest dopasowana do danych $\hat f(x)$
• Proces ten powtarza się wiele razy przy użyciu tych samych danych (tj. Dzielenie treningu - losowe testowanie przy użyciu powtarzanego kfold Sklearm)
• Generuje to wiele różnych modeli, na podstawie których obliczamy średnią i wariancję w każdym punkcie jak również we wszystkich punktach.$x=x_i$

Poniższe wykresy przedstawiają model wielomianowy stopnia 2 i stopnia 6. Na pierwszy rzut oka wydaje się, że wyższy wielomian (czerwony) ma większą wariancję.

Twierdzenie, że czerwony wykres ma większą wariancję - eksperymentalnie

$\hat f_g$$\hat f_r$$\hat f^{(i)}$$n$$x$$m$$n = 400$$m = 200$

Widzę trzy główne scenariusze

1. $x = x_0$$Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
2. The variance in $(1)$ is greater for all points $\{ x_1,...,x_{400} \}$ in the range $(0,1)$
3. The variance is greater on average (i.e. may be smaller for some points)

In the case of this toy example, all three scenarios hold true over the range $(0,1)$ which justifies the argument that the higher order polynomial fit (in red) has higher variance than the lower order polynomial (in green).

An open ended conclusion

What should be argued when the above three scenarios do not all hold. For example, what if the variance of the red predictions is greater on average, but not for all points.

Details of the labels

Consider point $x_0 = 0.5$

• The error bar is the range between min and max of $\hat f(x_0)$
• The variance is computed at $x_0$
• True $f(x)$ is the dotted blue line