Czy istnieje graficzna reprezentacja kompromisu wariancji odchylenia w regresji liniowej?

Cierpię na zaciemnienie. Pokazano mi następujący obraz, aby pokazać kompromis wariancji odchylenia w kontekście regresji liniowej:

Model wielomianowy dla danych, przypadek prosty i złożony

Widzę, że żaden z dwóch modeli nie jest dobrze dopasowany - „prosty” nie docenia złożoności relacji XY, a „złożony” jest po prostu zbyt duży, zasadniczo ucząc się danych treningowych na pamięć. Jednak całkowicie nie dostrzegam stronniczości i wariancji na tych dwóch zdjęciach. Czy ktoś mógłby mi to pokazać?

PS: Odpowiedź na intuicyjne wyjaśnienie kompromisu wariancji uprzedzeń? tak naprawdę mi nie pomogło, byłbym zadowolony, gdyby ktoś mógł zapewnić inne podejście w oparciu o powyższe zdjęcie.

regression variance bias blubb
źródło

Odpowiedzi:

Kompromis wariancji odchylenia opiera się na rozbiciu średniego błędu kwadratowego:

M. S. mi (\hat{y}) = mi [y - \hat{y}]^{2)} = mi [y - mi [\hat{y}]]^{2)} + mi [\hat{y} - mi [\hat{y}]]^{2)}

$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$

Jednym ze sposobów sprawdzenia handlu wariancji odchylenia jest to, jakie właściwości zestawu danych są używane w dopasowaniu modelu. W przypadku prostego modelu, jeśli założymy, że do dopasowania linii prostej zastosowano regresję OLS, wówczas do dopasowania linii zostaną użyte tylko 4 liczby:

Przykładowa kowariancja między xiy
Próbka wariancji x
Średnia próbki x
Średnia próbki y

Tak więc każdy wykres, który prowadzi do tych samych 4 liczb powyżej, prowadzi do dokładnie tej samej dopasowanej linii (10 punktów, 100 punktów, 100000000 punktów). W pewnym sensie jest to niewrażliwe na konkretną obserwowaną próbkę. Oznacza to, że będzie „stronniczy”, ponieważ skutecznie ignoruje część danych. Jeśli ta zignorowana część danych okazała się ważna, prognozy będą konsekwentnie błędne. Zobaczysz to, jeśli porównasz dopasowaną linię przy użyciu wszystkich danych z dopasowanymi liniami uzyskanymi z usunięcia jednego punktu danych. Będą raczej stabilne.

Teraz drugi model wykorzystuje każdy skrawek danych, jaki może uzyskać, i dopasowuje dane tak blisko, jak to możliwe. Dlatego ważna jest dokładna pozycja każdego punktu danych, dlatego nie można przesuwać danych treningowych bez zmiany dopasowanego modelu, tak jak w przypadku OLS. Dlatego model jest bardzo wrażliwy na konkretny zestaw treningowy, który posiadasz. Dopasowany model będzie bardzo różny, jeśli wykonasz ten sam wykres kropli danych.

prawdopodobieństwo prawdopodobieństwa
źródło

Odchylenie oraz odchylenia modelu Oszacowanie parametru

lub przewidywaną wartość wyjściowa

? Niektórzy ludzie mówią mi, że terminów stronniczości i wariancji można używać tylko do opisania parametru modelu

, a nie danych

, prawda?

\hat{θ}

$\hat\theta$

\hat{y}

$\hat y$

θ

$\theta$

x, y

$x,y$

awokado

\hat{y}

$\hat {y}$

\hat{θ}

$\hat {\theta}$

\hat{θ}

$\hat\theta$

b i a s (\hat{θ}) = θ - E [\hat{θ}]

$bias(\hat\theta)=\theta-E[\hat\theta]$

θ

$\theta$

f (x) = a + b x + c x^{2}

$f(x)=a+bx+cx^2$

h (x) = d + e x

$h(x)=d+ex$

(a, b, c)

$(a,b,c)$

(d, e)

$(d,e)$

b i a s (d)

$bias(d)$

b i a s (e)

$bias(e)$

@loganecolss - nie jest to paradoks, ponieważ pojęcie uprzedzeń istnieje tylko „lokalnie” - to znaczy w odniesieniu do danego modelu statystycznego. „Paradoks” istnieje dla osoby, która: 1) zna „prawdziwy model” i 2) decyduje się go nie używać. Ta osoba jest idiotką w mojej książce. Jeśli nie znasz „prawdziwego modelu”, to nie ma problemu - chyba że znalazłeś dobry model i nie zdecydowałeś się go użyć ...

probabilityislogic

f (x, z_{1}, z_{2}, \dots, z_{K})

$f (x, z_1, z_2,\dots, z_{K})$

z_{i}

$z_i$

K

$K$

probabilityislogic

Podsumowując to, co myślę, że wiem w sposób niematematyczny:

stronniczość - twoje przewidywania będą niepoprawne, gdy użyjesz prostego modelu, i stanie się to w każdym zestawie danych, w którym używasz modelu. Twoje przewidywania będą błędne
wariancja - jeśli użyjesz modelu złożonego, otrzymasz bardzo różne prognozy na podstawie dowolnego zestawu danych, którego używasz

Ta strona ma całkiem dobre objaśnienie ze schematami podobnymi do tego, co opublikowałeś. (Pominąłem jednak górną część, po prostu przeczytałem część ze schematami) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (najechanie myszą pokazuje inną próbkę, na wypadek gdybyś tego nie zauważył!)

Król
źródło

To interesująca strona i dobre ilustracje, ale uważam je za bardziej mylące niż pomocne, ponieważ (a) „stronniczość” i „wariancja” omawiane w kontekście regresji nie wydają się być stronniczością i wariancją zdefiniowanymi na początku tego strona i (b) wcale nie jest jasne, czy złożone stwierdzenia (o tym, jak zmienność i wariancja zmieniają się w zależności od liczby parametrów) są prawidłowe.

whuber