Jaka jest różnica między błędami a resztkami?

20

Podczas gdy te dwa wszechobecne terminy są często używane jako synonimy, czasem wydaje się, że istnieje rozróżnienie. Czy rzeczywiście jest różnica, czy są one dokładnie synonimami?

Constantin
źródło
Sprawdź Qin & Gilbert „Termin błędu w historii ekonometrii szeregów czasowych”, aby uzyskać kompleksowe leczenie, jeśli masz czas. Och, ale dotyczy to tylko danych szeregów czasowych.
Richard Hardy

Odpowiedzi:

20

Błędy dotyczą prawdziwego procesu generowania danych (MZD), podczas gdy resztki są pozostałością po oszacowaniu modelu. W rzeczywistości założenia takie jak normalność, homoscedastyczność i niezależność dotyczą błędów MZD, a nie resztek modelu. (Na przykład, mającparametry w twoim modelu, tylkoresztki N - ( p + 1 ) mogą być niezależne.) Mamy jednak dostęp tylko do reszt, więc nad tym pracujemy. p+1N(p+1)

gung - Przywróć Monikę
źródło
9
(+1) Resztki można uznać za oszacowania błędów.
Scortchi - Przywróć Monikę
@ABC, DGPoznacza proces generowania danych . Nawet jeśli twój model jest odpowiedni i odzwierciedla prawdziwą strukturę MZD, reszty niekoniecznie będą normalne, homoscedastyczne i niezależne, jeśli nie leżą u podstaw błędy.
Gung - Przywróć Monikę
@Scortchi Cześć, czy zdarza ci się mieć jakieś odniesienia, które rozwijają Twój komentarz? Próbuję zrozumieć, dlaczego dokładnie resztki mogą być użyte jako oszacowania błędu, ponieważ widzę ludzi sprawdzających normalność reszt w analizie regresji, gdy rzeczywistym założeniem jest normalność błędu, i nie wiem dokładnie, dlaczego to jest poprawne.
Austin,
@Austin, jeśli nadal jesteś tym zainteresowany, powinieneś zadać nowe pytanie.
Gung - Przywróć Monikę
13

Błąd jest różnica między obserwowaną wartością a wartością rzeczywistą (bardzo często niedotrzymanego, generowanego przez DGP).

Resztkowy jest różnica między zmierzonym wartości i wartości przewidywanej (przez model).

Leopold W.
źródło
±
Ten link ( ece.rochester.edu/courses/ECE111/error_uncertainty.pdf ) zawiera dobre wyjaśnienie z odniesieniami do tekstów Bevington i Taylora na ten temat.
Steven C. Howell
Czy w języku uczenia maszynowego pozostałość jest błędem szkoleniowym, a błąd jest błędem testowym?
Charles Chow,
@CharlesChow Zależy to od używanego zestawu danych. Jeśli używasz zestawu treningowego, oznacza to błąd szkoleniowy; jeśli używasz zestawu testowego, oznacza to błąd testowy.
Leopold W.
7

Błąd jest pojęciem teoretycznym, którego nigdy nie można zaobserwować, ale reszta jest wartością rzeczywistą, obliczaną za każdym razem, gdy regresja jest wykonywana

Kudzai Lemiel Munyukwa
źródło