Definicja wag najmniejszych kwadratowych: R lm funkcja vs.

9

Czy ktoś mógłby mi powiedzieć, dlaczego otrzymuję różne wyniki od Rważonego najmniejszego kwadratu i ręcznego rozwiązania przez operację macierzy ?

W szczególności próbuję ręcznie rozwiązać , gdzie to macierz diagonalna na wagach, to macierz danych, to odpowiedź wektor. W.ZAx=W.bW.ZAb

Próbuję porównać wyniki z R lmfunkcją za pomocą weightsargumentu.

wprowadź opis zdjęcia tutaj

Haitao Du
źródło
Edytowałem tagi: zdecydowanie nie było to [samokształcenie]. Nie chodzi też o GLS (ale o bardzo specjalny przypadek), więc też go usunąłem.
ameba

Odpowiedzi:

13

Jak widać z wyrażeń matematycznych do obliczeń, otrzymujesz

((W.ZA)(W.ZA))-1((W.ZA)(W.b))=(ZAW.2)ZA)-1(ZAW.2)b).

Najwyraźniej twoje ciężary są W.2), nie W.. Dlatego powinieneś porównać swoją odpowiedź z wynikami

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446 

Zgoda jest idealna (w ramach błędu zmiennoprzecinkowego - wewnętrznie Rwykorzystuje bardziej stabilny numerycznie algorytm.)

Whuber
źródło
1
Prawdopodobnie mówimy tutaj o konwencjach oprogramowania: tam, gdzie oprogramowanie oczekuje „wag”, czy chce, abyś je nadał W. lub W.2)? Pomyślałem, że to cenne pytanie, ponieważ problem może wpłynąć na każdy pakiet statystyczny. Niezależnie od konwencji krótka analiza w tej odpowiedzi sugeruje, z jakimi alternatywnymi interpretacjami „wag” może być rozsądna i warta eksperymentowania w każdych okolicznościach.
whuber
Tak, myślę, że jest to mylące, mam wyrażenie z algebry liniowej Gilberta Stranga, rozdział 8.6, w którym mówi on, że ważona najmniejsza kwadratowa jest tylko korektą z ZAx=b do W.ZAx=W.b
Haitao Du
8
Dziwny ma rację, ale ma orientację pedagogiczną do tyłu: zaczyna od odpowiedzi, a nie od problemu. Problem dotyczy sposobu wykonania analogu procedury najmniejszych kwadratów, gdy wariancje reszt mają znane, ale różne wartości. Z różnych (ale prostych) powodów teoretycznych dane powinny być ważone odwrotnymi wariancjami (czasami nazywanymi „dokładnościami”). Na tej podstawie można to wypracowaćW.musi być pierwiastkiem kwadratowym z wag.
whuber