Co jest zwyczajne w zwykłych najmniejszych kwadratach?

Mój przyjaciel niedawno zapytał, co jest takiego zwyczajnego, o zwykłych najmniejszych kwadratach. Wydaje się, że nigdzie nie rozmawialiśmy. Obaj zgodziliśmy się, że OLS jest specjalnym przypadkiem modelu liniowego, ma wiele zastosowań, jest dobrze znany i jest szczególnym przypadkiem wielu innych modeli. Ale czy to naprawdę wszystko?

Dlatego chciałbym wiedzieć:

• Skąd tak naprawdę pochodzi nazwa?
• Kto pierwszy użył tej nazwy?

Najmniej kwadratów w $y$jest często nazywany zwykłą metodą najmniejszych kwadratów (OLS), ponieważ była to pierwsza w historii procedura statystyczna opracowana około 1800 r., patrz historia . Jest to równoważne z minimalizacją$L_2$ norma, $||Y-f(X)||_2$. Następnie ważone najmniejszych kwadratów, minimalizacja innych norm (np.$L_1$), uogólnione metody najmniejszych kwadratów , Oszacowanie M , minimalizacja dwuwymiarowa (np. regresja Deminga), regresja nieparametryczna, regresja maksymalnego prawdopodobieństwa, regularyzacja (np. Tichonow, grzbiet) i inne techniki odwrotnych problemów oraz opracowano wiele innych narzędzi. Nadal istnieją kontrowersje dotyczące tego, kto pierwszy go zastosował, Gaussa lub Legendre (patrz link ). Termin „zwykły” (oznaczający w$y$) zostało oczywiście dodane do „najmniejszych kwadratów” dopiero po pojawieniu się tak wielu alternatywnych metod, że (wciąż najbardziej) popularny OLS musiał zostać odróżniony od mnóstwa innych minimalizacji, które stały się dostępne. Kiedy dokładnie dodajesz zwykłe$+$najmniejszych kwadratów byłoby trudnych do wyśledzenia, ponieważ miało to miejsce, gdy stało się to naturalne lub oczywiste.