Jaka jest różnica między regresem najmniejszych kwadratów a regresją liniową? Czy to to samo?
regression
least-squares
terminology
bbadyalina
źródło
źródło
Odpowiedzi:
Regresja liniowa zakłada liniową zależność między zmienną niezależną i zależną. Nie mówi ci, jak model jest dopasowany. Najmniejsze dopasowanie do kwadratu jest po prostu jedną z możliwości. Inne metody szkolenia modelu liniowego znajdują się w komentarzu.
Nieliniowe najmniejsze kwadraty są powszechne ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Na przykład popularny algorytm Levenberga-Marquardta rozwiązuje coś takiego:
Jest to optymalizacja metodą najmniejszych kwadratów, ale model nie jest liniowy.
Nie są tym samym .
źródło
Oprócz poprawnej odpowiedzi @Student T, chcę podkreślić, że najmniejsze kwadraty to funkcja potencjalnej straty dla problemu optymalizacji, podczas gdy regresja liniowa jest problemem optymalizacji.
Biorąc pod uwagę określony zestaw danych, regresja liniowa służy do znalezienia najlepszej możliwej funkcji liniowej, co wyjaśnia związek między zmiennymi.
W tym przypadku „najlepsze” możliwe jest określone przez funkcję straty, porównując przewidywane wartości funkcji liniowej z rzeczywistymi wartościami w zbiorze danych. Najmniejsze kwadraty to możliwa funkcja straty.
Artykuł w Wikipedii dotyczący najmniejszych kwadratów pokazuje również zdjęcia po prawej stronie, które pokazują użycie najmniejszych kwadratów dla innych problemów niż regresja liniowa, takich jak:
Poniższy gif z artykułu w Wikipedii pokazuje kilka różnych funkcji wielomianowych dopasowanych do zestawu danych przy użyciu najmniejszych kwadratów. Tylko jeden z nich jest liniowy (wielomian 1). Zostało to zaczerpnięte z niemieckiego artykułu Wikipedii na ten temat.
źródło