Co oznacza „liniowy w parametrach”?

Model regresji liniowej ma parametry liniowe.

Co to właściwie znaczy?

Rozważ równanie postaci

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

gdzie $x$ to zmienne, a $\beta$ to parametry. Tutaj y jest funkcją liniową $\beta$ (liniową w parametrach), a także funkcją liniową $x$ (liniową w zmiennych). Jeśli zmienisz równanie na

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Wówczas nie jest już liniowy w zmiennych (z powodu kwadratu), ale nadal ma parametry liniowe. A w przypadku (wielokrotnej) regresji liniowej to wszystko ma znaczenie, ponieważ w końcu próbujesz znaleźć zestaw , który minimalizuje funkcję straty. W tym celu musisz rozwiązać układ równań liniowych . Biorąc pod uwagę jego miłe właściwości, ma zamknięte rozwiązanie, które ułatwia nasze życie. Sprawa staje się trudniejsza, gdy mamy do czynienia z równaniami nieliniowymi.$\beta$

Załóżmy, że nie masz do czynienia z modelem regresji, ale zamiast tego masz problem z programowaniem matematycznym: Próbujesz zminimalizować funkcję celu postaci zastrzeżeniem zestawu ograniczeń: i . Jest to problem programowania liniowego w tym sensie, że ma zmienne liniowe. W przeciwieństwie do modelu regresji, próbujesz znaleźć zestaw (zmiennych), który spełnia ograniczenia i minimalizuje funkcję celu. Będzie to również wymagało rozwiązania układów równań liniowych, ale tutaj będzie to zmienne liniowe. Twoje parametry nie będą miały wpływu na układ równań liniowych.$c^Tx$$Ax \geq b$$x\geq0$$x$

Oznacza to po prostu, że gdzie są parametrami. Zmienne mogą zawierać relacje nieliniowe; np. , a jest liniową funkcją .$Y = A X$$A$$X$$X = [\alpha\; \alpha \beta\; \beta^2]^T$$Y$$X$

Model jest liniowy, gdy każdy warunek jest albo stałą, albo iloczynem parametru i predyktorem. Równanie liniowe konstruuje się, dodając wyniki dla każdego terminu. Ogranicza to równanie do jednej podstawowej formy:

$Response = constant + parameter * predictor + ... + parameter * predictor$

„Liniowy w parametrach” w Regresji liniowej oznacza, że ​​żaden parametr nie pojawia się jako wykładnik, ani nie jest mnożony ani dzielony przez inny parametr.