Biorąc pod uwagę dwa modele regresji liniowej, który model byłby lepszy?

Na studiach podjąłem kurs uczenia maszynowego. W jednym z quizów zadano to pytanie.

Model 1:

$$y = \theta x + \epsilon$$ Model 2: $$y = \theta x + \theta^2 x + \epsilon$$

Który z powyższych modeli lepiej pasowałby do danych? (załóżmy, że dane mogą być modelowane przy użyciu regresji liniowej)

Prawidłowa odpowiedź (zdaniem profesora) jest taka, że ​​oba modele działałyby równie dobrze. Uważam jednak, że pierwszy model byłby lepiej dopasowany.

To jest powód mojej odpowiedzi. Drugi model, który można przepisać jako $\alpha x + \epsilon$ , $\alpha = \theta + \theta^2$ , nie będzie taki sam jak pierwszy model. $\alpha$ jest w rzeczywistości parabolą, a zatem ma wartość minimalną ( $-0.25$ w tym przypadku - 0,25 ). Z tego powodu zakres $\theta$ w pierwszym modelu jest większy niż zakres $\alpha$ w drugim modelu. Dlatego jeśli dane były takie, że najlepsze dopasowanie miało nachylenie mniejsze niż $-0.25$ , drugi model działałby bardzo słabo w porównaniu z pierwszym. Jednak w przypadku, gdy nachylenie najlepszego dopasowania było większe niż$-0.25$ , oba modele wypadłyby równie dobrze.

Czy pierwszy jest lepszy, czy oba są dokładnie takie same?

Model 2 można zapisać jako: Wydaje się to podobne do modelu 1, tylko z inną notacją dla hiperparametrów ( θ , β ). Jednak dla modelu 1 możemy zapisać θ = (

$$y=(\theta + \theta^{2}) x+\epsilon=\beta x+\epsilon.$$ $\theta, \beta$
$$\hat{\theta}=(X^{'}X)^{-1}X^{'}y.$$

But since in model 2 we have that

$$\beta=\theta + \theta^{2},$$ then as you mentioned indeed the range of $\hat{\beta}$ should belong to $[-0.25,+\infty]$ for $\theta \in R$. Which will lead to difference in these 2 models.

$\hat{\theta}$

$$\hat{\theta}=\arg\min_{\theta\in{R}} \ \ (y-X\theta)^{'}(y-X\theta)=(X^{'}X)^{-1}X^{'}y.$$ However in the model 2 the estimate is obtained through $$\hat{\beta}=\arg\min_{\beta\geq-0.25} \ \ (y-X\beta)^{'}(y-X\beta)$$ which might lead to a different result.

Not sure I understand your reasoning. If you take:

$$y = \alpha x+\epsilon$$ and $$y = \theta x + \epsilon$$

and estimate $\alpha$ and $\theta$ using a simple linear regression, you will get $\alpha$=$\theta$. Moreover, since the methodology is exactly the same there is no difference in the $R^2$ value you would get in either equation. The underlying value of $\theta$ in the first equation will of course be different, since $\alpha = \theta + \theta^2$, but this has nothing to do with fit.