Regresja wielomianowa za pomocą scikit-learn

Próbuję użyć scikit-learn do regresji wielomianowej. Z tego, co czytam, regresja wielomianowa jest szczególnym przypadkiem regresji liniowej. Miałem nadzieję, że może jeden z uogólnionych modeli liniowych scikit może zostać sparametryzowany, aby pasował do wielomianów wyższego rzędu, ale nie widzę takiej możliwości.

Udało mi się użyć Support Vector Regressor z wielordzeniowym jądrem. Działa to dobrze z podzbiorem moich danych, ale dopasowanie dużych zestawów danych zajmuje dużo czasu, więc nadal muszę znaleźć coś szybciej (nawet jeśli handluję z pewną precyzją).

Czy brakuje mi czegoś oczywistego?

Biorąc pod uwagę dane , wektor kolumny i , wektor docelowy, możesz wykonać regresję wielomianową, dołączając wielomiany z . Na przykład zastanów się, czy$\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

Zastosowanie tylko tego wektora w regresji liniowej implikuje model:

$$y = \alpha_1 x$$

Możemy dodać kolumny, które są potęgami wektora powyżej, które reprezentują dodawanie wielomianów do regresji. Poniżej pokazujemy to dla wielomianów do potęgi 3:

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

To jest nasza nowa macierz danych, której używamy w regresji liniowej Sklearn, i reprezentuje ona model:

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

Zauważ, że nie dodałem stałego wektora , ponieważ sklearn automatycznie to uwzględni.$1$

Teoria

Regresja wielomianowa jest szczególnym przypadkiem regresji liniowej. Z myślą główną o tym, jak wybrać swoje funkcje. Patrząc na regresję wielowymiarową z 2 zmiennymi: x1i x2. Regresja liniowa będzie wyglądać następująco:y = a1 * x1 + a2 * x2.

Teraz chcesz mieć regresję wielomianową (zróbmy wielomian 2 stopnie). Stworzymy kilka dodatkowych funkcji: x1*x2, x1^2i x2^2. Otrzymamy więc twoją „regresję liniową”:

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

To ładnie pokazuje ważną koncepcję przekleństwa wymiarowości , ponieważ liczba nowych funkcji rośnie znacznie szybciej niż liniowo wraz ze wzrostem stopnia wielomianu. Tutaj możesz zapoznać się z tą koncepcją .

Ćwicz z scikit-learn

Nie musisz robić tego wszystkiego w scikit. Regresja wielomianowa jest już tam dostępna (w wersji 0.15 . Sprawdź, jak ją zaktualizować tutaj ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

$x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$) to ten, o którym mówię.