Czy interakcje są użyteczne tylko w kontekście regresji?

Zawsze czytałem termin interakcja w kontekście regresji. Czy powinniśmy również rozważyć interakcje z różnymi modelami, np. Knn lub svm?

Jeśli jest , lub nawet więcej funkcji i powiedzmy obserwacji, jaki jest zwykle sposób na znalezienie użytecznych interakcji? Wypróbować wszystkie kombinacje? Lub użyj tylko kombinacji, które mają sens?$50$$100$$1000$

Interakcje są jawnie potrzebne w modelach regresji, ponieważ formuła nie obejmuje żadnych interakcji per se. Mówiąc dokładniej, model regresji będzie zawsze liniowy na wejściu, podczas gdy interakcja jest nieliniową kombinacją cech.$X_i * X_j$

Najprostszym sposobem, aby to sprawdzić, jest problem XOR, model regresji bez żadnych interakcji nie może tego rozwiązać, ponieważ wymaga nieliniowej kombinacji.

Z drugiej strony KNN i SVM (i wiele innych modeli) są uniwersalnymi aproksymatorami funkcji. Oznacza to, że nie mogą łączyć swoich danych wejściowych tylko w sposób liniowy, ale także w każdy możliwy nieliniowy sposób. Biorąc pod uwagę wystarczającą liczbę warstw lub odpowiednie jądro, mogą one zasadniczo „tworzyć” własne interakcje, dokładnie tak, jak ich potrzebują. Jeśli znasz lub spodziewasz się, że określone interakcje będą ważne, nadal możesz ich użyć jako danych wejściowych, aby poprowadzić modele we właściwym kierunku.

Podobnie modele oparte na drzewach można interpretować jako składające się wyłącznie z interakcji. Zasadniczo podział w modelu opartym na drzewie tworzy określoną interakcję ze wszystkimi poprzednimi zmiennymi.

Aby więc zdecydować, które interakcje użyć, w przypadku modeli o wystarczająco dużej mocy (tj. Takich, które są uniwersalnymi aproksymatorami funkcji), nie potrzebujesz ich i możesz pozwolić modelowi wykonać własną magię. W przypadku innych modeli to zależy. Istnieje kilka technik, które mogą pomóc w podjęciu decyzji, takich jak CHAID lub regresja stopniowa. CHAID działa również z wieloma funkcjami, w przypadku regresji krokowej może zagubić się w liczbie możliwych interakcji. Biorąc pod uwagę, że jeśli masz funkcji, możliwe są możliwe interakcje (licząc nie tylko interakcje dwukierunkowe, ale także interakcje wyższego rzędu).2 $N$$2^N$

Nie.

W rzeczywistości możesz myśleć, że SVM z jądrem wielomianowym dodaje wszystkie interakcje (wysokiego rzędu) między wszystkimi funkcjami. Na przykład, jeśli mamy dwie funkcje , robi to SVM z wielomianem drugiego rzędu .( x 2 1 , x 2 2 , x 1 x 2$(x_1,x_2)$$(x_1^2,x_2^2,x_1x_2)$

SVM nazywa się sztuczką jądra, ponieważ domyślnie dokonuje wielomianowej ekspansji podstawy z dużo mniejszą złożonością obliczeniową. Pomyśl o rozszerzeniu wielomianowym 10. rzędu w 10 funkcjach, ręczne rozwinięcie będzie miało kolumn. Ale używając sztuczki jądra, możemy to łatwo zrobić.$10^{10}$

Tak więc nie tylko interakcja była szeroko stosowana w innych modelach. Dodając do interakcji, inne modele starają się bardziej z inżynierią funkcji. Zamiast mnożenia dwóch kolumn uzyskuje się bardziej skomplikowane funkcje.

Interakcje, które poprawiają skorygowany R-kwadrat, BIC dla regresji prawdopodobieństwa (alternatywnie AICc i inne), VIF i statystyki F ANOVA, te ostatnie bez indywidualnych parametrów, które są oceniane jako nieskładkowe na podstawie ich częściowych prawdopodobieństw.

Bardzo ważne, ale nie zadawane, jest to, że ponowna parametryzacja może znacznie poprawić zarówno wpływ poszczególnych zmiennych, jak i ich interakcji. Jednak pomiary jakości BIC, AIC i inne wiarygodności nie są ważne do porównywania różnych powtórzeń, pozostawiając skorygowane wartości R-kwadrat, VIF i statystyki F ANOVA do takich celów.