Kiedy transformować zmienne predykcyjne podczas regresji wielokrotnej?

Obecnie biorę swoją pierwszą stosowaną klasę regresji liniowej na poziomie magisterskim i walczę z transformacjami zmiennych predykcyjnych w wielokrotnej regresji liniowej. Tekst, którego używam, Kutner i in. „Stosowane liniowe modele statystyczne” wydaje się nie obejmować mojego pytania. (oprócz sugerowania, że ​​istnieje metoda Box-Coxa do transformacji wielu predyktorów).

W obliczu zmiennej odpowiedzi i kilku zmiennych predykcyjnych, jakie warunki dąży się do spełnienia każdej zmiennej predykcyjnej? Rozumiem, że ostatecznie szukamy stałości wariancji błędów i błędów normalnie rozłożonych (przynajmniej w technikach, których byłem do tej pory nauczony). Wróciłem wiele ćwiczeń, gdzie rozwiązaniem było, na przykład y ~ x1 + (1/x2) + log(x3), gdzie jeden lub więcej predyktorów zostało przekształconych.

Zrozumiałem uzasadnienie prostej regresji liniowej, ponieważ łatwo było spojrzeć na y ~ x1 i powiązaną diagnostykę (wykresy qq reszt, reszty vs y, reszty vs x itp.) I przetestować, czy y ~ log ( x1) lepiej pasuje do naszych założeń.

Czy jest dobre miejsce, aby zacząć rozumieć, kiedy przekształcić predyktor w obecności wielu predyktorów?

Z góry dziękuję. Matt

Przyjmuję twoje pytanie: w jaki sposób wykrywasz, kiedy istnieją warunki, które sprawiają, że transformacje są odpowiednie, a nie jakie są warunki logiczne . Zawsze miło jest rezerwować analizy danych z eksploracją, zwłaszcza graficzną eksploracją danych. (Można przeprowadzić różne testy, ale skupię się tutaj na graficznej EDA.)

Wykresy gęstości jądra są lepsze niż histogramy dla wstępnego przeglądu rozkładu jednowymiarowego każdej zmiennej. W przypadku wielu zmiennych może być przydatna macierz wykresu rozrzutu. Lowess jest zawsze wskazany na początku. To da ci szybkie i brudne spojrzenie na to, czy relacje są w przybliżeniu liniowe. Pakiet samochodowy Johna Foxa użytecznie łączy te:

library(car)
scatterplot.matrix(data)

Pamiętaj, aby mieć zmienne jako kolumny. Jeśli masz wiele zmiennych, poszczególne wykresy mogą być małe. Zmaksymalizuj okno wykresu, a wykresy rozrzutu powinny być wystarczająco duże, aby wybrać wykresy, które chcesz zbadać indywidualnie, a następnie utworzyć pojedyncze wykresy. Na przykład,

windows()
plot(density(X[,3]))
rug(x[,3])
windows()
plot(x[,3], y)
lines(lowess(y~X[,3]))

Po dopasowaniu modelu regresji wielokrotnej nadal należy wykreślić i sprawdzić swoje dane, podobnie jak w przypadku prostej regresji liniowej. Wykresy QQ dla reszt są tak samo konieczne, a ty możesz wykonać macierz rozrzutu twoich reszt w stosunku do predyktorów, stosując podobną procedurę jak poprzednio.

windows()
qq.plot(model$residuals)
windows()
scatterplot.matrix(cbind(model$residuals,X))

Jeśli coś wygląda podejrzanie, nakreśl to indywidualnie i dodaj abline(h=0)jako wizualny przewodnik. Jeśli masz interakcję, możesz utworzyć zmienną X [, 1] * X [, 2] i zbadać pod tym względem resztki. Podobnie, możesz stworzyć wykres rozproszenia reszt w porównaniu z X [, 3] ^ 2 itd. Inne typy wykresów niż reszt w porównaniu z x, które lubisz, można wykonać podobnie. Pamiętaj, że wszystkie one ignorują inne wymiary x, które nie są drukowane. Jeśli dane są pogrupowane (tj. Z eksperymentu), można tworzyć wykresy częściowe zamiast / oprócz wykresów marginalnych.

Mam nadzieję, że to pomaga.