Wsteczna transformacja współczynników regresji

Wykonuję regresję liniową z transformowaną zmienną zależną. Dokonano następującej transformacji, aby utrzymać założenie normalności reszt. Nietransformowana zmienna zależna została ujemnie wypaczona, a następująca transformacja zbliżyła ją do normy:

Y = \sqrt{50 - Y_{o r i g}}

$Y=\sqrt{50-Y_{orig}}$

gdzie jest zmienną zależną w oryginalnej skali. $Y_{orig}$

Myślę, że warto zastosować transformację współczynników aby wrócić do oryginalnej skali. Używając następującego równania regresji, $\beta$

Y = \sqrt{50 - Y_{o r i g}} = α + β \cdot X

$Y=\sqrt{50-Y_{orig}}=\alpha+\beta \cdot X$

i ustalając , mamy $X=0$

α = \sqrt{50 - Y_{o r i g}} = \sqrt{50 - α_{o r i g}}

$\alpha=\sqrt{50-Y_{orig}}=\sqrt{50-\alpha_{orig}}$

I w końcu,

α_{o r i g} = 50 - α^{2}

$\alpha_{orig}=50-\alpha^2$

Za pomocą tej samej logiki znalazłem

β_{o r i g} = α (α - 2 β) + β^{2} + α_{o r i g} - 50

$\beta_{orig}=\alpha\space(\alpha-2\beta)+\beta^2+\alpha_{orig}-50$

Teraz wszystko działa bardzo dobrze dla modelu z 1 lub 2 predyktorami; współczynniki przekształcone wstecznie przypominają oryginalne, tylko teraz mogę zaufać standardowym błędom. Problem pojawia się, gdy dołączasz termin interakcji, taki jak

Y = α + X_{1} β_{X_{1}} + X_{2} β_{X_{2}} + X_{1} X_{2} β_{X_{1} X_{2}}

$Y=\alpha+X_1\beta_{X_1}+X_2\beta_{X_2}+X_1X_2\beta_{X_1X_2}$

Wówczas transformacja wsteczna dla $\beta$ nie jest tak bliska tym z oryginalnej skali i nie jestem pewien, dlaczego tak się dzieje. Nie jestem również pewien, czy formuła znaleziona dla wstecznej transformacji współczynnika beta jest użyteczna, tak jak dla 3rd $\beta$ (dla terminu interakcji). Zanim poszedłem do szalonej algebry, pomyślałem, że poproszę o radę ...

regression data-transformation Dominic Comtois
źródło

Jak definiujesz i ?

α_{o r i g}

$\alpha_{orig}$

β_{o r i g}

$\beta_{orig}$

mark999

Jako wartość alfa i beta w oryginalnych skalach

Dominic Comtois,

Ale co to znaczy?

mark999

Zaryzykowałbym coś takiego: szacunki, które otrzymalibyśmy, to oryginalne dane dostosowane do regresji liniowej.

Dominic Comtois,

Wydaje mi się, że to bezsensowna koncepcja. Zgadzam się z odpowiedzią Gunga.

mark999

Odpowiedzi:

Jednym z problemów jest to, że napisałeś

Y = α + β \cdot X

$Y=α+β⋅X$

Jest to prosty deterministyczny (tj. Nieprzypadkowy) model. W tym przypadku, mógłby z powrotem przekształcić współczynniki na oryginalnej skali, ponieważ jest to tylko kwestia jakiejś prostej algebry. Ale w zwykłej regresji masz tylko ; termin błędu został usunięty z modelu. Jeśli przemiana z powrotem do nieliniowy może mieć problem, ponieważ , w ogóle. Myślę, że może to mieć związek z widoczną rozbieżnością. $E(Y|X)=α+β⋅X$ $Y$ $Y_{orig}$ $E\big(f(X)\big)≠f\big(E(X)\big)$

Edycja: Zauważ, że jeśli transformacja jest liniowa, możesz przekształcić ją wstecz, aby uzyskać oszacowania współczynników na oryginalnej skali, ponieważ oczekiwanie jest liniowe.

Makro
źródło

+1 za wyjaśnienie, dlaczego nie możemy z powrotem przekształcić bety.

Gung - Przywróć Monikę

Pozdrawiam wasze wysiłki tutaj, ale szczekasz na złe drzewo. Nie cofniesz transformacji bety. Twój model utrzymuje się w przekształconym świecie danych. Jeśli chcesz dokonać prognozy, na przykład, z powrotem przekształcić , ale to wszystko. Oczywiście można również uzyskać przedział predykcji, obliczając wartości górnego i dolnego limitu, a następnie również je przekształcić, ale w żadnym wypadku nie przekształca się ponownie bet. $\hat{y}_i$

gung - Przywróć Monikę
źródło

Co zrobić z faktem, że współczynniki przekształcone wstecznie zbliżają się bardzo do współczynników uzyskanych podczas modelowania nietransformowanej zmiennej? Czy to nie pozwala na pewne wnioskowanie na oryginalnej skali?

Dominic Comtois,

Nie wiem dokładnie. Może zależeć od dowolnej liczby rzeczy. Moje pierwsze przypuszczenie jest takie, że masz szczęście z pierwszą betą, ale potem twoje szczęście się kończy. Muszę się zgodzić z w / @ mark999, że „szacunki, które otrzymalibyśmy, to oryginalne dane dostosowane do regresji liniowej”, w rzeczywistości nie mają żadnego sensu; Chciałbym, żeby tak było i wydaje się, że na pierwszy rzut oka się rumieni, ale niestety tak nie jest. I nie licencjonuje żadnych wniosków w oryginalnej skali.

Gung - Przywróć Monikę

@ gung dla transformacji nieliniowych (powiedzmy box cox): Mogę przekształcić dopasowane wartości, a także przedziały prognozowania, ale nie mogę przekształcić bet ani przedziałów współczynników dla bet. Czy są jakieś dodatkowe ograniczenia, o których powinienem wiedzieć? btw, to bardzo interesujący temat, gdzie mogę uzyskać lepsze zrozumienie?

mugen

@mugen, trudno powiedzieć, o czym jeszcze powinieneś wiedzieć. Jedną rzeczą, o której warto pamiętać, jest to, że transformacja pleców y-hat daje warunkową medianę, podczas gdy nieodwracalna (cętkowana) y-hat jest średnią warunkową. Poza tym materiał ten powinien być ujęty w dobrym podręczniku regresji.

gung - Przywróć Monikę

@mugen, nie ma za co. Możesz zadawać więcej pytań za pomocą normalnych mechanizmów (klikanie ASK QUESTION); będzie więcej zasobów do odpowiedzi, zwrócisz uwagę CVerów, a informacje będą łatwiej dostępne dla potomnych.

gung - Przywróć Monikę