Rozmiary efektu regresji liniowej przy zastosowaniu transformowanych zmiennych

9

Podczas przeprowadzania regresji liniowej często przydatne jest wykonanie transformacji, takiej jak transformacja logarytmiczna dla zmiennej zależnej, aby uzyskać lepszą konformację rozkładu normalnego. Często przydatne jest również sprawdzenie beta z regresji, aby lepiej ocenić rozmiar efektu / rzeczywistą trafność wyników.

Rodzi to problem polegający na tym, że przy użyciu np. Transformacji logów rozmiary efektów będą w skali logu, a powiedziano mi, że z powodu nieliniowości zastosowanej skali, przekształcenie wsteczne tych beta spowoduje nieistotne wartości, które: nie mają zastosowania w świecie rzeczywistym.

Do tej pory zwykle przeprowadzaliśmy regresję liniową z transformowanymi zmiennymi w celu sprawdzenia istotności, a następnie regresję liniową z oryginalnymi nietransformowanymi zmiennymi w celu ustalenia wielkości efektu.

Czy istnieje dobry / lepszy sposób na zrobienie tego? W przeważającej części pracujemy z danymi klinicznymi, więc prawdziwym przykładem może być określenie, w jaki sposób określona ekspozycja wpływa na zmienne ciągłe, takie jak wzrost, waga lub niektóre pomiary laboratoryjne, i chcielibyśmy dojść do wniosku, że „ekspozycja A miała wpływ o zwiększeniu masy o 2 kg ”.


źródło

Odpowiedzi:

5

Sugerowałbym, że transformacje nie są ważne, aby uzyskać normalny rozkład błędów. Normalność nie jest koniecznym założeniem. Jeśli masz „wystarczającą” ilość danych, uruchamia się centralne twierdzenie o limicie, a twoje standardowe oszacowania stają się asymptotycznie normalne. Alternatywnie można użyć ładowania początkowego jako nieparametrycznego środka do oszacowania standardowych błędów. (Homoskedastyczność, powszechna wariancja obserwacji między jednostkami, jest wymagana, aby standardowe błędy były prawidłowe; solidne opcje pozwalają na heteroskedastyczność).

Zamiast tego transformacje pomagają zapewnić odpowiedni model liniowy. Aby to zrozumieć, zastanówmy się, w jaki sposób możemy interpretować współczynniki w modelach przekształconych:

  • wynik to jednostki, predyktory to jednostki: zmiana o jedną jednostkę w predyktorze prowadzi do zmiany jednostki beta w wyniku.
  • wynik w jednostkach, predyktor w jednostkach logarytmicznych: Jedna procentowa zmiana w predyktorze prowadzi do zmiany jednostki beta / 100 w wyniku.
  • wynik w jednostkach logarytmicznych, predyktor w jednostkach: zmiana o jedną jednostkę w predyktorze prowadzi do zmiany wyniku o wartość beta x 100%.
  • wynik w jednostkach log, predyktor w jednostkach log: zmiana o jeden procent w predyktorze prowadzi do zmiany wyniku w wartości beta.

Jeśli konieczne są przekształcenia, aby Twój model miał sens (tj. Dla zachowania liniowości), wówczas do wnioskowania należy użyć oszacowania z tego modelu. Szacunek z modelu, w który nie wierzysz, nie jest zbyt pomocny. Powyższe interpretacje mogą być bardzo przydatne w zrozumieniu oszacowań z przekształconego modelu i często mogą być bardziej odpowiednie dla danego pytania. Na przykład ekonomiści lubią formułę log-log, ponieważ interpretacja beta jest elastycznością, ważnym miernikiem ekonomicznym.

Dodałbym, że transformacja wsteczna nie działa, ponieważ oczekiwanie na funkcję nie jest funkcją oczekiwania; log oczekiwanej wartości beta nie jest oczekiwaną wartością log beta. Dlatego estymator nie jest bezstronny. Wyrzuca to również standardowe błędy.

Charlie
źródło
2

KRÓTKA ODPOWIEDŹ: Absolutnie poprawna transformacja wsteczna wartości beta jest bez znaczenia. Można jednak zgłosić nieliniowość jako coś w rodzaju. „Jeśli ważysz 100 kg, zjedzenie dwóch kawałków ciasta dziennie spowoduje zwiększenie masy ciała o około 2 kg w ciągu jednego tygodnia. Jeśli jednak ważysz 200 kg, waga wzrośnie o 2,5 kg. Na ilustracji 1 przedstawiono nieliniową zależność ( rysunek 1 przedstawia dopasowanie krzywej do surowych danych). ”

DŁUGA ODPOWIEDŹ:

Znaczenie wartości przekształconej wstecz jest różna, ale po prawidłowym wykonaniu zwykle ma pewne znaczenie.

Jeśli masz regresję naturalnych wartości logarytmicznych na dwóch x predyktorach z beta 0,13 i przecięciem 7,0, to transformacja wsteczna 0,13 (1,14) jest prawie bez znaczenia. To jest poprawne. Jednak wsteczna transformacja 7.13 będzie wartością, którą można interpretować z pewnym znaczeniem. Następnie możesz odjąć transformację wsteczną 7,0 i pozostać z pozostałą wartością, która jest twoim efektem w znaczącej skali (152,2). Jeśli chcesz spojrzeć na jakąkolwiek przewidywaną wartość, musisz najpierw obliczyć wszystko w wartościach dziennika, a następnie przekształcić z powrotem. Tę czynność należy wykonać osobno dla każdej przewidywanej wartości i uzyskać krzywą, jeśli zostanie wyrysowana.

Jest to często uzasadnione, jeśli transformacja ma stosunkowo niewielki wpływ na dane. Logarytmiczna transformacja czasów reakcji jest jednym z rodzajów wartości, które można ponownie przekształcić. Po prawidłowym wykonaniu okaże się, że wartości wydają się zbliżone do wartości mediany, wykonując proste obliczenia na surowych danych.

Nawet wtedy należy uważać na interakcje i nieinterakcje. Względne wartości różnią się w zależności od skali. Analiza była wrażliwa na wartość logu, podczas gdy wartości przekształcone wstecz mogą pokazywać różne wzorce, które sprawiają, że interakcje wydają się być takie, że nie powinny tam być lub odwrotnie. Innymi słowy, możesz z powrotem przekształcić rzeczy, które wprowadzają niewielkie zmiany w danych, o ile jesteś ostrożny.

Niektóre zmiany, takie jak logistyczna transformacja prawdopodobieństwa, mogą mieć dość masywne skutki, szczególnie pod koniec skali. Przykładem miejsca, którego nigdy nie powinieneś przekształcać, są wykresy interakcji w pobliżu wysokiego lub niskiego końca prawdopodobieństwa.

Jan
źródło
2

Pytanie dotyczy marginalnych efektów (X na Y), jak sądzę, nie tyle interpretacji poszczególnych współczynników. Jak zauważyli ludzie, tylko czasami można je zidentyfikować za pomocą wielkości efektu, np. Gdy istnieją relacje liniowe i addytywne.

Jeśli to jest najważniejsze, wydaje się, że (koncepcyjnie, jeśli nie praktycznie) najprostszy sposób myślenia o problemie jest następujący:

Aby uzyskać efekt krańcowy X na Y w modelu regresji liniowej normalnego bez interakcji, to może wystarczy spojrzeć na współczynnik na X ale to nie dosyć, ponieważ szacuje się, nie wiadomo. W każdym razie tak naprawdę chce się efektów marginalnych, jest jakiś wykres lub podsumowanie, które zapewnia prognozę Y dla zakresu wartości X i miarę niepewności. Zazwyczaj można chcieć przewidywanej średniej Y i przedziału ufności, ale można również przewidzieć całkowity rozkład warunkowy Y dla X. Rozkład ten jest szerszy niż oszacowanie sigma dopasowanego modelu, ponieważ uwzględnia niepewność co do współczynników modelu .

Istnieją różne rozwiązania w formie zamkniętej dla prostych modeli takich jak ten. Dla obecnych celów możemy je zignorować i zamiast tego zastanowić się bardziej ogólnie, jak uzyskać ten wykres efektów krańcowych przez symulację, w sposób, który dotyczy dowolnie złożonych modeli.

Załóżmy, że chcesz mieć wpływ zmiany X na średnią Y i z przyjemnością naprawisz wszystkie inne zmienne przy pewnych znaczących wartościach. Dla każdej nowej wartości X pobierz próbkę wielkości B z rozkładu współczynników modelu. Łatwym sposobem na zrobienie tego w R jest założenie, że jest to Normalny z coef(model)macierzą średnich i kowariancji vcov(model). Oblicz nowe oczekiwane Y dla każdego zestawu współczynników i podsumuj partię z interwałem. Następnie przejdź do następnej wartości X.

Wydaje mi się, że na tę metodę nie powinny mieć wpływu żadne fantazyjne transformacje zastosowane do żadnej ze zmiennych, pod warunkiem, że zastosujesz je (lub ich odwrotności) na każdym etapie próbkowania. Tak więc, jeśli dopasowany model ma log (X) jako predyktor, to zaloguj nowy X przed pomnożeniem go przez współczynnik próbkowany. Jeśli dopasowany model ma sqrt (Y) jako zmienną zależną, to przed obliczeniem ich jako interwału każdy kwadrat przewiduje średnią w próbce.

Krótko mówiąc, więcej programowania, ale mniej obliczeń prawdopodobieństwa i w rezultacie klinicznie zrozumiałe efekty marginalne. Ta „metoda” jest czasami określana jako CLARIFY w literaturze nauk politycznych, ale jest dość ogólna.

sprzężonyprior
źródło