Dlaczego tłumić intercept w regresji liniowej?

20

W wielu pakietach statystycznych, w tym SAS, SPSS i może więcej, istnieje opcja „stłumienia przechwytywania”. Dlaczego chcesz to zrobić?

regression użytkownik333
źródło

Odpowiedzi:

16

Jeśli z jakiegoś powodu znasz punkt przecięcia (szczególnie jeśli jest to zero), możesz uniknąć marnowania wariancji w danych w celu oszacowania czegoś, co już wiesz, i masz większe zaufanie do wartości, które musisz oszacować.

Nieco uproszczonym przykładem jest sytuacja, gdy już wiesz (z wiedzy o domenie), że jedna zmienna jest (średnio) wielokrotnością innej i próbujesz znaleźć tę wielokrotność.

Nick Sabbe
źródło
Nie do końca to rozumiem, ale w modelu, który tworzę w R, mam coś w rodzaju lm (a ~ b / c - 1), który tworzy interakcje między bi ic, a poprzez tłumienie przechwytywania („- 1” w R), otrzymuję łatwiejsze do interpretacji odpowiedzi, które są zasadniczo takie same, jak gdybym nie tłumił przechwytywania. Jakoś interakcja sprawia, że ​​jest to możliwe.
Wayne
Łatwiejsze do interpretacji odpowiedzi, które są w zasadzie takie same? To wydaje się być sprzecznością. Może powinieneś przedstawić to jako nowe pytanie?
Nick Sabbe
Jeśli spojrzę na współczynniki, z przecięciem jest (przecięcie) i ocieplacz (jedną z moich zmiennych jest temp, który może być cieplejszy lub chłodniejszy ). Aby zinterpretować współczynniki, muszę wiedzieć, że (przechwytywanie) bezpośrednio odpowiada tempcooler i tempwarmer + (przechwytywanie) jest bezpośrednio interpretowalnym tempwarmerem . Jeśli stłumię przechwytywanie, zobaczę bezpośrednio chłodnicę i podgrzewacz . Być może dziwactwo wzorów R i modelowania liniowego, ale ...
Wayne
12

Rozważ przypadek 3-poziomowego współzmiennika jakościowego. Jeśli ktoś ma przecięcie, wymagałoby to 2 zmiennych wskaźnikowych. Stosując zwykłe kodowanie zmiennych wskaźnikowych, współczynnik dla każdej zmiennej wskaźnikowej jest średnią różnicą w porównaniu z grupą odniesienia. Tłumiąc punkt przecięcia, otrzymalibyśmy 3 zmienne reprezentujące zmienną zmienną jakościową, a nie tylko 2. Współczynnik jest wówczas średnim oszacowaniem dla tej grupy. Bardziej konkretnym przykładem tego, gdzie można to zrobić, jest nauka o polityce, w której można studiować 50 stanów USA. Zamiast posiadania przecięcia i 49 zmiennych wskaźnikowych dla stanów, często lepiej jest tłumić przecięcie i zamiast tego mieć 50 zmiennych.

jkd
źródło
Znacznie łatwiej jest interpretować współczynnik w ten sposób
prawdopodobieństwo jest
1
Tak, ale rozkłada się na dwie lub więcej zmiennych jakościowych!
kjetil b halvorsen
2

Aby zilustrować punkt @Nick Sabbe konkretnym przykładem.

Kiedyś widziałem, jak badacz przedstawił model wieku drzewa w funkcji jego szerokości. Można założyć, że gdy drzewo osiąga wiek zerowy, ma szerokość równą zero. Dlatego przechwytywanie nie jest wymagane.

Jeromy Anglim
źródło
8
Mądrość lub jej brak zależy od zakresu zależnej zmiennej zainteresowania. Weź pod uwagę dane dotyczące hamowania samochodu, gdy masz prędkości i drogi do zatrzymania. Możesz dopasować model kwadratowy z lub bez przechwytywania. Prędkości zainteresowania zwykle zaczynają się od około 50 km / h i dochodzą, powiedzmy, do 130 km / h. Wydaje mi się, że dopasowanie kwadratu z przecięciem w tym przypadku jest bardziej sensowne, ponieważ wymuszenie przecięcia do zera może powodować (praktycznie) znaczące problemy z niedopasowaniem. Fakt, że „droga hamowania” zatrzymanego samochodu wynosi zero, nie ma szczególnego znaczenia dla problemu modelowania.
kardynał
@ kardynał tak zastanawiałem się, czy powinienem zrobić podobny punkt. Odkryłem, że w niektórych kontekstach modelowania regresji nieliniowej istnieje większe zainteresowanie posiadaniem modelu, który zapewnia teoretycznie wiarygodny model, który dokładnie przewiduje poza zakresem danych (np. Przy uczeniu się prędkości danych krzywej modele nie powinny przewidywać prędkości poniżej 0 sekund ). W takich przypadkach ograniczenie przechwytywania do zera może być bardziej odpowiednie, nawet jeśli powoduje spadek predykcji danych.
Jeromy Anglim
@ cardinal Zgadzam się, że modele wielomianowe rzadko przewidują wiarygodne wyniki poza zakresem danych, dlatego ograniczenie przechwytywania do 0 w takich modelach rzadko jest dobrym pomysłem.
Jeromy Anglim
Dziękuję za komentarze. Moja uwaga nie była tak bardzo skierowana na modele wielomianowe. Wybór kwadratu był po prostu oparty na rzeczywistej motywacji fizycznej (tj. Mechanice klasycznej). Próbowałem wyrazić to, że należy dokładnie rozważyć interesujący problem związany z modelowaniem; czasami robienie czegoś, co jest (lub wydaje się) „teoretycznie nieuzasadnione”, jest w rzeczywistości bardziej odpowiednie statystycznie.
kardynał