Czy założenie liniowości w regresji liniowej jest jedynie definicją

Przeglądam regresję liniową.

Podręcznik Greene'a stanowi:

Teraz oczywiście będą inne założenia dotyczące modelu regresji liniowej, takie jak . To założenie w połączeniu z założeniem liniowości (które w rzeczywistości definiuje ), nakłada strukturę na model. $E(\epsilon|X)=0$ $\epsilon$

Jednak założenie liniowości sama nie stawia żadnej struktury w naszym modelu, ponieważ może być zupełnie dowolna. Dla dowolnych zmiennych cokolwiek, bez względu na relację między nimi, możemy zdefiniować taki sposób, aby zachowało się założenie liniowości. Dlatego, liniowość „założenie” powinien być naprawdę nazywa się definicja z , niż założenie. $\epsilon$ $X, y$ $\epsilon$ $\epsilon$

Dlatego zastanawiam się :

Czy Greene jest niechlujny? Czy rzeczywiście powinien napisać: ? Jest to „założenie liniowości”, które faktycznie nadaje strukturę modelowi. $E(y|X)=X\beta$
Czy też muszę zaakceptować, że założenie liniowości nie nakłada struktury na model, a jedynie definiuje , gdzie inne założenia wykorzystają tę definicję do umieszczenia struktury w modelu? $\epsilon$ $\epsilon$

Edycja : ponieważ wydaje się, że istnieje pewne zamieszanie wokół innych założeń, dodaję tutaj pełny zestaw założeń:

Pochodzi z Greene, Econometric Analysis, wydanie 7. p. 16

econometrics linear-model assumptions causality definition użytkownik56834
źródło

Są to spostrzegawcze spostrzeżenia (+1). Szczerze mówiąc, uważam, że większość (jeśli nie wszyscy) autorów pracuje w ramach, w których samo znaczenie błędu addytywnego, takiego jak

obejmuje założenie, że jego rozkład jest wyśrodkowany na

ϵ

$\epsilon$

0

$0$

whuber

@ Whuber, dodałem cały zestaw założeń. spójrz na A3. A3 wyjaśnia, że jest wyśrodkowany na 0, co oznaczałoby, że Greene nie zakłada tego w A1, co pozostawia mi pytanie, czy A1 ma w ogóle jakąkolwiek logiczną treść, poza zdefiniowaniem

ϵ

$\epsilon$

user56834

Zamierzonym znaczeniem listy założeń jest to, że mają one charakter zbiorowy, a nie osobno. To nie wykazuje żadnej „niechlujstwa”.

whuber

@AdamO, słowo „poprawne” wydaje mi się nie mieć dokładnego znaczenia. Staram się to dokładniej zrozumieć. Wydaje mi się, że najbardziej precyzyjnym sformułowaniem tego wszystkiego jest stwierdzenie, że założenie 1 należy nazwać „definicją

”, a wtedy wszystko ma sens. Albo czegoś mi brakuje, dlatego zadałem to pytanie. Niestety do tej pory nie widziałem bezpośredniej odpowiedzi na to pytanie

ϵ

$\epsilon$

56834

@ Programmer2134 otrzymujesz nieprecyzyjne odpowiedzi, ponieważ zadajesz nieprecyzyjne pytanie. Nie mówi się, że „kładzie się strukturę na modelu”. Jeżeli błędne średnią wzór (

jest używany), a reakcja jest charakteryzowany jako

. a reszty są traktowane jako suma błędu i błędu.

f (x)

$f(x)$

Y = f (x) + bias + error

$Y = f(x) + \text{bias} + \text{error}$

AdamO

Odpowiedzi:

Czy Greene jest niechlujny? Czy rzeczywiście powinien napisać: ? Jest to „założenie liniowości”, które faktycznie nadaje strukturę modelowi. $E(y|X)=X\beta$

W pewnym sensie tak i nie. Z jednej strony, owszem, biorąc pod uwagę obecne współczesne badania przyczynowe , jest on niechlujny, ale podobnie jak większość podręczników ekonometrii, w tym sensie, że nie dokonują wyraźnego rozróżnienia wielkości przyczynowych i obserwacyjnych, co prowadzi do powszechnych nieporozumień, takich jak to pytanie. Ale z drugiej strony nie, to założenie nie jest niechlujne w tym sensie, że faktycznie różni się od zwykłego przyjęcia . $E(y|X)=X\beta$

Sednem sprawy jest tutaj różnica między oczekiwaniem warunkowym, , a równaniem strukturalnym (przyczynowym) , a także jego oczekiwaniem strukturalnym (przyczynowym) $E(y|X)$ $y$ $E[Y|do(X)]$ . Założenie liniowości w Greene jest założeniem strukturalnym . Zobaczmy prosty przykład. Wyobraź sobie, że równanie strukturalne to:

y = β x + γ x^{2} + ϵ

$y= \beta x + \gamma x^2 + \epsilon$

Teraz pozwól . Wtedy mielibyśmy: $E[\epsilon |x] = \delta x - \gamma x^2$

E [y | x] = β^{'} x

$E[y|x] = \beta'x$

gdzie . Ponadto możemy napisać i mielibyśmy . To pokazuje, że możemy mieć poprawnie określone liniowe oczekiwanie warunkowe który z definicji będzie miał zaburzenie ortogonalne, ale równanie strukturalne byłoby nieliniowe. $\beta' = \beta + \delta$ $y = \beta'x + \epsilon'$ $E[\epsilon'|x] = 0$ $E[y|x]$

Czy muszę przyjąć, że założenie liniowości nie stawia strukturę modelu, ale tylko definiuje , gdzie inne założenia użyje tej definicji umieścić strukturę modelu? $\epsilon$ $\epsilon$

Założenie liniowości nie definiuje , to znaczy z definicji, gdzie oznacza odchylenia od jego oczekiwań, gdy eksperymentalnie ustawiamy ( patrz rozdział Pearl 5.4 ). Pozostałe założenia służą do identyfikacji parametrów strukturalnych (na przykład założenie egzogeniczności $\epsilon$ $\epsilon := y - X\beta = y - E[Y|do(X)]$ $\epsilon$ $y$ $X$ $\epsilon$ pozwala zidentyfikować oczekiwanie strukturalne z warunkowym oczekiwaniem ) lub w celu wyprowadzenia właściwości statystycznych estymatorów (na przykład założenie homoskedastyczności gwarantuje, że OLS jest NIEBIESKI, założenie normalności ułatwia uzyskanie wyników „skończonej próbki” do wnioskowania itp.). $E[Y|do(X)]$ $E[Y|X]$

Jednak założenie liniowości sama nie stawia żadnej struktury w naszym modelu, ponieważ może być zupełnie dowolna. W przypadku jakichkolwiek zmiennych w ogóle, bez względu na to, co relacja między nimi możemy zdefiniować tak, że założenie liniowości trzyma. $\epsilon$ $X, y$ $\epsilon$

Twoje stwierdzenie dotyczy ogólnie głównego problemu wnioskowania przyczynowego! Jak pokazano w prostym przykładzie powyżej, można gotować zaburzenia strukturalne, które mogłyby spowodować oczekiwanie warunkowego podane liniowe. Zasadniczo kilka różnych modeli strukturalnych (przyczynowych) może mieć ten sam rozkład obserwacyjny, a nawet przyczynowość bez obserwowanego związku. Dlatego w tym sensie masz rację --- potrzebujemy więcej założeń dotyczących , aby wprowadzić „więcej struktury” do problemu i zidentyfikować parametry strukturalne podstawie danych obserwacyjnych. $y$ $x$ $\epsilon$ $\beta$

Dygresja

Warto wspomnieć, że większość podręczników ekonometrycznych jest myląca, jeśli chodzi o rozróżnienie między regresją a równaniami strukturalnymi i ich znaczeniem. Zostało to ostatnio udokumentowane. Tutaj możesz sprawdzić artykuł Chen i Pearl, a także obszerną ankietę Chrisa Aulda . Greene jest jedną z badanych książek.

Carlos Cinelli
źródło

Dzięki, to była odpowiedź, której szukałem. Kiedy więc powiesz, że założenie liniowości jest założeniem strukturalnym, co to dokładnie pociąga za sobą związek przyczynowy między

? Nadal może istnieć związek przyczynowy, prawda? Po prostu bezpośredni związek przyczynowy od

jest liniowy, prawda? Nadal może występować wysoce nieliniowy wpływ przyczynowy

ϵ

$\epsilon$

x

$x$

x

$x$

y

$y$

x

$x$

y

$y$

ϵ

$\epsilon$

user56834

@ Programmer2134 to kolejny obszar, w którym podręczniki ekonometrii są niechlujne, nie znajdziesz odniesienia do efektów bezpośrednich / pośrednich, mediacji itp. Jeśli równanie jest strukturalne, wówczas możemy mieć operacyjną definicję zaburzeń strukturalnych jako różnicę

z oczekiwaną efekt przyczynowy

, to znaczy

. Stąd też w tym sensie strukturalnym

nie jest „spowodowane” przez

. To jednak nie mówi nam nic o

y

$y$

X

$X$

ϵ := y - E [Y | d o (X)] = y - X β

$\epsilon := y - E[Y|do(X)] = y - X\beta$

ϵ

$\epsilon$

X

$X$ stowarzyszenie z

, dla mogli mieć wspólne przyczyny.

ϵ

$\epsilon$

X

$X$

Carlos Cinelli,

@ Nawiasem mówiąc, programmer2134, twoje obawy są na dobrej drodze, myślę, że Pearl's Primer na podstawie wnioskowania przyczynowego może być interesującym towarzyszem Greene'a!

Carlos Cinelli,

Nawiasem mówiąc, jakiś czas temu zacząłem czytać „Przyczynowość: modele, rozumowanie i wnioskowanie” autorstwa Pearl. Myślałem, że to bardzo interesujące, ale dla mnie było trochę abstrakcyjne. Nie przekroczyłem rozdziału 2. Czy uważasz, że „podkład na wnioskowanie przyczynowe” będzie bardziej odpowiedni? (tj. wprowadzać pojęcia bardziej intuicyjnie).

user56834

@ColorStatistics można użyć regresji do prognozowania, jasne, ale założenie, że egzogeniczność nie odgrywa żadnej roli. Właśnie to OP zaczął podejrzewać sam, pytając, dlaczego Greene po prostu nie napisał założenia, że

jest liniowe.

E (Y | x)

$E(Y|x)$

Carlos Cinelli,

zredagowane po komentarzach OP i Matthew Drury

Aby odpowiedzieć na to pytanie, zakładam, że Greene i OP mają na uwadze następującą definicję liniowości: Liniowość oznacza, że dla każdego wzrostu jednostkowego tego predyktora wynik jest zwiększany o beta ( ), niezależnie od zakresu możliwych wartości predyktora następuje wzrost o jedną jednostkę. Tj. Funkcja to a nie np. lub $β$ $y=f(x)$ $y=a+bx$ $y=a+bx^2$ $y=a+sin(x)$ . Ponadto założenie to koncentruje się na betach, a zatem ma zastosowanie do predyktorów (inaczej zmiennych niezależnych).

Oczekiwanie reszt zależne od modelu to coś innego. Tak, to prawda, że matematyka regresji liniowej definiuje / próbuje zdefiniować . Jest to jednak zwykle ustawiane w całym zakresie dopasowanych / przewidywanych wartości dla . Jeśli spojrzysz na określone części predyktora liniowego i przewidywaną wartość , możesz zauważyć heteroscedastyczność (obszary, w których zmiana jest większa niż gdzie indziej) lub obszary, w których $E(ϵ|X)$ $E(ϵ|X)=0$ $y$ $y$ $ϵ$ . Przyczyną tego może byćnieliniowe powiązanie i , ale nie jest to jedyny powód, dla któregomoże wystąpićheteroscedastyczność lub (patrz na przykład brak odchylenia predyktora). $E(ϵ|X)≠0$ $x$ $y$ $E(ϵ|X)≠0$

Z komentarzy: OP stwierdza, że „założenie liniowości nie ogranicza modelu w żaden sposób, biorąc pod uwagę, że epsilon jest arbitralny i może być dowolną funkcją XX”, na co się zgodziłbym. Myślę, że jest to wyjaśnione przez regresje liniowe zdolne do dopasowania do dowolnych danych, niezależnie od tego, czy założenie liniowości jest naruszone, czy nie. Spekuluję tutaj, ale to może być powód, dla którego Greene zdecydował się zachować błąd we wzorze - zapisując na później - aby zaznaczyć, że przyjmując liniowość, (a nie oczekiwana ) można zdefiniować na podstawie ale utrzymuje pewien błąd $ϵ$ $E(ϵ|X)=0$ $y$ $y$ $X$ $ϵ$ , bez względu na wartości . Mogę tylko mieć nadzieję, że później przekaże znaczenie . $ϵ$ $E(ϵ|X)=0$

W skrócie (co prawda, bez pełnego czytania książki Greene'a i sprawdzenia jego argumentacji):

Greene prawdopodobnie odnosi się do stałych beta dla całego zakresu predyktora (nacisk należy położyć na beta w równaniach lub ; $y=Xβ + ϵ$ $E(ϵ|X)=Xβ$
Założenie liniowości wprowadza pewną strukturę do modelu. Należy jednak pamiętać, że przekształcenia lub uzupełnienia, takie jak splajny przed modelowaniem, mogą sprawić, że powiązania nieliniowe będą zgodne ze strukturą regresji liniowej.

IWS
źródło

Jest to pomocne, ale odwołanie do ciągłości nie jest w żadnym wypadku potrzebne. Maszyna działa w ten sam sposób, jeśli

jest oparty na predyktorach

X

$X$

(0, 1)

$(0, 1)$

Nick Cox

Napisałeś

, ale myślę, że masz na myśli

f (y)

$f(y)$

f (x)

$f(x)$

Nick Cox

@NickCox Zredagowałem te punkty.

IWS

Co rozumiesz przez normalność? Jeśli masz na myśli normalność, to jest ona nieprawidłowa, ponieważ epsilon nie musi być normalny, aby warunkowo oczekiwać zerowej wartości. Ale masz na myśli coś innego? Ponadto przyjmuje się, że tak, beta dla wszystkich obserwacji jest stała. A jak myślisz, co jest nie tak z moim argumentem, że założenie liniowości w żaden sposób nie ogranicza modelu, biorąc pod uwagę, że epsilon jest arbitralny i może być dowolną funkcją

? Zauważ, że wiem, czym jest heteroskedastyczność i że liniowość oznacza liniowy w parametrach, a nie w zmiennych.

X

$X$

user56834

Nie zgadzam się z tym. Założenie oczekiwania nie ma związku z normalnością, ale jest absolutnie potrzebne, aby zrozumieć sens założenia liniowości strukturalnej. W przeciwnym razie, jak zauważono w op, założenie o liniowości jest bez znaczenia. Założenie o normalności jest zupełnie inną bestią i często jest niepotrzebne.

Matthew Drury

-1

Byłem trochę zdezorientowany powyższą odpowiedzią, dlatego dam jej jeszcze jedną szansę. Myślę, że pytanie nie dotyczy tak naprawdę „klasycznej” regresji liniowej, ale stylu tego konkretnego źródła. W części regresji klasycznej:

Jednak samo założenie liniowości nie nakłada żadnej struktury na nasz model

To jest absolutnie poprawne. Jak już powiedziałeś, równie dobrze może zabić relację liniową i zsumować coś całkowicie niezależnego od , abyśmy w ogóle nie mogli obliczyć żadnego modelu. $\epsilon$ $X$

Czy Greene jest niechlujny? Czy rzeczywiście powinien napisać: $E(y|X)=Xβ$

Nie chcę odpowiadać na pierwsze pytanie, ale pozwól mi podsumować założenia potrzebne do zwykłej regresji liniowej:

Załóżmy, że można zaobserwować (dostaniesz) punktów danych i dla . Musisz założyć, że dane , które zaobserwowałeś, pochodzą z niezależnie, identycznie rozmieszczonych zmiennych losowych takich, że ... $x_i \in \mathbb{R}^d$ $y_i \in \mathbb{R}$ $i=1,...,n$ $(x_i, y_i)$ $(X_i, Y_i)$

Istnieje ustalony (niezależny od ) taki, że dla wszystkich a zmienne losowe są takie, że $i$ $\beta \in \mathbb{R}^d$ $Y_i = \beta X_i + \epsilon_i$ $i$ $\epsilon_i$
są IID, jak również i jest rozprowadzany jako ( muszą być niezależne od , a) $\epsilon_i$ $\epsilon_i$ $\mathcal{N}(0, \sigma)$ $\sigma$ $i$
Dla i podstawniki mają wspólny gęstości, to znaczy jedną zmienną losową ma gęstość $X = (X_1, ..., X_n)$ $Y = (Y_1, ..., Y_n)$ $X, Y$ $(X, Y)$ $f_{X,Y}$

Teraz możesz pobiec zwykłą ścieżką i wykonać obliczenia

f_{Y | X} (y | x) = f_{Y, X} (y, x) / f_{X} (x) = {(\frac{1}{\sqrt{2 π d}})}^{n} \exp (\frac{- \sum_{i = 1}^{n} (y_{i} - β x_{i})^{2}}{2 σ})

$f_{Y|X}(y|x) = f_{Y,X}(y,x)/f_X(x) = \left(\frac{1}{\sqrt{2\pi d}}\right)^n \exp{\left( \frac{-\sum_{i=1}^n (y_i - \beta x_i)^2}{2\sigma}\right)}$

dzięki zwykłej „dualności” między uczeniem maszynowym (minimalizacja funkcji błędów) a teorią prawdopodobieństwa (maksymalizacja prawdopodobieństw) maksymalizujesz w co w rzeczywistości daje zwykłe rzeczy „RMSE”. $-\log f_{Y|X}(y|x)$ $\beta$

Teraz, jak już powiedziano: jeśli autor cytowanej książki chce to powiedzieć (co musisz zrobić, jeśli kiedykolwiek będziesz w stanie obliczyć „najlepszą możliwą” linię regresji w podstawowej konfiguracji), to tak, musi uczynić to założenie na normalicity z gdzieś w książce. $\epsilon$

Istnieją teraz różne możliwości:

Nie zapisuje tego założenia w książce. To błąd w książce.
Zapisuje to w formie „globalnej” uwagi, takiej jak „za każdym razem, gdy piszę wówczas są zwykle rozkładane ze średnią zero, chyba że podano inaczej”. Zatem IMHO jest złym stylem, ponieważ powoduje dokładnie zamieszanie, które teraz odczuwasz. Właśnie dlatego w każdym Twierdzeniu zapisuję założenia w jakiejś skróconej formie . Tylko wtedy każdy element konstrukcyjny może być postrzegany jako odrębny przedmiot. $+ \epsilon$ $\epsilon$
- Zapisuje to ściśle w części, którą cytujesz, a ty / my po prostu tego nie zauważyliśmy (również możliwość :-))

Jednak również w ścisłym sensie matematycznym błąd normalny jest czymś kanonicznym (rozkład z najwyższą entropią [po ustaleniu wariancji], stąd wytwarzanie najsilniejszych modeli), tak że niektórzy autorzy mają tendencję do pomijania tego założenia, ale mimo to używają go . Formalnie masz całkowitą rację: używają matematyki w „niewłaściwy sposób”. Ilekroć chcą wymyślić równanie dla gęstości jak wspomniano powyżej, muszą wiedzieć całkiem dobrze, w przeciwnym razie masz po prostu jego właściwości latające w każdym sensownym równaniu, które próbujesz zapisać. $f_{Y|X}$ $\epsilon$

Fabian Werner
źródło

błędy nie muszą być normalnie dystrybuowane, aby korzystać z OLS.

user56834

(-1) Błędy nie muszą być normalnie dystrybuowane. W rzeczywistości nie muszą nawet być niezależne ani identycznie rozmieszczone, aby oszacowanie parametru było obiektywne, a testy spójne. Twoje znacznie bardziej rygorystyczne specyfikacje są niezbędne, aby OLS był dokładnym testem.

AdamO

@AdamO: Ah? Jak zatem obliczyć prawdopodobieństwo? A raczej ... jeśli zostaniesz poproszony o wdrożenie regresji liniowej: jaką linię regresji wybierzesz, jeśli błąd nie jest normalnie rozłożony, a pojedyncze

nie są niezależne?

ϵ_{i}

$\epsilon_i$

Fabian Werner

@FabianWerner mój wybór modelu zależy od pytania, które należy zadać. Regresja liniowa szacuje trend pierwszego rzędu w zbiorze danych, „praktyczną zasadę” odnoszącą różnicę X do różnicy Y. Jeśli błędy nie są normalnie rozłożone, Lindeberg Feller CLT gwarantuje, że CI i PI są w przybliżeniu poprawne nawet w bardzo małych próbkach. Jeśli błędy nie są niezależne (a struktura zależności jest nieznana), szacunki nie są stronnicze, chociaż SE mogą być niepoprawne. Szacowanie błędu kanapki łagodzi ten problem.

AdamO,