Jak odróżnić modele regresji liniowej od nieliniowej?

27

Czytałem następujący link o regresji nieliniowej SAS Nieliniowy . Rozumiem po przeczytaniu pierwszego rozdziału „Regresja nieliniowa vs. regresja liniowa”, że poniższe równanie jest w rzeczywistości regresją liniową, czy to prawda? Jeśli tak to dlaczego?

y=b1x3+b2x2+b3x+c

Czy mam również zrozumieć, że w regresji nieliniowej wielokoliniowość nie stanowi problemu? Wiem, że wielokoliniowość może być problemem w regresji liniowej, więc na pewno, jeśli powyższy model jest w rzeczywistości regresją liniową, istniałaby wielokoliniowość?

mHelpMe
źródło
Ściśle powiązane: stats.stackexchange.com/questions/33876 .
whuber
Również powiązany: co oznacza „krzywoliniowy”?
Gung - Przywróć Monikę

Odpowiedzi:

35

Istnieją (przynajmniej) trzy zmysły, w których regresję można uznać za „liniową”. Aby je rozróżnić, zacznijmy od wyjątkowo ogólnego modelu regresji

Y=f(X,θ,ε).

Aby uprościć dyskusję, weź zmienne niezależne do ustalenia i dokładnego zmierzenia (zamiast zmiennych losowych). Ich podstawowych obserwacji atrybutów każda, która prowadzi do -wektor odpowiedzi . Konwencjonalnie jest reprezentowane jako macierz , a jako kolumna wektor. (Skończony wektor) zawiera parametry . jest losową zmienną o wartości wektorowej. Zwykle man p n Y X n × p Y n q θ ε n f n Y θ εXnpnYXn×pYnqθεnelementy, ale czasami ma mniej. Funkcja ma wartość wektorową (z składnikami pasującymi do ) i zwykle przyjmuje się, że jest ona ciągła w dwóch ostatnich argumentach ( i ).fnYθε

Archetypowym przykładem dopasowania linii do danych jest przypadek, gdy jest wektorem liczb - wartości x; jest wektorem równoległym liczb ; podaje punkt przecięcia i nachylenie ; i jest wektorem „błędów losowych”, których składniki są niezależne (i zwykle przyjmuje się, że mają identyczne, ale nieznane rozkłady średniej wartości zerowej). W poprzednim zapisieX ( x i ,(x,y)XY n ( y i ) θ = ( α , β ) α β ε = ( ε 1 , ε 2 , , ε n )(xi,i=1,2,,n)Yn(yi)θ=(α,β)αβε=(ε1,ε2,,εn)

yi=α+βxi+εi=f(X,θ,ε)i

z .θ=(α,β)

Funkcja regresji może być liniowa w dowolnym (lub we wszystkich) z trzech argumentów:

  • „Regresja liniowa lub„ model liniowy ”zwykle oznacza, że jest liniowy jako funkcja parametrów . W tym znaczeniu znaczenie SAS oznacza„ regresja nieliniowa ” , z dodatkowym założeniem, że jest różniczkowalna w drugim argument (parametry) To założenie ułatwia znalezienie rozwiązań.θ ff θf

  • Określenie „liniowa zależność między i ” środki jest liniowy w funkcji .Y f XXYfX

  • Model ma błędy addytywne, gdy jest liniowe w . W takich przypadkach zawsze zakłada się, że . (W przeciwnym razie nie byłoby słuszne myśleć o jako „błędach” lub „odchyleniach” od „poprawnych” wartości).ε E ( ε ) = 0 εfεE(ε)=0ε

Każda możliwa kombinacja tych cech może się zdarzyć i jest przydatna. Zbadajmy możliwości.

  1. Model liniowy relacji liniowej z błędami addytywnymi. Jest to zwykła (wielokrotna) regresja, już pokazana powyżej i bardziej ogólnie zapisana jako

    Y=Xθ+ε.

    θ strX został zwiększony, jeśli to konieczne, poprzez przyleganie do kolumny stałych, a jest wektorem .θp

  2. Model liniowy relacji nieliniowej z błędami addytywnymi. Można to sformułować jako regresję wielokrotną, rozszerzając kolumny o nieliniowe funkcje samegoNa przykład,XXX

    yi=α+βxi2+ε

    jest w tej formie. Jest liniowy w ; ma błędy addytywne; i jest liniowy w wartościach mimo że jest nieliniową funkcją .( 1 , x 2 i ) x 2 i x iθ=(α,β)(1,xi2)xi2xi

  3. Model liniowy relacji liniowej z błędami nieaddytywnymi. Przykładem jest błąd multiplikatywny,

    yi=(α+βxi)εi.

    (W takich przypadkach można interpretować jako „błędy multiplikatywne”, gdy lokalizacja wynosi Jednak właściwym wyczuciem lokalizacji niekoniecznie jest oczekiwanie : może to być na przykład mediana lub średnia geometryczna. Podobny komentarz na temat założeń dotyczących lokalizacji stosuje się mutatis mutandis również we wszystkich innych kontekstach nieaddytywnych).εiεi1E(εi)

  4. Model liniowy relacji nieliniowej z błędami nieaddytywnymi. na przykład ,

    yi=(α+βxi2)εi.
  5. Nieliniowy model zależności liniowej z błędami addytywnymi. Model nieliniowy obejmuje kombinacje jego parametrów, które nie tylko są nieliniowe, ale nie można ich nawet zlinearyzować poprzez ponowne wyrażenie parametrów.

    • Jako przykład nie rozważ tego

      yi=αβ+β2xi+εi.

      Poprzez zdefiniowanie i i ograniczenie , model ten można przepisaćα=αββ=β2β0

      yi=α+βxi+εi,

      pokazując go jako model liniowy (relacji liniowej z błędami addytywnymi).

    • Jako przykład rozważ

      yi=α+α2xi+εi.

      Niemożliwe jest znalezienie nowego parametru , w zależności od , który zlinearyzuje go jako funkcję (jednocześnie zachowując liniowość również w ).αααxi

  6. Nieliniowy model relacji nieliniowej z błędami addytywnymi.

    yi=α+α2xi2+εi.
  7. Nieliniowy model zależności liniowej z nieaddytywnymi błędami.

    yi=(α+α2xi)εi.
  8. Nieliniowy model relacji nieliniowej z nieaddytywnymi błędami.

    yi=(α+α2xi2)εi.

Chociaż wykazują one osiem różnych form regresji, nie stanowią one systemu klasyfikacji, ponieważ niektóre formy można przekształcić w inne. Standardowym przykładem jest konwersja modelu liniowego z błędami nieaddytywnymi (zakłada się, że ma wsparcie dodatnie)

yi=(α+βxi)εi

do modelu liniowego relacji nieliniowej z błędami addytywnymi za pomocą logarytmu,

log(yi)=μi+log(α+βxi)+(log(εi)μi)

Tutaj średnia geometryczna dziennika została usunięta ze składników błędów (aby upewnić się, że mają zero środków, zgodnie z wymaganiami) i została włączona do innych warunków (gdzie należy oszacować jego wartość). Rzeczywiście, jednym z głównych powodów ponownego wyrażenia zmiennej zależnej jest stworzenie modelu z błędami addytywnymi. Ponowna ekspresja może również zlinearyzować jako funkcję jednego (lub obu) parametrów i zmiennych objaśniających.μi=E(log(εi))YY


Kolinearność

Kolinearność (wektorów kolumnowych w ) może być problemem w dowolnej formie regresji. Kluczem do zrozumienia tego jest uznanie, że kolinearność prowadzi do trudności w oszacowaniu parametrów. Streszczenie i całkiem ogólnie, porównaj dwa modele i gdzie to z jedną kolumną nieznacznie zmienione. Jeśli to powoduje ogromne zmiany w szacunkach i , to oczywiście mamy problem. Jednym ze sposobów powstania tego problemu jest model liniowy, liniowy wY = F ( x , θ , ε ) T = f ( x ' , θ , ε ' ) X ' X θ θ ' X θ XXY=f(X,θ,ε)Y=f(X,θ,ε)XX θ^θ^X(to jest typu (1), lub (5) powyżej), przy czym składniki są odpowiednio jeden do jednego z kolumny . Gdy jedna kolumna jest nietrywialną liniową kombinacją innych, oszacowanie odpowiadającego jej parametru może być dowolną liczbą rzeczywistą. To skrajny przykład takiej wrażliwości.θX

Z tego punktu widzenia powinno być jasne, że kolinearność jest potencjalnym problemem dla liniowych modeli zależności nieliniowych (niezależnie od addytywności błędów) i że ta uogólniona koncepcja kolinearności jest potencjalnie problemem w każdym modelu regresji. Gdy masz nadmiarowe zmienne, będziesz mieć problemy z identyfikacją niektórych parametrów.

Whuber
źródło
czy możesz polecić zwięzłą, wprowadzającą lekturę, która pomoże mi lepiej zrozumieć wspomnianą linearyzację, która stanowi sedno różnicy między twoim przykładem a nie-przykładem w punkcie 5. Dziękuję.
ColorStatistics
@Color Nie znam żadnego. Przy łagodnych założeniach dotyczących różniczkowalności możliwych przekształceń rozwiązuje to teoria równań różniczkowych cząstkowych (PDE).
whuber
0

Powinieneś zacząć już teraz, wprowadzając różnicę między rzeczywistością a modelem, którego używasz do jej opisu

Wspomniane równanie jest równaniem wielomianowym (moc x ^), tj. nieliniowy ... ale nadal można go modelować za pomocą uogólnionego modelu liniowego (za pomocą funkcji łącza) lub regresji wielomianowej, ponieważ parametry są liniowe (b1, b2, b3, c)

miejmy nadzieję, że pomogło, w rzeczywistości jest trochę szkicowe: rzeczywistość / model

Po Stulat
źródło
3
Można to oszacować za pomocą zwykłych najmniejszych kwadratów, ponieważ model ma parametry liniowe.
Analityk
więc to wszystko ma związek z parametrami? jeśli b3 ^ 2 * x nadal byłoby liniowe?
mHelpMe
0

Model jest liniowy, jeśli ma parametry liniowe lub może zostać przekształcony w parametry liniowe (linearyzowalne). Modele liniowe mogą modelować zależności liniowe lub nieliniowe. Rozwińmy każdy z nich.

Model jest liniowy w parametrach, jeśli może być zapisana jako suma warunków, w którym każdy składnik jest albo stała albo parametr pomnożenie predykcyjnych (X I ):

wprowadź opis zdjęcia tutaj

Zauważ, że ta definicja jest bardzo wąska. Tylko modele spełniające tę definicję są liniowe. Każdy inny model jest nieliniowy.

Istnieją dwa typy modeli liniowych, które są mylone z modelami nieliniowymi:

1. Modele liniowe relacji nieliniowych

Na przykład poniższy model modeluje relację nieliniową (ponieważ pochodna Y w odniesieniu do X 1 jest funkcją X 1 ). Tworząc nową zmienną W 1 = X 1 2 i ponownie zapisując równanie z W 1 zastępującym X 1 2 , otrzymujemy równanie, które spełnia definicję modelu liniowego.

wprowadź opis zdjęcia tutaj

2. Modele, które nie są od razu liniowe, ale mogą stać się liniowe po transformacji (linearyzowalne). Poniżej znajdują się 2 przykłady modeli z możliwością linearyzacji:

Przykład 1:

wprowadź opis zdjęcia tutaj

Model ten może wydawać się nieliniowy, ponieważ nie spełnia definicji modelu o parametrach liniowych, jednak może zostać przekształcony w model liniowy, dlatego jest liniowy / transformowalny liniowy, a zatem jest uważany za liniowy Model. Poniższe przekształcenia zlinearyzowałyby go. Zacznij od logarytmu naturalnego obu stron, aby uzyskać:

wprowadź opis zdjęcia tutaj

następnie dokonaj następujących zmian:

wprowadź opis zdjęcia tutaj

aby uzyskać model liniowy poniżej:

wprowadź opis zdjęcia tutaj

Przykład 2:

wprowadź opis zdjęcia tutaj

Model ten może wydawać się nieliniowy, ponieważ nie spełnia definicji modelu o parametrach liniowych, jednak może zostać przekształcony w model liniowy, dlatego jest liniowy / transformowalny liniowy, a zatem jest uważany za liniowy Model. Poniższe przekształcenia zlinearyzowałyby go. Zacznij od wzajemności obu stron, aby uzyskać:

wprowadź opis zdjęcia tutaj

następnie dokonaj następujących zmian:

wprowadź opis zdjęcia tutaj

aby uzyskać model liniowy poniżej:

wprowadź opis zdjęcia tutaj

Każdy model, który nie jest liniowy (nawet poprzez linearyzację), jest nieliniowy. Pomyśl o tym w ten sposób: jeśli model nie spełnia definicji modelu liniowego, jest to model nieliniowy, chyba że można udowodnić, że jest on linearyzowalny, w którym to momencie zyskuje prawo do nazwania go modelem liniowym.

Powyższa odpowiedź Whubera, a także odpowiedź Glen_b w tym linku dodają więcej koloru mojej odpowiedzi. Nieliniowy vs. uogólniony model liniowy: jak odnosisz się do regresji logistycznej, Poissona itp.?

ColorStatistics
źródło