Jakie są kryteria i podejmowane decyzje dotyczące nieliniowości w modelach statystycznych?

Mam nadzieję, że poniższe ogólne pytanie ma sens. Należy pamiętać, że do celów tego konkretnego pytania nie interesują mnie teoretyczne (domena przedmiotowa) powody wprowadzenia nieliniowości. Dlatego sformułuję pełne pytanie w następujący sposób:

Jakie są logiczne ramy ( kryteria i, jeśli to możliwe, proces decyzyjny ) dla wprowadzenia nieliniowości do modeli statystycznych z przyczyn innych niż teoretyczne (dziedzina tematyczna)? Jak zawsze, odpowiednie zasoby i referencje są również mile widziane.

Proces budowy modelu wymaga konstruktora modeli podejmującego wiele decyzji. Jedna z decyzji dotyczy wyboru spośród różnych klas modeli do eksploracji. Istnieje wiele klas modeli, które można rozważyć; na przykład modele ARIMA, modele ARDL, wiele źródeł błędów Modele przestrzeni stanów, modele LSTAR, modele Min-Max, żeby wymienić tylko kilka. Oczywiście niektóre klasy modeli są szersze niż inne i nie jest powszechne stwierdzenie, że niektóre klasy modeli są podklasami innych.

Biorąc pod uwagę charakter pytania, możemy skupić się głównie na tylko dwóch klasach modeli; modele liniowe i modele nieliniowe .

Mając na względzie powyższy obraz, zacznę zajmować się kwestią PO, kiedy przydatne jest przyjęcie modelu nieliniowego i czy istnieją logiczne ramy do tego - z perspektywy statystycznej i metodologicznej.

Pierwszą rzeczą, na którą należy zwrócić uwagę, jest to, że modele liniowe są małą podklasą modeli nieliniowych. Innymi słowy, modele liniowe są szczególnymi przypadkami modeli nieliniowych. Istnieją pewne wyjątki od tego oświadczenia, ale dla obecnych celów nie stracimy wiele, akceptując je w celu uproszczenia spraw.

Zazwyczaj konstruktor modeli wybiera klasę modeli i przystępuje do wyboru modelu z tej konkretnej klasy, stosując pewną metodologię. Prostym przykładem jest sytuacja, gdy ktoś decyduje się na modelowanie szeregów czasowych jako proces ARIMA, a następnie postępuje zgodnie z metodologią Box-Jenkins, aby wybrać model spośród klasy modeli ARIMA. Praca w ten sposób, z metodologiami związanymi z rodzinami modeli, jest kwestią praktycznej konieczności.

Konsekwencją decyzji o budowie modelu nieliniowego jest to, że problem wyboru modelu staje się znacznie większy (należy rozważyć więcej modeli i podejmować więcej decyzji) w porównaniu z wyborem spośród mniejszego zestawu modeli liniowych, więc istnieje prawdziwy praktyczny problem pod ręką. Co więcej, mogą nie być nawet w pełni rozwinięte metodologie (znane, zaakceptowane, zrozumiałe, łatwe do przekazania) do zastosowania w celu wyboru spośród niektórych rodzin modeli nieliniowych. Ponadto kolejną wadą budowania modeli nieliniowych jest to, że modele liniowe są łatwiejsze w użyciu, a ich właściwości probabilistyczne są lepiej znane ( Teräsvirta, Tjøstheim i Granger (2010) ).

To powiedziawszy, PO żąda podstaw statystycznych do kierowania decyzją, a nie praktycznych lub teoretycznych, więc muszę kontynuować.

Zanim nawet zastanowimy się, jak poradzić sobie z wyborem, z którymi modelami nieliniowymi pracować, musimy początkowo zdecydować, czy zamiast tego pracować z modelami liniowymi czy nieliniowymi. Decyzja! Jak dokonać tego wyboru?

Odwołując się do Granger i Terasvirty (1993) , przyjmuję następujący argument, który ma dwie główne kwestie w odpowiedzi na dwa następujące pytania.

P: Kiedy warto zbudować model nieliniowy? Krótko mówiąc, przydatne może być zbudowanie modelu nieliniowego, gdy klasa modeli liniowych została już uwzględniona i uznana za niewystarczającą do scharakteryzowania badanej zależności. Można powiedzieć, że ta nieliniowa procedura modelowania (proces decyzyjny) przechodzi od prostej do ogólnej w tym sensie, że przechodzi od liniowej do nieliniowej.

P: Czy istnieją podstawy statystyczne, które można wykorzystać do uzasadnienia budowy modelu nieliniowego? Jeśli ktoś zdecyduje się zbudować model nieliniowy na podstawie wyników testów liniowości, powiedziałbym, że tak. Jeśli testy liniowości sugerują, że nie ma znaczącej nieliniowości w związku, budowanie modelu nieliniowego nie byłoby zalecane; testowanie powinno poprzedzać decyzję o budowie.

Sprecyzuję te uwagi poprzez bezpośrednie odniesienie do Granger i Terasvirty (1993):

Przed zbudowaniem modelu nieliniowego wskazane jest sprawdzenie, czy rzeczywiście model liniowy odpowiednio scharakteryzowałby analizowane relacje [ekonomiczne]. Gdyby tak było, dostępnych byłoby więcej teorii statystycznych do zbudowania rozsądnego modelu, niż gdyby odpowiedni był model nieliniowy. Ponadto uzyskanie optymalnych prognoz na więcej niż jeden okres z przodu byłoby znacznie prostsze, gdyby model był liniowy. Może się zdarzyć, przynajmniej gdy szeregi czasowe są krótkie, że badacz z powodzeniem oszacuje model nieliniowy, chociaż prawdziwy związek między zmiennymi jest liniowy. Niebezpieczeństwo niepotrzebnego komplikowania budowy modelu jest zatem realne, ale można je zmniejszyć poprzez badanie liniowości.

W najnowszej książce, Teräsvirta, Tjøstheim i Granger (2010), podano tę samą radę, którą teraz cytuję:

Z praktycznego punktu widzenia przydatne jest zatem [testowanie] liniowości przed próbą oszacowania bardziej skomplikowanego modelu nieliniowego. W wielu przypadkach testowanie jest nawet konieczne ze statystycznego punktu widzenia. Wiele popularnych modeli nieliniowych nie jest identyfikowanych w sposób liniowy. Jeśli prawdziwy model, który wygenerował dane, jest liniowy, a model nieliniowy jest zainteresowany zagnieżdżeniem tego modelu liniowego, parametrów modelu nieliniowego nie można konsekwentnie oszacować. Zatem badanie liniowości musi poprzedzać wszelkie nieliniowe modelowanie i szacowanie.

Zakończmy przykładem.

W kontekście modelowania cykli biznesowych praktyczny przykład wykorzystania podstaw statystycznych do uzasadnienia budowy modelu nieliniowego może wyglądać następująco. Ponieważ liniowe jednowymiarowe lub wektorowe autoregresyjne modele nie są w stanie wygenerować asymetrycznych cyklicznych szeregów czasowych, warto rozważyć podejście do modelowania nieliniowego, które może obsłużyć asymetrię danych. Rozszerzona wersja tego przykładu na temat odwracalności danych znajduje się w Tong (1993) .

Przepraszam, jeśli zbytnio skoncentrowałem się na modelach szeregów czasowych. Jestem jednak pewien, że niektóre pomysły mają zastosowanie również w innych ustawieniach.

Nadrzędnym problemem jest zdecydowanie, jakiego rodzaju problemów należy oczekiwać liniowości, w przeciwnym razie pozwól, aby relacje były nieliniowe, jak pozwala na to wielkość próby. Większość procesów w biologii, naukach społecznych i innych dziedzinach jest nieliniowa. Jedyne sytuacje, w których oczekuję relacji liniowych, to:

1. Mechanika newtonowska
2. $Y$$Y$

$Y$

Rzadko widzę relację, która jest wszędzie liniowa w dużym zbiorze danych.

Decyzja o włączeniu nieliniowości do modeli regresji wynika nie tyle z globalnej zasady statystycznej, co raczej ze sposobu działania świata. Jednym wyjątkiem jest sytuacja, gdy wybrano nieoptymalne ramy statystyczne i należy wprowadzić nieliniowości lub warunki interakcji, aby zrekompensować zły wybór ram. Warunki interakcji mogą być czasem potrzebne, aby zrównoważyć niedomodowanie (np. Poprzez przyjęcie liniowości) głównych efektów. Może być potrzebnych więcej głównych efektów, aby zrównoważyć utratę informacji wynikającą z niedostatecznego modelowania innych głównych efektów.

Naukowcy czasami zastanawiają się nad tym, czy uwzględnić określoną zmienną, gdy nie spełniają wielu innych zmiennych, zmuszając je do działania liniowego. Z mojego doświadczenia wynika, że ​​założenie liniowości jest jednym z najbardziej naruszonych ze wszystkich założeń, które mają duże znaczenie.

$$y_i=\alpha +\beta x_i+\varepsilon_i$$ $$y_i=\alpha +\beta x_i+\gamma x_i^2+\varepsilon_i$$ $\gamma$jest znaczący, może tak być w przypadku modelu nieliniowego. Intuicja jest oczywiście rozszerzeniem Taylora. Jeśli masz funkcję liniową, tylko pierwsza pochodna musi być niezerowa. W przypadku funkcji nieliniowych pochodne wyższego rzędu byłyby niezerowe.

$$y_i=\alpha +\beta \max(0,x_i)+\gamma \min(0,x_i)+\varepsilon_i$$ $\gamma\ne\beta$

$$x^{a-}=\min(x,a)$$ $$x^{a+}=\max(x,a)$$ $x$$x=a$. Możesz mieć kilka nachyleń dla tej samej zmiennej w różnych regionach. Jeśli mój splajn liniowy jest znaczący, albo gram punktami węzłów i go używam, albo myślę o modelach nieliniowych.

To nie jest systematyczne podejście, ale to tylko jedna z rzeczy, które zawsze robię.