Wnioskowanie statystyczne na podstawie błędnej specyfikacji modelu

Mam ogólne pytanie metodologiczne. Być może wcześniej na nie odpowiedziano, ale nie jestem w stanie zlokalizować odpowiedniego wątku. Docenię wskaźniki do możliwych duplikatów.

( Tutaj jest doskonałym jeden, ale bez odpowiedzi. To jest podobne w duchu, nawet z odpowiedzią, ale ten jest zbyt specyficzna z mojego punktu widzenia. To jest także w pobliżu, odkrył po zaksięgowaniu pytanie.)

Tematem przewodnim jest sposób prawidłowego wnioskowania statystycznego, gdy model sformułowany przed zobaczeniem danych nie opisuje odpowiednio procesu generowania danych . Pytanie jest bardzo ogólne, ale przedstawię konkretny przykład ilustrujący tę kwestię. Oczekuję jednak, że odpowiedzi skoncentrują się na ogólnym pytaniu metodologicznym, a nie na szczegółach konkretnego przykładu.

Rozważmy konkretny przykład: w ustawieniach szeregów czasowych zakładam, że proces generowania danych to z . Chciałbym przetestować hipotezę merytoryczną, że . Rzuciłem to na model aby uzyskać wykonalny statystyczny odpowiednik mojej hipotezy przedmiotowej, a jest to Na razie w porządku. Ale kiedy obserwuję dane, odkrywam, że model nie opisuje odpowiednio danych. Powiedzmy, że istnieje trend liniowy, więc prawdziwy proces generowania danych to z

\begin{matrix} (1) & y_{t} = β_{0} + β_{1} x_{t} + u_{t} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$

(1)

$(1)$

H_{0} : β_{1} = 1.

$H_0\colon \ \beta_1=1.$

\begin{matrix} (2) & y_{t} = γ_{0} + γ_{1} x_{t} + γ_{2} t + v_{t} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ .

Jak mogę dokonać prawidłowego wnioskowania statystycznego na temat mojej hipotezy merytorycznej ? $\frac{dy}{dx}=1$

Jeśli oryginalnego modelu, jego założenia zostaną naruszone, a estymator nie ma tak ładnego rozkładu, jak w innym przypadku. Dlatego nie mogę przetestować hipotezy za pomocą testu . $\beta_1$ $t$
Jeśli po obejrzeniu danych przełączę się z modelu na i zmienię hipotezę statystyczną z na , założenia modelu są spełnione i ja uzyskaj dobrze zachowujący się estymator i możesz bez problemu przetestować za pomocą testu . Jednak zmiana z na $(1)$ $(2)$ $H_0\colon \ \beta_1=1$ $H'_0\colon \ \gamma_1=1$ $\gamma_1$ $H'_0$ $t$
$(1)$ $(2)$ informuje mnie zbiór danych, na którym chcę przetestować hipotezę. To uzależnia rozkład estymatora (a tym samym również wnioskowanie) od zmiany modelu bazowego, co wynika z obserwowanych danych. Oczywiście wprowadzenie takich uwarunkowań nie jest zadowalające.

Czy istnieje dobre wyjście? (Jeśli nie częsty, to może jakaś Bayesowska alternatywa?)

modeling inference misspecification Richard Hardy
źródło

Twój dyskomfort jest endemiczny w stosunku do klasycznych podejść do nadawania stopnia doktora: dokładna specyfikacja hipotezy, następnie test empiryczny i zakończenie opisowego wnioskowania przyczynowego. Na tym świecie krótka odpowiedź brzmi: „nie”, nie ma wyjścia. Jednak świat ewoluuje od tego surowego paradygmatu. Na przykład w opublikowanym w zeszłym roku w AER artykule zatytułowanym Problemy polityki predykcyjnej autorstwa Kleinberga i in. Przedstawiają argumenty za eksploracją danych i prognozowaniem jako przydatnymi narzędziami w tworzeniu polityki gospodarczej, powołując się na przypadki, w których „wnioskowanie przyczynowe nie jest centralne, a nawet niezbędny." Warto spojrzeć.

Mike Hunter,

Moim zdaniem bezpośrednia odpowiedź musiałaby brzmieć: nie ma wyjścia. W przeciwnym razie byłbyś winny najgorszego rodzaju eksploracji danych - przekształcenia hipotez w celu dopasowania do danych - przestępstwa kapitałowego w surowym, paradygmatycznym świecie.

Mike Hunter

Jeśli dobrze rozumiem, zbierasz dane, a następnie wybierasz model, a następnie testujesz hipotezy. Mogę się mylić, ale wydaje mi się, że paradygmat selektywnego wnioskowania badany przez Taylora i Tibshirani (między innymi) może być związany z twoim problemem. W przeciwnym razie komentarze, odpowiedzi i powiązane odpowiedzi na to pytanie mogą być interesujące.

DeltaIV

@DeltaIV, to znaczy, robiąc wnioskowanie, nie interesują mnie najmniej fałszywe parametry, jak w przypadku spójności P, ale interesują mnie prawdziwe (prawdziwe częściowe pochodne wrt ).

y

$y$

x

$x$

Richard Hardy

@RichardHardy, oczywiście, mimo że jestem studentem statystyki, nie wierzę już w wnioskowanie. To domek z kart tak kruchych, że nie jest jasne, czy w ogóle ma sens, z wyjątkiem bardzo surowych i kontrolowanych okoliczności. Zabawne jest to, że wszyscy o tym wiedzą, ale nikogo to nie obchodzi.

hejseb

Odpowiedzi:

Wyjściem jest dosłownie próba próbna, prawdziwa. Nie ten, w którym dzielisz próbkę na trening i trzymasz się jak w krzyżowej walidacji, ale prawdziwa prognoza. Działa to bardzo dobrze w naukach przyrodniczych. W rzeczywistości jest to jedyny sposób, w jaki działa. Budujesz teorię na podstawie niektórych danych, a następnie masz przewidywać coś, czego jeszcze nie zaobserwowano. Oczywiście nie działa to w większości nauk społecznych (tzw.), Takich jak ekonomia.

W przemyśle działa to tak jak w nauce. Na przykład, jeśli algorytm handlu nie działa, w końcu stracisz pieniądze, a potem je porzucisz. Zestawy danych do wzajemnej weryfikacji i szkolenia są szeroko stosowane w projektowaniu i podejmowaniu decyzji o wdrożeniu algorytmu, ale po jego wprowadzeniu wszystko polega na zarabianiu pieniędzy lub stracie. Bardzo prosty test z próby.

Aksakal
źródło

Czy to pomaga oszacować ?

\frac{\partial y}{\partial x}

$\frac{\partial y}{\partial x}$

Richard Hardy,

@RichardHardy, tak, testujesz tę samą hipotezę na nowych danych. Jeśli tak, to jesteś dobry. Jeśli twój model jest źle sprecyzowany, to w końcu powinien się nie powieść, mam na myśli również inne diagnostyki. Powinieneś zobaczyć, że model nie działa z nowymi danymi.

Aksakal

OK, to brzmi jak stara, dobra recepta dzielenia próbki na podpróbkę do budowy modelu i kolejna do testowania hipotez. Powinienem był wziąć to pod uwagę już w PO. W każdym razie wydaje się to rozsądną strategią. Na przykład problem z makroekonomią polegałby na tym, że ten sam model prawie nigdy nie pasowałby do niewidzialnych danych (ponieważ proces generowania danych zmienia się w czasie), więc utrzymałby się dokładnie ten sam problem, z którym zaczynamy. Ale jest to przykład, w którym w zasadzie jakakolwiek metoda zawodzi, więc nie jest to uczciwa krytyka.

Richard Hardy,

Tymczasem w mikroekonomii w ustawieniach danych przekrojowych może to działać. +1 na razie. Z drugiej strony, gdy model zostanie dopasowany do wszystkich dostępnych danych, to rozwiązanie nie będzie działać. Myślę, że o tym myślałem, kiedy pisałem pytanie, i szukam odpowiedzi, które odpowiedzą na pytanie tytułowe: wnioskowanie na podstawie błędnie określonego modelu.

Richard Hardy,

Współczuję Twojemu poglądowi. Ale ponieważ podział próbki na „stary” i „nowy” jest równoważny z gromadzeniem nowych danych, nie rozumiem, gdzie widzisz dużą różnicę między nimi.

Richard Hardy,

Możesz zdefiniować „procedurę łączoną” i zbadać jej cechy. Załóżmy, że zaczynasz od prostego modelu i zezwalasz na dopasowanie jednego, dwóch lub trzech bardziej złożonych (lub nieparametrycznych) modeli na wypadek, gdyby prosty model nie pasował. Musisz określić formalną regułę, zgodnie z którą zdecydujesz się nie pasować do prostego modelu, ale do jednego z pozostałych (i które). Musisz także mieć testy swojej interesującej hipotezy, które zostaną zastosowane we wszystkich zaangażowanych modelach (parametrycznych lub nieparametrycznych).

Dzięki takiej konfiguracji możesz symulować cechy, tj. Z jakim procentem twoja zerowa hipoteza jest ostatecznie odrzucana, jeśli jest to prawdą, i w przypadku kilku odchyleń zainteresowania. Możesz także przeprowadzić symulację ze wszystkich zaangażowanych modeli i spojrzeć na takie rzeczy, jak poziom warunkowy i moc warunkowa, biorąc pod uwagę, że dane pochodzą z modelu X, Y lub Z, lub biorąc pod uwagę, że procedura testowa błędnej specyfikacji modelu wybrała model X, Y lub Z.

Może się okazać, że wybór modelu nie wyrządza wiele szkody w tym sensie, że osiągnięty poziom jest nadal bardzo zbliżony do poziomu, który osiągnąłeś, a moc jest OK, jeśli nie doskonała. Lub może się okazać, że wybór modelu zależny od danych naprawdę psuje rzeczy; będzie to zależeć od szczegółów (jeśli procedura wyboru modelu jest bardzo niezawodna, szanse są równe i moc nie wpłynie bardzo silnie).

Teraz nie jest to dokładnie to samo, co określenie jednego modelu, a następnie spojrzenie na dane i podjęcie decyzji „och, potrzebuję innego”, ale prawdopodobnie jest tak blisko, jak to możliwe, aby zbadać, jakie byłyby cechy takiego podejścia. Nie jest to trywialne, ponieważ musisz dokonać wielu wyborów, aby to zrobić.

Uwaga ogólna: Myślę, że dwuznaczne klasyfikowanie stosowanej metodologii statystycznej jako „prawidłowej” i „nieważnej” jest mylące. Nic nie jest w 100% aktualne, ponieważ założenia modelu nigdy nie sprawdzają się w praktyce. Z drugiej strony, chociaż możesz znaleźć uzasadnione (!) Powody nazywania czegoś „nieważnym”, jeśli przyjrzysz się dogłębnie charakterystyce rzekomo niewłaściwego podejścia, możesz odkryć, że nadal działa całkiem dobrze.

Lewian
źródło

Zastanawiam się, czy jest to realistyczne w praktyce poza najprostszymi problemami. Koszt obliczeniowy symulacji szybko przekroczyłby nasze możliwości w większości przypadków, nie sądzisz? Twój komentarz na temat ważności jest oczywiście logiczny. Jednak bez tego prostego, ale użytecznego (wspomagającego nasze rozumowanie) pojęcia bylibyśmy jeszcze bardziej zagubieni niż my - to moja perspektywa.

Richard Hardy

Nie twierdzę, że należy to robić za każdym razem, gdy taka sytuacja występuje w praktyce. To raczej projekt badawczy; jednak jeden komunikat „na wynos” jest taki, że moim zdaniem z podanych powodów wybór modelu zależny od danych nie unieważnia wnioskowania, które w innym przypadku byłoby prawidłowe. Takie połączone procedury mogą działać całkiem dobrze w wielu sytuacjach, chociaż nie jest to obecnie odpowiednio zbadane.

Lewian

Sądzę, że gdyby to było wykonalne, byłoby już w użyciu. Głównym problemem może być niewykonalność z powodu dużej liczby opcji modelowania zależnych od danych (powrót do mojego pierwszego komentarza). Czy nie widzisz tam problemu?

Richard Hardy

W literaturze dostępna jest dziwna symulacja, w której najpierw analizuje się błąd w wyborze testu / modelu, a następnie wnioskuje parametrycznie, zależnie od wyniku. O ile wiem, wyniki są mieszane. „Klasyczny” przykład jest tutaj: tandfonline.com/doi/abs/10.1080/…

Lewian

Ale masz rację; modelowanie pełnego procesu za pomocą wszystkich możliwych opcji modelowania wymagałoby wielu wyborów. Nadal uważam, że byłby to opłacalny projekt, chociaż nie byłby czymś, czego można by wymagać, gdy modele są wybierane z tych samych danych, do których są dopasowane. Nawiasem mówiąc, Aris Spanos sprzeciwia się idei, że testowanie błędnej specyfikacji lub kontrola modelu danych unieważnia wnioskowanie. onlinelibrary.wiley.com/doi/abs/10.1111/joes.12200

Lewian