W Modelowaniu statystycznym: The Two Cultures pisze Leo Breiman
Obecnie stosowaną praktyką jest sprawdzanie dopasowania modelu danych za pomocą testów dopasowania i analizy resztkowej. W pewnym momencie, kilka lat temu, stworzyłem symulowany problem regresji w siedmiu wymiarach z kontrolowaną nieliniowością. Standardowe testy dobroci dopasowania nie odrzucały liniowości, dopóki nieliniowość nie była ekstremalna.
Breiman nie podaje szczegółów swojej symulacji. Odwołuje się do artykułu, który, jak twierdzi, podaje teoretyczne uzasadnienie jego obserwacji, ale artykuł nie został opublikowany.
Czy ktoś widział opublikowany wynik symulacji lub artykuł teoretyczny na poparcie twierdzenia Briemana?
regression
goodness-of-fit
John D. Cook
źródło
źródło
Odpowiedzi:
Stworzyłem symulację, która byłaby odpowiedzią na opis Breimana i znalazłem tylko to, co oczywiste: wynik zależy od kontekstu i tego, co należy rozumieć przez „ekstremalność”.
Można powiedzieć bardzo dużo, ale ograniczę się do jednego przykładu przeprowadzonego za pomocą łatwo modyfikowalnego
R
kodu, który zainteresowani czytelnicy mogą wykorzystać we własnych badaniach. Ten kod zaczyna się od ustawienia macierzy projektowej składającej się z w przybliżeniu równomiernie rozłożonych niezależnych wartości, które są w przybliżeniu ortogonalne (abyśmy nie wpadli w problemy z wielokoliniowością). Oblicza pojedynczą interakcję kwadratową (tj. Nieliniową) między dwiema pierwszymi zmiennymi: jest to tylko jeden z wielu rodzajów „nieliniowości”, które można badać, ale przynajmniej jest to powszechna, dobrze rozumiana. Następnie standaryzuje wszystko, aby współczynniki były porównywalne:W przypadku podstawowego modelu OLS (bez nieliniowości) musimy określić niektóre współczynniki i odchylenie standardowe błędu resztkowego. Oto zestaw współczynników jednostkowych i porównywalnej SD:
Zamiast przedzierać się przez cały wyjście tutaj, niech spojrzeć na te dane z wykorzystaniem wyjście
plot
polecenia:Ślady lowess w dolnym trójkącie zasadniczo nie wykazują liniowej zależności między interakcją (
x.12
) a zmienną zależną (y
) oraz skromne relacje liniowe między innymi zmiennymi iy
. Wyniki OLS to potwierdzają; interakcja ma niewielkie znaczenie:Przyjmę wartość p terminu interakcji za test nieliniowości: gdy ta wartość p jest wystarczająco niska (możesz wybrać, jak niska), wykryjemy nieliniowość.
(Jest tu subtelność dotycząca tego, czego dokładnie szukamy. W praktyce może być konieczne zbadanie wszystkich 7 * 6/2 = 21 możliwych takich kwadratowych interakcji, a także być może 7 bardziej kwadratowych warunków, zamiast skupiania się na pojedynczym terminie jak to tutaj zrobiono. Chcielibyśmy wprowadzić korektę dla tych 28 powiązanych ze sobą testów. Nie dokonuję tutaj tej korekty wprost, ponieważ zamiast tego wyświetlam symulowany rozkład wartości p. Możesz odczytać wskaźniki wykrywalności bezpośrednio z histogramy w końcu na bazie swoich progów istotności).
Ale nie róbmy tej analizy tylko raz; zróbmy to wiele razy, generując nowe wartości
y
w każdej iteracji według tego samego modelu i tej samej matrycy projektowej. Aby to osiągnąć, używamy funkcji do przeprowadzenia jednej iteracji i zwrócenia wartości p terminu interakcji:Zdecydowałem się przedstawić wyniki symulacji jako histogramy wartości p, zmieniając znormalizowany współczynnik
gamma
terminu interakcji. Po pierwsze, histogramy:Teraz do pracy. 1000 prób na symulację zajmuje kilka sekund (i cztery niezależne symulacje, zaczynając od podanej wartości terminu interakcji i sukcesywnie zmniejszając go o połowę):
Wyniki:
x
sd
beta
gamma
x
sd
beta
sd
Krótko mówiąc, taka symulacja może udowodnić, co chcesz, jeśli tylko ją skonfigurujesz i zinterpretujesz we właściwy sposób. Sugeruje to, że indywidualny statystyk powinien przeprowadzić własne eksploracje, odpowiednie do konkretnych problemów, z którymi się borykają, aby uzyskać osobiste i głębokie zrozumienie możliwości i słabości stosowanych procedur.
źródło
R
i zawsze doceniam takie wskazówki.Nie wiesz, że daje ostatecznej odpowiedzi na pytanie, ale chciałbym dać do obejrzenia tego . Zwłaszcza punkt 2. Zobacz także dyskusję w załączniku A2 do artykułu .
źródło