O George Box, Galit Shmueli i metodzie naukowej?

16

(To pytanie może wydawać się bardziej odpowiednie dla filozofii SE. Mam nadzieję, że statystycy mogą wyjaśnić moje nieporozumienia na temat wypowiedzi Boxa i Shmueli, dlatego zamieszczam je tutaj).

George Box (o sławie ARIMA) powiedział:

„Wszystkie modele są błędne, ale niektóre są przydatne”.

Galit Shmueli w swoim słynnym artykule „Wyjaśnić lub przewidzieć” twierdzi (i cytuje innych, którzy się z nią zgadzają), że:

Wyjaśnianie i przewidywanie nie jest tym samym i że niektóre modele dobrze sobie radzą z wyjaśnianiem, nawet jeśli źle sobie radzą z przewidywaniem.

Uważam, że te zasady są w jakiś sposób sprzeczne.

Jeśli model nie przewiduje dobrze, czy jest przydatny?

Co ważniejsze, jeśli model dobrze wyjaśnia (ale niekoniecznie dobrze przewiduje), musi być prawdziwy (tzn. Nie zły) w taki czy inny sposób. Więc w jaki sposób ta siatka z „wszystkimi modelami są złe” Boxa?

Wreszcie, jeśli model wyjaśnia dobrze, ale nie przewiduje dobrze, to w jaki sposób jest naukowy? Większość naukowych kryteriów rozgraniczających (weryfikacja, falsyfikacjonizm itp.) Sugeruje, że stwierdzenie naukowe musi mieć moc predykcyjną lub potocznie: teoria lub model jest poprawny tylko wtedy, gdy można go przetestować empirycznie (lub sfałszować), co oznacza, że musi przewidzieć przyszłe wyniki.

Moje pytania:

  • Czy wypowiedź Boxa i idee Shmueli są rzeczywiście sprzeczne, czy też czegoś mi brakuje, np. Czy model nie ma mocy predykcyjnej, ale może być nadal przydatny?
  • Jeśli stwierdzenia Boxa i Shmueli nie są ze sobą sprzeczne, to co to znaczy, że model jest zły i nie przewiduje dobrze, a mimo to ma moc wyjaśniającą? Mówiąc inaczej: jeśli ktoś odbiera zarówno poprawność, jak i zdolność przewidywania, co pozostanie z modelu?

Jakie weryfikacje empiryczne są możliwe, gdy model ma moc wyjaśniającą, ale nie moc predykcyjną? Shmueli wspomina takie rzeczy jak: użyj AIC dla wyjaśnienia i BIC dla przewidywania itp., Ale nie rozumiem, jak to rozwiązuje problem. W modelach predykcyjnych można użyć AIC, BIC, regularyzacji lub itp., Ale ostatecznie testowanie próbek i wydajność w produkcji decyduje o jakości modelu. Ale w przypadku modeli, które dobrze to wyjaśniają, nie widzę, w jaki sposób jakakolwiek funkcja straty może naprawdę ocenić model. W filozofii nauki istnieje pojęcie niedookreśleniaR2L1L L p < 0,05 p < 0,1 p < 0,01co wydaje się tutaj istotne: dla każdego zestawu danych zawsze można rozsądnie wybrać rozkład (lub mieszaninę rozkładów) i funkcję straty w taki sposób, aby pasowały one do danych (i dlatego można twierdzić, że to wyjaśniają). Co więcej, próg, pod którym powinien być poniżej, aby ktoś mógł twierdzić, że model odpowiednio wyjaśnia dane, jest arbitralny (rodzaj podobnych wartości p, dlaczego jest to a nie lub ?).LLp<0.05p<0.1p<0.01

  • W oparciu o powyższe, w jaki sposób można obiektywnie zweryfikować model, który dobrze wyjaśnia, ale nie przewiduje dobrze, ponieważ testowanie poza próbą nie jest możliwe?
Skander H.
źródło
Zobacz także powiązane pytanie: Paradoks w wyborze modelu (AIC, BIC, aby wyjaśnić lub przewidzieć?) .
Richard Hardy
3
O ile pamiętam Shmueli, dla niej dobre wytłumaczenie oznacza poprawność formy funkcjonalnej (ale być może dużą nieprecyzyjność oszacowania, jeśli chodzi o parametry tej formy funkcjonalnej), a dobre przewidywanie oznacza uzyskanie kompromisu wariancji odchylenia racja (kompromis w formie funkcjonalnej, aby zwiększyć precyzję szacowania). Przydatny może być również tag filozoficzny .
Richard Hardy
1
Nie sądzę, że „lub” musi być wyłączne. Prostota i unifikacja są niekontrowersyjnymi kryteriami wyboru teorii o równej wartości predykcyjnej, a jeśli tak, poświęcenie dla nich precyzji może być uzasadnione w wielu kontekstach. Motto Boxa odzwierciedla inne spojrzenie na naukę, rozwinięte np. W obrazie naukowym van Fraassena (i wracając do Kanta): ma ono na celu skonstruowanie odpowiednich / użytecznych opisów obserwowanych, a nie opowiadanie dosłownie prawdziwych historii o nieobserwowalnej „rzeczywistości”. W przypadku wielu zadań wystarczająca może być wystarczająca adekwatność, a „jeden prawidłowy model” może być naiwnością.
Conifold
2
@ Conifold Rzeczywiście, analiza pętli złożonego układu przyczynowego Richarda Levinsa (nie metoda statystyczna, choć istnieją jej zastosowania, które odnoszą się bezpośrednio do prognoz statystycznych) poświęca prawie całą precyzję na rzecz realizmu modelu (zmiennych i relacji między nimi) i ogólności (zastosowanie wyników analitycznych w modelu do wszystkich zmiennych o tej samej strukturze przyczynowej). Patrz Levins, R. (1966). Strategia budowania modeli w biologii populacji . American Scientist , 54 (4), 421–431.
Alexis
(+1. Nadal mam nadzieję, że znajdę czas na opublikowanie tutaj odpowiedzi ...)
amoeba mówi Przywróć Monikę

Odpowiedzi:

9

Zacznę od zwięzłego cytatu George'a Boxa, że ​​„wszystkie modele są złe, ale niektóre są użyteczne”. To stwierdzenie jest podsumowaniem metodologicznego podejścia „pozytywizmu”, które jest podejściem filozoficznym, które ma duży wpływ na nauki. Podejście to opisano szczegółowo (w kontekście teorii ekonomicznej) w klasycznym eseju metodologicznym Friedmana (1966) . W tym eseju Friedman twierdzi, że każda przydatna teoria naukowa koniecznie stanowi uproszczenie rzeczywistości, a zatem jej założenia muszą zawsze do pewnego stopnia odbiegać od rzeczywistości, a nawet mogą znacznie odbiegać od rzeczywistości.redukując złożoność świata do możliwego do zarządzania zestawu zasad oraz jego dokładność w prognozowaniu rzeczywistości i generowaniu nowych sprawdzalnych hipotez na temat rzeczywistości. Friedman twierdzi zatem, że „wszystkie modele są błędne”, o ile wszystkie zawierają założenia, które upraszczają (a zatem odchodzą od) rzeczywistość, ale że „niektóre są użyteczne”, o ile dają one proste ramy do dokonywania przydatnych prognoz na temat rzeczywistości.

Teraz, jeśli czytasz Box (1976) (artykuł, w którym po raz pierwszy stwierdza, że ​​„wszystkie modele są złe”), zobaczysz, że nie cytuje Friedmana, ani nie wspomina o pozytywistyce metodologicznej. Niemniej jednak jego wyjaśnienie metody naukowej i jej cech jest bardzo zbliżone do tego opracowanego przez Friedmana. W szczególności obaj autorzy podkreślają, że teoria naukowa będzie przewidywała rzeczywistość, którą można przetestować na podstawie zaobserwowanych faktów, a błąd w prognozie można następnie wykorzystać jako podstawę do rewizji teorii.

Teraz przejdźmy do dychotomii omawianej przez Galit Shmueli w Shmueli (2001) . W tym artykule Shmueli porównuje wyjaśnienia przyczynowe i przewidywane obserwowane wyniki i twierdzi, że są to odrębne działania. W szczególności twierdzi ona, że ​​relacje przyczynowe oparte są na konstrukcjach leżących u podstaw, które nie przejawiają się bezpośrednio w mierzalnych wynikach, a zatem „mierzalne dane nie są dokładnym odwzorowaniem ich podstawowych konstrukcji” (s. 293). W związku z tym argumentuje, że istnieje aspekt analizy statystycznej, który obejmuje wnioskowanie na temat niemożliwych do zaobserwowania leżących u podstaw związków przyczynowych, które nie przejawiają się w mierzalnych przeciwnych faktach różnicach w wynikach.

Chyba, że ​​czegoś nie rozumiem, uważam za słuszne stwierdzenie, że pomysł ten jest sprzeczny z pozytywistycznymi poglądami Boxa i Friedmana przedstawionymi w cytacie Boxa. Pozytywistyczny punkt widzenia zasadniczo mówi, że nie ma żadnych dopuszczalnych „konstrukcji” metafizycznych poza tymi, które przejawiają się w mierzalnych rezultatach. Pozytywizm ogranicza się do uwzględnienia obserwowalnych danych i koncepcji opartych na tych danych; wyklucza to rozpatrywanie z górykoncepcje metafizyczne. Tak więc pozytywista twierdziłby, że koncepcja związku przyczynowego może być ważna tylko w takim zakresie, w jakim jest zdefiniowana w kategoriach mierzalnych wyników w rzeczywistości --- w zakresie, w jakim jest zdefiniowana jako coś innego niż to (jak traktuje to Shmueli), byłoby to uważane za spekulację metafizyczną i byłoby traktowane jako niedopuszczalne w dyskursie naukowym.

Więc myślę, że masz rację - te dwa podejścia są w zasadzie sprzeczne. Pozytywistyczne podejście zastosowane przez Boxa nalega, aby uzasadnione koncepcje naukowe były całkowicie oparte na ich przejawach w rzeczywistości, podczas gdy alternatywne podejście stosowane przez Shmueli mówi, że istnieją pewne „konstrukty”, które są ważnymi pojęciami naukowymi (które chcemy wyjaśnić), ale których nie można być doskonale reprezentowanym, gdy są „operacjonalizowane” poprzez odniesienie ich do mierzalnych wyników w rzeczywistości.

Przywróć Monikę
źródło
Dokładnie!!! Shmueli wydaje się zaprzeczać najbardziej pozytywistycznym (i falsyfikacjonistycznym) definicjom tego, czym jest stwierdzenie naukowe, i zastanawiam się, czy jej intencją jest rzeczywiście tak śmiałe oświadczenie filozoficzne? czy też ona, jako statystka, nie jest świadoma, jak śmiałe są jej wypowiedzi?
Skander H.
Zadałem powiązane pytanie dotyczące filozofii SE , chcesz się tym zająć?
Skander H.
1
Chociaż pozytywizm i pragmatyzm mają wspólne cechy antyrealistyczne, podejście Boxa jest tym drugim, a pozytywizm nie ma wpływu w nauce, przynajmniej od końca lat 60. XX wieku. Właśnie dlatego Box nie wspomina Friedmana ani innych pozytywistów. Pragmatyzm nie ogranicza się do obserwowalnych danych i nie ma problemu z pojęciami a priori lub konstrukcjami metafizycznymi. Po prostu nie postrzega ich jako zbliżających się do „rzeczywistości”, a zatem dążących do wyjątkowo „właściwych” cech, mogą być w liczbie mnogiej, zależne od zadania i poprawiane. Relacje przyczynowe są takimi konstrukcjami, więc nie ma konfliktu między Boxem a Shmueli.
Conifold
Bez względu na to, czy Box był pragmatykiem, konkretny cytat, który tu podaje, jest moim zdaniem bardziej sprzyjający pozytywizmowi niż pragmatyzm. Ta ostatnia filozofia przyjmuje pluralistyczny pogląd na metafizykę, która utrzymuje, że istnieje wiele spójnych sposobów konceptualizacji rzeczywistości i że wszystkie one są „prawdziwe” w tym sensie, że są użytecznymi konceptualizacjami rzeczywistości. Tak więc pozytywizm powiedziałby: „wszystkie modele są błędne, ale niektóre są użyteczne”, podczas gdy maksyma pragmatyzmu byłaby bliższa „wiele modeli ma rację, ponieważ są one użyteczne”.
Przywróć Monikę
Utożsamianie prawdy z użytecznością jest po prostu ludowym nieporozumieniem na temat pragmatyzmu. Wszystkie modele są błędne, ponieważ „właściwe” sugeruje, że mają coś, z czym mogą się korespondować, czego pragmatyści zaprzeczają. A zasada tolerancji: „modele mają rację, o ile służą celowi”, należy do Carnapa, ojca logicznego pozytywizmu.
Conifold
4

Model zastosowany do wyjaśnienia rzeczy jest uproszczeniem rzeczywistości. Uproszczenie to tylko jedno słowo „źle w jakiś użyteczny sposób”. Na przykład, jeśli zaokrąglimy liczbę od 3.1415926535898 do 3.14, popełnimy błąd, ale ten błąd pozwala nam ludziom skupić się na najważniejszej części tej liczby. W ten sposób wykorzystywane są modele w wyjaśnianiu, zapewnia wgląd w pewien problem, ale z konieczności musi oderwać się od wielu innych rzeczy: My, ludzie, nie jesteśmy zbyt dobrzy, patrząc na tysiące rzeczy jednocześnie. Jeśli zależy nam przede wszystkim na przewidywaniu, w miarę możliwości chcemy uwzględnić te tysiące rzeczy, ale wyjaśnienie tego kompromisu jest inne.

Maarten Buis
źródło
1
π
1
@SkanderH. W zakresie, w jakim „eleganckie i intuicyjne wykresy” ułatwiają zastosowania inżynieryjne lub opracowywanie nowych teorii, ich wartość nie jest czysto subiektywna lub nienaukowa, jest pragmatyczna. Zjednoczenie, moc wyjaśniająca, prostota i spójność są powszechnie uznawane za wartości epistemiczne , a nie estetyczne . Wyboru między teorią eteru Lorentza a szczególną teorią względności dokonano na podstawie właśnie takich rozważań, są one przewidywalnie równoważne.
Conifold
3

Przykład modelu, który jest doskonały w przewidywaniu, ale niczego nie wyjaśnia, znajduje się w artykule w Wikipedii „ Wszystkie modele są złe ”. Przykładem jest model grawitacji Newtona. Model Newtona prawie zawsze daje prognozy, których nie można odróżnić od obserwacji empirycznych. Jednak model jest niezwykle nieprawdopodobny: ponieważ postuluje siłę, która może działać natychmiast na dowolnie duże odległości.

Model Newtona został wyparty przez model podany w ogólnej teorii względności Einsteina. Przy ogólnej teorii względności siły grawitacyjne przemieszczają się w przestrzeni kosmicznej z skończoną prędkością (prędkością światła).

Model Newtona nie jest uproszczeniem modelu relatywistycznego. Aby to zilustrować, rozważ jabłko spadające z drzewa. Według ogólnej teorii względności jabłko spada, a Ziemia nie wywiera na niego żadnej siły. (Głównym powodem upadku jabłka jest to, że Ziemia wypacza czas, tak że zegary w pobliżu podstawy drzewa biegną wolniej niż zegary wysoko w drzewie.) Tak więc, jak zauważa artykuł w Wikipedii, model Newtona jest całkowicie błędny z objaśnienia perspektywiczny.

Artykuł Shmueli [2010] zakłada, że ​​model ma dwa cele: przewidywanie i objaśnienie. W rzeczywistości kilku autorów stwierdziło, że istnieją trzy cele (patrz np. Konishi i Kitagawa [ Kryteria informacyjne i modelowanie statystyczne , 2008: §1.1] oraz Friendly & Meyer [ Discrete Data Analysis , 2016: §11.6]). Te trzy cele odpowiadają trzem rodzajom logicznego rozumowania:

  • przewidywanie (odpowiadające odliczeniu);
  • estymacja parametrów (odpowiadająca indukcji);
  • opis struktury (odpowiadający uprowadzeniu).
SolidPhase
źródło
Stwierdzenie, że model grawitacji Newtona „niczego nie wyjaśnia” jest, szczerze mówiąc, absurdalny. -1.
ameba mówi Przywróć Monikę
ameba, model Newtona nie wyjaśnia niczego na temat działania grawitacji, przy założeniu, że ogólna teoria względności jest dokładna. Jeśli jabłko spadnie, model Newtona postuluje, że Ziemia wywiera siłę na jabłko i ten postulat jest całkowicie fałszywy. Proszę o dalsze rozważenie mojej odpowiedzi. Jeśli nadal nie rozumiesz, uprzejmie powiedz mi, co jest niejasne.
SolidPhase
To, co mówisz, jest dość jasne, ale zdecydowanie się z tym nie zgadzam.
amoeba mówi Przywróć Monikę
ameba, proszę o wyjaśnienie, dlaczego się nie zgadzasz: czy masz powód? (Uwaga: do odpowiedzi dodałem dodatkowe zdanie).
SolidPhase
Dzięki. Sprawdzę odniesienia, o których wspomniałeś. Rozumiem, jak model może przewidzieć, nawet jeśli nie wyjaśnia. Nie dostaję odwrotnego kierunku: jak model może wyjaśnić bez przewidywania. Ty, przykłady Newtona vs. Einsteina, po prostu zamazujesz wszystko jeszcze bardziej: Cały powód, dla którego teoria Einsteina wyparła teorię Newtona, był taki, że przewidywała to lepiej. Spójrz na to z innej strony: jeśli mamy konkurencyjne modele objaśniające, jak możemy je ocenić, chyba że sprawdzimy, który z nich ma najbardziej przewidywalną moc?
Skander H.
1

Jestem studentem statystyki, więc nie będę się nazywać ekspertem, ale oto moje dwa centy.

Modele nie tłumaczą się; ludzie je interpretują. Modele liniowe są łatwiejsze do zrozumienia niż sieci neuronowe i losowe lasy, ponieważ są bliżej sposobu, w jaki podejmujemy decyzje. Rzeczywiście, ANN naśladują ludzki mózg, ale nie decydujesz, do której restauracji pójść jutro, wykonując serię mnożenia macierzy. Zamiast tego ważysz w swoim umyśle niektóre czynniki według ich znaczenia, które jest zasadniczo kombinacją liniową.

„Moc wyjaśniająca” mierzy, jak dobrze model radzi sobie z ludzką intuicją, podczas gdy „moc predykcyjna” mierzy, jak dobrze dopasowuje się do leżącego u podstaw mechanizmu interesującego go procesu. Sprzeczność między nimi polega zasadniczo na przepaści między tym, czym jest świat, a tym, jak możemy go postrzegać / rozumieć. Mam nadzieję, że to wyjaśnia, dlaczego „niektóre modele dobrze sobie radzą z wyjaśnianiem, mimo że źle radzą sobie z przewidywaniem”.

Ian Stewart powiedział kiedyś: „Gdyby nasze mózgi były wystarczająco proste, abyśmy je zrozumieli, bylibyśmy tak prości, że nie moglibyśmy”. Niestety, nasze małe ludzkie mózgi są w rzeczywistości bardzo proste w porównaniu ze wszechświatem, a nawet giełdą (co wymaga wielu mózgów :). Do tej pory wszystkie modele są produktami ludzkiego mózgu, więc muszą być mniej lub bardziej niedokładne, co prowadzi do „Box wszystkie modele są złe”. Z drugiej strony model nie musi być poprawny technicznie, aby był użyteczny. Na przykład prawa ruchu Newtona zostały obalone przez Einsteina, ale pozostają użyteczne, gdy obiekt nie jest absurdalnie duży lub szybki.

Aby odpowiedzieć na twoje pytanie, szczerze mówiąc, nie widzę niezgodności między Boxem a punktami Shmueli. Wydaje się, że uważasz „moc wyjaśniającą” i „moc predykcyjną” za właściwości dwumianowe, ale myślę, że znajdują się one na dwóch końcach spektrum.

nalzok
źródło