To pytanie jest kontynuacją lub próbą wyjaśnienia możliwych nieporozumień dotyczących tematu, który ja i wiele innych osób uważam za nieco trudny, jeśli chodzi o różnicę między AIC i BIC. W bardzo ładnej odpowiedzi @Dave Kellen na ten temat ( /stats//a/767/30589 ) czytamy:
Twoje pytanie sugeruje, że AIC i BIC próbują odpowiedzieć na to samo pytanie, co nie jest prawdą. AIC próbuje wybrać model, który najlepiej opisuje nieznaną, wielowymiarową rzeczywistość. Oznacza to, że rzeczywistość nigdy nie znajduje się w zbiorze rozważanych modeli kandydujących. Przeciwnie, BIC próbuje znaleźć PRAWDZIWY model wśród zbioru kandydatów. Wydaje mi się dość dziwne założenie, że rzeczywistość jest tworzona w jednym z modeli zbudowanych po drodze przez naukowców. To jest prawdziwy problem dla BIC.
W komentarzu poniżej autorstwa @ gui11aume czytamy:
(-1) Świetne wyjaśnienie, ale chciałbym podważyć twierdzenie. @Dave Kellen Czy mógłbyś podać odniesienie do miejsca, w którym model TRUE musi znajdować się w zestawie do BIC? Chciałbym to zbadać, ponieważ w tej książce autorzy dają przekonujący dowód, że tak nie jest. - gui11aume 27 maja 2012 o 21:47
Wydaje się, że to twierdzenie pochodzi od samego Schwarza (1978), chociaż nie było to konieczne: przez tych samych autorów (jak linki do @ gui11aume), czytamy z ich artykułu „Wnioskowanie wielomodelowe: Zrozumienie AIC i BIC w wyborze modelu” ( Burnham and Anderson, 2004):
Czy wyprowadzenie BIC zakłada istnienie prawdziwego modelu, czy, mówiąc ściślej, czy zakłada się, że prawdziwy model znajduje się w zestawie modeli podczas korzystania z BIC? (Pochodna Schwarza określiła te warunki.) ... Odpowiedź ... nie. Oznacza to, że BIC (jako podstawa przybliżenia do pewnej całki bayesowskiej) można uzyskać bez zakładania, że model leżący u podstaw wyprowadzenia jest prawdziwy (patrz np. Cavanaugh i Neath 1999; Burnham i Anderson 2002: 293-5). Z pewnością przy stosowaniu BIC zestaw modeli nie musi zawierać (nieistniejącego) prawdziwego modelu reprezentującego pełną rzeczywistość. Co więcej, zbieżność prawdopodobieństwa modelu wybranego przez BIC do modelu Targbet (w ramach idealizacji próbki iid) nie oznacza logicznie, że ten model docelowy musi być rzeczywistym rozkładem generującym dane).
Myślę więc, że warto przedyskutować lub wyjaśnić (jeśli potrzeba więcej) na ten temat. W tej chwili mamy tylko komentarz od @ gui11aume (dziękuję!) Pod bardzo wysoko głosowaną odpowiedzią dotyczącą różnicy między AIC i BIC.
źródło
Odpowiedzi:
źródło