Czy istnieje statystyka dopasowania modelu (jak AIC lub BIC), która może być używana do bezwzględnych, a nie tylko względnych porównań?

Nie znam się tak dobrze na tej literaturze, więc proszę wybacz mi, jeśli jest to oczywiste pytanie.

Ponieważ AIC i BIC zależą od maksymalizacji prawdopodobieństwa, wydaje się, że można ich używać jedynie do względnych porównań między zestawem modeli próbujących dopasować dany zestaw danych. Według mojego zrozumienia nie ma sensu obliczanie AIC dla modelu A w zbiorze danych 1, obliczanie AIC dla modelu B w zbiorze danych 2, a następnie porównywanie dwóch wartości AIC i ocena tego (na przykład) Model A pasuje do zestawu danych 1 lepiej niż model B pasuje do zestawu danych 2. A może się mylę i jest to rozsądna rzecz. Proszę daj mi znać.

Moje pytanie brzmi: czy istnieje statystyka dopasowania modelu, która może być użyta do bezwzględnych, a nie tylko do względnych porównań? Dla modeli liniowych, coś będzie działać; ma określony zakres i specyficzne dla dyscypliny pomysły na temat tego, co jest „dobrą” wartością. Szukam czegoś bardziej ogólnego i pomyślałem, że zacznę od pingowania ekspertów tutaj. Jestem pewien, że ktoś wcześniej myślał o takich rzeczach, ale nie znam odpowiednich terminów, aby przeprowadzić produktywne wyszukiwanie w Google Scholar. $R^2$

Każda pomoc będzie mile widziana.

model-selection aic bic Nathan VanHoudnos
źródło

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

Jedyne, co mogłem sobie wyobrazić w dziedzinie, o której mówisz, to miara dokładności prognoz. Jakość dwóch modeli na dwóch różnych zestawach danych mogłaby zostać potencjalnie porównana, dzięki czemu można przewidzieć najlepiej, chociaż nie jest to również idealne.

Makro

Odpowiedzi:

Zgodnie z sugestią Macro myślę, że termin, którego szukasz, jest miarą wydajności. Chociaż nie jest to bezpieczny sposób oceny mocy predykcyjnej, jest to bardzo przydatny sposób na porównanie jakości dopasowania różnych modeli.

Przykładową miarą byłby średni błąd procentowy, ale więcej z nich można łatwo znaleźć.

Załóżmy, że używasz SetA z modelem A do opisywania liczby dziur w drodze i używasz SetB i modelu B do opisania liczby osób w kraju, to oczywiście nie możesz powiedzieć, że jeden model jest lepszy od drugiego, ale możesz przynajmniej zobacz, który model zapewnia dokładniejszy opis.

Dennis Jaheruddin
źródło

Sądzę, że jest kilka nowych artykułów eksplorujących dokładnie to, czego szukasz. Nakagawa i Schielzeth (2013) przedstawiają statystyki R2 dla modeli z efektami mieszanymi o nazwie „R2 GLMM”, aby zdefiniować wielkość niewyjaśnionej wariancji w modelu.

Warunkowe R²GLMM jest interpretowane jako wariancja wyjaśniona zarówno przez stałe, jak i losowe czynniki;

Marginalna R²GLMM reprezentuje wariancję wyjaśnioną przez ustalone czynniki.

W 2014 r. Johnson zaktualizował równanie, aby uwzględnić losowe modele nachyleń.

Na szczęście można łatwo obliczyć R²GLMM zarówno krańcowy, jak i warunkowy za pomocą pakietu „MuMIn” w języku R ( Barton, 2015 ).

Nova
źródło