Jeden z powyższych postów nawiązuje do korzystania z testu współczynnika wiarygodności, chociaż modele muszą być zagnieżdżone w sobie, aby to zadziałało (tj. Wszystkie parametry w jednym z modeli muszą być obecne w modelu, na którym testujesz) .
RMSE jest wyraźnie miarą tego, jak dobrze model pasuje do danych. Podobnie jest też z ilorazem prawdopodobieństwa. Prawdopodobieństwo dla danej osoby, powiedzmy pani Chen, to prawdopodobieństwo, że osoba o wszystkich jej parametrach odniesie wynik. Wspólne prawdopodobieństwo zbioru danych to prawdopodobieństwo pani Chen * prawdopodobieństwo pani Gundersen * prawdopodobieństwo pani Johnson * ... itd.
Dodanie współzmiennej lub dowolnej liczby współzmiennych nie może tak naprawdę pogorszyć współczynnika prawdopodobieństwa, nie sądzę. Ale może poprawić wskaźnik prawdopodobieństwa o nieistotną kwotę. Modele, które lepiej pasują, będą miały większe prawdopodobieństwo. Możesz formalnie sprawdzić, czy model A lepiej pasuje do modelu B. Powinieneś mieć jakąś funkcję testową LR dostępną w każdym używanym oprogramowaniu, ale w zasadzie statystyka testu LR wynosi -2 * różnica dzienników prawdopodobieństw, a rozkład jest chi-kwadrat z df = różnica liczby parametrów.
Dopuszczalne jest także porównanie AIC lub BIC obu modeli i znalezienie najniższego z nich. AIC i BIC są w zasadzie prawdopodobieństwami dziennika karanymi za liczbę parametrów.
Nie jestem pewien, czy zastosuję test t dla RMSE, i oparłbym się o to, chyba że znajdziesz trochę pracy teoretycznej, która została wykonana w tym obszarze. Zasadniczo, czy wiesz, w jaki sposób wartości RMSE są asymptotycznie rozłożone? Nie jestem pewny. Dalsza dyskusja tutaj:
http://www.stata.com/statalist/archive/2012-11/index.html#01017