Skąd mam wiedzieć, którą metodę szacowania parametrów wybrać?

Istnieje wiele metod szacowania parametrów. MLE, UMVUE, MoM, teoretyka decyzyjna i inne wydają się mieć dość logiczne uzasadnienie, dlaczego są przydatne do szacowania parametrów. Czy jakakolwiek metoda jest lepsza od innych, czy może to tylko kwestia tego, jak zdefiniujemy, czym jest „najlepiej dopasowany” estymator (podobny do tego, w jaki sposób minimalizacja błędów ortogonalnych powoduje różne oszacowania w porównaniu ze zwykłym podejściem najmniejszych kwadratów)?

Występuje niewielkie pomieszanie dwóch rzeczy: metod uzyskiwania estymatorów i kryteriów oceny estymatorów. Maksymalne prawdopodobieństwo (ML) i metoda momentów (MoM) to sposoby uzyskiwania estymatorów; Jednorodnie obiektywna neutralność wariancji (UMVU) i teoria decyzji są kryteriami oceny różnych estymatorów, gdy już je masz, ale nie powiedzą, jak je uzyskać.

Spośród metod uzyskiwania estymatorów ML zazwyczaj wytwarza estymatory, które są bardziej wydajne (tj. Mniejsza wariancja) niż MoM, jeśli znasz model, na podstawie którego uzyskano twoje dane („proces generowania danych” (DGP) w żargonie). Ale MoM robi mniej założeń na temat modelu; jak sama nazwa wskazuje, wykorzystuje tylko jeden lub więcej momentów, zwykle tylko średnią lub tylko średnią i wariancję, więc czasami jest bardziej solidny, jeśli nie jesteś pewien co do MZD. Dla tego samego problemu może istnieć więcej niż jeden estymator MoM, natomiast jeśli znasz MZD, istnieje tylko jeden estymator ML.

Spośród metod oceny estymatorów teoretyka decyzyjna zależy od posiadania funkcji straty do oceny estymatora, chociaż wyniki mogą być dość odporne na szereg „rozsądnych” funkcji strat. Estymatory UMVU często nawet nie istnieją; w wielu przypadkach nie jest żaden nieobciążonym estymatorem że zawsze ma minimalnej wariancji. Kryterium bezstronności ma również wątpliwą przydatność, ponieważ nie jest niezmienne dla transformacji. Na przykład, czy wolałbyś obiektywny estymator ilorazu szans lub logarytmicznego ilorazu szans? Oba będą różne.

Sugerowałbym, że rodzaj estymatora zależy od kilku rzeczy:

1. Jakie są konsekwencje błędnego oszacowania? (np. czy jest mniej źle, jeśli twój estymator jest zbyt wysoki, w porównaniu do zbyt niskiego? lub czy jesteś obojętny co do kierunku błędu? jeśli błąd jest dwa razy większy, czy jest dwa razy mniejszy? czy to błąd procentowy czy błąd bezwzględny to jest ważne? Czy szacowanie jest tylko etapem pośrednim, który jest wymagany do przewidywania? Czy zachowanie dużej próbki jest mniej lub bardziej ważne niż zachowanie małej próbki?)
2. Jakie są twoje wcześniejsze informacje na temat szacowanej ilości? (np. w jaki sposób dane są funkcjonalnie powiązane z twoją ilością? czy wiesz, czy ilość jest dodatnia? dyskretna? czy oszacowałeś już tę ilość? ile masz danych? Czy w danych jest jakaś struktura „niezmienności grupowej”?)
3. Jakie masz oprogramowanie? (np. nie ma sensu sugerować MCMC, jeśli nie masz do tego oprogramowania, lub korzystania z GLMM, jeśli nie wiesz, jak to zrobić).

Pierwsze dwa punkty zależą od kontekstu, a myśląc o konkretnej aplikacji , na ogół będziesz w stanie zdefiniować pewne właściwości , które mają mieć twój estymator. Następnie wybierasz estymator, który możesz faktycznie obliczyć, który ma tyle właściwości, ile chcesz, aby miał.

Myślę, że brak kontekstu, jaki ma kurs nauczania z oszacowaniem, oznacza, że ​​często stosuje się kryterium „domyślne”, podobnie do wcześniejszych informacji (najbardziej oczywistym „domyślnym” jest to, że znasz rozkład próbkowania swoich danych). Powiedziawszy to, niektóre domyślne metody są dobre, szczególnie jeśli nie wiesz wystarczająco dużo o kontekście. Ale jeśli zrobić znać kontekst, i mają narzędzia , aby włączyć ten kontekst, to należy, bo w przeciwnym razie może uzyskać wyniki intuicyjne (ze względu na to, co ignorowane).

Zasadniczo nie jestem wielkim fanem MVUE, ponieważ często trzeba poświęcić zbyt wiele wariancji, aby uzyskać bezstronność. Na przykład wyobraź sobie, że rzucasz rzutkami w tarczę do rzutek i chcesz trafić w dziesiątkę. Przypuśćmy, że maksymalne odchylenie od celownika wynosi 6 cm dla konkretnej strategii rzucania, ale środek punktów rzutek znajduje się 1 cm powyżej tarczy. To nie jest MVUE, ponieważ środek powinien znajdować się na tarczy. Załóżmy jednak, że aby przesunąć rozkład w dół o 1 cm (średnio), musisz zwiększyć swój promień do co najmniej 10 cm (więc maksymalny błąd wynosi teraz 10 cm, a nie 6 cm). Jest to coś, co może się zdarzyć z MVUE, chyba że wariancja jest już niewielka. Załóżmy, że byłem znacznie dokładniejszym rzutem i mogłem zawęzić swój błąd do 0,1 cm. Teraz stronniczość naprawdę ma znaczenie, ponieważ nigdy nie trafię w dziesiątkę!

Krótko mówiąc, dla mnie stronniczość ma znaczenie tylko wtedy, gdy jest niewielka w porównaniu do wariancji. I zwykle dostaniesz małe wariancje, gdy masz dużą próbkę.