Jak duża powinna być próbka dla danej techniki szacowania i parametrów?

Czy istnieje ogólna zasada, a nawet jakikolwiek sposób określający, jak duża powinna być próbka, aby oszacować model o określonej liczbie parametrów?

Na przykład, jeśli chcę oszacować regresję metodą najmniejszych kwadratów z 5 parametrami, jak duża powinna być próbka?

Czy ma znaczenie, jakiej techniki szacowania używasz (np. Maksymalne prawdopodobieństwo, najmniejsze kwadraty, GMM), lub ile lub jakie testy zamierzasz wykonać? Czy przy podejmowaniu decyzji należy wziąć pod uwagę zmienność próby?

Trywialna odpowiedź brzmi: więcej danych jest zawsze preferowanych niż mniej danych.

Problem małej wielkości próby jest jasny. W regresji liniowej (OLS) technicznie można dopasować model, taki jak OLS, gdzie n = k + 1, ale otrzymasz z niego śmieci, tj. Bardzo duże błędy standardowe. Istnieje świetny artykuł Arthura Goldbergera zatytułowany Micronumerocity na ten temat, streszczony w rozdziale 23 jego książki A Course in Econometrics .

Częstą heurystyką jest to, że powinieneś mieć 20 obserwacji dla każdego parametru, który chcesz oszacować. Zawsze jest to kompromis między rozmiarem standardowych błędów (a zatem i testowania istotności) a rozmiarem próbki. Jest to jeden z powodów, dla których niektórzy z nas nienawidzą testowania istotności, ponieważ można uzyskać niewiarygodnie mały (względny) błąd standardowy z ogromną próbką, a zatem znaleźć bezcelowe znaczenie statystyczne w naiwnych testach, takich jak to, czy współczynnik regresji wynosi zero.

Chociaż wielkość próbki jest ważna, jakość próbki jest ważniejsza, np. Czy próbka jest generalizowalna dla populacji, czy jest to prosta próbka losowa lub inna odpowiednia metodologia próbkowania (i została to uwzględniona podczas analizy), czy występuje błąd pomiaru , błąd odpowiedzi, błąd wyboru itp.

Lubię używać resampling: powtarzam dowolną metodę, której użyłem z podpróbką danych (powiedzmy 80% lub nawet 50% całości). Robiąc to z wieloma różnymi podpróbkami, mam wrażenie, jak wiarygodne są szacunki. W przypadku wielu procedur szacowania można to zrobić w postaci rzeczywistej (czyli możliwej do opublikowania) oceny błędów.

Zawsze powinien być wystarczająco duży! ;)

Wszystkie oszacowania parametrów mają niepewność szacunkową, która zależy od wielkości próby. Przeprowadzenie analizy regresji pomaga przypomnieć sobie, że rozkład Χ ² jest zbudowany z zestawu danych wejściowych. Jeśli twój model miał 5 parametrów i miałeś 5 punktów danych, byłbyś w stanie obliczyć tylko jeden punkt rozkładu Χ ² . Ponieważ musisz go zminimalizować, możesz wybrać tylko jeden punkt jako przypuszczenie minimum, ale będziesz musiał przypisać nieskończone błędy do szacowanych parametrów. Posiadanie większej liczby punktów danych pozwoliłoby lepiej mapować przestrzeń parametrów, co prowadzi do lepszego oszacowania minimalnego rozkładu Χ ^2, a tym samym mniejszych błędów estymatora.

Czy zamiast tego użyłbyś estymatora maksymalnego prawdopodobieństwa, sytuacja byłaby podobna: więcej punktów danych prowadzi do lepszego oszacowania minimum.

Jeśli chodzi o wariancję punktową, musisz to również wymodelować. Posiadanie większej liczby punktów danych spowodowałoby, że grupowanie punktów wokół „prawdziwej” wartości stałoby się bardziej oczywiste (ze względu na Centralne Twierdzenie Graniczne) i niebezpieczeństwo interpretacji dużej, przypadkowej fluktuacji jako prawdziwej wartości dla tego punktu spadłoby. I jak w przypadku każdego innego parametru, oszacowanie wariancji punktowej stałoby się bardziej stabilne, im więcej masz punktów danych.

Pod tym względem słyszałem dwie podstawowe zasady. Utrzymuje się, że dopóki jest wystarczająco dużo obserwacji w błędzie, aby przywołać centralne twierdzenie o granicy, np. 20 lub 30, nic ci nie jest. Drugi utrzymuje, że dla każdego szacowanego nachylenia należy mieć co najmniej 20 lub 30 obserwacji. Różnica między użyciem 20 lub 30 jako liczby docelowej opiera się na różnych przemyśleniach dotyczących tego, kiedy jest wystarczająco dużo obserwacji, aby racjonalnie przywołać Centralne Twierdzenie Graniczne.