Przedziały ufności a wielkość próby?

9

Jestem całkowicie nowy w statystykach i zakresie przedziałów ufności. Może to być bardzo trywialne lub nawet głupie. Byłbym wdzięczny, gdybyś mógł pomóc mi zrozumieć lub wskazać mi literaturę / tekst / blog, który wyjaśnia to lepiej.

Widzę na różnych serwisach informacyjnych, takich jak CNN, wiadomości Fox, Politico itp., O ich sondażach dotyczących amerykańskiego wyścigu prezydenckiego w 2012 r. Każda agencja przeprowadza sondaże i podaje pewne statystyki dotyczące formy:

CNN: Popularność Obamy wynosi X% z marginesem błędu +/- x1%. Wielkość próbki 600. FOX: Popularność Obamy wynosi Y% z marginesem błędu +/- y1%. Wielkość próby 800. XYZ: Popularność Obamy wynosi Z% z marginesem błędu +/- z1%. Wielkość próby 300.

Oto moje wątpliwości:

  1. Jak zdecydować, któremu zaufać? Czy powinien być oparty na przedziale ufności, czy powinienem założyć, że skoro Fox ma większą próbkę, jej oszacowanie jest bardziej wiarygodne? Czy istnieje ukryty związek między okresami ufności a wielkością próby, tak że określenie jednego pozwala uniknąć konieczności określenia drugiego?

  2. Czy mogę określić standardowe odchylenie od przedziałów ufności? Jeśli tak, to czy jest ważne zawsze, czy tylko dla niektórych rozkładów (jak Gaussa)?

  3. Czy istnieje sposób „scalenia” lub „połączenia” powyższych trzech oszacowań i uzyskania własnych oszacowań wraz z przedziałami ufności? Jaką próbkę mam w takim przypadku wybrać?

Wspomniałem o CNN / Fox tylko po to, by lepiej wyjaśnić mój przykład. Nie mam zamiaru rozpoczynać tutaj debaty Demokraci przeciwko republikanom.

Pomóż mi zrozumieć poruszone przeze mnie problemy.

Nik
źródło

Odpowiedzi:

4

Oprócz świetnej odpowiedzi Piotra, oto kilka odpowiedzi na twoje szczegółowe pytania:

  1. Komu zaufać będzie zależeć również od tego, kto przeprowadza ankietę i jaki wysiłek włożą w uzyskanie dobrej jakości ankiety. Większy rozmiar próbki nie jest lepszy, jeśli próbka nie jest reprezentatywna, przeprowadzając ogromną ankietę, ale tylko w jednym stanie niestabilnym nie dałoby bardzo dobrych wyników.

    Istnieje zależność między wielkością próby a szerokością przedziału ufności, ale inne czynniki również wpływają na szerokość, na przykład na ile procent jest zbliżony do 0, 1 lub 0,5; jakie zastosowano korekty uprzedzeń, jak pobrano próbkę (grupowanie, stratyfikacja itp.). Ogólna zasada jest taka, że ​​szerokość przedziału ufności będzie proporcjonalna do1n, więc aby zmniejszyć o połowę interwał, potrzebujesz 4-krotności wielkości próbki.

  2. Jeśli wiesz wystarczająco dużo o tym, jak zebrano próbkę i jakiej formuły użyto do obliczenia przedziału, możesz rozwiązać standardowe odchylenie (musisz także znać stosowany poziom ufności, zwykle 0,05). Jednak formuła jest inna dla próbek stratyfikowanych i skupionych. Również większość ankiet dotyczy procentowych, więc użyłaby rozkładu dwumianowego.

  3. Istnieją sposoby łączenia informacji, ale ogólnie trzeba wiedzieć coś o tym, w jaki sposób próbki zostały zebrane lub być skłonnym do przyjęcia pewnych założeń dotyczących budowy przedziałów. Podejście bayesowskie jest jednym ze sposobów.

Greg Snow
źródło
1
+1. Ale czy perspektywy na # 3 są naprawdę tak ponure lub trudne? Jeśli mam zbiór niezależnych szacunków, z których każdy ma własny margines błędu, dlaczego nie mogę (przynajmniej z grubsza) połączyć ich w zwykły sposób (jako średnią ważoną, ważoną odwrotnie przez kwadratowe MG) i połączyć ich standardowe błędy jako dobrze (używając formuł wariancji)? To nie byłoby idealne, ale powinno być lepsze niż wybranie jednej ankiety, na której można polegać, prawda?
whuber
Dzięki Greg! Bardzo doceniam twoje odpowiedzi. W odpowiedzi na pytanie 3 wspomniał pan, że „podejście bayesowskie jest jednym ze sposobów”. Czy możesz wskazać mi literaturę, która zawiera więcej informacji na ten temat?
Nik
@whuber: Dzięki za komentarz. Właśnie o tym myślałem. Czy uważasz, że uzasadnione jest łączenie tych szacunków w ten sposób? Może nie być całkowicie, ale w dużym stopniu?
Nik
1
@ Whuber, nie chciałem malować go jako ponurego, tylko po to, aby upewnić się, że plakat był świadomy i mógł żyć z założonymi potrzebami.
Greg Snow,
@Nik, w sieci istnieje wiele samouczków dotyczących statystyk bayesowskich. Prostym podejściem (zakładającym, że wszystkie próbki były zwykłymi próbami losowymi lub że projekt ankiety był taki, że założenie SRS nie jest bardzo dalekie) byłoby rozpoczęcie od wersji beta wcześniej, a następnie użycie każdej ankiety z dwumianowym prawdopodobieństwem zaktualizuj i zdobądź nowy posterior. Jedną fajną rzeczą w podejściu Bayesa jest to, że możesz zdyskontować efekt poprzednich badań, jeśli nie chcesz, aby miały one tak duży wpływ jak najnowsza ankieta.
Greg Snow,
4

To ogromny temat, ale zasadniczo są dwa problemy:

1) Precyzja - zależy od wielkości próbki. Większe próbki dają bardziej precyzyjne oszacowania z niższym błędem standardowym i krótszymi przedziałami ufności

2) Odchylenie - które w statystykach niekoniecznie ma negatywne konotacje, jakie ma gdzie indziej. W ankietach starają się uzyskać losową próbkę XXXX (czasami prawdopodobni wyborcy, czasem zarejestrowani wyborcy). Ale oni nie. Niektóre ankiety używają tylko linii naziemnych. Różne grupy ludzi są bardziej lub mniej skłonne do odpowiedzi. Różne grupy raczej po prostu się rozłączają.

Tak więc wszyscy ankieterzy ważą swoje odpowiedzi. Oznacza to, że starają się dostosować swoje wyniki do znanych faktów dotyczących wyborców. Ale wszyscy robią to trochę inaczej. Tak więc, nawet przy tych samych danych wejściowych odpytywania, podadzą różne liczby.

Komu zaufać? Cóż, jeśli spojrzysz na pracę Nate'a Silvera z 538 roku, ma on oceny, jak dokładne były ankieterki w poprzednich wyborach. Ale to nie znaczy, że będą teraz równie dokładne.

Peter Flom
źródło
Dzięki Peter. Tak więc oszacowanie z niższym marginesem błędu jest bardziej „precyzyjne”. Czy istnieje sposób, aby dowiedzieć się, jak bardzo jest on stronniczy na podstawie marginesu błędu X% +/- x1%? Myślę, że nie jest to możliwe, chyba że znasz preferencje poszczególnych próbek, prawda?
Nik
Tak to prawda. Oczywiście niektórzy ankieterzy znają uprzedzenia (w jednym lub drugim kierunku). Ankiety wewnętrzne (prowadzone przez jedną lub drugą stronę) są często stronnicze. Jednym ze sposobów, w jaki mogą to zrobić, jest uruchomienie kilku ankiet i zwolnienie tylko tych, które są korzystne. Następnie jest cały problem „ankiet push”, w których pytania dotyczące kandydata poprzedzone są pytaniami negatywnymi na jego temat.
Peter Flom
1

Obejmuje to obszar pobierania próbek z badań. Zasadniczo metody działają, ponieważ stosowana jest randomizacja. Oto rzeczy, które mogą się różnić w ankietach opartych na subiektywnych decyzjach.

  1. Ramka próbkowania. Z jakiej grupy wyborców powinienem pobrać próbkę?

  2. Jak poradzić sobie ze zmiennością niezdecydowanego wyborcy, który może zmienić swoją opinię na temat Obamy vs Romney na podstawie wczorajszego sondażu lub przyszłych tygodni?

  3. Peter dotknął uprzedzeń. Sondaż literacki z 1936 roku był katastrofą. Wybrał kandydata republikańskiego niż FDR, ponieważ ramka próbkowania była oparta na losowym wyborze numerów telefonicznych. W 1936 roku tylko wyższa klasa średnia i bogaci mieli telefony. Ta grupa była zdominowana przez republikanów, którzy mają tendencję do głosowania na republikańskiego kandydata. Roosevelt wygrał przez osunięcie się ziemi, zdobywając głosy od biednych i klasy średniej, która zwykle była grupą demokratów! To ilustruje stronniczość z powodu subtelnie złego wyboru ramki próbkowania.

  4. Próbkowanie w ankiecie dotyczy populacji skończonych. Wielkość populacji to N. Powiedzmy, że z tej populacji pochodzi losowa próbka o wielkości n. Dla uproszczenia załóżmy, że biegają tylko Obama i Romney. Odsetek głosów, jakie Obama uzyskałby za tę ramkę próbkowania, jest średnią zmiennych binarnych (powiedz 1, jeśli respondent wybiera Obamę, a 0 dla Romneya). Wariancja średniej próbki dla tej zmiennej wynosi [p (1-p) / n] [Nn] / N, gdzie p jest prawdziwą proporcją populacji, która wybrałaby Obamę. [Nn] / N jest skończoną korektą populacji. w większości sondaży N jest znacznie większy niż N i poprawność można zignorować. Patrząc na p (1-p) / n widzimy, że wariancja maleje wraz z n. Więc jeśli n jest duże, przedział ufności na danym poziomie ufności będzie mały.

Ankieterzy innych próbników i statystycy z US Census Bureau dysponują tymi narzędziami statystycznymi i wykonują bardziej złożone i dokładne metody (losowa próbka skupisk i losowe próbkowanie warstwowe, aby wspomnieć o kilku metodach).

Gdy ich założenia dotyczące modelowania są prawidłowe, metody działają wyjątkowo dobrze. Wyjście z pollingu jest tego najlepszym przykładem. W dniu wyborów zobaczysz, że sieci dokładnie projektują zwycięzcę w prawie każdym stanie na długo przed końcową liczbą. To dlatego, że zmienność dnia przedwyborczego zniknęła. Historycznie wiedzą, w jaki sposób ludzie głosowali, i mogą określić wybrane obwody w sposób pozwalający uniknąć stronniczości. Sieci czasami się różnią. Może to wynikać z rywalizacji o wyłonienie zwycięzcy przed mentalnością innych. W rzadkich przypadkach może tak być również dlatego, że głosowanie jest bardzo bliskie (np. Wybory Prezydenckie 2000 na Florydzie).

Mam nadzieję, że da to wyraźniejszy obraz tego, co się dzieje. Nie widzimy już poważnych błędów, takich jak „Dewey pokonuje Trumana” w 1948 r. Lub fiasko Literary Digest z 1936 r. Ale statystyki nie są doskonałe, a statystycy nigdy nie mogą powiedzieć, że są pewni.

Michael R. Chernick
źródło
Dziękuję za szczegółowe wyjaśnienie. To naprawdę pomogło!
Nik
Nie widzimy już poważnych błędów? Więc Clinton wygrała w 2016 roku, prawda? Biorę twoje znane niewiadome i wychowuję czarnego łabędzia . Tak jak mawiał mój tata: „To, czego nie wiesz, zabija cię”.
Carl
1
Moja odpowiedź nie miała nic wspólnego z Clintonem i wyborami w 2016 r., Które miały wiele dziwnych problemów. (1) rosyjska interwencja, (2) Clinton wygrał głosowanie powszechne i (3) niektórzy wyborcy Trump byli niechętni, by przyznać, że będą głosować na Trumpa. Być może powinienem dodać, że ankiety mogą się mylić, gdy frekwencja nie jest taka, jak oczekiwano.
Michael R. Chernick,