Co powiedzieć klientowi, który uważa, że ​​przedziały ufności są zbyt szerokie, aby były przydatne?

22

Załóżmy, że jestem konsultantem i chcę wyjaśnić mojemu klientowi przydatność przedziału ufności. Klient mówi mi, że moje interwały są zbyt szerokie, aby były przydatne, i wolałby stosować te o połowę mniejsze.

Jak mam odpowiedzieć?

confidence-interval interpretation zróżnicowany student
źródło
15
wystawić rachunek za zebranie większej ilości danych.
shabbychef
2
Przypomina mi to niezbędny artykuł na temat rodzajów klientów w zakresie doradztwa statystycznego.
@Procrastinator Czy mógłbyś opublikować link do wersji PDF artykułu?
zakłada się normalny
1
@Max, wydaje się, że jest oczywiście dostępny tylko przez JSTOR; opublikowanie pliku PDF stanowiłoby naruszenie (dość rozsądnych) warunków usługi JSTOR ...
Ben Bolker,
@shabbychef - często jest to bardzo nieefektywny sposób na zwiększenie dokładności, szczególnie jeśli próbka jest już duża. na przykład, aby zmniejszyć o połowę szerokość ci normalnej średniej ci, musisz czterokrotnie zwiększyć wielkość próbki. lepiej poświęć trochę czasu na ulepszenie modelu, zanim pójdziesz i czterokrotnie zwiększysz swój największy koszt!
probabilityislogic

Odpowiedzi:

16

To zależy od tego, co klient rozumie przez „użyteczny”. Sugestia twojego klienta, aby arbitralnie zawęzić przedziały, wydaje się odzwierciedlać nieporozumienie, że poprzez zawężenie przedziałów magicznie zmniejszyłeś margines błędu. Zakładając, że zestaw danych został już zebrany i jest naprawiony (jeśli tak nie jest, żart @ shabbychef w komentarzach daje odpowiedź), każda odpowiedź na klienta powinna podkreślać i opisywać, dlaczego nie ma „darmowego lunchu” i że Ci są poświęcając coś przez zwężenie interwały.

W szczególności, ponieważ zestaw danych jest stały, jedynym sposobem na zmniejszenie szerokości przedziału ufności jest obniżenie poziomu ufności. Dlatego masz wybór pomiędzy szerszym interwałem, który jest bardziej pewny, zawiera prawdziwą wartość parametru lub węższym interwałem, co do którego masz mniej pewności. Oznacza to, że szersze przedziały ufności są bardziej konserwatywne. Oczywiście, nigdy nie można po prostu bezmyślnie zoptymalizować szerokości lub poziomu ufności, ponieważ można bez problemu wygenerować przedział ufności, pozwalając mu objąć całą przestrzeń parametrów i uzyskać nieskończenie wąski przedział ufności, chociaż będzie on miał 0 % pokrycie. 100%0%

To, czy mniej konserwatywny przedział jest bardziej użyteczny, zależy wyraźnie od kontekstu i tego, jak zmienia się szerokość przedziału w zależności od poziomu ufności, ale mam problem z wyobrażeniem sobie aplikacji, w której użycie znacznie niższego poziomu ufności w celu uzyskania preferowane byłyby węższe odstępy czasu. Warto również zauważyć, że przedział ufności stał się tak wszechobecny, że trudno będzie uzasadnić, dlaczego na przykład używasz 60 % przedziału ufności. 95%60%

Makro
źródło
6
Nie można po prostu zmniejszyć przedziału ufności bez rezygnacji z czegoś, ale istnieje niewielka elastyczność analogiczna do różnicy między testem jednostronnym a testem dwustronnym. Ponadto możliwe jest, że lepszy model tych samych danych wytworzyłby różne (i prawdopodobnie mniejsze) przedziały ufności.
Douglas Zare
3
Myślę, że sprzedajesz ostatnią część trochę za krótko. Wszechobecność 95 % CI jest zjawiskiem kulturowym. W niektórych kontekstach inne wartości są powszechne, np. Przy drukowaniu słupki błędów są często standardowymi błędami (tj. 68% CI), co jestem pewien, że znasz. (+1, btw)
Gung - Przywróć Monikę
2
W duchu ta odpowiedź jest dobra, ale myślę, że drugi akapit jest zbyt ograniczający. Jedno ogromne korzyści Statystyk wnosi do tej partii jest znajomość alternatywnych procedur, które lepiej spełniają potrzeby klienta. W wielu przypadkach można zawęzić szerokość elementu CI, wybierając inną procedurę elementu CI. Obawiam się, że nie wymaga to gromadzenia większej ilości danych (od -1 do @shabbychef) ani obniżania poziomu zaufania. Naprawdę trudną częścią jest interpretacja CI, w której procedura została wybrana post hoc. Dlatego chcemy przeprowadzić tę rozmowę przed analizą (a nawet zebraniem) danych!
whuber
7
Reaguję na to, Makro, ponieważ w praktyce nie jest dobrze być tak nieelastycznym. Ryzyko polega na tym, że klient zignoruje twoje porady i zwróci się o pomoc do kogoś, kto nie zna się lepiej (ale twierdzi, że ma wystarczającą wiedzę specjalistyczną w zakresie statystyki). Scenariusz PO jest znany i powszechny: najlepiej postrzegać go jako okazję do informowania i edukowania klienta oraz oferowania alternatywnych rozwiązań (wraz z szczerą dyskusją na temat jego zalet i wad). Musimy powiedzieć „tak, CI można zmniejszyć, ale oto niektóre konsekwencje zrobienia tego”, a nie „nie, jesteś pieprzony”.
whuber
2
To dobry punkt @ whuber (+1) w sytuacjach, w których mogą być dostępne bardziej wydajne alternatywy - to kolejny powód, aby skonsultować się ze statystykami przed zebraniem / analizą danych.
Makro
2

Sugerowałbym, że całkowicie zależy to od tego, do czego twój klient chce użyć przedziałów ufności.

  1. Jakiś raport / publikacja / itp. gdzie zwykle zgłaszane są 95% CI. Mógłbym bardzo dobrze powiedzieć mu „To nie jest statystycznie uzasadnione” i zostawić to tam, w zależności od tego, czy klient ma skłonność do korzystania z twojej wiedzy. Jeśli nie, musisz osądzić swój własny komfort zawodowy z tym, czego chcą.
  2. Jakiś wewnętrzny dokument - wyjaśnię, że się nie zgadzasz, i wyjaśnię, na jaki rodzaj przedziału ufności patrzy teraz czytelnik, ponieważ nie jest to 95%.
  3. Jako miarę szacunku niepewności powiedzmy, aby ustalić, ile analizy wrażliwości można zrobić? Dałbym im liczbę pokazującą pełny rozkład zarówno z 95% CI, jak i oznaczoną 68% CI, i pozwoliłem im to mieć.

Byłbym z siebie dumny, gdyby udało mi się powstrzymać „Więc uruchom większe badanie” od bycia pierwszą rzeczą, która wyszła mi z ust.

Fomite
źródło
1
+1. Myślę, że komentarze, które napisałeś w punkcie (2), prawdopodobnie byłyby odpowiednie również w sytuacji opisanej przez (1).
Makro
0

Używaj odchylenia standardowego, jak większość ludzi. 95% CI może być przerażające, gdy ludzie są przyzwyczajeni do 68% CI.

Geoph Twombly
źródło
4
Wydaje mi się, że w tym przypadku jesteśmy jedynie zainteresowani wykazaniem dokładności, powiedzmy, średniej próbki, a nie zmienności poszczególnych wartości. Dlaczego szczególnie polecasz odchylenie standardowe ?
chl
Fisher początkowo zasugerował 95% CI jako przybliżenie do 2 odchyleń standardowych.
Patrick Caldon,
1
@Patrick, wygląda na to, że albo przegapiłeś punkt chl (jak również źle przedstawionego Fishera, który nie popełnił takiego błędu), albo napisałeś „odchylenie standardowe”, gdzie miałeś na myśli „ błąd standardowy ”. Większość CI opiera się oczywiście na standardowych błędach, a nie na standardowych odchyleniach. 2 SD nie zbliżają się do CI ani odwrotnie.
whuber
Oczywiście błąd standardowy jest tylko standardowym odchyleniem średniej, więc jest to tylko terminologia. Oznacza to, że powiedzenie, że CI nie są oparte na standardowych odchyleniach, nie jest tak naprawdę prawdą. Nie opierają się one na standardowym odchyleniu próbki, ale na standardowym odchyleniu średniej.
Aaron - Przywróć Monikę
2
Nie wszystkie szacunki są średnimi. Występują błędy standardowe dla oszacowań innych niż średnie i to błąd standardowy oszacowania służy do generowania przedziałów ufności dla parametru opartego na zmienności oszacowania, jak sugeruje Whuber.
Michael R. Chernick
0

Zapewniasz przedział ufności na pewnym standardowym poziomie, takim jak 90% lub 95%. Klient może ocenić, czy interwał jest zbyt szeroki, aby był użyteczny. Ale oczywiście nie oznacza to, że można go skrócić, aby był użyteczny. Możesz zasugerować, że zwiększenie wielkości próby zmniejszy szerokość przedziału przy danym poziomie ufności, ponieważ zmniejsza się mniej więcej o współczynnik pierwiastka kwadratowego z wielkości próby.

Michael R. Chernick
źródło