Obfitość wartości P przy braku hipotezy

Interesuję się epidemiologią. Nie jestem statystykiem, ale sam próbuję przeprowadzać analizy, chociaż często napotykam trudności. Pierwszą analizę wykonałem 2 lata temu. Wartości P zostały uwzględnione wszędzie w moich analizach (po prostu zrobiłem to, co robili inni badacze), od tabel opisowych po analizy regresji. Stopniowo statystycy pracujący w moim mieszkaniu przekonywali mnie do pominięcia wszystkich (!) Wartości p, z wyjątkiem tych, z których naprawdę mam hipotezę.

Problem polega na tym, że wartości p są obfite w publikacjach z badań medycznych. Konwencjonalne jest umieszczanie wartości p na zdecydowanie zbyt wielu liniach; dane opisowe średnich, median lub cokolwiek zwykle idzie w parze z wartościami p (test t-Studenta, Chi-kwadrat itp.).

Niedawno przesłałem artykuł do czasopisma i odmówiłem (grzecznie) dodania wartości p do mojej tabeli opisowej „podstawowej”. Artykuł został ostatecznie odrzucony.

Aby to zilustrować, zobacz poniższy rysunek; jest to tabela opisowa z najnowszego opublikowanego artykułu w szanowanym czasopiśmie chorób wewnętrznych:

Statystycy są w większości (jeśli nie zawsze) zaangażowani w przegląd tych manuskryptów. Tak więc laicy tacy jak ja oczekują, że nie znajdą żadnych wartości p, w których nie ma hipotezy. Ale są obfite, ale przyczyna tego pozostaje dla mnie nieuchwytna. Trudno mi uwierzyć, że to ignorancja.

Zdaję sobie sprawę, że jest to graniczne pytanie statystyczne. Ale szukam uzasadnienia tego zjawiska.

Oczywiście nie muszę ci mówić, co to jest wartość p, ani dlaczego nadmierne poleganie na nich jest problemem; najwyraźniej już dość dobrze rozumiesz te rzeczy.

Publikując masz dwie konkurencyjne presje.

Pierwszą - i którą powinieneś naciskać przy każdej rozsądnej okazji - jest robienie tego, co ma sens.

Ostatecznie druga to potrzeba opublikowania. Niewielkie korzyści przyniosą ci, jeśli nikt nie zobaczy twoich wysiłków na rzecz reformy okropnej praktyki.

Zamiast więc całkowicie tego unikać:

• zrób tak mało bezsensownej aktywności, jak tylko możesz uciec, a to wciąż zostanie opublikowane

• może zawierać wzmiankę o tym ostatnim artykule na temat metod Natury [1], jeśli uważasz, że to pomoże, a może lepiej jedno lub więcej innych odniesień. Powinno to przynajmniej pomóc ustalić, że istnieje pewien sprzeciw wobec prymatu wartości p.

• rozważ inne czasopisma, jeśli inny byłby odpowiedni

Czy to samo dotyczy innych dyscyplin?

Problem nadmiernego wykorzystania wartości p występuje w wielu dyscyplinach (może to być nawet problem, gdy nie jest pewne hipotezy), ale jest znacznie mniej powszechne niż w niektórych innych. Niektóre dyscypliny mają problemy z wartością p-itis, a problemy, które powodują, mogą ostatecznie doprowadzić do nieco przesadzonych reakcji [2] (oraz w mniejszym stopniu [1], a przynajmniej w niektórych miejscach, kilku innych także).

Wydaje mi się, że istnieje wiele różnych powodów, ale nadmierne poleganie na wartościach p wydaje się nabierać własnego rozmachu - jest coś w powiedzeniu „znaczący” i odrzuceniu wartości zerowej, którą ludzie wydają się uważać za bardzo atrakcyjną; różne dyscypliny (np. patrz [3] [4] [5] [6] [7] [8] [9] [10] [11]) (z różnym powodzeniem) walczyły z problemem nadmiernego polegania na wartości p (szczególnie = 0,05) przez wiele lat i zawierały wiele różnych sugestii - nie wszystkie z nimi się zgadzam, ale uwzględniam różnorodne poglądy, aby dać poczucie różnych rzeczy, które ludzie musieli mówić.$\alpha$

Niektórzy opowiadają się za skupieniem się na przedziałach ufności, niektórzy opowiadają się za wielkościami efektów, niektórzy opowiadają się za metodami bayesowskimi, niektórzy za mniejszymi wartościami p, inni za unikaniem używania wartości p w określony sposób i tak dalej. Istnieje wiele różnych poglądów na to, co robić zamiast tego, ale między nimi jest dużo materiału na temat problemów z poleganiem na wartościach p, przynajmniej sposób, w jaki jest to dość często wykonywane.

Zobacz te referencje, aby uzyskać wiele dalszych referencji. To tylko próbka - można znaleźć o wiele więcej referencji. Kilku autorów podaje powody, dla których uważają, że wartości p są powszechne.

Niektóre z tych odniesień mogą być przydatne, jeśli chcesz dyskutować z redaktorem.

[1] Halsey LG, Curran-Everett D., Vowler SL i Drummond GB (2015),
„Zmienna wartość P generuje nie powtarzalne wyniki”,
Nature Methods 12 , 179–185 doi: 10.1038 / nmeth.3288
http: // www .nature.com / nmeth / journal / v12 / n3 / abs / nmeth.3288.html

[2] David Trafimow, D. and Marks, M. (2015),
Editorial,
Basic and Applied Social Psychology , 37 : 1–2
http://www.tandfonline.com/loi/hbas20
DOI: 10.1080 / 01973533.2015.1012991

[3] Cohen, J. (1990),
Things I learn (do tej pory),
American Psychologist , 45 (12), 1304–1312.

[4] Cohen, J. (1994),
Ziemia jest okrągła (p <.05),
American Psychologist , 49 (12), 997–1003.

[5] Valen E. Johnson (2013),
Zmienione standardy dla dowodów statystycznych PNAS , vol. 110, nr 48, 19313–19317 http://www.pnas.org/content/110/48/19313.full.pdf

[6] Kruschke JK (2010),
Co wierzyć: Bayesowskie metody analizy danych,
Trendy w kognitywistyce 14 (7), 293-300

[7] Ioannidis, J. (2005)
Dlaczego większość opublikowanych wyników badań jest fałszywa,
PLoS Med. Sierpnia; 2 (8): e124.
doi: 10.1371 / journal.pmed.0020124

[8] Gelman, A. (2013), P Values ​​and Statistics Practice,
Epidemiology Vol. 24 , nr 1, 69–72 stycznia

[9] Gelman, A. (2013),
„Problem z wartościami p polega na tym, jak są one używane”,
(Dyskusja na temat „W obronie wartości P”, Paul Murtaugh, dla Ekologii ) niepublikowany
http: // citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.300.9053
http://www.stat.columbia.edu/~gelman/research/unpublished/murtaugh2.pdf

[10] Nuzzo R. (2014),
Błędy statystyczne: Wartości P, „złoty standard” ważności statystycznej, nie są tak wiarygodne, jak przypuszcza wielu naukowców,
News and Comment,
Nature , Vol. 506 (13), 150–152

[11] Wagenmakers E, (2007)
Praktyczne rozwiązanie wszechobecnych problemów związanych z wartościami p,
Psychonomic Bulletin & Review 14 (5), 779-804

Wartość p, lub bardziej ogólnie, test istotności hipotezy zerowej (NHST), powoli przybiera coraz mniejszą wartość. Do tego stopnia, że ​​zaczęło być zakazane w czasopismach.

Większość ludzi nie rozumie, co tak naprawdę mówi nam wartość p i dlaczego nam to mówi, nawet jeśli jest używana wszędzie.

Problem polega na tym, że wartość p mówi nam a nie , która jest bardziej informacyjna. Ten ostatni obejmuje wykorzystanie wnioskowania bayesowskiego i zapewnia silniejszą podstawę do wniosków z kontroli modelu.$P(\text{Data}\,\vert\, H_0)$$P(H_0\,\vert\,\text{Data})$

Prawdopodobieństwo, że model jest prawdziwy / istotny, biorąc pod uwagę dane, które zaobserwowaliśmy, ma silniejsze implikacje niż prawdopodobieństwo, że nasze dane pasują do modelu .$H_0$$H_0$

Czy to samo dotyczy innych dyscyplin? Jaki jest powód obsesji na punkcie wartości p?

Greenwald i in. (1996) próbują poradzić sobie z tym pytaniem dotyczącym psychologii. Co się tyczy również zastosowania NHST do różnic wyjściowych, przypuszczalnie redaktorzy (słusznie lub niesłusznie) zdecydują, że „nieistotne” różnice podstawowe nie mogą wyjaśnić wyników, podczas gdy „znaczące” mogą wyjaśnić wyniki. Jest to podobne do „Powodu 1” oferowanego przez Greenwald i in. :

Dlaczego NHT pozostaje popularne?

„Dlaczego NHT nie poddaje się krytyce? Z braku lepszej odpowiedzi kuszące jest przypisywanie trwałości NHT brakowi charakteru naukowców behawioralnych. Niechęć naukowców behawioralnych do rezygnacji z winy z przyjemności uzyskania możliwie fałszywych odrzuconych hipotez zerowych może być jak niechęć pijącego do rezygnacji z nawyku koktajlu przed kolacją ... ”

Powód I: HT zapewnia dychotomiczny wynik

„Ze względu na powszechne przyjęcie konwencji, która p <0,05 przekłada się na„ istotne statystycznie ”, NHT można wykorzystać do uzyskania dychotomicznej odpowiedzi (odrzucić lub nie odrzucić) na pytanie o hipotezę zerową. Często można to uznać za jako przydatna odpowiedź na pytania teoretyczne, które są wyrażone raczej w kierunku prognozowania niż w odniesieniu do oczekiwanej wartości parametru ... ”

Powód 2: Wartość p jako sensowne tłumaczenie na wspólny język dla statystyk testowych

„W przeciwieństwie do wszystkiego, co można postrzegać tak bezpośrednio z wartości t, F lub r (wraz z powiązanym df), miara zaskoczenia wartości ap jest po prostu uchwycona przez liczbę kolejnych zer po prawej stronie jej miejsca po przecinku ...”

Powód 3: Wartość p stanowi miarę pewności siebie w „powtarzalności odrzuconych hipotez odrzuconych

„[U] w przeciwieństwie do wielkości efektu (lub przedziału ufności), wartość ap wynikająca z NHT jest monotonicznie powiązana z oszacowaniem powtarzalności stwierdzenia o wartości innej niż null. W tym stwierdzeniu zamierzona jest replikacja (która została zdefiniowana bardziej formalnie tuż poniżej) tylko w sensie NHT powtarzania konkluzji odrzucenia i odrzucenia, a nie w szacunku bliskości między szacunkami punktowymi lub przedziałowymi. ”

Wielkości efektów i wartości p: co należy zgłaszać, a co powielać? ANTHONY G. GREENWALD, RICHARD GONZALEZ, RICHARD J. HARRIS I DONALD GUTHRIE. Psychophysiology, 33 (1996). 175–183. Cambridge University Press. Wydrukowano w USA. Copyright O 1996 Towarzystwo badań psychofizjologicznych

Wartości p dostarczają informacji o różnicach między dwiema grupami wyników („leczenie” vs. „kontrola”, „A” vs. „B” itd.) Dla próbek z dwóch populacji. Charakter różnicy jest sformalizowany w sformułowaniu hipotez - np. „Średnia z A jest większa niż średnia z B”. Niskie wartości p sugerują, że różnice nie są spowodowane przypadkową zmiennością, podczas gdy wysokie wartości p sugerują, że różnic w dwóch próbkach nie można odróżnić od różnic, które mogą wynikać po prostu z losowej zmienności. To, co jest „niskie” lub „wysokie” dla wartości p, było w przeszłości kwestią konwencji i smaku, a nie ustalone przez rygorystyczną logikę lub analizę dowodów.

Warunkiem zastosowania wartości p jest to, że dwie grupy wyników są naprawdę porównywalne, a mianowicie, że jedyne źródło różnic między nimi dotyczy zmiennej, którą oceniasz. Jako przesadny przykład wyobraź sobie, że masz statystyki dotyczące dwóch chorób w dwóch przedziałach czasowych - A: śmiertelność z powodu cholery wśród mężczyzn w brytyjskich więzieniach 1920–1930 i B: zakażenie malarią w Nigerii 1960–1970. Obliczenie wartości p z tych dwóch zestawów danych byłoby raczej absurdalne. Otóż, jeśli A: śmiertelność z powodu cholery wśród mężczyzn w brytyjskich więzieniach, którzy nie są leczeni, w porównaniu z B: śmiertelność z powodu cholery wśród mężczyzn w brytyjskich więzieniach leczonych nawadnianiem, to masz podstawę do solidnej hipotezy statystycznej.

Najczęściej osiąga się to poprzez staranne zaprojektowanie eksperymentu, staranne zaprojektowanie ankiety lub staranne zbieranie danych historycznych itp. Ponadto różnice między tymi dwoma wynikami muszą zostać sformalizowane w hipotezy zawierające statystyki przykładowe - często próby średnie, ale mogą również być przykładowymi wariancjami lub innymi przykładowymi statystykami. Możliwe jest również tworzenie hipotez zestawiających porównanie dwóch rozkładów próbek jako całości, stosując dominację stochastyczną. To są rzadkie.

Kontrowersje wokół wartości p dotyczą „tego, co jest naprawdę znaczące” dla badań? Tu właśnie pojawiają się rozmiary efektów. Zasadniczo rozmiar efektu jest wielkością różnicy między dwiema grupami. Możliwe jest posiadanie dużego znaczenia statystycznego (niska wartość p -> nie z powodu zmienności losowej), ale także małej wielkości efektu (bardzo mała różnica w wielkości). Gdy rozmiary efektów są bardzo duże, dopuszczenie nieco wyższych wartości p może być OK.

Większość dyscyplin bardzo mocno przesuwa się teraz w kierunku raportowania wielkości efektów i zmniejsza lub minimalizuje rolę wartości p. Zachęcają również bardziej opisowe statystyki dotyczące rozkładów próbek. Niektóre podejścia, w tym statystyki bayesowskie, całkowicie eliminują wartości p.

Moja odpowiedź jest skrócona i uproszczona. Istnieje wiele artykułów na ten temat, z którymi można się zapoznać, aby uzyskać więcej szczegółów, uzasadnień i szczegółów, w tym:

• Używanie rozmiaru efektu - lub dlaczego wartość P jest niewystarczająca
• Wielkości efektów i wartości p: co należy powielić i co należy zgłosić
• To wielkość efektu, głupku

„Więc laicy tacy jak ja oczekują, że nie znajdą żadnych wartości p, w których nie ma hipotezy”.

Pośrednio PO twierdzi, że w konkretnej Tabeli, którą przedstawia, nie ma żadnych hipotez towarzyszących zgłaszanym wartościom p. Aby usunąć to małe zamieszanie, z pewnością istnieją zerowe hipotezy, ale są one raczej ... pośrednio wymienione (dla oszczędności przestrzeni, jak sądzę).

„Wartość p” jest warunkowym prawdopodobieństwem, powiedzmy, dla testu „prawego ogona”,

gdzie jest stosowaną statystyką, jest funkcją rozkładu szumulacyjnego, która charakteryzuje prawdopodobieństwa związane z warunkiem, że jest prawdziwe, a jest wartością otrzymaną przez wykorzystanie próbki pod ręką. Oczywiście, dla testu miała sens, musi być tak, że statystyka jest takie, a hipoteza zerowa jest taki, że rozkład uwarunkowane jest prawdziwe, jest inna (lub inaczej parametryzowane, gdy oboje należą do ta sama rodzina) z jego dystrybucji odF T | H 0 ( t ∣ H 0 ) T H 0 t ( S ) T T H 0 T H 0 H $T$$F_{T|H_0}(t \mid H_0)$$T$$H_0$$t(S)$$T$$T$$H_0$$T$$H_0$$H_0$ nie jest prawdą.

Zatem wartości p nie można obliczyć, nawet jeśli nie ma hipotezy zerowej , a ilekroć widzimy zgłoszoną wartość p, gdzieś tam czai się hipoteza zerowa.

W tabeli przedstawionej w pytaniu czytamy

„Wszystkie testy różnic między tercytami WHR ...”

Hipoteza zerowa jest „ukryta” w tym zdaniu: jest to „Brak różnicy między tercylami WHR” (bez względu na to, jak „terfile WΗR” jest) wyrażona w formie matematycznej, która tutaj wydaje się być różnicą dwóch wielkości ustawionych na równe zero.

Zainteresowałem się i przeczytałem artykuł podany przez OP jako przykład: otyłość brzuszna zwiększa ryzyko złamania szyjki kości udowej . Nie jestem naukowcem medycznym i zwykle nie czytam artykułów medycznych.

Byłem zaskoczony, widząc, że JEDYNYM miejscem, w którym ten papier używa wartości jest podpis Tabeli 1, który OP odtworzył w treści pytania.$p$

Dla mnie wcale nie wygląda to na „obfitość” wartości ! Jestem przyzwyczajony do prac neurobiologicznych, w których różne grupy badanych (ludzi, myszy, muchy, neurony, próbki tkanek itp.) Są różnie traktowane lub mierzone w różnych warunkach, a prace zwykle dotyczą różnic między grupami. Różnice te są zawsze oceniane za pomocą wartości , więc artykuł może zawierać dziesiątki z nich w tekście głównym. Czasami to naprawdę wygląda jak „obfitość”. Takie podejście jest często (czasem słusznie, a czasem niesłusznie) krytykowane z różnych powodów, patrz odpowiedź @Glen_b (+1) i dalsze linki.$p$$p$

$p$$p$$p$

$p$

Wygląda na to, że pytanie odnosi się konkretnie do takich tabel opisowych. Jeśli tak, jest to jakaś dziwna (ale w większości nieszkodliwa?) Praktyka w czasopismach medycznych, która przetrwała dzięki tradycji.

$p$$n=43000$

Poziom statystycznej oceny nie jest tak wysoki, jak można by sądzić z mojego doświadczenia. W przypadku wszystkich prac, nad którymi pracowałem, wszystkie komentarze statystyczne pochodziły od ekspertów w dziedzinie stosowanej, a nie od statystyk. W przypadku „czołowych” czasopism, chociaż istnieje większa kontrola, często zdarza się, że wyniki zawierają poważne błędy. Myślę, że dzieje się tak częściowo dlatego, że dziedzina statystyki może być trudna (co widać na przykładzie nieporozumień między wieloma jej wielkimi umysłami).

Po drugie, czytelnicy w terenie oczekują, że zobaczą rzeczy w określony sposób. W jednym z ostatnich doświadczeń wykreśliłem prawdopodobieństwa na podstawie modelu, ale zostało to zestrzelone, ponieważ mój współpracownik poprawnie odgadł, że jego czytelnicy będą bardziej zadowoleni z wykresu słupkowego surowych danych. Podsumowując, wielu czytelników oczekuje wartości p wraz z tabelą charakterystyk podstawowych.

Nie ma to związku z twoim bezpośrednim pytaniem, ale być może jest istotne: wartości p są stosowane w prawie każdym tekście przy użyciu metod częstości lub prawdopodobieństwa. Autorzy często wnoszą ogromny wkład i głęboko zastanawiają się nad statystykami. Mimo że wykorzystywani przez eksperymentalistów, na pewno mają one miejsce w statystykach.

Często czytam artykuły medyczne i wydaje mi się, że wahadło wydaje się kołysać od jednej skrajności do drugiej, zamiast pozostawać w centralnej zrównoważonej strefie.

Podejście wydaje się działać dobrze. Jeśli wartość P jest niewielka, mało prawdopodobne jest, aby zaobserwowana różnica była przypadkowa. Powinniśmy zatem przyjrzeć się wielkości różnicy i zdecydować, czy ma ona jakiekolwiek znaczenie praktyczne. Bardzo małe wartości P występują w przypadku dużych próbek, nawet przy bardzo małych różnicach, co może nie mieć praktycznego znaczenia.

Nieuwzględnienie wartości P w tabeli danych wyjściowych może być niekorzystne. Więc jeśli w badaniu są dwie grupy o średnim wieku 54 i 59 lat, chcę wiedzieć, czy ta różnica może być przypadkiem sama. Jeśli P jest małe, myślę, czy ta 5-letnia różnica w 2 grupach może wpłynąć na wyniki badania. Jeśli P nie jest małe, nie muszę odpowiadać na to pytanie.

Problem występuje, jeśli ktoś opiera się wyłącznie na wartości P, a nie sprawdza wielkości różnicy (na przykład prosta zmiana procentowa). Niektórzy uważają, że wartości P należy całkowicie pominąć, aby pozostała i była widoczna tylko różnica. Zrównoważonym rozwiązaniem byłoby położenie nacisku na ocenę obu tych wartości, a nie po prostu odrzucenie wartości P, która ma ograniczone, ale „znaczące” znaczenie. Wielkość efektu prawdopodobnie również będzie ściśle skorelowana z wartością P (podobnie jak przedziały ufności) i jest również mało prawdopodobne, aby całkowicie wyparło wartości P z krajobrazu statystycznego. Jak wspomniano w poniższym artykule, istnieje wiele zalet testowania hipotezy zerowej, dzięki czemu jest popularna:

ANTHONY G. GREENWALD, RICHARD GONZALEZ, RICHARD J. HARRIS I DONALD GUTHRIE Wielkości efektów i wartości p: co należy zgłaszać, a co powielać? Psychophysiology, 33 (1996). 175–183.