Czy błędem jest określanie wyników jako „prawie” lub „nieco” znaczących?

Ogólny konsensus w podobnej kwestii: czy błędem jest odnosić się do wyników jako „bardzo znaczących”? jest to, że „wysoce znaczący” jest ważnym, choć niespecyficznym, sposobem opisania siły powiązania, którego wartość p jest znacznie poniżej ustalonego progu istotności. A co z opisywaniem wartości p, które są nieco powyżej twojego progu? Widziałem, że niektóre artykuły używają terminów takich jak „nieco znaczący”, „prawie znaczący”, „zbliżający się do znaczenia” i tak dalej. Uważam, że te terminy są nieco nieprzyzwoite, w niektórych przypadkach jest to nieuczciwy sposób na wyciągnięcie znaczącego wyniku z badania z wynikami negatywnymi. Czy te warunki są dopuszczalne do opisania wyników, które „po prostu tęsknią” za wartością graniczną wartości p?

Jeśli chcesz zezwolić, aby „znaczenie” przyznało stopnie naukowe, to wystarczająco uczciwe („nieco znaczące”, „dość znaczące”), ale unikaj zwrotów sugerujących, że nadal jesteś przywiązany do idei progu, na przykład „prawie znaczący” , „zbliża się do znaczenia” lub „u progu znaczenia” (mój ulubiony z „Nadal nie znaczący” na blogu Prawdopodobny błąd ), jeśli nie chcesz wyglądać na zdesperowanego.

Z mojego punktu widzenia kwestia sprowadza się do tego, co faktycznie oznacza przeprowadzenie testu istotności. Testy istotności opracowano jako środek do podjęcia decyzji o odrzuceniu hipotezy zerowej lub jej odrzuceniu. Sam Fisher wprowadził niesławną zasadę 0,05 dotyczącą podejmowania tej (arbitralnej) decyzji.

Zasadniczo logika testowania istotności polega na tym, że użytkownik musi określić poziom alfa w celu odrzucenia hipotezy zerowej (konwencjonalnie 0,05) przed zebraniem danych . Po zakończeniu testu istotności użytkownik odrzuca wartość zerową, jeśli wartość p jest mniejsza niż poziom alfa (lub nie odrzuca jej w inny sposób).

Powodem, dla którego nie możesz zadeklarować efektu jako wysoce znaczącego (powiedzmy na poziomie 0,001), jest to, że nie możesz znaleźć mocniejszych dowodów, niż chciałeś znaleźć. Tak więc, jeśli ustawisz poziom alfa na 0,05 przed testem, możesz znaleźć dowody tylko na poziomie 0,05, niezależnie od tego, jak małe są twoje wartości p. W ten sam sposób mówienie o efektach „nieco znaczących” lub „zbliżających się do znaczenia” również nie ma większego sensu, ponieważ wybrałeś to arbitralne kryterium 0,05. Jeśli interpretujesz logikę testowania istotności dosłownie, nic większego niż 0,05 nie jest znaczące.

Zgadzam się, że terminy „zbliżające się znaczenie” są często używane w celu zwiększenia szans na publikację. Nie sądzę jednak, aby można było za to winić autorów, ponieważ obecna kultura publikacji w niektórych naukach nadal silnie opiera się na „świętym Graalu” wynoszącym 0,05.

Niektóre z tych zagadnień omówiono w:

Gigerenzer, G. (2004). Bezmyślne statystyki. The Journal of Socio-Economics, 33 (5), 587-606.

Royall, R. (1997). Dowody statystyczne: paradygmat prawdopodobieństwa (Vol. 71). Prasa CRC.

To śliskie nachylenie odwołuje się do modelu Fishera vs Neymana / Pearsona do testowania znaczenia zerowej hipotezy (NHST). Z jednej strony chcemy dokonać oceny ilościowej tego, jak mało prawdopodobny jest wynik w ramach hipotezy zerowej (np. Wielkości efektu). Z drugiej strony, na koniec dnia chcesz dyskretnej decyzji, czy twoje wyniki są, czy nie, prawdopodobnie spowodowane wyłącznie przez przypadek. Skończyliśmy z rodzajem hybrydowego podejścia, które nie jest zbyt satysfakcjonujące.

W większości dyscyplin konwencjonalne p dla istotności jest ustalone na 0,05, ale tak naprawdę nie ma podstaw, dla których tak musi być. Kiedy recenzuję artykuł, nie mam absolutnie żadnego problemu z tym, że autor nazywa 0,06 znaczącym, a nawet 0,07, pod warunkiem, że metodologia jest solidna, a cały obraz, w tym wszystkie analizy, liczby itp., Opowiadają spójną i wiarygodną historię. Występują problemy, gdy autorzy próbują stworzyć historię z trywialnych danych o niewielkich rozmiarach efektów. I odwrotnie, może nie do końca „uwierzę”, że test jest praktycznie znaczący, nawet jeśli osiąga konwencjonalne znaczenie p <0,05. Mój kolega powiedział kiedyś: „Twoje statystyki powinny po prostu tworzyć kopię zapasową tego, co jest już widoczne w twoich danych liczbowych”.

To powiedziawszy, myślę, że Wasilew ma rację. Biorąc pod uwagę zepsuty system publikacji, musisz w zasadzie uwzględnić wartości p, a zatem musisz poważnie potraktować słowo „znaczący”, nawet jeśli wymaga ono przymiotników takich jak „marginalnie” (co wolę). Zawsze możesz z tym walczyć w recenzji, ale najpierw musisz się tam dostać.

Różnica między dwiema wartościami p zazwyczaj nie jest znacząca. Nie ma zatem znaczenia, czy wartość p wynosi 0,05, 0,049, 0,051 ...

W odniesieniu do wartości p jako miary siły asocjacji: wartość p nie jest bezpośrednio miarą siły asocjacji. Wartość p jest prawdopodobieństwem znalezienia tak ekstremalnych lub bardziej ekstremalnych danych, jak dane, które zaobserwowałeś, biorąc pod uwagę hipotezę, że parametr wynosi 0 (jeśli ktoś jest zainteresowany hipotezą zerową - patrz komentarz Nicka Coxa). Jednak często nie jest to ilość, którą interesuje badacz. Wielu badaczy jest raczej zainteresowanych odpowiedzią na pytania typu „jakie jest prawdopodobieństwo, że parametr będzie większy niż wybrana wartość odcięcia?” Jeśli jesteś tym zainteresowany, musisz dołączyć dodatkowe wcześniejsze informacje do swojego modelu.

To, czy „prawie znaczący” ma sens, czy nie, zależy od filozofii wnioskowania statystycznego. Całkowicie poprawne jest rozważenie poziomu alfa jako linii na piasku, w takim przypadku należy zwrócić uwagę tylko na to, czy czy . Dla takiego „absolutysty” „prawie znaczący” nie ma sensu. Ale równie dobrze jest myśleć o wartościach p jako o ciągłych pomiarach siły wsparcia$p<\alpha$$p>\alpha$(oczywiście nie siła efektu). Dla takiego „kontynentalisty” „prawie znaczący” jest rozsądnym sposobem opisania wyniku o umiarkowanej wartości p. Problem powstaje, gdy ludzie mieszają te dwie filozofie - lub, co gorsza, nie są świadomi, że obie istnieją. (Nawiasem mówiąc - ludzie często przyjmują te mapy czysto na Neymana / Pearsona i Fishera, ale nie robią tego; stąd moje, co prawda, niezgrabne warunki dla nich). Więcej szczegółów na ten temat w blogu na ten temat tutaj: https://scientistseessquirrel.wordpress.com/2015/11/16/is-nearly-signiant-ridiculous/

Myślę, że powiedzenie czegoś, co jest prawie statystycznie istotne, nie jest poprawne z technicznego punktu widzenia. Po ustawieniu poziomu tolerancji przeprowadzany jest statystyczny test istotności. Musisz wrócić do idei dystrybucji próbkowania. Jeśli twój poziom tolerancji to 0,05 i zdarzy ci się uzyskać wartość p wynoszącą 0,053, to przypadkowo zastosowana próbka dała tę statystykę. Można bardzo dobrze uzyskać kolejną próbkę, która może nie dać takich samych wyników - uważam, że prawdopodobieństwo takiego wystąpienia zależy od ustawionego poziomu tolerancji, a nie od statystyki próbki. Pamiętaj, że testujesz próbki pod kątem parametru populacji, a próbki mają własny rozkład próbkowania. Więc moim zdaniem albo coś jest statystycznie znaczące, albo nie.

$[0,1]$$\mathcal{H}_0$$p > \alpha$

$\mathcal{H}_1$

Patrz na przykład Wikipedia .