Korekta Bonferroniego z korelacją Pearsona i regresja liniowa

9

Prowadzę statystyki na 5 IV (5 cech osobowości, ekstrawersja, ugodowość, sumienność, neurotyczność, otwartość) w stosunku do 3 DV: stosunek do PCT, stosunek do CBT, stosunek do PCT vs CBT. Dodałem również wiek i płeć, aby zobaczyć, jakie są inne efekty.

Testuję, aby sprawdzić, czy cechy osobowości mogą przewidzieć postawy DV.

Początkowo zastosowałem korelację Pearsona dla wszystkich zmiennych (45 testów).

Głównym ustaleniem było to, że ekstrawersja była skorelowana z postawą PCT przy p = 0,05. Ale kiedy przeprowadzałem 45 testów, zrobiłem korektę Bonferroniego o wartości alfa = 0,05 / 45 = 0,001, co czyni to stwierdzenie nieistotnym.

Następnie przeprowadziłem prostą regresję liniową dla wszystkich zmiennych, ponownie ekstrawersja była znacząca w stosunku do PCT. Jeśli zrobię korektę Bonferroniego, znowu okaże się to nieznaczące.

Pytania:

  1. Czy muszę poprawiać Bonferroniego przy korelacji Pearsona?
  2. Jeśli tak, a zatem czyniąc ekstrawersję z podejściem do PCT nieistotnym, czy nadal warto robić regresję liniową?
  3. Jeśli wykonuję regresję liniową, czy muszę również wykonać w tym celu korektę Bonferroniego?
  4. Czy zgłaszam tylko wartości skorygowane lub zarówno nieskorygowane, jak i skorygowane?
Wendy
źródło

Odpowiedzi:

4

Myślę, że Chl wskazał ci wiele dobrych materiałów i referencji bez bezpośredniej odpowiedzi na pytanie. Odpowiedź, którą udzielam, może być nieco kontrowersyjna, ponieważ wiem, że niektórzy statystycy nie wierzą w dostosowanie wielokrotności, a wielu Bayesian nie wierzy w wartość p. W rzeczywistości kiedyś słyszałem, jak Don Berry powiedział, że stosowanie podejścia bayesowskiego, szczególnie w projektach adaptacyjnych kontrolujących błąd typu I, nie stanowi problemu. Cofnął to później, kiedy zobaczył, jak ważne jest dla FDA, aby upewnić się, że złe leki nie dostaną się na rynek.

Moja odpowiedź brzmi: tak i nie. Jeśli wykonasz test 45, z pewnością musisz dostosować się do mnogości, ale nie do Bonferroni, ponieważ może to być zbyt konserwatywne. Inflacja błędu typu I podczas wyszukiwania danych dla korelacji jest wyraźnie problemem, który zwrócił uwagę na cytowany post „look and you find korerelation”. Wszystkie trzy linki dostarczają świetnych informacji. To, co moim zdaniem brakuje, to podejście do próbkowania korekty wartości p opracowane przez Westfall i Younga. Przykłady można znaleźć w mojej książce ładującej lub pełne informacje w książce do ponownego próbkowania. Moją rekomendacją byłoby rozważenie metod ładowania początkowego lub permutacji w celu dostosowania wartości p i być może rozważenie częstości fałszywych odkryć w stosunku do rygorystycznych rodzinnych wskaźników błędów.

Link do Westfall and Young: http://www.amazon.com/Resampling-Based-Multiple-Testing-Adjustment-Probability/dp/0471557617/ref=sr_1_1?s=books&ie=UTF8&qid=1343398751&sr=1-1&ke words=peter+ Westfall

Ostatnia książka Bretza i wsp. Na temat wielu porównań: http://www.amazon.com/Multiple-Comparisons-Using-Frank-Bretz/dp/1584885742/ref=sr_1_2?s=books&ie=UTF8&qid=1343398796&sr=1-2&ke words= Peter + Westfall

Moja książka z materiałem w sekcji 8.5 i mnóstwem odniesień do bootstrap: http://www.amazon.com/Bootstrap-Methods-Practitioners-Researchers-Probability/dp/0471756210/ref=sr_1_2?s=books&ie=UTF8&qid=1343398953&sr=1 -2 i słowa kluczowe = michael + chernick

Michael R. Chernick
źródło
+1 Reprodukcja siatki statystycznej Grahama Martina Munchausena na końcu Westfall & Young mówi wszystko w bardzo wciągający sposób. Możesz to przeczytać w amazońskiej funkcji „zajrzyj do środka”. (To prawie tak zabawne, że Amazon oferuje cenę wymiany za 7 USD za tę książkę o wartości 150 USD ).
whuber
@whuber Wydaje mi się, że kiedyś widziałem kreskówkę przedstawiającą Barona wyciągającego się z jeziora za paski startowe. Efron mógł nazwać go bootstrapem, ponieważ wielu jest sceptycznych, że można tego dokonać w statystykach, podobnie jak wielu sceptycznie odnosi się do legendy o baronie!
Michael R. Chernick
4

Wydaje mi się, że to badanie eksploracyjne / analiza danych , a nie potwierdzenie. Oznacza to, że nie brzmi to tak, jakbyś zaczął od teorii, według której tylko ekstrawersja powinna być z jakiegoś powodu powiązana z PCT. Więc nie martwiłbym się zbytnio dostosowaniami alfa, ponieważ uważam to za bardziej związane z CDA, ani też nie sądzę, że twoje odkrycie jest koniecznie prawdziwe. Zamiast tego pomyślałbym o tym jako o czymś, co mogłobybądźcie szczerzy i bawcie się tymi pomysłami / możliwościami w świetle tego, co wiem o omawianych tematach. Widząc to odkrycie, czy to prawda, czy jesteś sceptyczny? Co by to znaczyło dla obecnych teorii, gdyby były prawdziwe? Czy byłoby to interesujące? Czy to byłoby ważne? Czy warto przeprowadzić nowe (potwierdzające) badanie, aby ustalić, czy to prawda, mając na uwadze potencjalny czas, wysiłek i koszty, które się z tym wiążą? Pamiętaj, że powodem poprawek Bonferroniego jest to, że oczekujemy, że coś się pojawi, gdy mamy tak wiele zmiennych. Myślę więc, że heurystyka może być „czy to badanie byłoby wystarczająco pouczające, nawet jeśli prawda okazałaby się nie”„? Jeśli zdecydujesz, że nie warto, ten związek pozostaje w kategorii „może” i przejdziesz dalej, ale jeśli warto, przetestuj go.

gung - Przywróć Monikę
źródło
Jeśli naprawdę rozumie, czym jest analiza danych eksploracyjnych i nie bierze poważnie dużych korelacji zbyt poważnie, zgodziłbym się z tobą. Ale ludzie przyznają, że po prostu przeprowadzają analizę eksploracyjną, aby odfiltrować skandalicznie skorelowane, ale jednocześnie nadmiernie się ekscytują, gdy widzą coś obiecującego. To część ludzkiej natury. myślę, że wykonanie korekty przy użyciu FDR jako kryterium jest rozsądnym sposobem na opanowanie emocji.
Michael R. Chernick
1
@MichaelChernick, niekoniecznie nie zgadzam się z tobą. Chciałem tylko wyrazić inną opinię i często lubię przedstawiać całościowy, na wpół filozoficzny pogląd na to, o co chodzi. Wielu praktyków może zagłębić się w szczegóły, które wydają się dla nich tajemne i pozostają bez uzasadnienia.
gung - Przywróć Monikę
1
Nie ma tutaj sporu i rozumiem twój punkt widzenia. Chcę tylko dodać do tego, że jeśli moglibyśmy być zdezorientowani i zaakceptować zasadę statystyczną i nie przywiązać się osobiście do naszych badań z żywym zainteresowaniem wynikiem, moglibyśmy zrobić dokładnie to, co mówisz. Ale to takie trudne. Wyobraź sobie, że pracujesz dla firmy farmaceutycznej, która wydała miliony na badania kliniczne nad danym lekiem. Dyrektor medyczny poprosi cię o odszukanie 20 różnych podgrup i znalezienie jednej, która działa.
Michael R. Chernick
1
Analiza podgrup jest jednym z najbardziej kontrowersyjnych aspektów badań klinicznych. Bez korekty mnogości nie ma możliwości jej legalizacji, a post-hoc utrudnia sprzedaż FDA. To tylko jeden przykład z mojego doświadczenia z ostatnich lat, który uwrażliwia mnie na sugestie dotyczące ignorowania mnogości.
Michael R. Chernick
-1

Zgodnie z poniższym: http://birnlab.psychiatry.wisc.edu/resources/fMRI_TestRetest_Documentation.pdf

Przy określaniu istotności popraw wartość p dla wielu porównań. Na przykład wartość p poprawiona Bonferroniego to wartość p podzielona przez całkowitą liczbę porównań, która w tym przypadku jest unikatowymi połączeniami m (m - 1) / 2.

Na przykład wartość odcięcia p dla korelacji wynosi 0,05, i załóżmy, że tabela korelacji wynosi 100 * 100. Następnie wartość p należy dostosować do 0,05 / (100 * 99/2).

Regresja liniowa stosuje korektę Bonferroniego podobnie jak powyżej.

Wiem, że odpowiedź wydaje się nie mieć związku z tym, o co pytasz. W takim przypadku daj mi znać, a ja postaram się wyjaśnić. Mam nadzieję, że to pomaga.

Frank Puk
źródło