Prowadzę statystyki na 5 IV (5 cech osobowości, ekstrawersja, ugodowość, sumienność, neurotyczność, otwartość) w stosunku do 3 DV: stosunek do PCT, stosunek do CBT, stosunek do PCT vs CBT. Dodałem również wiek i płeć, aby zobaczyć, jakie są inne efekty.
Testuję, aby sprawdzić, czy cechy osobowości mogą przewidzieć postawy DV.
Początkowo zastosowałem korelację Pearsona dla wszystkich zmiennych (45 testów).
Głównym ustaleniem było to, że ekstrawersja była skorelowana z postawą PCT przy p = 0,05. Ale kiedy przeprowadzałem 45 testów, zrobiłem korektę Bonferroniego o wartości alfa = 0,05 / 45 = 0,001, co czyni to stwierdzenie nieistotnym.
Następnie przeprowadziłem prostą regresję liniową dla wszystkich zmiennych, ponownie ekstrawersja była znacząca w stosunku do PCT. Jeśli zrobię korektę Bonferroniego, znowu okaże się to nieznaczące.
Pytania:
- Czy muszę poprawiać Bonferroniego przy korelacji Pearsona?
- Jeśli tak, a zatem czyniąc ekstrawersję z podejściem do PCT nieistotnym, czy nadal warto robić regresję liniową?
- Jeśli wykonuję regresję liniową, czy muszę również wykonać w tym celu korektę Bonferroniego?
- Czy zgłaszam tylko wartości skorygowane lub zarówno nieskorygowane, jak i skorygowane?
Odpowiedzi:
Myślę, że Chl wskazał ci wiele dobrych materiałów i referencji bez bezpośredniej odpowiedzi na pytanie. Odpowiedź, którą udzielam, może być nieco kontrowersyjna, ponieważ wiem, że niektórzy statystycy nie wierzą w dostosowanie wielokrotności, a wielu Bayesian nie wierzy w wartość p. W rzeczywistości kiedyś słyszałem, jak Don Berry powiedział, że stosowanie podejścia bayesowskiego, szczególnie w projektach adaptacyjnych kontrolujących błąd typu I, nie stanowi problemu. Cofnął to później, kiedy zobaczył, jak ważne jest dla FDA, aby upewnić się, że złe leki nie dostaną się na rynek.
Moja odpowiedź brzmi: tak i nie. Jeśli wykonasz test 45, z pewnością musisz dostosować się do mnogości, ale nie do Bonferroni, ponieważ może to być zbyt konserwatywne. Inflacja błędu typu I podczas wyszukiwania danych dla korelacji jest wyraźnie problemem, który zwrócił uwagę na cytowany post „look and you find korerelation”. Wszystkie trzy linki dostarczają świetnych informacji. To, co moim zdaniem brakuje, to podejście do próbkowania korekty wartości p opracowane przez Westfall i Younga. Przykłady można znaleźć w mojej książce ładującej lub pełne informacje w książce do ponownego próbkowania. Moją rekomendacją byłoby rozważenie metod ładowania początkowego lub permutacji w celu dostosowania wartości p i być może rozważenie częstości fałszywych odkryć w stosunku do rygorystycznych rodzinnych wskaźników błędów.
Link do Westfall and Young: http://www.amazon.com/Resampling-Based-Multiple-Testing-Adjustment-Probability/dp/0471557617/ref=sr_1_1?s=books&ie=UTF8&qid=1343398751&sr=1-1&ke words=peter+ Westfall
Ostatnia książka Bretza i wsp. Na temat wielu porównań: http://www.amazon.com/Multiple-Comparisons-Using-Frank-Bretz/dp/1584885742/ref=sr_1_2?s=books&ie=UTF8&qid=1343398796&sr=1-2&ke words= Peter + Westfall
Moja książka z materiałem w sekcji 8.5 i mnóstwem odniesień do bootstrap: http://www.amazon.com/Bootstrap-Methods-Practitioners-Researchers-Probability/dp/0471756210/ref=sr_1_2?s=books&ie=UTF8&qid=1343398953&sr=1 -2 i słowa kluczowe = michael + chernick
źródło
Wydaje mi się, że to badanie eksploracyjne / analiza danych , a nie potwierdzenie. Oznacza to, że nie brzmi to tak, jakbyś zaczął od teorii, według której tylko ekstrawersja powinna być z jakiegoś powodu powiązana z PCT. Więc nie martwiłbym się zbytnio dostosowaniami alfa, ponieważ uważam to za bardziej związane z CDA, ani też nie sądzę, że twoje odkrycie jest koniecznie prawdziwe. Zamiast tego pomyślałbym o tym jako o czymś, co mogłobybądźcie szczerzy i bawcie się tymi pomysłami / możliwościami w świetle tego, co wiem o omawianych tematach. Widząc to odkrycie, czy to prawda, czy jesteś sceptyczny? Co by to znaczyło dla obecnych teorii, gdyby były prawdziwe? Czy byłoby to interesujące? Czy to byłoby ważne? Czy warto przeprowadzić nowe (potwierdzające) badanie, aby ustalić, czy to prawda, mając na uwadze potencjalny czas, wysiłek i koszty, które się z tym wiążą? Pamiętaj, że powodem poprawek Bonferroniego jest to, że oczekujemy, że coś się pojawi, gdy mamy tak wiele zmiennych. Myślę więc, że heurystyka może być „czy to badanie byłoby wystarczająco pouczające, nawet jeśli prawda okazałaby się nie”„? Jeśli zdecydujesz, że nie warto, ten związek pozostaje w kategorii „może” i przejdziesz dalej, ale jeśli warto, przetestuj go.
źródło
Zgodnie z poniższym: http://birnlab.psychiatry.wisc.edu/resources/fMRI_TestRetest_Documentation.pdf
Przy określaniu istotności popraw wartość p dla wielu porównań. Na przykład wartość p poprawiona Bonferroniego to wartość p podzielona przez całkowitą liczbę porównań, która w tym przypadku jest unikatowymi połączeniami m (m - 1) / 2.
Na przykład wartość odcięcia p dla korelacji wynosi 0,05, i załóżmy, że tabela korelacji wynosi 100 * 100. Następnie wartość p należy dostosować do 0,05 / (100 * 99/2).
Regresja liniowa stosuje korektę Bonferroniego podobnie jak powyżej.
Wiem, że odpowiedź wydaje się nie mieć związku z tym, o co pytasz. W takim przypadku daj mi znać, a ja postaram się wyjaśnić. Mam nadzieję, że to pomaga.
źródło