Powiedzmy, że uruchomiłem tę samą regresję osobno dla 100 różnych osób. Moje współczynniki zainteresowania są dodatnie (i całkiem różne od siebie), ale statystycznie nieistotne we wszystkich 100 wynikach (powiedzmy, że każda wartość p = 0,11).
Czy istnieje sposób na połączenie tych wartości p w celu stwierdzenia, że „co najmniej 80 z tych wyników jest dodatnich” o większym znaczeniu niż p = 0,11? Moje wyszukiwania online pokazały mi tylko, jak powiedzieć „co najmniej 1 z tych wyników jest pozytywny” za pomocą testu Fishera lub podobnego, ale nie byłem w stanie uogólnić tego wyniku. Chcę przetestować „H0 = wszystkie 100 efektów jest takich samych przy 0” wobec „HA = co najmniej 80 efektów jest dodatnich”.
Moim celem nie jest stwierdzenie, że istnieje średni współczynnik dodatni, ani też nie jest konkretny pomiar tego współczynnika. Moim celem jest wykazanie, że co najmniej 80 osób indywidualnie doświadczyło jakiegoś pozytywnego efektu niezależnie od tego, które 80 i niezależnie od wielkości efektu odczuwanego przez każdą osobę.
źródło
Odpowiedzi:
Powinieneś wykonać wszystkie 100 analiz jako pojedynczy model efektów mieszanych, z własnymi zmiennymi losowymi. W ten sposób możesz oszacować rozkład dla tych współczynników, w tym ich ogólną średnią, co da ci rodzaj interpretacji, o której myślę, że szukasz.
Zwracając uwagę, że jeśli, jak podejrzewam, masz szereg czasowy dla każdej osoby, będziesz również musiał skorygować autokorelację reszt.
źródło
Najprostszym rozwiązaniem byłoby prawdopodobnie próba znak. Hipotezą zerową jest to, że każdy wynik ma jednakowe prawdopodobieństwo, że będzie dodatni lub ujemny (jak rzucie uczciwą monetą). Twoim celem jest ustalenie, czy zaobserwowane wyniki byłyby mało prawdopodobne przy tej hipotezie zerowej, abyś mógł je odrzucić.
Jakie jest prawdopodobieństwo uzyskania 80 lub więcej głów na 100 rzutów uczciwej monety? Możesz to obliczyć za pomocą rozkładu dwumianowego. W
Rwywoływana jest odpowiednia funkcjapbinomi można uzyskać (jednostronną) wartość p za pomocą następującego wiersza kodu:pbinom(80, size = 100, prob = 0.5, lower.tail = FALSE)Zgodnie z tym testem Twoja intuicja jest prawidłowa, byłoby bardzo mało prawdopodobne, aby przypadkowo uzyskać 80 pozytywnych wyników, gdyby leczenie nie przyniosło żadnego efektu.
Blisko spokrewnioną opcją byłoby użycie czegoś takiego jak podpisany test rang Wilcoxona .
Lepsze podejście, jeśli rzeczywiście chcemy oszacować wielkość efektu (zamiast po prostu ustalić, czy ma ona tendencję do być większa od zera, czy też nie), prawdopodobnie byłby to model hierarchiczny ( „mieszane”).
Tutaj model mówi, że wyniki twoich 100 osób pochodzą z rozkładu, a twoim celem jest sprawdzenie, gdzie jest średnia tego rozkładu (wraz z przedziałami ufności).
Modele mieszane pozwalają powiedzieć coś więcej o rozmiarach efektu: po dopasowaniu modelu można powiedzieć coś w rodzaju „szacujemy, że nasze leczenie ma tendencję do poprawy wyników średnio o trzy jednostki, chociaż dane są zgodne z prawdziwą średnią wielkość efektu wynosi od 1,5 do 4,5 jednostek. Istnieją również pewne różnice między jednostkami, więc dana osoba może zobaczyć efekt od -0,5 do +6,5 jednostek ".
To bardzo precyzyjny i użyteczny zestaw stwierdzeń - znacznie lepszy niż tylko „efekt jest prawdopodobnie średnio pozytywny”, dlatego statystycy preferują to podejście. Ale jeśli nie potrzebujesz wszystkich tych szczegółów, pierwsze podejście, o którym wspomniałem, może być również w porządku.
źródło
Może źle to rozumiem, ale wydaje mi się, że próbujesz wykonać ANOVA z powtarzanymi pomiarami. Po prostu zdefiniuj tego „manekina” jako czynnik wewnątrz podmiotu, a model zrobi resztę. Samo znaczenie nie jest bardzo pouczające; jest wymagane, ale niewystarczające; każdy model zyskałby na znaczeniu przy wystarczająco dużej liczbie obserwacji. możesz chcieć uzyskać rozmiar efektu, taki jak (częściowy) Eta-kwadrat, aby dowiedzieć się, jak „duży” jest twój efekt. Moje 2 centy.
źródło
Może to być tak proste jak zwykłe obliczenie ANCOVA, ale odpowiedni sposób analizy danych zależy od sytuacji fizycznej i nie podałeś tych szczegółów.
źródło