Komplikacje posiadania bardzo małej próbki w modelu równań strukturalnych

13

Korzystam z modelu równań strukturalnych (SEM) w Amos 18. Szukałem 100 uczestników do mojego eksperymentu (używanego luźno), który prawdopodobnie został uznany za niewystarczający do przeprowadzenia udanego SEM. Wielokrotnie mówiono mi, że SEM (wraz z EFA, CFA) jest procedurą statystyczną „dużej próby”. Krótko mówiąc, nie dotarłem do 100 uczestników (co za niespodzianka!) I mam tylko 42 po wykluczeniu dwóch problematycznych punktów danych. Mimo zainteresowania wypróbowałem model i tak, ku mojemu zaskoczeniu, pasowało bardzo dobrze! CFI> .95, RMSEA <.09, SRMR <.08.

Model nie jest prosty, w rzeczywistości powiedziałbym, że jest stosunkowo złożony. Mam dwie ukryte zmienne, jedną z dwiema obserwowanymi, a drugą z 5 obserwowanymi zmiennymi. Mam również cztery dodatkowe obserwowane zmienne w modelu. Istnieje wiele zależności między zmiennymi, pośrednimi i bezpośrednimi, przy czym niektóre zmienne są endogenne dla czterech innych, na przykład.

Jestem trochę nowy w SEM; jednak dwie znane mi osoby, które są dość dobrze zaznajomione z SEM, mówią mi, że tak długo, jak wskazania dopasowania są dobre, efekty są interpretowalne (o ile są znaczące) i nie ma nic istotnie „złego” w modelu. Wiem, że pewne wskazania dotyczące dopasowania są stronnicze w stosunku do małych próbek lub w stosunku do nich, jeśli chodzi o sugerowanie dobrego dopasowania, ale trzy, o których wspomniałem wcześniej, wydają się w porządku i nie sądzę, aby były podobnie tendencyjne. Aby przetestować efekty pośrednie, używam bootstrapowania (około 2000 próbek), 90 procent pewności poprawionej odchylenia, Monte Carlo. Dodatkowa uwaga jest taka, że ​​korzystam z trzech różnych SEM dla trzech różnych warunków.

Mam dwa pytania, które chciałbym rozważyć niektórzy z was i proszę odpowiedzieć, jeśli macie coś do powiedzenia:

  1. Czy są jakieś znaczące słabości mojego modelu, których nie wykazują wskaźniki dopasowania? Mała próbka zostanie podkreślona jako słabość badania, ale zastanawiam się, czy istnieje jakiś ogromny problem statystyczny, którego jestem całkowicie nieświadomy. Planuję pozyskać kolejnych 10-20 uczestników w przyszłości, ale nadal pozostawi mi to stosunkowo małą próbkę do takich analiz.

  2. Czy są jakieś problemy z korzystaniem z ładowania początkowego, biorąc pod uwagę moją małą próbkę lub kontekst, w którym go używam?

Mam nadzieję, że te pytania nie są zbyt „podstawowe” dla tego forum. Przeczytałem wiele rozdziałów na temat SEM i powiązanych zagadnień, ale uważam, że ludzie są bardzo rozproszeni pod względem opinii w tej dziedzinie!

Twoje zdrowie

Behacad
źródło
1
@ Behacad - dobrze wyjaśniony problem. Oszacowałeś wiele parametrów, używając bardzo rzadkich danych. Wnioskowanie będzie strasznie chwiejne. Ale chciałbym się cofnąć i zapytać - czy używasz tych 42, aby wywnioskować relacje między większą populacją? Jeśli tak, to czy 42 jest próbą losową, czy przynajmniej reprezentatywną?
rolando2
Dziękuję za komentarz rolando2! Próba obejmuje 42 studentów uniwersytetów, a ja patrzę na związek między wieloma czynnikami a lękiem. Relacje, które chcę wywnioskować, byłyby w ogólnej populacji. Moje wnioski są ograniczone, ponieważ wszyscy uczestnicy są stosunkowo młodymi studentami, ale nie szukam żadnej konkretnej populacji (np. Osób cierpiących na zaburzenia lękowe). Interesuje mnie ogólnie stwierdzenie na przykład, że X jest pośrednio związany z Y w nieklinicznej próbce. Czy to odpowiada na twoje pytania?
Behacad
1
@ Behacad - zakładając, że możesz bronić swoich potencjalnych krytyków reprezentatywności swojej próby, powiedziałbym jednoznacznie, że próba oszacowania związków między 12 zmiennymi wymaga zbyt wiele z twoich 42 przypadków. Sprawdź, czy możesz uprościć swój model, uwzględniając tylko 3 najciekawsze predyktory. Chociaż zdaję sobie sprawę, że bolesne jest dzielenie się danymi, które ciężko pracowałeś, aby je zebrać!
rolando2
Dziękuję za odpowiedź. Mam wrażenie, że oszacowanie zależności między tymi wszystkimi zmiennymi jest trudne do wykonania z 42 punktami danych i widzę, skąd pochodzisz. Biorąc to pod uwagę, jaki byłby statystyczny powód (najlepiej cytowany) tego problemu? Czym różni się to od prowadzenia szeregu regresji / korelacji dla różnych zmiennych zależnych? Dopasowanie jest dobre (i właściwie prowadzę trzy różne modele dla różnych zadań eksperymentalnych), a wyniki są spójne między modelami i zgodne z teorią. Przepraszam, jeśli wychodzę jako defensywny!
Behacad
(Bez defensywy - nie martw się!) Posiadanie 42 przypadków naraża Cię na błąd próbkowania co najmniej, nawet przy szacowaniu statystyki jednoczynnikowej. Teraz w SEM każda zmienna jest wykorzystywana wiele razy, ponieważ szacujesz stosunek A do B, jednocześnie kontrolując C, D itp. Tak więc skutki błędu próbkowania zostaną propagowane, co, moim zdaniem, jest powodem zwykle chce się dużych próbek. W twoim przypadku masz potencjalnie więcej rodzajów błędów niż błąd próbkowania, ponieważ nie masz losowej próbki. Musisz więc narysować bardzo duży, wiarygodny odstęp wokół każdego uzyskanego wyniku.
rolando2

Odpowiedzi:

4

Jeden punkt: nie ma czegoś takiego jak „podstawowe pytanie”, wiesz tylko to, co wiesz, a nie to, czego nie wiesz. zadawanie pytań jest często jedynym sposobem, aby się dowiedzieć.

Kiedykolwiek zobaczysz małe próbki, dowiesz się, kto naprawdę ma „wiarę” w swoje modele, a kto nie. Mówię to, ponieważ małe próbki są zwykle tam, gdzie modele mają największy wpływ.

Sam będąc zapalonym (psycho?) Modelarzem, mówię: idź! Wydaje się, że przyjmujesz ostrożne podejście i potwierdziłeś potencjalne uprzedzenia itp. Ze względu na małą próbkę. Jedną z rzeczy, o których należy pamiętać przy dopasowywaniu modeli do małych danych, jest to, że masz 12 zmiennych. Teraz powinieneś pomyśleć - jak dobrze można by określić model z 12 zmiennymi na podstawie 42 obserwacji? Gdybyś miał 42 zmienne, każdy model mógłby idealnie pasować do tych 42 obserwacji (luźno mówiąc), więc twój przypadek nie jest zbyt daleko od zbytniej elastyczności. Co się stanie, gdy twój model będzie zbyt elastyczny? Ma tendencję do dopasowywania się do hałasu - to znaczy relacji, które są określone przez rzeczy inne niż te, które podejrzewasz.

Masz również okazję umieścić swoje ego tam, gdzie jest twój model, przewidując, jakie będą przyszłe 10-20 próbek z twojego modelu. Zastanawiam się, jak twoi krytycy zareagują na tak zwany „podejrzany” model, który daje właściwe prognozy. Zwróć uwagę, że otrzymasz podobne „Powiedziałem ci tak”, jeśli Twój model nie przewiduje dobrze danych.

Innym sposobem, aby upewnić się, że wyniki są wiarygodne, jest próba ich złamania. Utrzymując nienaruszone oryginalne dane, utwórz nowy zestaw danych i zobacz, co musisz zrobić z tym nowym zestawem danych, aby wyniki SEM wydawały się śmieszne. Następnie spójrz na to, co musiałeś zrobić i zastanów się: czy to rozsądny scenariusz? Czy moje „śmieszne” dane przypominają prawdziwą możliwość? Jeśli musisz przenieść swoje dane na absurdalne terytorium w celu uzyskania absurdalnych wyników, daje to pewną (heurystyczną, nieformalną) pewność, że twoja metoda jest solidna.

prawdopodobieństwo prawdopodobieństwa
źródło
1

Głównym problemem, jaki tu widzę, jest brak mocy. Czynnik potwierdzający i testy SEM sprawdzają się, aby zaakceptować wartość zerową - chcesz zobaczyć nieistotną wartość p - więc brak mocy może stanowić problem. Moc testu zależy od wielkości próbki (42) i stopni swobody. AMOS daje stopnie swobody. Nie zacytowałeś go, ale w tym przypadku nie będzie on duży. Przy 12 zmiennych zaczynasz od 66 DF i odejmujesz 1 dla każdego szacowanego parametru. Nie wiem, ile by to było, ale mówisz, że masz kilka czynników i korelacji między różnymi konstrukcjami.

Nie do końca zgadzam się z Rolando2. W SEM zyskujesz, mając wiele zmiennych, zakładając, że są one wiarygodnymi wskaźnikami podstawowych konstrukcji. Więc nie zmniejszaj liczby zmiennych. Z tego samego powodu nie do końca zgadzam się z @probabilityislogic. W SEM nie próbujesz modelować 12 zmiennych za pomocą 42 obserwacji. Próbujesz modelować konstrukcje za pomocą 12 wskaźników, wzmocnionych przez 42 replikacje. Bardzo prosty model czynnikowy - 1 czynnik z 12 wskaźnikami - prawdopodobnie mógłby zostać przetestowany z 42 osobami.

RMSEA i inne miary dobroci dopasowania będą się poprawiać, gdy zbliżysz się do nasycenia modelu, więc ponownie ryzykujesz wprowadzeniem w błąd.

To powiedziawszy, widziałem, jak małe zestawy danych odrzucają model czynników. Prawdopodobnie oznacza to, że dopasowanie wydaje się dobre.

Uwaga: Można również sprawdzić resztki modelu SEM. Są to różnice między szacunkową macierzą kowariancji a modelową macierzą kowariancji. AMOS je ci przekaże, jeśli o to poprosisz. Badanie pozostałości może wykazać, czy są one równomiernie rozmieszczone lub czy pewne kowariancje są bardzo źle dopasowane.

Placidia
źródło