Jakie kryteria należy spełnić, aby stwierdzić, że występuje „efekt pułapu”?

Według The SAGE Encyclopedia of Social Science Research Methods …

[a] efekt pułapu występuje, gdy miara ma wyraźną górną granicę potencjalnych odpowiedzi, a duża koncentracja uczestników osiąga ten lub zbliżony poziom. Tłumienie skali jest problemem metodologicznym, który pojawia się, gdy wariancja jest ograniczona w ten sposób. … Na przykład może wystąpić efekt pułapu przy pewnej mierze postaw, w których wysoki wynik wskazuje na przychylne nastawienie, a najwyższa odpowiedź nie pozwala uchwycić najbardziej pozytywnej oceny. … Najlepszym rozwiązaniem problemu efektów sufitowych są testy pilotażowe, które pozwalają wcześnie zidentyfikować problem . W przypadku znalezienia efektu pułapu [i] miarą wynikową jest wykonanie zadania, zadanie może być trudniejsze w celu zwiększenia zakresu potencjalnych reakcji. ¹ [podkreślenie dodane]

Wydaje się, że wiele z rad i pytań ( i tutaj ) zajmujące się analizowaniem danych, które pokazują efekty sufitowe podobne do opisanego w powyższym cytatem.

Moje pytanie może być proste lub naiwne, ale w jaki sposób można wykryć, że w danych występuje efekt pułapu? Mówiąc dokładniej, powiedzmy, że utworzono test psychometryczny i podejrzewa się, że prowadzi on do efektu pułapu (tylko badanie wizualne), a następnie test jest weryfikowany w celu uzyskania większego zakresu wartości. Jak można wykazać, że poprawiony test usunął efekt pułapu z generowanych danych? Czy istnieje test, który pokazuje, że występuje efekt pułapu w zestawie danych a brak efektu pułapu w zestawie danych b ?

Moim naiwnym podejściem byłoby po prostu zbadanie przekrzywienia rozkładu, a jeśli nie jest ono przekrzywione, do wniosku, że nie ma efektu pułapu. Czy to zbyt uproszczone?

Edytować

Aby dodać bardziej konkretny przykład, powiedzmy, że opracowuję instrument, który mierzy pewną ukrytą cechę x, która rośnie wraz z wiekiem, ale ostatecznie wyrównuje się i zaczyna maleć w starszym wieku. Robię pierwszą wersję, która ma zakres od 1 do 14, przeprowadzam pilotowanie i stwierdzam, że wydaje się, że może istnieć efekt pułapu (duża liczba odpowiedzi w okolicach 14, maksimum, maksimum .. Podsumowuję to tylko patrząc na dane. Ale dlaczego? Czy istnieje jakaś rygorystyczna metoda poparcia tego twierdzenia?

Następnie poprawiam miarę, aby mieć zakres 1–20 i zbieram więcej danych. Widzę, że trend bardziej odpowiada moim oczekiwaniom, ale skąd mam wiedzieć, że zakres pomiaru jest wystarczająco duży. Czy muszę to ponownie zmienić? Wizualnie wydaje się być w porządku, ale czy istnieje sposób przetestowania go, aby potwierdzić moje podejrzenia?

wprowadź opis zdjęcia tutaj

Chcę wiedzieć, jak mogę wykryć ten efekt pułapu w danych, a nie tylko na nie patrzeć. Wykresy przedstawiają rzeczywiste dane, a nie teoretyczne. Poszerzenie zakresu instrumentu zapewniło lepszy rozkład danych, ale czy to wystarczy? Jak mogę to przetestować?

¹ Hessling, R., Traxel, N., i Schmidt, T. (2004). Efekt sufitowy. W Michael S. Lewis-Beck, A. Bryman i Tim Futing Liao (red.), The SAGE Encyclopedia of Social Science Research Methods . (str. 107). Thousand Oaks, Kalifornia: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

distributions variance scales psychometrics measurement sufit
źródło

Aby osiągnąć postęp, należałoby wymyślić operacyjną definicję „efektu pułapu”. Robienie tego w ogólności może być problematyczne: w końcu prawie każda zmierzona ilość nie może realistycznie przekroczyć pewnej wartości, takiej jak 100% w wyniku testu lub stężenie chemiczne, górna granica tego, co może odczytać przyrząd, i tak dalej, więc prawdopodobnie prawie wszystkie dane podlegają pewnej nieodłącznej górnej granicy. Tak więc, chociaż zamierzone znaczenie „efektu sufitu” jest intuicyjnie jasne z twoich dobrych przykładów, możesz nam pomóc, wyjaśniając dokładnie, co należy „usunąć” z twoich danych i dlaczego.

whuber

@ gdy masz rację, że termin ten jest używany na kilka różnych sposobów, ale w tym przypadku mówię o stworzeniu linijki wystarczająco długiej, aby przewyższyć wszystkie rzeczy, które chcę zmierzyć. Tworząc testy, z pewnością chcesz uwzględnić wystarczającą liczbę przedmiotów o różnym stopniu trudności, aby nikt nie uzyskał 100%, w przeciwnym razie nie będziesz wiedział, czy zdolność tej osoby jest w rzeczywistości limitem testu, czy wyższym. Z danych nie trzeba nic usuwać, ale przyrząd musi zostać zmieniony, dopóki nie da punktów ocenzurowanych danych.

pułap

Dziękuję Ci. Nadal nie jestem pewien, co rozumiesz przez „efekt sufitu”, ponieważ żadna z twoich ilustracji nie pokazuje jawnych dowodów jakiejkolwiek cenzury - przynajmniej nie z ustalonymi granicami cenzury, jakie osiągnięto w teście. W rzeczywistości zmiana z lewego na prawy panel przypomina bardziej nieliniowe ponowne wyrażenie osi pionowej, co nie miałoby wpływu na żaden pułap w danych. To sprawia, że zastanawiam się, czy naprawdę martwisz się czymś zupełnie innym, takim jak asymetria reszt regresji.

whuber

Jitter @whuber został dodany, ponieważ większość punktów pokrywa się. Jeśli wykresy nie wydają się odnosić do mojego pytania, to oczywiście nie mam pojęcia, o czym mówię. Wydaje mi się, że istnieje efekt pułapu opisany przez Hesslinga, Traxela i Schmidta, ale w oparciu o twoje komentarze i całkowity brak zainteresowania tym pytaniem, może widzę problem, którego nie ma. Dziękujemy za sugestie i spostrzeżenia. Doceniam to.

pułap

@Johan Rozumiem. W duchu twojego pytania przychodzi mi do głowy, że niewielka modyfikacja twojego pomysłu może być dobra. O ile nie mamy powodu przypuszczać, że reszty muszą być normalnie rozłożone, możemy starać się znaleźć monotoniczną transformację odpowiedzi, w której reszty rozkładów są homoscedastyczne tam, gdzie odpowiedź jest niska i być może zostać obcięte, gdy odpowiedź jest wysoka. Innymi słowy, być może test nie powinien dotyczyć normalności, ale powinien szukać spójnego kształtu i skali reakcji.

whuber

Odpowiedzi:

Po pierwsze, chciałbym powiedzieć, że oba wykresy dostarczają mi wyraźnych dowodów na istnienie efektu pułapu. Próbowałbym raczej zmierzyć ten efekt, a nie tylko wizualnie, obserwować, o ile nietrywialna część obserwacji leży w pobliżu górnej granicy zakresu instrumentu. Zazwyczaj efekt pułapu zawsze będzie istniał, o ile nie jest to trywialna część osób, które osiągają maksymalny wynik w teście.

Jednak powiedziawszy, technologia analizy testów znacznie się rozwinęła, ponieważ musieliśmy bezpośrednio interpretować wyniki na instrumencie w oparciu o prawidłowy wynik. Możemy teraz użyć Teorii Reakcji na Przedmiot, aby oszacować parametry poszczególnych przedmiotów i użyć tych przedmiotów do zidentyfikowania zdolności podmiotu. Oczywiście, jeśli test sprawi, że test będzie zbyt łatwy, nadal mogą wystąpić efekty sufitowe. Jednak ze względu na moc teorii odpowiedzi na przedmioty powinniśmy być w stanie umieścić w instrumencie co najmniej kilka przedmiotów o wystarczająco wysokim stopniu trudności, aby zapobiec uderzeniu pułapu tylko trywialnej części populacji.

Dzięki za pytanie. To jest bardzo interesujące!

Francis Smart
źródło

Wydaje mi się, że szorstkim i gotowym sposobem byłoby zmierzenie wariancji wraz ze wzrostem skali. Jeśli pokazuje to zmniejszenie, oznacza to, że występuje efekt pułapu, a jeśli nie, nie ma efektu pułapu. Możesz stworzyć jednorodność wariancji. Test Levene'a może być przydatny do ustalenia, czy wariancja jest różna w różnych punktach skali.

użytkownik45114
źródło

dzięki za pomysł. Spróbuję, ale spodziewam się, że wariancja naturalnie zmniejszy się z wiekiem w tym przypadku.

pułap

Pułap, zarówno ta odpowiedź, jak i komentarz wydają się mieszać dwie odrębne koncepcje. Skali wariancji odzwierciedlałby dyspersji powtarzających niezależnych pomiarów pacjenta; ma to nie zależeć od pacjenta, ale być może różnić się w zależności od średniej odpowiedzi pacjenta. Wariancja, do której odnosi się ty i ta odpowiedź, jest wariancją reszt regresji. Chociaż są ze sobą powiązane, to nie to samo.

whuber

@ Whuber dziękuję za zwrócenie na to uwagi. nawiasem mówiąc, nadal nie widzisz żadnych dowodów na efekt pułapu dzięki wykresowi aktualizacji i informacjom? Jestem zaskoczony, że to pytanie nie wzbudziło prawie żadnego zainteresowania, biorąc pod uwagę wiele pytań i odpowiedzi dotyczących analizy danych z obecnymi efektami pułapu.

pułap

Cześć. Tak długo, jak kreślisz wariancję między obiektami wraz ze wzrostem skali, a nie w obrębie obiektów, czy nie powie ci to coś o efektach pułapu? - czy nadal możesz użyć testu Levene'a, aby sprawdzić znaczącą zmianę wariancji wraz ze wzrostem skali? czy jest to przeznaczone wyłącznie do testowania zmian wariancji w obrębie przedmiotu? Czy powinniśmy używać innego terminu, aby opisać zmienność wyników różnych osób, gdy skala wzrasta inaczej niż „wariancja skali”, na przykład „wariancja reszt”? Czy można zastosować test Levene'a, aby wykazać, że „wariancja reszt” jest jednolita w skali

użytkownik45114

Krytycznym problemem przy podejmowaniu decyzji, czy skupienie wokół najwyższego lub najniższego punktu jest spowodowane efektem sufitu / podłogi, jest to, czy wartości przypadków faktycznie „reprezentują” wartość. Kiedy występują efekty sufitu / podłogi, niektóre przypadki, pomimo przyjęcia wartości maksymalnej lub minimalnej, są w rzeczywistości wyższe / niższe od wartości maksymalnej lub minimalnej (wyobraź sobie, że dorosły i dziecko kończą niezwykle prosty test matematyczny, który miał zmierzyć własne zdolności matematyczne i oba uzyskały 100%). Tutaj dane są cenzurowane.

Inny scenariusz jest również możliwy, gdy używamy skal ograniczonych, takich jak skala podobna do Likerta, która ma nieodłączne górne i dolne granice. Jest całkiem możliwe, że ci, którzy osiągnęli najwyższy wynik, są rzeczywiście tego warti i nie ma różnic (takich jak powyższy przykład matematyczny) wśród wszystkich, którzy osiągnęli najwyższe wyniki. W takim przypadku dane są obcinane do granic, a nie cenzurowane.

Opierając się na powyższym rozumowaniu, uważam, że należy opracować procedurę, która będzie pasować do każdego zestawu danych z obcinaniem i cenzurą danych. Jeśli model cenzury najlepiej pasowałby do danych, myślę, że wówczas można dojść do wniosku, że występuje efekt sufitu / podłogi.

wuy3814
źródło