Wykrywanie wzorców oszukiwania podczas egzaminu na wiele pytań

25

PYTANIE:

Mam dane binarne dotyczące pytań egzaminacyjnych (poprawne / niepoprawne). Niektóre osoby mogły mieć wcześniejszy dostęp do podzbioru pytań i prawidłowych odpowiedzi. Nie wiem kto, ilu lub który. Gdyby nie było oszukiwania, załóżmy, że modelowałbym prawdopodobieństwo poprawnej odpowiedzi dla elementu jako , gdzie reprezentuje trudność pytania, a to ukryta zdolność danej osoby. Jest to bardzo prosty model odpowiedzi na przedmiot, który można oszacować za pomocą funkcji takich jak ltm's rasch () w R. Oprócz oszacowań (gdzie indeksuje pojedyncze osoby) zmiennej utajonej, mam dostęp do osobnych oszacowań \ hat {q} _jilogit((pi=1|z))=βi+zβioo j j q jzz^jjq^j tej samej ukrytej zmiennej, która została uzyskana z innego zestawu danych, w którym oszukiwanie nie było możliwe.

Celem jest zidentyfikowanie osób, które prawdopodobnie oszukiwały oraz przedmiotów, o które oszukali. Jakie możesz zastosować metody? Oprócz nieprzetworzonych danych, β^i , z^j i q^j są dostępne, chociaż pierwsze dwa będą miały pewne uprzedzenia z powodu oszukiwania. Idealnie byłoby, gdyby rozwiązanie miało postać probabilistycznego grupowania / klasyfikacji, chociaż nie jest to konieczne. Praktyczne pomysły są mile widziane, podobnie jak podejście formalne.

Do tej pory porównałem korelację wyników pytań dla par osób z wyższymi vs. niższymi wynikami q^jz^j (gdzie q^jz^j jest przybliżony wskaźnik prawdopodobieństwa, że ​​oszukali). Na przykład posortowałem osoby według q^jz^j a następnie narysowałem korelację kolejnych par wyników pytań poszczególnych osób. Próbowałem również wykreślić średnią korelację wyników dla osób, których wartości \ hat {q} _j - \ hat {z} _jq^jz^j były większe niż kwantyl nth z q^jz^j , jako funkcja n . Brak oczywistych wzorów dla obu podejść.


AKTUALIZACJA:

W końcu połączyłem pomysły z @SheldonCooper i pomocny artykuł Freakonomics, na który skierował mnie @whuber. Mile widziane inne pomysły / komentarze / krytyka.

Niech Xij będzie wynikiem binarnym osoby j dla pytania i . Oszacuj logit modelu reakcji na przedmiot (Pr (X_ {ij} = 1 | z_j) = \ beta_i + z_j,

logit(Pr(Xij=1|zj)=βi+zj,
gdzie βi jest parametrem łatwości przedmiotu, a zj jest zmienną ukrytą zdolnością. (Bardziej skomplikowany model można zastąpić; I używam 2PL w mojej aplikacji). Jak wspomniałem w moim pierwotnym poście, oszacowałem qj^ zmiennej umiejętności z osobnego zestawu danych {yij} (różne przedmioty, te same osoby) na którego oszustwo nie było możliwe. W szczególności qj^ są empirycznymi szacunkami Bayesa z tego samego modelu odpowiedzi na przedmiot jak powyżej.

Prawdopodobieństwo zaobserwowanego wyniku , zależne od łatwości przedmiotu i umiejętności osoby, można zapisać gdzie jest przewidywanym prawdopodobieństwem poprawna odpowiedź, a jest odwrotnym . Następnie, cech przedmiotu i osoby, wspólne prawdopodobieństwo, że osoba ma obserwacje wynosi i podobnie, wspólne prawdopodobieństwo, że pozycja ma obserwacje p i j = P r ( X i j = x i j | ^ β i , ^ q j ) = P i j ( ^ β i , ^ q j ) , P i j ( ^ β i , ^ q j ) = i l o g i t ( ^xij

pij=Pr(Xij=xij|βi^,qj^)=Pij(βi^,qj^)xij(1Pij(βi^,qj^))1xij,
i l o g i t j x j p j = i p i j , i x i p i = j p i j . p jPij(βi^,qj^)=ilogit(βi^+qj^)ilogitjxj
pj=ipij,
ixi toOsoby o najniższych wartościach to te, których zaobserwowane wyniki są warunkowo najmniej prawdopodobne - prawdopodobnie oszustami. Elementy o najniższych wartościach to te, które są warunkowo najmniej prawdopodobne - są to możliwe elementy wyciekające / udostępnione. Podejście to opiera się na założeniu, że modele są poprawne i że osoba zdobywa dydaktycznego są nieskorelowane uzależnione od osoby, a pozycja cech. Naruszenie drugiego założenia nie jest jednak problematyczne, o ile stopień korelacji nie różni się u poszczególnych osób, a model można łatwo ulepszyć (np. Dodając dodatkowe cechy osoby lub przedmiotu).
pi=jpij.
pj j p i jpjjpij

Dodatkowym krokiem, który próbowałem, jest pobranie r% najmniej prawdopodobnych osób (tj. Osób o najniższym r% posortowanych wartości p_j), obliczenie średniej odległości między ich zaobserwowanymi wynikami x_j (co powinno być skorelowane dla osób o niskim r, które są możliwymi oszustami) i wykreśl dla r = 0,001, 0,002, ..., 1.000. Średnia odległość wzrasta dla r = 0,001 do r = 0,025, osiąga maksimum, a następnie powoli spada do minimum przy r = 1. Nie do końca to, na co liczyłem.

zablokowane
źródło
4
Jest to trudny problem, ponieważ masz bardzo mało informacji na temat natury oszustwa. Jak odróżnić oszusta od studenta, który uczył się bardzo ciężko? Bez dodatkowych informacji nie możesz. Jedną z możliwości jest to, że uczniowie mogą oszukiwać, kopiując się nawzajem, lub jeśli podzbiory uczniów mają dostęp do tych samych odpowiedzi. W takim przypadku możesz utworzyć funkcję odległości między uczniami (mniejsza odległość oznacza, że ​​dobrze sobie radzili w tych samych pytaniach) i poszukać wzorców tutaj. Byłoby to bardziej rozstrzygające IMO.
rm999
2
Levitt i Dubner opisują swoje podejście w Freakonomics ( freakonomicsmedia.com ).
whuber
@ rm999 Aby wyjaśnić, oszuści mieli dostęp do tego samego podzbioru pytań (np. wyciekł częściowy klucz odpowiedzi przed administracją egzaminu). Nie interesuje mnie oszustwo, które mogło się zdarzyć podczas kopiowania. W razie wątpliwości zmienię moje pytanie w weekend.
zablokowane
@ whuber Dzięki, przejrzę artykuł (zakładając, że został opublikowany). Słuchałem audiobooka, ale nie pamiętam szczegółów, w jaki sposób zidentyfikowali oszustów (wierzę, że byli nauczycielami, którzy przekręcali odpowiedzi uczniów).
zablokowane
Jeśli przypominam sobie przypadek Freakonomics, polegał on na wykrywaniu dzieci w tej samej szkole / klasie, które (a) osiągnęły duże skoki osiągnięć w porównaniu z rokiem wcześniej, (b) różne odpowiedzi na wcześniejsze, łatwiejsze pytania oraz (c) identyczne sekwencje odpowiedzi na późniejsze, trudniejsze pytania, dlatego sugerowanie nauczycielowi wypełnienia odpowiedzi, które dzieci pozostawiły puste.
Henry

Odpowiedzi:

4

Podejście ad hoc

Zakładam, że jest dość wiarygodny, ponieważ oszacowano go na wielu studentów, z których większość nie oszukiwała w pytaniu . Dla każdego ucznia uporządkuj pytania w kolejności rosnących trudności, oblicz (zwróć uwagę, że i j β i + q j q jβjajajotβja+qjotqjotjest tylko stałym przesunięciem) i ustawia próg w pewnym rozsądnym miejscu (np. p (poprawne) <0,6). Daje to zestaw pytań, na które uczeń prawdopodobnie nie udzieli prawidłowej odpowiedzi. Możesz teraz użyć testowania hipotez, aby sprawdzić, czy zostało to naruszone, w którym to przypadku uczeń prawdopodobnie oszukał (zakładając oczywiście, że twój model jest poprawny). Jednym zastrzeżeniem jest to, że jeśli jest kilka takich pytań, możesz nie mieć wystarczającej ilości danych, aby test był wiarygodny. Nie sądzę też, aby można było ustalić, które pytanie zdradził, ponieważ zawsze ma 50% szansy na odgadnięcie. Ale jeśli dodatkowo założysz, że wielu uczniów uzyskało dostęp do tego samego zestawu pytań (i oszukiwało), możesz porównać je wśród uczniów i zobaczyć, na które pytania udzielono odpowiedzi częściej niż przez przypadek.

Możesz zrobić podobną sztuczkę z pytaniami. Tj. Dla każdego pytania, posortuj uczniów według , dodaj (jest to teraz stałe przesunięcie) i próg z prawdopodobieństwem 0,6. To daje listę studentów, którzy nie powinni być w stanie poprawnie odpowiedzieć na to pytanie. Mają więc 60% szansy na odgadnięcie. Ponownie wykonaj test hipotez i sprawdź, czy jest to naruszone. Działa to tylko wtedy, gdy większość uczniów zdradza ten sam zestaw pytań (np. Jeśli część pytań „wyciekła” przed egzaminem).β iqjotβja

Zasadnicze podejście

Dla każdego ucznia istnieje zmienna binarna z wcześniejszym Bernoullim z pewnym prawdopodobieństwem, wskazującym, czy uczeń jest oszustem. Dla każdego pytania istnieje zmienna binarna , ponownie z pewnym odpowiednim wcześniejszym Bernoullim, wskazująca, czy pytanie zostało wyciekły. Następnie jest zestaw zmiennych binarnych , wskazujących, czy uczeń poprawnie odpowiedział na pytanie . Jeśli i , to rozkład to Bernoulli z prawdopodobieństwem 0,99. W przeciwnym razie dystrybucja jest . Te są obserwowanymi zmiennymi.l i a i j j i c j = 1 l i = 1 a i j l o g i t ( β i + q j ) a i j c j l idojotljazajajotjotjadojot=1lja=1zajajotlosoljat(βja+qjot)zajajotdojot i są ukryte i należy je wywnioskować. Prawdopodobnie możesz to zrobić, próbkując Gibbs. Ale inne podejścia mogą być również wykonalne, być może coś związanego z biclustering.lja

Sheldon Cooper
źródło
Przeczytałem pierwszą część twojej odpowiedzi i myślę, że jest obiecująca. Dwie krótkie uwagi - był to wielokrotny wybór, więc prawdopodobieństwo prawidłowego zgadnięcia wynosi 25% lub 20%. Masz rację, ponieważ możemy założyć, że przed egzaminem wyciekła część pytań. Wrócimy do tego w niedzielę lub poniedziałek.
zablokowane
3

Jeśli chcesz zająć się bardziej złożonymi podejściami, możesz spojrzeć na modele teorii odpowiedzi na przedmioty. Następnie możesz modelować trudność każdego pytania. Myślę, że uczniowie, którym poprawiono trudne elementy, a brakuje łatwiejszych, byliby bardziej skłonni do oszukiwania niż ci, którzy zrobili coś przeciwnego.

Minęło ponad dziesięć lat, odkąd robiłem takie rzeczy, ale myślę, że może to być obiecujące. Aby uzyskać więcej informacji, sprawdź książki psychometrii

Peter Flom - Przywróć Monikę
źródło
Zazwyczaj oszustwo lub zgadywanie może być włączone bezpośrednio do IRM. Jest to w istocie to, co zamierza zrobić model 3-PL, ponieważ zawiera parametr trudności , dyskryminacji i zgadywania, który działa jako niższa asymptota prawdopodobieństwa zatwierdzenia przedmiotu. Okazało się jednak, że jest nierealne w większości sytuacji, a obok opracowano inne dedykowane statystyki dotyczące dopasowania osoby (w testach edukacyjnych lub ocenie psychologicznej). Meijer, badanie Person-Fit: wprowadzenie. APM (1996), 9: 3-8 ma niezłą recenzję na temat nieprawidłowych wzorców reakcji.
chl
@chl Thanks! Studiowałem te rzeczy w szkole, ale to było dawno temu - moja ostatnia klasa odbyła się w 1996 roku.
Peter Flom - Przywróć Monikę
@chl Dzięki za sugestie. Model w moim pytaniu jest w rzeczywistości modelem odpowiedzi na pytanie (model Rasch lub 1PL ze stałym parametrem dyskryminacji). Myślę, że propozycja spojrzenia na osoby z nieprawidłowymi wynikami jest dobrym początkiem, ale szukam podejścia, które korzysta z dodatkowych informacji dostarczonych przez korelację w odpowiedziach oszustów na przedmioty, na które popełniono oszustwo. Możesz sobie wyobrazić, że gdybyśmy wykorzystali twoją procedurę do identyfikacji oszustów, na przykład, sprawdziliby się na podobnych trudnych przedmiotach.
Zamknięte