12 nauczycieli uczy 600 uczniów. 12 kohort nauczanych przez tych nauczycieli mieści się w przedziale od 40 do 90 studentów i oczekujemy systematycznych różnic między kohortami, ponieważ absolwenci byli nieproporcjonalnie przydzieleni do poszczególnych kohort, a wcześniejsze doświadczenia wykazały, że średnia ocena absolwentów jest znacznie wyższa niż studenci studiów licencjackich.
Nauczyciele ocenili wszystkie artykuły ze swojej kohorty i przyznali im ocenę na 100.
Każdy nauczyciel spojrzał również na jeden losowo wybrany artykuł spośród trzech innych nauczycieli i przyznał mu ocenę na 100. Każdy nauczyciel ma trzy swoje prace oznaczone przez innego nauczyciela. W ten sposób oznaczono krzyżowo 36 różnych artykułów i nazywam to moimi danymi kalibracyjnymi.
Widzę też, ilu absolwentów było w każdej grupie.
Moje pytania to:
A) Jak mogę wykorzystać te dane kalibracyjne, aby dostosować oryginalne znaki, aby były bardziej sprawiedliwe? W szczególności chciałbym zmyć jak najwięcej efektów nadmiernie hojnych / niewdzięcznych twórców.
B) Jak odpowiednie są moje dane kalibracyjne? Nie miałem wyboru w raczej ograniczonych 36 punktach danych kalibracyjnych, które otrzymałem w tym kursie, i nie mam żadnej opcji, aby zebrać więcej w bieżącym semestrze. Jeśli jednak ta sytuacja się powtórzy, być może uda mi się zebrać więcej danych kalibracyjnych lub zgromadzić różne rodzaje danych kalibracyjnych.
To pytanie jest spokrewnione z popularnym pytaniem, które zadałem na: Jak najlepiej radzić sobie z efektami markerów o różnych poziomach hojności w ocenianiu prac studentów? . Jest to jednak inny kurs i nie jestem pewien, jak przydatne byłoby czytanie tego pytania jako tła dla obecnego, ponieważ głównym problemem było to, że nie miałem danych kalibracyjnych.
źródło
lm(score ~ gradStudent + ... + teacherID
powinno to zrobić.Oto kilka powiązanych podejść.
Weź zestaw dokumentów oznaczonych przez więcej niż jednego nauczyciela, ponieważ zawierają one najwięcej informacji o efektach nauczyciela, a poza tymi dokumentami efekty nauczyciela i kohorty są zakłócone (jeśli istnieje jakiś sposób na uzyskanie efektu kohorty - być może poprzez GPA lub jakiś inny predyktor, na przykład, wtedy możesz użyć wszystkich danych, ale to trochę skomplikuje modele).
Oznacz uczniów , a markery . Niech zestaw znaków będzie .i=1,2,...n j=1,2,...,m yij,i=1,2,...m
Najpierw musisz rozważyć swój model pod kątem zastosowania efektu markera. Czy to jest addytywne? Czy to jest multiplikatywne? Czy musisz się martwić efektami granicznymi (np. Czy efekt addytywny lub multiplikatywny w skali logit byłby lepszy)?
Wyobraź sobie dwa podane znaczniki na dwóch papierach i wyobraź sobie, że drugi znacznik jest bardziej hojny. Powiedzmy, że pierwszy znacznik dałby papiery 30 i 60. Czy drugi znacznik będzie miał tendencję do dodawania stałej liczby znaków (powiedzmy 6 znaków) do obu? Czy będą mieli tendencję do dodawania stałych wartości procentowych (powiedzmy 10% do obu, lub 3 ocen w porównaniu do 6 ocen)? Co jeśli pierwszy marker dał 99? - co by się wtedy stało? Co z 0? Co jeśli drugi znacznik byłby mniej hojny? co by się stało przy 99 lub 0? (dlatego wspominam o modelu logit - znaki można traktować jako proporcję możliwych znaków ( ), a następnie efektem markera może być dodanie stałej (powiedzmy) do logit - ie ).pij=mij/100 p log(pij/(1−pij)
(Nie będziesz mieć tutaj wystarczających danych, aby oszacować formę hojności, a także jej wielkość. Musisz wybrać model ze swojego zrozumienia sytuacji. Będziesz także musiał zignorować każdą możliwość interakcji; nie mieć na to dane)
Możliwość 1 - zwykły model addytywny. Może to być odpowiednie, jeśli żadne znaki nie były tak naprawdę bliskie 0 lub 100:
Rozważ model taki jakE(yij)=μi+τj
Jest to zasadniczo dwukierunkowa ANOVA. Potrzebujesz na to ograniczeń, więc możesz skonfigurować kodowanie odchylenia / ustawić model tak, aby efekty znacznika wynosiły 0, lub możesz ustawić model, w którym jeden znacznik jest linią podstawową (którego efekt wynosi 0 i którego znaczniki ty spróbuje dostosować każdy inny znacznik w kierunku).
Następnie weź wartości i dostosuj szerszą populację znaków .τ^j yadjkj=ykj−τ^j
Możliwość 2: W rzeczywistości podobny pomysł, ale . Tutaj możesz dopasować nieliniowy model najmniejszych kwadratów lub GLM z łączem logarytmicznym (prawdopodobnie pochylę się w kierunku drugiego z tych dwóch). Znowu potrzebujesz ograniczenia na s.E(yij)=μiτj τ
Wtedy odpowiednim dostosowaniem byłoby podzielenie przez .τj^
Możliwość 3: dodatek w skali logit. Może to być bardziej odpowiednie, jeśli niektóre znaki zbliżą się do 0 lub 100. Będzie wyglądać w przybliżeniu multiplikatywnie w przypadku bardzo małych znaków, addytywnie w przypadku ocen średnich i w przybliżeniu multiplikatywnych w przypadku bardzo wysokich ocen. Możesz zastosować regresję beta lub quasi-dwumianowy GLM z łączem logit, aby dopasować ten model.1−p=(100−m)/100
źródło