Przeczytałem ten artykuł o sprawie Palantira, w której Departament Pracy oskarża ich o dyskryminację Azjatów. Czy ktoś wie, skąd wziął te oszacowania prawdopodobieństwa?
Nie dostaję 1/741 w pozycji (a).
(a) Na stanowisko Inżyniera ds. kontroli jakości, z grupy ponad 730 wykwalifikowanych kandydatów - z których około 77% to Azjaci - Palantir zatrudnił sześciu kandydatów spoza Azji i tylko jednego kandydata z Azji. Negatywny wpływ obliczony przez OFCCP przekracza trzy standardowe odchylenia. Prawdopodobieństwo, że ten wynik wystąpił przypadkowo, wynosi około 1 na 741.
(b) Na stanowisku Inżyniera oprogramowania, z grupy ponad 1160 wykwalifikowanych kandydatów - z których około 85% pochodziło z Azji - Palantir zatrudnił 14 kandydatów spoza Azji i tylko 11 azjatyckich. Niekorzystny wpływ obliczony przez OFCCP przekracza pięć standardowych odchyleń. Prawdopodobieństwo, że ten wynik wystąpił przypadkowo, wynosi około jeden na 3,4 miliona.
(c) W przypadku stanowiska inżyniera ds. kontroli jakości z grupy ponad 130 wykwalifikowanych kandydatów, z których około 73% to Azjaci, Palantir zatrudnił 17 kandydatów spoza Azji i tylko czterech azjatyckich. Niekorzystny wpływ obliczony przez OFCCP przekracza sześć standardowych odchyleń. Prawdopodobieństwo, że ten wynik wystąpił przypadkowo, wynosi około jeden na miliard.
źródło
Odpowiedzi:
Zamierzam to przebudować na podstawie doświadczenia w sprawach dotyczących dyskryminacji. Zdecydowanie mogę ustalić, skąd wzięły się wartości „jeden na 741” itd . Jednak w tłumaczeniu zaginęło tak wiele informacji, że reszta mojej rekonstrukcji polega na tym, że widziałam, jak ludzie robią statystyki w salach rozpraw. Mogę tylko zgadywać na podstawie niektórych szczegółów.
Eksperci statystyczni dla powodów często próbują sformułować swoje wyniki w tych znanych terminach. Niektórzy eksperci przeprowadzają test statystyczny, w którym hipoteza zerowa wyraża „brak negatywnego wpływu”, zakładając, że decyzje o zatrudnieniu były czysto losowe i nie podlegały żadnym innym cechom pracowników. (Niezależnie od tego, czy jest to jedno-, czy dwustronna alternatywa, może zależeć od eksperta i okoliczności.) Następnie przekształcają wartość p tego testu na szereg „odchyleń standardowych”, odnosząc ją do standardowego rozkładu normalnego - - nawet jeśli standardowa Normalna nie ma znaczenia dla pierwotnego testu. Na tym rondzie mają nadzieję, że jasno przekażą swoje wnioski sędziemu.
Preferowanym testem danych, które można podsumować w tabelach awaryjnych, jest Dokładny test Fishera. Występowanie „Dokładnego” w jego nazwie jest szczególnie przyjemne dla powodów, ponieważ wiąże się z ustaleniem statystycznym, które zostało dokonane bezbłędnie (cokolwiek to może być!).
Oto moja (spekulacyjna rekonstrukcja) obliczeń Departamentu Pracy.
Przekształcili jego wartość p na normalny wynik Z („liczba odchyleń standardowych”).
Są one zaokrąglone wynik Z do najbliższej liczby całkowitej „przekracza trzy odchylenia standardowe”, „przekracza pięć odchyleń standardowych” i „przekracza sześciu odchyleń standardowych”. (Ponieważ niektóre z tych wyników Z zaokrąglały w górę do bardziej standardowych odchyleń, nie mogę uzasadnić „przekroczeń”; wszystko, co mogę zrobić, to zacytować to.)
W skardze te całkowite wyniki Z zostały przeliczone z powrotem na wartości p! Ponownie zastosowano standardowy rozkład normalny.
Te wartości p są opisane (prawdopodobnie w sposób wprowadzający w błąd) jako „prawdopodobieństwo, że ten wynik wystąpił przypadkowo”.
Oto
R
kod używany do wykonania tych obliczeń.źródło
Jak poprawnie obliczyć pvals przy użyciu rozkładu hipergeometrycznego:
W przypadku testu jednostronnego w MATLAB możesz zadzwonić
pval = hygecdf(k, N, K, n);
lub w tym przypadkupval = hygecdf(1, 730, 562, 7)
który wynosi około .0007839.Średnia i odchylenie standardowe są podane przez:
W poszukiwaniu formuł, których mógłby użyć OFCCP, ta strona, którą widziałem, może być pomocna: http://www.hr-software.net/EmploymentStatistics/DisparateImpact.htm
Podsumowanie niektórych obliczeń:
źródło