Przypadek dyskryminacji azjatyckiej Palantira: w jaki sposób obliczono prawdopodobieństwa?

14

Przeczytałem ten artykuł o sprawie Palantira, w której Departament Pracy oskarża ich o dyskryminację Azjatów. Czy ktoś wie, skąd wziął te oszacowania prawdopodobieństwa?

Nie dostaję 1/741 w pozycji (a).

(a) Na stanowisko Inżyniera ds. kontroli jakości, z grupy ponad 730 wykwalifikowanych kandydatów - z których około 77% to Azjaci - Palantir zatrudnił sześciu kandydatów spoza Azji i tylko jednego kandydata z Azji. Negatywny wpływ obliczony przez OFCCP przekracza trzy standardowe odchylenia. Prawdopodobieństwo, że ten wynik wystąpił przypadkowo, wynosi około 1 na 741.

(b) Na stanowisku Inżyniera oprogramowania, z grupy ponad 1160 wykwalifikowanych kandydatów - z których około 85% pochodziło z Azji - Palantir zatrudnił 14 kandydatów spoza Azji i tylko 11 azjatyckich. Niekorzystny wpływ obliczony przez OFCCP przekracza pięć standardowych odchyleń. Prawdopodobieństwo, że ten wynik wystąpił przypadkowo, wynosi około jeden na 3,4 miliona.

(c) W przypadku stanowiska inżyniera ds. kontroli jakości z grupy ponad 130 wykwalifikowanych kandydatów, z których około 73% to Azjaci, Palantir zatrudnił 17 kandydatów spoza Azji i tylko czterech azjatyckich. Niekorzystny wpływ obliczony przez OFCCP przekracza sześć standardowych odchyleń. Prawdopodobieństwo, że ten wynik wystąpił przypadkowo, wynosi około jeden na miliard.

Aksakal
źródło
czy możesz pokazać obliczenia wykonane w celu uzyskania czegoś innego niż 1/741?
Ben Bolker
1
Mój szacunek był jednostronny - jeśli podwoisz to, aby uczynić go dwustronnym testem hipotez, zbliżysz się do tej liczby 1/741.
Gregor - przywróć Monikę
3
Zgadzam się, że podwojenie nie ma sensu w tym przypadku, próbowałem tylko zgadywać, co mogło zostać zrobione. Pytanie nie brzmi, jaka jest właściwa odpowiedź, ale jak doszli do tego oszacowania .
Gregor - przywróć Monikę
1
Byłoby wspaniale, gdyby ktoś przekonwertował zrzut ekranu PDF na cytat tekstowy ...
Amoeba mówi Przywróć Monikę
1
Udało mi się OCR wykonać zrzut ekranu za pomocą finereaderonline.com .
ameba mówi Przywróć Monikę

Odpowiedzi:

20

Zamierzam to przebudować na podstawie doświadczenia w sprawach dotyczących dyskryminacji. Zdecydowanie mogę ustalić, skąd wzięły się wartości „jeden na 741” itd . Jednak w tłumaczeniu zaginęło tak wiele informacji, że reszta mojej rekonstrukcji polega na tym, że widziałam, jak ludzie robią statystyki w salach rozpraw. Mogę tylko zgadywać na podstawie niektórych szczegółów.


0.050.01

Eksperci statystyczni dla powodów często próbują sformułować swoje wyniki w tych znanych terminach. Niektórzy eksperci przeprowadzają test statystyczny, w którym hipoteza zerowa wyraża „brak negatywnego wpływu”, zakładając, że decyzje o zatrudnieniu były czysto losowe i nie podlegały żadnym innym cechom pracowników. (Niezależnie od tego, czy jest to jedno-, czy dwustronna alternatywa, może zależeć od eksperta i okoliczności.) Następnie przekształcają wartość p tego testu na szereg „odchyleń standardowych”, odnosząc ją do standardowego rozkładu normalnego - - nawet jeśli standardowa Normalna nie ma znaczenia dla pierwotnego testu. Na tym rondzie mają nadzieję, że jasno przekażą swoje wnioski sędziemu.

Preferowanym testem danych, które można podsumować w tabelach awaryjnych, jest Dokładny test Fishera. Występowanie „Dokładnego” w jego nazwie jest szczególnie przyjemne dla powodów, ponieważ wiąże się z ustaleniem statystycznym, które zostało dokonane bezbłędnie (cokolwiek to może być!).

Oto moja (spekulacyjna rekonstrukcja) obliczeń Departamentu Pracy.

  1. χ2

  2. Przekształcili jego wartość p na normalny wynik Z („liczba odchyleń standardowych”).

  3. Są one zaokrąglone wynik Z do najbliższej liczby całkowitej „przekracza trzy odchylenia standardowe”, „przekracza pięć odchyleń standardowych” i „przekracza sześciu odchyleń standardowych”. (Ponieważ niektóre z tych wyników Z zaokrąglały w górę do bardziej standardowych odchyleń, nie mogę uzasadnić „przekroczeń”; wszystko, co mogę zrobić, to zacytować to.)

  4. W skardze te całkowite wyniki Z zostały przeliczone z powrotem na wartości p! Ponownie zastosowano standardowy rozkład normalny.

  5. Te wartości p są opisane (prawdopodobnie w sposób wprowadzający w błąd) jako „prawdopodobieństwo, że ten wynik wystąpił przypadkowo”.

1/12801/5650001/58000000730116013073011601303.164.645.521/7411/35000001/1000000000


Oto Rkod używany do wykonania tych obliczeń.

f <- function(total, percent.asian, hired.asian, hired.non.asian) {
  asian <- round(percent.asian/100 * total)
  non.asian <- total-asian
  x <- matrix(c(asian-hired.asian, non.asian-hired.non.asian, hired.asian, hired.non.asian),
              nrow = 2,
              dimnames=list(Race=c("Asian", "non-Asian"),
                            Status=c("Not hired", "Hired")))
  s <- fisher.test(x)
  s$p.value
}
1/pnorm(round(qnorm(f(730, 77, 1, 6))))
1/pnorm(round(qnorm(f(1160, 85, 11, 14))))
1/pnorm(round(qnorm(f(130, 73, 4, 17))))
Whuber
źródło
6
Wow, nie mogłem zgadnąć, że można to zrobić. To jest straszne.
Aksakal
7
(+1) CSI: Statystyki.
Firebug
5

Jak poprawnie obliczyć pvals przy użyciu rozkładu hipergeometrycznego:

knKN .

W przypadku testu jednostronnego w MATLAB możesz zadzwonić pval = hygecdf(k, N, K, n);lub w tym przypadkupval = hygecdf(1, 730, 562, 7) który wynosi około .0007839.

Średnia i odchylenie standardowe są podane przez:

μ=nKNs=nKNNKNNnN1

χ2

W poszukiwaniu formuł, których mógłby użyć OFCCP, ta strona, którą widziałem, może być pomocna: http://www.hr-software.net/EmploymentStatistics/DisparateImpact.htm

Podsumowanie niektórych obliczeń:

Number and methodPart APart BPart CPVal from hypergeometric CDF7.839e-041.77e-061.72e-08χ2 stat15.6833.6837.16χ2 pval7.49e-056.47e-091.09e-09Pval from above document.001352.94e-071.00e-09

χ2(expectedactual)2expected

Matthew Gunn
źródło
1
Mam ten sam wynik, ale inaczej. To nie jest blisko 1/741
Aksakal