Unikanie dyskryminacji społecznej w budowaniu modeli

10

Mam pytania inspirowane niedawnym skandalem rekrutacyjnym w Amazon, w którym oskarżano ich o dyskryminację kobiet w procesie rekrutacji. Więcej informacji tutaj :

Specjaliści od uczenia maszynowego Amazon.com Inc odkryli duży problem: ich nowy silnik rekrutacyjny nie lubił kobiet.
Zespół buduje programy komputerowe od 2014 roku, aby przejrzeć CV kandydatów do pracy w celu zmechanizowania poszukiwania najlepszych talentów ...
... eksperymentalne narzędzie zatrudniania firmy wykorzystywało sztuczną inteligencję, aby dawać kandydatom od 1 do 5 gwiazdek ...
... Ale do 2015 r. Firma zdała sobie sprawę, że jej nowy system nie ocenia kandydatów na stanowiska programistów i inne stanowiska techniczne w sposób neutralny pod względem płci.
Wynika to z tego, że modele komputerowe Amazon zostały przeszkolone w zakresie sprawdzania kandydatów poprzez obserwowanie wzorców w życiorysach przesyłanych do firmy przez okres 10 lat. Większość pochodzi od mężczyzn, co odzwierciedla męską dominację w branży technologicznej. (Aby zobaczyć grafikę dotyczącą podziałów płci w technologii, patrz: tutaj ) W efekcie system Amazon nauczył się, że kandydaci na mężczyzn są lepsi. Karane były CV, które zawierały słowo „kobiet”, jak w „kapitanie klubu szachowego kobiet”. Zdaniem osób znających tę sprawę obniżyła ocenę absolwentów dwóch kolegiów wszystkich kobiet. Nie podali nazw szkół.
Amazon dokonał edycji programów, aby były neutralne w stosunku do tych konkretnych warunków. Ale nie było to gwarancją, że maszyny nie wymyślą innych sposobów sortowania kandydatów, które mogłyby okazać się dyskryminujące, twierdzą ludzie.
Firma z Seattle ostatecznie rozwiązała zespół na początku ubiegłego roku, ponieważ dyrektorzy stracili nadzieję na projekt ...
... eksperyment firmy ... oferuje studium przypadku dotyczące ograniczeń uczenia maszynowego.
... informatycy, tacy jak Nihar Shah, który uczy uczenia maszynowego na Uniwersytecie Carnegie Mellon, twierdzą, że wciąż jest wiele do zrobienia.
„Jak upewnić się, że algorytm jest sprawiedliwy, jak upewnić się, że algorytm jest naprawdę możliwy do interpretacji i wyjaśnienia - to wciąż dość daleko” - powiedział.

JĘZYK MASKULINII
[Amazon] założył zespół w centrum inżynieryjnym Amazon w Edynburgu, który urósł do kilkunastu osób. Ich celem było opracowanie sztucznej inteligencji, która mogłaby szybko indeksować sieć i wykrywać kandydatów wartych rekrutacji, powiedzieli ludzie znający sprawę.
Grupa stworzyła 500 modeli komputerów skoncentrowanych na konkretnych funkcjach i lokalizacjach. Nauczyli każdego rozpoznawać około 50 000 terminów, które pojawiły się w życiorysach poprzednich kandydatów. Algorytmy nauczyły się przywiązywać niewielką wagę do umiejętności, które były powszechne wśród aplikantów, takich jak umiejętność pisania różnych kodów komputerowych ...
Zamiast tego technologia faworyzowała kandydatów, którzy opisywali się, używając czasowników częściej spotykanych w życiorysach inżynierów, takich jak „stracono” i „schwytano”, powiedziała jedna osoba.

Powiedzmy, że chcę zbudować model statystyczny, aby przewidzieć wyniki na podstawie danych osobowych, na przykład ranking pięciu gwiazdek, aby pomóc w rekrutacji nowych osób. Powiedzmy, że chcę również uniknąć dyskryminacji ze względu na płeć, jako ograniczenia etycznego. Biorąc pod uwagę dwa ściśle równe profile oprócz płci, wyniki modelu powinny być takie same.

  1. Czy powinienem wykorzystać płeć (lub jakiekolwiek powiązane z nią dane) jako dane wejściowe i spróbować skorygować ich efekt, czy też unikać używania tych danych?

  2. Jak sprawdzić brak dyskryminacji ze względu na płeć?

  3. Jak poprawić mój model pod kątem danych, które są statystycznie dyskryminujące, ale nie chcę tego robić z przyczyn etycznych?

lcrmorin
źródło
1
Myślę, że w tekście pytania ważna jest wzmianka o artykule na temat rzekomego skandalu rekrutacyjnego Amazona. Niektórzy mogą argumentować, że w ogóle nie było „dyskryminacji” (w zależności od tego, jak zdefiniowano ten termin), a jedynie zwykła nierównowaga mężczyzn i kobiet zatrudnionych, więc może podać swoją definicję „dyskryminacji”.
StatsStudent
1
Co z możliwością, że odpowiedź kanoniczna nie jest tutaj możliwa? Czy możesz to rozwiązać? Rozważam ponowne zamknięcie.
gung - Przywróć Monikę
3
„brak wpływu płci na wyniki modelu” - nie rozumiem, dlaczego jest to dobra definicja. Załóżmy, że w modelu nie ma funkcji o nazwie płeć, której i tak prawdopodobnie nie ma. Następnie model „wymyśla”, patrząc na innych, przypisywanych temu, że to kobieta, i obniża ocenę, ponieważ kobieta jest mniej zdolna do pracy, co wtedy? Istnieje wiele miejsc pracy, w których kobiety byłyby źle dopasowane, np. Żołnierze piechoty morskiej. To nie znaczy, że nie możesz; znaleźć kobiety, która byłaby świetna, ale większość z nich nie pasuje.
Aksakal
2
@Lcrmorin, dlaczego tylko fizyczny? Jak myślisz, dlaczego programista najlepiej pasuje zarówno dla kobiet, jak i mężczyzn? Nie widzę oczywistego powodu. Jestem podejrzliwy, ponieważ kwestionowane są tylko wysoko płatne prace. Na przykład mężczyźni są częściej uwięzieni, dlaczego nie naciskać, aby kobiety były więzione w tym samym tempie? Dobra definicja tego, co stanowi dyskryminację, jest najważniejsza
Aksakal
1
Myślę, że jest to uwzględnione w każdym kursie statystyki stosowanej w naukach społecznych, który próbuje określić skutki przyczynowe ... Identyfikowanie pominiętej zmienności uprzedzeń itp., „Kontrolowanie czynnika X” itp.
seanv507

Odpowiedzi:

4

Ten artykuł stanowi doskonały przegląd tego, jak poruszać się po uprzedzeniach ze względu na płeć, szczególnie w modelach językowych: Mężczyzna ma programistę komputerowego, a Kobieta ma gospodynię domową? Debiasing Word Embeddings - Bolukbasi i in. glin. . Ładne streszczenie blogu można znaleźć tutaj:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Tutaj znajdziesz większe kompendium zasobów:

https://developers.google.com/machine-learning/fairness-overview/

W powyższych linkach znajdziesz mnóstwo technik łagodzących uprzedzenia związane z płcią. Ogólnie rzecz biorąc, dzielą się na trzy klasy:

1) Niepełne / nadmierne próbkowanie danych. Ma to na celu nadpróbkowanie wysokiej jakości życiorysów kobiet i życiorysów mężczyzn.

2) Odejmowanie „podprzestrzeni płci”. Jeśli Twój model jest tendencyjny z punktu widzenia płci, możesz to wykazać, wykorzystując osadzanie CV do bezpośredniego przewidywania płci. Po zbudowaniu takiego modelu pomocniczego (nawet po prostu próbkowaniu wspólnych terminów należących do jednej z płci, a następnie zastosowaniu PCA), możesz w efekcie odjąć ten wymiar od modelu, normalizując CV tak, aby było neutralne pod względem płci. Jest to główna technika zastosowana w pracy Bolukbasi.

3) Uczenie się przeciwników. W takim przypadku próbujesz wygenerować dodatkowe dane, próbując wygenerować więcej wersji wysokiej jakości życiorysów kobiet, które w przeciwnym razie byłyby nie do odróżnienia od prawdziwych życiorysów.

Alex R.
źródło
1
Bez obrazy, ale czegoś brakuje. Czy to leczy objawy, ignorując chorobę? Czy rozwiązanie w języku PC w ogóle jest rozwiązaniem, czy może samo w sobie stanowi problem? Język nie jest podstawowym źródłem uczuć, a jedynie środkiem ich wyrażania. Uczucia są reakcjami na sytuacje. Napraw sytuacje, zamiast pisać je językiem.
Carl
@Carl: Jeśli zestaw danych jest już zepsuty z błędem, bardzo trudno go poprawić. Poprawność polityczna jest próbą złagodzenia uprzedzeń. W przypadku ML odsuwamy model od promowania jego prognoz opartych na płci na tych, które są oparte wyłącznie na umiejętnościach. W przeciwnym razie taki model najprawdopodobniej będzie karał kobiety i przypisywał bardzo różne wyniki ich umiejętnościom w każdym zawodzie. Przeczytaj odpowiedź Dave'a Harrisa, aby dowiedzieć się, w jaki sposób powstają uprzedzenia i jak je naprawić poprzez zmiany fizyczne (w przeciwieństwie do zmian danych)
Alex R.
Skomentowałem odpowiedź Dave'a, więc twoja sugestia pokazuje, że ją przegapiłeś. Możesz również nie rozumieć, że zdobycie pracy, której nienawidzisz, stanowi problem. Napraw problem przechowywania i środowisko pracy. Uczynienie kobiet bardziej „atrakcyjnymi” niczego nie rozwiązuje, może zaostrzyć problemy. W przypadku pracy problemem nie jest „zawarcie małżeństwa”, ale „pozostanie w związku małżeńskim”.
Carl
@Carl: Nie jestem pewien, o co się tutaj kłócisz, ponieważ pytanie PO wyraźnie pyta o to, jak zbudować model statystyczny na istniejącym zbiorze danych. Podane przeze mnie linki pokazują, że modele językowe, gotowe do użycia, mogą już zawierać ukryte uprzedzenia. Równie dobrze mogę argumentować, że ludzie, którzy utrzymują pracę wystarczająco długo, są prawdopodobnie zbyt przeciętni, aby znaleźć pracę gdzie indziej. Niezależnie od tego, jaki wskaźnik KPI optymalizujesz (jest to istotny, ale całkowicie odrębny temat), Twój model może nadal wykazywać uprzedzenia dotyczące płci.
Alex R.
1
Zgoda. Odpowiedziałeś na pytanie. Jednak utrzymywanie przez kobiety stanowisk dla techników jest słabe i nie zidentyfikowałeś problemów. Zatem odpowiedzią jest służba kobietom. Jeśli zostanie użyty, spowoduje nieszczęście. Statystycy ponoszą moralną odpowiedzialność za postrzeganie swojej pracy w kontekście i identyfikowanie pytań, które są bardziej odpowiednie niż postawione naiwnie.
Carl
9

To nie jest odpowiedź na twoje pytanie, ale tylko kilka myśli, które są zbyt długie, aby zmieścić się w komentarzu.

Myślę, że jednym problemem, który musimy wziąć pod uwagę, myśląc o tych kwestiach, jest to, że każdy model dyskryminuje i zrobi to na podstawie dowolnego powiązania zawartego w danych. Jest to prawdopodobnie cały cel modelu predykcyjnego. Na przykład mężczyźni rzeczywiście częściej popełniają przestępstwa niż kobiety, więc prawie każdy model, który ma dostęp do tych informacji, wyciągnie takie wnioski.

Ale to nie znaczy, że powinniśmy skazać kogoś częściowo ze względu na płeć, nawet jeśli na ogół mężczyzna prawdopodobnie będzie popełnił przestępstwo (inne rzeczy są równe). Przy podejmowaniu takich decyzji powinniśmy raczej wymagać bezpośrednich dowodów przestępstwa, a nie informacji o zwykłym stowarzyszeniu. Jako kolejny przykład: czy ludzie, którzy częściej chorują, naprawdę zasługują na wyższe składki ubezpieczeniowe?

Jeśli chodzi o dyskryminację, twierdzę, że kwestia dotyczy bardziej etycznego zastosowania , a nie samych modeli niesprawiedliwych. Jeśli martwimy się o utrwalanie dyskryminacji lub innych nieuczciwych wyników podczas korzystania z modelu w danej sytuacji, być może nie powinniśmy używać modelu.

dsaxton
źródło
2
Chciałbym spierać się o twoje ostatnie zdanie, że model zbudowany w celu uniknięcia dyskryminacji społecznej będzie w tej sprawie działał lepiej niż człowiek, ale nie dlatego tu jestem. Zredaguję mój post z lepszą definicją dyskryminacji społecznej.
lcrmorin
Nie sądzę, że nasz system sądowy zamierza bardziej karać mężczyzn, ale tak jest. To samo dotyczy hipotetycznego algorytmu Amazon. Wątpię, by chcieli dyskryminować kobiety, ale algo nauczyło się, że kobiety i tak są mniej sprawne i dyskryminowane.
Aksakal
Odszedłeś gwałtownie od pytania PO: Dyskryminacja kontrastowa nr 1: niesprawiedliwe traktowanie osoby lub grupy na podstawie uprzedzeń 2: proces poznawczy, w którym rozróżnia się dwa lub więcej bodźców. [WordNet]. OP pyta o pierwszą definicję, a ty odpowiadasz o drugą.
Alexis,
@Alexis Właściwie nie jest dla mnie jasne, że OP mówi tylko o pierwszej definicji. W cytacie: „Jak skorygować mój model o dane, które są statystycznie dyskryminujące, ale nie chcę tego robić z przyczyn etycznych?” Wydaje się to sugerować, że chcą zajmować się rzeczami, które statystycznie różnią się ze względu na płeć, nawet jeśli nie są to cechy niesprawiedliwe w użyciu. Nawiasem mówiąc, nie ma również wyraźnego rozróżnienia między tymi dwoma pojęciami dyskryminacji. To, co niektórzy uważają za uczciwe, inne za niesprawiedliwe.
Eff
Istnieją istotne różnice w odniesieniu do płci, zarówno pod względem liczby osób aplikujących, jak i pod względem profilu. Moim celem jest zapewnienie równego traktowania dwóch osób o podobnym profilu, ale nie tej samej płci.
lcrmorin
6

Pracowałem nad projektem mającym na celu opracowanie najlepszych praktyk zarządzania oprogramowaniem. W terenie obserwowałem około pięćdziesięciu zespołów oprogramowania. Nasza próbka wynosiła około 77, ale ostatecznie zobaczyliśmy około stu drużyn. Oprócz gromadzenia danych dotyczących takich rzeczy, jak certyfikaty, stopnie naukowe itp., Zebraliśmy również różnorodne dane psychologiczne i demograficzne.

Zespoły programistów mają w sobie bardzo znaczące efekty samoselekcji, które, choć nie mają nic wspólnego z płcią, są ściśle powiązane z płcią. Ponadto menedżerowie często się replikują. Ludzie zatrudniają ludzi, z którymi czują się komfortowo i są dla siebie najbardziej komfortowi. Istnieją również dowody na to, że ludzie są oceniani w sposób poznawczy. Wyobraź sobie, że jako kierownik bardzo cenię szybkie przybycie na początek pracy. Następnie ocenię to. Inny menedżer, któremu zależy tylko na tym, aby praca została wykonana, może ocenić coś zupełnie innego jako ważnego.

Zauważyłeś, że mężczyźni inaczej używają języka, ale prawdą jest również to, że ludzie o różnych osobowościach używają języka na różne sposoby. Mogą występować również różnice w używaniu języka etnicznego, patrz na przykład obecny kontrowersje na Harvardzie i przyjęć azjatyckich.

Zakładasz teraz, że firmy zajmujące się oprogramowaniem dyskryminują kobiety, ale w branży tworzenia oprogramowania istnieje jeszcze inna forma dyskryminacji ze względu na płeć, której nie uwzględniono. Kiedy kontrolujesz obiektywne rzeczy, takie jak certyfikaty, stopnie naukowe, staż pracy itd., Przeciętna kobieta zarabia o 40% więcej niż przeciętny mężczyzna. Istnieją trzy źródła dyskryminacji w zatrudnieniu na świecie.

Po pierwsze, menedżerowie lub właściciele nie chcą zatrudniać kogoś na podstawie jakiejś funkcji. Po drugie, współpracownicy nie chcą współpracować z ludźmi z tą funkcją. Po trzecie, klienci nie chcą osób, które mają jakąś funkcję. Wygląda na to, że dyskryminacja płacowa jest wywoływana przez klientów, ponieważ produkt pracy jest inny, a z perspektywy klientów także lepszy. Ta sama cecha powoduje, że higienistki stomatologiczne mężczyzn otrzymują niższe wynagrodzenie niż kobiety. Widać to również w tendencji do „urodzenia się tutaj” w światowych płacach piłkarskich.

Najlepszą kontrolą tego jest zrozumienie twoich danych i zaangażowanych sił społecznych. Każda firma, która korzysta z własnych danych, będzie miała tendencję do replikacji. To może być bardzo dobra rzecz, ale może również sprawić, że będą ślepi na siły w pracy. Druga kontrola polega na zrozumieniu funkcji celu. Zyski mogą być dobrą funkcją, ale może być złą funkcją. W doborze funkcji utraty obiektywu obowiązują wartości. Wreszcie pojawia się kwestia testowania danych pod kątem demograficznym w celu ustalenia, czy dochodzi do niefortunnej dyskryminacji.

Wreszcie, i jest to większy problem w takich rzeczach, jak sztuczna inteligencja, gdzie nie można uzyskać dobrych statystyk interpretacyjnych, będziesz chciał kontrolować paradoks Yule. Klasycznym przykładem historycznym jest odkrycie, że 44% mężczyzn przyjęto na UC Berkley, a tylko 35% kobiet przyjęto w 1973 roku. To była ogromna różnica i istotna statystycznie. Było to również mylące.

Było to oczywiście skandaliczne, dlatego uniwersytet postanowił sprawdzić, które z nich są głównymi przestępcami. Cóż, okazało się, że kiedy kontrolowałeś na kierunku major, było statystycznie istotne odchylenie na korzyść przyjmowania kobiet. Spośród osiemdziesięciu pięciu kierunków sześć było nastawionych na kobiety, a czterech na mężczyzn, pozostałe nie były znaczące. Różnica polegała na tym, że kobiety, nieproporcjonalnie, starały się o najbardziej konkurencyjne kierunki i tak niewielu z nich brało udział. Mężczyźni częściej ubiegali się o kierunki mniej konkurencyjne.

Dodanie paradoksu Yule tworzy jeszcze głębszą warstwę dyskryminacji. Wyobraź sobie, że zamiast testu płci przeprowadzono test płci według rodzaju pracy. Możesz zdać test neutralny pod względem płci w całej firmie, ale nie zdać egzaminu na poziomie zadania. Wyobraź sobie, że tylko kobiety były rekrutowane do V&V, a tylko mężczyźni do administrowania systemami. Wyglądałbyś neutralnie pod względem płci i nie byłbyś.

Jednym z potencjalnych rozwiązań tego problemu jest prowadzenie konkurencyjnych sztucznej inteligencji, które stosują różne obiektywne kryteria „dobroci”. Celem jest poszerzenie siatki, a nie jej zawężenie. Pomoże to również uniknąć kolejnego problemu w literaturze dotyczącej zarządzania. Podczas gdy 3% mężczyzn to socjopaci, liczba ta znacznie wzrasta wraz z postępem w hierarchii korporacyjnej. Nie chcesz filtrować pod kątem socjopatów.

Wreszcie, możesz nie chcieć rozważyć użycia AI dla niektórych rodzajów pozycji. Teraz szukam pracy. Jestem również pewien, że jestem odfiltrowywany i nie zastanawiałem się, jak to obejść. Siedzę na bardzo przełomowej nowej technologii. Problem polega na tym, że moja praca nie pasuje do magicznych słów. Zamiast tego mam następny zestaw magicznych słów. W tej chwili jestem wart fortunę dla właściwej firmy, ale w jednym przypadku, w którym złożyłem wniosek, otrzymałem automatyczny spadek w mniej niż minutę. Mam przyjaciela, który pełnił funkcję CIO agencji federalnych. Złożył podanie o pracę, w której kierownik ds. Rekrutacji czekał, aż nadejdzie jego zgłoszenie, aby mógł zostać mu zaproponowany. Nigdy nie doszło, ponieważ filtry go zablokowały.

To ustanawia drugi problem AI. Jeśli mogę poćwiczyć z życiorysami online, których zatrudnia Amazon, to mogę magicznie wyrazić moje życiorys. Rzeczywiście, pracuję teraz nad moim CV, aby dopasować je do filtrów innych niż ludzkie. Z e-maili od rekruterów mogę również stwierdzić, że niektóre części mojego CV są powiększane, a inne ignorowane. To tak, jakby proces rekrutacji i zatrudniania został przejęty przez oprogramowanie takie jak Prolog. Czy spełnione są ograniczenia logiczne? Tak! Jest to optymalny kandydat lub zestaw kandydatów. Czy są optymalne?

Nie ma gotowej odpowiedzi na twoje pytanie, tylko problemy do rozwiązania.

Dave Harris
źródło
(+1) Solidne obserwacje. Szczególnie podoba mi się dwuznaczność dotycząca interpretacyjnych stronniczości wyników i dodałbym tylko, że należy zdefiniować cel inżynierii społecznej, który jest zorientowany obiektowo, czyli jakąś wymierną korzyść. Na przykład dostępność pielęgniarki płci męskiej do wprowadzania cewników moczowych u mężczyzn nie wymagałaby, aby 50% pielęgniarek było mężczyznami.
Carl
@Dave. dzięki za wgląd. Czy możesz podać źródła „Kiedy kontrolujesz obiektywne rzeczy, takie jak certyfikaty, stopnie naukowe, staż pracy itd., Przeciętna kobieta zarabia o 40% więcej niż przeciętny mężczyzna”? i co masz na myśli przez „Nie chcesz filtrować w poszukiwaniu socjopatów”. ?
lcrmorin
@Lcrmorin socjopaci mają tendencję do szukania awansu. Jeśli replikujesz swoją istniejącą hierarchię, ponieważ korzystasz z jej danych, możesz znaleźć siebie dla tych zachowań, które filtrują pod kątem socjopatii. Istnieje przekonanie, że oprogramowanie będzie neutralne, ale wiele istniejących łańcuchów dowodzenia jest dalekich od neutralnych. Czasami filtrowanie mężczyzn nie jest tak naprawdę filtrowaniem mężczyzn, ale męskimi zachowaniami ukrywającymi socjopatię.
Dave Harris
@Lcrmorin Moje biuro jest teraz dosłownie w pudełkach, ponieważ jest przenoszone, w tym około siedmiuset artykułów z czasopism. Artykuł uderzył mnie, ponieważ w tym czasie szukałem inżynierów oprogramowania. To było jednak dwanaście lat temu. Po przeprowadzeniu badań terenowych i przeszkoleniu przyszłych inżynierów, sądzę, że kobiety muszą wychwycić zachowania mężczyzn, aby przetrwać w grupie silnie zdominowanej przez mężczyzn, ale mężczyźni nie muszą wychwycić zachowań, które przynoszą ze sobą kobiety. Domyślam się, że różnica pojawia się w procesie pozyskiwania wymagań.
Dave Harris
Byłem głównie sceptycznie nastawiony do liczby 40%, która wydaje się dużo i nigdzie w pobliżu tego, co ludzie, w tym ja, wydają się obecnie doświadczać.
lcrmorin
5

Aby zbudować tego rodzaju model, ważne jest, aby najpierw zrozumieć niektóre podstawowe statystyczne aspekty dyskryminacji i wyników procesu. Wymaga to zrozumienia procesów statystycznych, które oceniają obiekty na podstawie cech. W szczególności wymaga zrozumienia związku między zastosowaniem cechy do celów decyzyjnych (tj. Dyskryminacji) a oceną wyników procesu w odniesieniu do tej cechy. Zaczynamy od odnotowania:

  • Dyskryminacja (w jej właściwym znaczeniu) występuje, gdy zmienna jest używana w procesie decyzyjnym, a nie tylko wtedy, gdy wynik jest skorelowany z tą zmienną. Formalnie dyskryminujemy zmienną, jeśli funkcja decyzyjna w procesie (tj. Ocena w tym przypadku) jest funkcją tej zmiennej.

  • Rozbieżności w wynikach w odniesieniu do konkretnej zmiennej często występują, nawet jeśli nie ma dyskryminacji względem tej zmiennej . Dzieje się tak, gdy inne cechy funkcji decyzyjnej są skorelowane ze zmienną wykluczoną. W przypadkach, w których zmienna wykluczona jest zmienną demograficzną (np. Płeć, rasa, wiek itp.), Korelacja z innymi cechami jest wszechobecna, więc należy się spodziewać różnic w wynikach między grupami demograficznymi.

  • Można spróbować zmniejszyć dysproporcje w wynikach w grupach demograficznych poprzez działanie afirmatywne, które jest formą dyskryminacji. Jeśli występują rozbieżności w wynikach procesu w odniesieniu do zmiennej, możliwe jest zmniejszenie tych różnic poprzez użycie zmiennej jako zmiennej decyzyjnej (tj. Poprzez dyskryminację tej zmiennej) w sposób faworyzujący grupy, które są „niedostatecznie reprezentowane” (tj. grupy o niższych proporcjach pozytywnych wyników w procesie decyzyjnym).

  • Nie możesz tego zrobić na dwa sposoby - albo chcesz uniknąć dyskryminacji w odniesieniu do konkretnej cechy, albo chcesz wyrównać wyniki procesu w odniesieniu do tej cechy. Jeśli twoim celem jest „skorygowanie” rozbieżności w wynikach w odniesieniu do konkretnej cechy, nie oszukuj się z powodu tego, co robisz - angażujesz się w dyskryminację w celu akcji afirmatywnej .

Po zrozumieniu tych podstawowych aspektów statystycznych procesów decyzyjnych będziesz w stanie sformułować swój rzeczywisty cel w tym przypadku. W szczególności musisz zdecydować, czy chcesz mieć proces niedyskryminacyjny, który może skutkować różnicami wyników między grupami, czy też chcesz, aby proces dyskryminacyjny miał zapewnić równe wyniki procesu (lub coś podobnego). Etycznie kwestia ta naśladuje debatę na temat niedyskryminacji kontra działania afirmatywnego.


Powiedzmy, że chcę zbudować model statystyczny, aby przewidzieć wyniki na podstawie danych osobowych, na przykład ranking pięciu gwiazdek, aby pomóc w rekrutacji nowych osób. Powiedzmy, że chcę również uniknąć dyskryminacji ze względu na płeć, jako ograniczenia etycznego. Biorąc pod uwagę dwa ściśle równe profile oprócz płci, wyniki modelu powinny być takie same.

Łatwo jest upewnić się, że na oceny podane w modelu nie ma wpływu zmienna, którą chcesz wykluczyć (np. Płeć). Aby to zrobić, wystarczy usunąć tę zmienną jako predyktor w modelu, aby nie była używana w decyzji o ratingu. Zapewni to, że dwa profile, które są ściśle równe, oprócz tej zmiennej, będą traktowane tak samo. Jednak to nie koniecznie upewnić się, że model nie dyskryminuje na podstawie innej zmiennej, która jest skorelowana ze zmienną wyłączone i nie będzie na ogół prowadzi do rezultatów, które są równe między płciami. Wynika to z faktu, że płeć jest skorelowana z wieloma innymi cechami, które mogą być wykorzystane jako zmienne predykcyjne w twoim modelu, więc ogólnie spodziewalibyśmy się, że wyniki będą nierówne nawet przy braku dyskryminacji.

W związku z tym przydatne jest rozróżnienie między cechami, które są nieodłącznymi cechami płciowymi (np. Wkurzenie się), a cechami, które są jedynie skorelowane z płcią (np. Mają stopień inżyniera). Jeśli chcesz uniknąć dyskryminacji ze względu na płeć, zazwyczaj pociągałoby to za sobą usunięcie płci jako predyktora, a także usunięcie wszelkich innych cech, które uważasz za nieodłączną cechę płci. Na przykład, jeśli zdarza się, że kandydaci do pracy określają, czy sikają na stojąco czy w pozycji siedzącej, to jest to cecha, która nie jest ściśle równoważna płci, ale jedna opcja skutecznie określa płeć, więc prawdopodobnie usunąłbyś tę cechę jako predyktor w modelu.

  1. Czy powinienem wykorzystać płeć (lub jakiekolwiek powiązane z nią dane) jako dane wejściowe i spróbować skorygować ich efekt, czy też unikać używania tych danych?

Prawidłowo co dokładnie? Kiedy mówisz „skoryguj ich efekt”, zakładam, że masz na myśli, że rozważasz „skorygowanie” dysproporcji w wynikach spowodowanych przez predyktory skorelowane z płcią. Jeśli tak jest, i wykorzystujesz płeć, aby skorygować nierówność wyników, wówczas skutecznie angażujesz się w akcję afirmatywną - tj. Programujesz swój model, aby pozytywnie dyskryminować płeć, z myślą o zbliżeniu wyników do siebie. . To, czy chcesz to zrobić, zależy od twojego etycznego celu w modelu (unikanie dyskryminacji vs. uzyskiwanie równych wyników).

  1. Jak sprawdzić brak dyskryminacji ze względu na płeć?

Jeśli mówisz o rzeczywistej dyskryminacji, a nie o zwykłych różnicach w wynikach, łatwo to ograniczyć i sprawdzić. Wszystko, co musisz zrobić, to sformułować swój model w taki sposób, aby nie wykorzystywał płci (i nieodłącznych cech płciowych) jako predyktorów. Komputery nie mogą podejmować decyzji na podstawie cech, których nie wprowadzają do swojego modelu, więc jeśli masz nad tym kontrolę, powinno być dość łatwo sprawdzić brak dyskryminacji.

Sprawy stają się nieco trudniejsze, gdy używasz modeli uczenia maszynowego, które same próbują dowiedzieć się o odpowiednich cechach, bez Twojego udziału. Nawet w takim przypadku powinno być możliwe zaprogramowanie modelu tak, aby wykluczał predyktory, które chcesz usunąć (np. Płeć).

  1. Jak poprawić mój model pod kątem danych, które są statystycznie dyskryminujące, ale nie chcę tego robić z przyczyn etycznych?

Odnosząc się do danych „statystycznie dyskryminujących”, zakładam, że masz na myśli cechy, które są skorelowane z płcią. Jeśli nie chcesz tam tych innych cech, powinieneś po prostu usunąć je jako predyktory w modelu. Należy jednak pamiętać, że wiele ważnych cech będzie skorelowanych z płcią. Każda cecha binarna będzie skorelowana z płcią w każdym przypadku, gdy proporcja mężczyzn z tą cechą jest inna niż proporcja kobiet z tą cechą. (Oczywiście, jeśli proporcje te są bliskie, może się okazać, że różnica nie jest „statystycznie istotna”.) W przypadku bardziej ogólnych zmiennych warunek niezerowej korelacji jest również bardzo słaby. A zatem,

Ben - Przywróć Monikę
źródło
Alternatywą dla usuwania skorelowanych zmiennych byłoby szkolenie osobnych modeli dla mężczyzn i kobiet. Pytanie brzmi zatem, jak korzystać z tych oddzielnych modeli?
kjetil b halvorsen
Nudny. Podczas gdy przemyślane są zalety, na przykład założenia, np. „Jak problematyczne jest uprzedzenie płciowe”? nikt nie wszystko wie i nic nie zastąpi sprawdzania wyników post hoc .
Carl
1
+1 za miło. „Wszystko, co musisz zrobić, to sformułować swój model w taki sposób, aby nie wykorzystywał płci (i nieodłącznych cech płciowych) jako predyktorów”. Łatwo to napisać, ale rozpoczęcie tworzenia algorytmów dla decyzji społecznych, takich jak zatrudnienie, gdy społeczeństwo jest w środkach zaradczych, oznacza, że ​​rzeczy takie jak historia dochodów , wykształcenie i poprzednie stanowisko są przyczynowo związane z płcią.
Alexis,
4

Będzie to co najwyżej odpowiedź częściowa (lub brak odpowiedzi).

Pierwszą rzeczą do odnotowania jest to, że całkowicie zgadzam się z @dsaxton: wszystkie modele „dyskryminują” (przynajmniej w niektórych definicjach dyskryminacji), ponieważ taka jest ich funkcja. Problem polega na tym, że modele działają na podsumowaniach i średnich i przypisują rzeczy na podstawie średnich. Pojedyncze osoby są wyjątkowe i mogą być całkowicie niezgodne z przewidywaniami.

Przykład: rozważ prosty model, który przewiduje wspomniany pięciogwiazdkowy ranking na podstawie jednej zmiennej - wieku . Dla wszystkich osób w tym samym wieku (powiedzmy 30) będzie to taka sama wydajność. Jest to jednak uogólnienie. Nie każda osoba w wieku 30 lat będzie taka sama. A jeśli model tworzy różne stopnie dla różnych grup wiekowych - to już dyskryminuje ludzi ze względu na ich wiek. Powiedzmy, że daje rangę 3 dla 50-latków i rangę 4 dla 40-latków. W rzeczywistości będzie wielu 50-letnich ludzi, którzy są lepsi w tym, co robią, niż 40-letni. I będą dyskryminowani.


  1. Czy powinienem wykorzystać płeć (lub jakiekolwiek powiązane z nią dane) jako dane wejściowe i spróbować skorygować ich efekt, czy też unikać używania tych danych?

Jeśli chcesz, aby model zwrócił taki sam wynik dla mężczyzn i kobiet, którzy byliby równi, to nie powinieneś uwzględniać płci w modelu. Wszelkie dane związane z płcią powinny prawdopodobnie zostać uwzględnione. Wykluczając takie zmienne towarzyszące, możesz popełnić co najmniej 2 rodzaje błędów: 1) zakładając, że wszyscy mężczyźni i kobiety są równo podzieleni na wszystkie zmienne towarzyszące; 2) jeśli niektóre z tych zmiennych towarzyszących płci są zarówno istotne dla oceny, jak i jednocześnie związane z płcią - możesz znacznie zmniejszyć wydajność swojego modelu, wykluczając je.

  1. Jak sprawdzić brak dyskryminacji ze względu na płeć?

Uruchom model dokładnie na tych samych danych dwa razy - raz za pomocą „male”, a innym razem za pomocą „female”. Jeśli pochodzi z dokumentu tekstowego, niektóre słowa można zastąpić.

  1. Jak poprawić mój model pod kątem danych, które są statystycznie dyskryminujące, ale nie chcę tego robić z przyczyn etycznych?

Zależy od tego, co chcesz zrobić. Jednym z brutalnych sposobów wymuszania równości płci jest osobne zastosowanie modelu dla kandydatów na mężczyzn i kobiet. A następnie wybierz 50% z jednej grupy i 50% z innej grupy.

Twoje prognozy najprawdopodobniej ucierpią - ponieważ jest mało prawdopodobne, że najlepszy zestaw kandydatów będzie obejmował dokładnie połowę mężczyzn i pół kobiet. Ale prawdopodobnie byłbyś w porządku etycznie? - znowu zależy to od etyki. Widziałem deklarację etyczną, w której tego rodzaju praktyki byłyby nielegalne, ponieważ dyskryminowałyby również ze względu na płeć, ale w inny sposób.

Karolis Koncevičius
źródło
Dlaczego nie trenować osobno?
kjetil b halvorsen
Czy nie wprowadziłoby to jeszcze innej formy dyskryminacji - kobiety i mężczyźni byliby wybierani według różnych kryteriów.
Karolis Koncevičius
Może, ale warto spróbować. Mogłoby to również stanowić lepsze zasady dla mężczyzn, nie dając maszynie łatwego wyjścia.
kjetil b halvorsen
„A następnie wybierz 50% z jednej grupy i 50% z innej grupy”. czy nie doprowadziłoby to do pozytywnej dyskryminacji w przypadku różnic w pierwotnej populacji (zarówno pod względem liczby, jak i profilu)?
lcrmorin
2
@Lcrmorin Tak, oczywiście, że tak. Właśnie to rozumieją przez „ dyskryminowałoby to również ze względu na płeć, ale w inny sposób
Eff
4

Historia Amazona pokazuje, że bardzo trudno jest uniknąć stronniczości. Wątpię, czy Amazon zatrudnił głupich ludzi do tego problemu, czy brakowało im umiejętności, czy nie mieli wystarczającej ilości danych, czy też nie mieli wystarczającej liczby punktów AWS, aby wyszkolić lepszy model. Problem polegał na tym, że skomplikowane algorytmy uczenia maszynowego są bardzo dobre w uczeniu się wzorców w danych, uprzedzenie płciowe jest właśnie tego rodzaju wzorcem. Dane zawierały stronniczość, ponieważ osoby rekrutujące (świadomie lub nie) faworyzowały kandydatów płci męskiej. Nie mówię tutaj, że Amazon jest firmą, która dyskryminuje kandydatów do pracy, jestem pewien, że mają tysiące polityk antydyskryminacyjnych, a także zatrudniają całkiem niezłych rekruterów. Problem z tego rodzaju uprzedzeniami i uprzedzeniami polega na tym, że nie ma znaczenia, jak bardzo starasz się z nim walczyć. Istnieje mnóstwo eksperymentów psychologicznych pokazujących, że ludzie mogą zadeklarować brak uprzedzeń (np. Rasistowskich), ale nadal podejmują tendencyjne działania, nawet nie zdając sobie z tego sprawy. Ale odpowiadając na twoje pytanie, aby mieć algorytm, który nie jest stronniczy, musisz zacząć od danych wolnych od tego rodzaju stronniczości. Algorytmy uczenia maszynowego uczą się rozpoznawać i powtarzać wzorce, które widzą w danych, więc jeśli dane rejestrują tendencyjne decyzje, algorytm prawdopodobnie nauczy się i zwiększy te odchylenie.

Drugą rzeczą jest zarządzanie danymi. Jeśli chcesz zabronić algorytmowi uczenia się podejmowania stronniczych decyzji, powinieneś usunąć wszystkie informacje, które pomogłyby w rozróżnieniu grup interesów (tutaj płeć). Nie oznacza to usunięcia tylko informacji o płci, ale także wszystkich informacji, które mogą prowadzić do identyfikacji płci, a może to być wiele rzeczy. Są oczywiste, takie jak nazwisko i zdjęcie, ale także pośrednie, np. Wznowienie urlopu macierzyńskiego, ale także edukacja (co jeśli ktoś poszedł do szkoły tylko dla dziewcząt?), A nawet historia pracy (powiedzmy, że osoby rekrutujące w Twojej firmie nie są stronnicze , ale co jeśli każdy inny rekrutujący wcześniej był stronniczy, więc historia pracy odzwierciedla wszystkie te stronnicze decyzje?) itp. Jak widać,

Jeśli chodzi o pytania 2. i 3., nie ma łatwych odpowiedzi i nie czuję się wystarczająco kompetentny, aby spróbować odpowiedzieć na nie szczegółowo. Istnieje mnóstwo literatury na temat uprzedzeń i stronniczości w społeczeństwie oraz na temat stronniczości algorytmicznej. Jest to zawsze skomplikowane i niestety nie ma na to prostych przepisów. Firmy, takie jak Google, zatrudniają ekspertów, których rolą jest identyfikowanie i zapobieganie tego rodzaju stronniczości w algorytmach.

Tim
źródło
1
Alternatywą dla usunięcia wszystkiego, co pomaga modelowi w rozróżnieniu płci (konkretności), może być trenowanie modelu z płcią, a następnie przy przewidywaniu (lub cokolwiek) uruchom prognozę dwa razy, raz dla każdej płci, uśredniając wyniki.
jbowman
@jbowman Skutkuje to niewielkimi konsekwencjami interpretacyjnymi i utrwalaniem wbudowanych uprzedzeń w czasie.
Alexis,
Sprawa Amazon w żaden sposób nie wykazuje stronniczości. Może to być po prostu zjawisko zwane stereotypową dokładnością . Czasami cechy faktycznie korelują ze zmiennymi demograficznymi. Oto przykład. Wiesz, że osoba X to młoda klasa średnia. Jak prawdopodobne jest, że popełnią przestępstwo z użyciem przemocy? Teraz podaję ci jeszcze jedną informację: ich płeć. Czy to zmienia prawdopodobieństwo? Oczywiście. Czy to jest stronnicze ? Oczywiście nie. Jest to tak zwana dokładność stereotypów.
Eff
1
@Eff i tak dzieje się dyskryminacja ... Kobiety zarabiają średnio mniej, więc zapłaćmy im mniej! Cały punkt , nie mając algorytmy dyskryminacyjnej jest to, że nie powinno się używać tych informacji do podejmowania decissions, nawet jeśli wydaje się średnio do pracy. Co więcej, jeśli często działa z powodu uprzedzeń społecznych (np. Staramy się płacić więcej mężczyznom, afrykańscy Amerykanie częściej trafiają do więzienia za dokładnie taką samą zbrodnię w porównaniu z Amerykanami rasy białej itp.), Więc stereotyp jest trafny, ponieważ istnieje jest stereotypem, nie ze względu na naturę stereotypowej grupy.
Tim
1
@Tim Nope. Chociaż może być trochę prawdy w tym, co mówisz, ogólnie rzecz biorąc, nie jest to prawda. Wzywam do przeczytania książki Lee Jussim „Percepcja społeczna i rzeczywistość społeczna: dlaczego dokładność dominuje uprzedzenia i samospełniające się proroctwa” . W tej ważnej książce autor dokonuje przeglądu całej literatury naukowej na temat stereotypów, uprzedzeń, samospełniających się przepowiedni itp. Pokazuje, że dowody w przeważającej mierze pokazują, że to, co opisujesz, stanowi mniejszość tego, co się dzieje.
Eff
1
  1. Czy powinienem wykorzystać płeć (lub jakiekolwiek powiązane z nią dane) jako dane wejściowe i spróbować skorygować ich efekt, czy też unikać używania tych danych?

Istnieje kilka implikacji tego pytania, które sprowadzają się do następującego: Czy chcę zostać inżynierem społecznym; działacz, którego rolą jest zmiana status quo, ponieważ zdecydowałem, że społeczeństwo jest chore i wymaga terapii?Oczywista odpowiedź na to pytanie zależy od tego, czy taka zmiana jest korzystna czy szkodliwa. Na przykład odpowiedź na „Co zyskalibyśmy z równości płci dla personelu pielęgniarskiego?” może być tak, że posiadanie co najmniej jednej pielęgniarki płci męskiej do wprowadzania cewników moczowych u mężczyzn nie wymagałoby, aby aż 50% pielęgniarek było mężczyznami. Tak więc podejście inżynierii społecznej bada różne kultury, konteksty i problemy ze znanym uprzedzeniem ze względu na płeć i daje korzyści funkcjonalne, jakie można uzyskać ze zmian pierwotnej przyczyny (przyczyn) tego uprzedzenia. Jest to niezbędny krok w procesie decyzyjnym. Odpowiedź na pytanie 1. brzmi: nie, to znaczy, gdy ktoś zdecyduje, że społeczeństwo wymaga naprawy, dodaje po prostu gwiazdkę lub jej ułamek (patrz poniżej) kobietom-kandydatom, ale uważajcie na to, czego pragniecie, ponieważ jest to akcja afirmatywna, która sama w sobie jest z natury dyskryminująca. Wszelkie wyniki sztucznej inteligencji zmienią się, aby odzwierciedlić nowe normy zatrudniania, gdy zostaną one ustanowione jako nowa norma funkcjonalna.

  1. Jak sprawdzić brak dyskryminacji ze względu na płeć?

To proste, po przypisaniu ocen, przeprowadzana jest analiza post hoc, aby zobaczyć rozkład ocen wśród mężczyzn i kobiet i porównać je.

  1. Jak poprawić mój model pod kątem danych, które są statystycznie dyskryminujące, ale nie chcę tego robić z przyczyn etycznych?

Jest to nieuniknione po fakcie, tj. Post hoc . Przemyślenie jest również konieczne, ale najbardziej potrzebnym rodzajem rozważania jest skoordynowana próba krytycznego zbadania założeń inżyniera społecznego. To znaczy, zakładając (dla celów dyskusji, patrz poniżej), że jest to socjologicznie uzasadnione, aby wyeliminować wszelkie uprzedzenia ze względu na płeć, wystarczy jedynie skorygować oceny kobiet, aby były zgodne z tym samym rozkładem empirycznym, co mężczyźni. W branży dydaktycznej byłoby to nazywane ocenianiem na krzywej. Ponadto, przypuśćmy, że całkowite wyeliminowanie uprzedzeń płciowych może nie być pożądane (może to być zbyt destrukcyjne), wówczas można częściowo wyeliminować uprzedzenia, np. Średnią ważoną parami każdej rodzimej kobiety ocena i jej w pełni skorygowana ocena, z dowolnymi wagami, które chce się przypisać, które są uważane (lub testowane jako najmniej szkodliwe i / lub najbardziej korzystne).

Nierówności płci nie można odpowiednio zmienić poprzez samodzielne zatrudnianie polityk, ponieważ w niektórych dziedzinach istnieje stosunkowo niewielki odsetek kobiet kandydujących. Na przykład w Polsce 14,3% studentów kierunków informatycznych stanowiły kobiety w 2018 r., Aw Australii 17% . Po zatrudnieniu zatrzymanie kobiet w branżach intensywnie korzystających z technologii było problematyczne (kobiety na stanowiskach biznesowych w branżach intensywnie korzystających z technologii odchodzą do innych branż w wysokim tempie - 53% kobiet w porównaniu z 31% mężczyzn). W związku z tym satysfakcja kobiet z pracy może być być ważniejsze niż sama polityka zatrudnienia. Najpierw należy zidentyfikować wymierną korzyść z posiadania określonego odsetka kobiet w miejscu pracy, a istnieją na to pewne wskazówki, na przykład w 2016 r., kobiety w zarządach przedsiębiorstw (16%) były prawie dwa razy bardziej prawdopodobne niż ich mężczyźni (9%), którzy mieli doświadczenie w zakresie technologii wśród 518 firm Forbes Global 2000. Tak więc oszczędność technologii wydaje się bardziej przyczyniać do wartości netto kobiet niż mężczyzn. Z tej dyskusji powinno być oczywiste, że przed przyjęciem założeń dotyczących płci należy podjąć znaczny wysiłek w celu zidentyfikowania bardziej konkretnych globalnych korzyści wynikających z określonych polityk, których polityka zatrudnienia jest tylko niewielką, choć ważną, częścią i prawdopodobnie nie najważniejszą punkt początkowy. To ostatnie jest prawdopodobnie zatrzymaniem pracowników, ponieważ obrót jest niekorzystny dla moralności i może być podstawową przyczyną stronniczości przy zatrudnianiu.

Moje doświadczenie w zarządzaniu nauczyło mnie, że nawet niewielkie zmiany wydajności pracy (np. 10-20%) są dość skuteczne w ostatecznym wyeliminowaniu list oczekujących, to znaczy, że nie ma potrzeby natychmiastowego zwiększania wydajności o 100% poprzez podwojenie liczby pracowników w wyniku skróci to listę oczekujących tylko nieznacznie szybciej niż będzie to miało miejsce w przypadku mniejszej zmiany, ale wtedy będzie zakłócające, ponieważ personel będzie stał w pobliżu, mając nadzieję, że praca wejdzie do drzwi. Oznacza to, że jeśli ktoś zdecyduje się na socjotechnikę, próba pełnej korekty może być szkodliwa; to nie działa w ten sposób. Spróbuj tego z nagłą korektą kursu na żaglówce, a możesz skończyć ćwicząc naukę pływania. Odpowiednikiem leczenia uprzedzeń ze względu na płeć (jeśli recepta jest odpowiednia) byłoby zatrudnienie tylko kobiet. To rozwiązałoby problem (i stworzyło inne). Więc,

Podsumowując, skuteczna inżynieria społeczna wymaga holistycznego podejścia do skomplikowanych sytuacji, a samo stwierdzenie, że może istnieć problem, nie mówi nam, że taki jest, nie mówi nam, co go powoduje, nie mówi nam, jak to naprawić, a nawet wszystko mówi nam, że musimy założyć czapki myślenia.

Carl
źródło