Czy eksperci są szkodliwi?

15

Czytam „Rola szachów w badaniach nad sztuczną inteligencją” ( pdf ) i co ciekawe:

Doświadczenie [...] sugeruje, że wkładom ekspertów szachowych, choć ogólnie przydatnymi, nie można całkowicie ufać.

Dobrym przykładem tego jest funkcja oceny Głębokiej Myśli. Kilka zmian dokonanych przez zdolnych ludzi-szachistów nie przyniosło znaczących ulepszeń, a czasami nawet wpłynęło negatywnie na wydajność maszyny.

Tutaj ludzcy eksperci wraz ze swoją wiedzą specjalistyczną wprowadzili do programu własne uprzedzenia. Jednym ze sposobów rozwiązania tego problemu jest ograniczenie rodzaju i ilości danych eksperckich dozwolonych w programie; w innych posiadanie prawie „pozbawionej wiedzy” maszyny.

  • Jak prawdziwe jest to we współczesnych badaniach i praktyce?
  • Czy to duży problem, czy może coś konkretnego w szachach?
andreister
źródło
3
w NLP jest słynny cytat na ten temat. Coś w stylu „za każdym razem, gdy
zwalniam
3
Odpowiedź Atilli jest w dużej mierze poprawna (z kwalifikacjami, które podaję jako komentarz), ale pomyślałem, że zwrócę uwagę, że w konkretnym przypadku szachów wykazano, że Głęboka Myśl gra w szachy zupełnie inaczej niż eksperci szachowi. Głęboka myśl wyraźnie oblicza wiele ruchów z góry. Eksperci obliczają tylko kilka ruchów, ale wykorzystują także skrót obliczeniowy do zapamiętywania wcześniej doświadczonych gier i wyników. To zapamiętywanie objawia się poprzez ukryte rozpoznawanie wzorców, które nakłada na grę emocje (niektóre ruchy „po prostu czują się dobrze”).
Mike Lawrence

Odpowiedzi:

11

Myślę, że chodzi tu bardziej o rozwiązywanie problemów inżynieryjnych. Większość udanych projektów inżynierskich nie powiela dokładnie uzasadnienia eksperta ani jego charakteru. Rozwiązali problem w inny sposób.

Na przykład pralki używają innej techniki niż ludzie, samoloty używają innej dynamiki niż ptaki.

Jeśli kopiujesz uzasadnienie eksperta, ich wkład jest wszystkim . Ale jeśli rozwiązujesz ten sam problem za pomocą różnych technik (szybkie wyszukiwanie, ogromna pamięć ...), ich wkład jest tylko pomocny .

Atilla Ozgur
źródło
Chociaż się z tobą zgadzam, to rozumowanie wydaje się zbyt oczywiste, przepraszam :) W artykule mówią, że eksperci „przedstawili swoje własne uprzedzenia”, co wydaje się nieco więcej niż nieporozumieniami we wdrażaniu.
andreister
Oczywiście przekazują dane zarówno dobre, jak i złe, ponieważ widzą świat na swój własny sposób, który bardzo różni się od widoku komputera.
Atilla Ozgur
7
Dodam, że należy wziąć pod uwagę, że wiedza specjalistyczna jest często tak zautomatyzowana, że ​​staje się nieprzejrzysta dla świadomego badania. Dlatego eksperci często mogą nie mieć możliwej do zweryfikowania świadomości kroków przetwarzania informacji, które podejmują w celu osiągnięcia wyników eksperckich.
Mike Lawrence
3

Takie problemy są powszechne w różnych obszarach wymagających osądu.

Rozdział „ Prognozowanie i korekty osądowe” w Makridakis, Wheelwright i Hyndman Forecasting: Metody i aplikacje mają podobne historie eksperckich osądów, które nie są skuteczne nawet czasami bardzo proste systemy.

Istnieje artykuł (Dawes i in. (1989) „Clinical vs. Actuarial Judgement” Science , tom 243, nr 4899, str. 1668-74) na temat błędów w ocenie eksperta w dziedzinie medycyny w porównaniu z tak zwanymi metodami „aktuarialnymi” - w zasadzie dość prostym modele statystyczne.

Z drugiej strony w literaturze aktuarialnej znajduje się artykuł na temat „hałaśliwości” i niespójności oceny eksperckiej w konkretnym problemie w tej dziedzinie, w której ocena eksperta jest często uznawana przez jej praktyków za nadrzędne.

Makridakis i wsp. Dyskutują o błędach oceny eksperckiej w wielu obszarach, ponieważ dotyczą one prognozowania i zawierają sporo cennych porad.

I tak dalej. Mnożą się uprzedzenia poznawcze, a eksperci ludzcy cierpią na nie wraz ze wszystkimi innymi.

Glen_b - Przywróć Monikę
źródło
3

Pytanie, czy eksperci są szkodliwi, z pewnością nie jest problemem ograniczonym do gry w szachy.

Ciekawe pytanie w literaturze dotyczące optymalnego projektu komitetów polityki pieniężnej (RPP) dotyczy tego, czy w komitetach powinni brać udział eksperci zewnętrzni, którzy nie są pełnoetatowymi pracownikami banku centralnego.

Aby spojrzeć na to z perspektywy, najpierw rozważ RPP Banku Anglii. Składa się z pięciu wewnętrznych członków wykonawczych banku i czterech zewnętrznych ekspertów. Z drugiej strony Bank Rezerw Federalnych zatrudnia komitet złożony wyłącznie z pracowników banku.

Zewnętrzni członkowie ekspertów są włączeni do RPP Banku Anglii, ponieważ uważa się, że wnoszą wiedzę specjalistyczną i dodatkowe informacje do zdobytych w Banku Anglii.

Który projekt MPC jest lepszy? Eksperci czy eksperci?

Ten obszar badań jest nadal aktywny i został niedawno zbadany przez Hansen i McMahon (2010) . Sugeruję zapoznanie się z odniesieniami wymienionymi w tym dokumencie w celu dalszego czytania w tej kwestii „komitetów ekspertów”.

Czy to duży (ważny) problem? Biorąc pod uwagę wpływ, jaki decyzja RPP może mieć na gospodarkę, powiedziałbym, że jest to dość ważny problem!

Na koniec muszę wspomnieć, że teoretycznie decyzje dotyczące polityki pieniężnej można przekazać komputerowi. Na przykład komputer może być zaprogramowany do wprowadzenia, powiedzmy, prostej reguły polityki pieniężnej ; na przykład jedno zobowiązanie. Pozwoliłoby to usunąć wkład ekspertów po zaprogramowaniu reguły polityki pieniężnej w komputerze. Wykorzystanie komputera w polityce pieniężnej jest wspomniane w Svensson (1999) .

Odniesienie : Stephen Eliot Hansen i Michael McMahon, 2010. „Co eksperci zewnętrzni wnoszą do komitetu? Dowody z Banku Anglii”, Economics Working Papers 1238, Department of Economics and Business, Universitat Pompeu Fabra.

Lars EO Svensson, 1999. „Jak prowadzić politykę pieniężną w erze stabilności cen?”, Proceedings, Bank Rezerw Federalnych w Kansas City, strony 195–259.

Graeme Walsh
źródło
3

Myślę, że kluczem jest konsekwencja. Ekspert ma nie tylko szczególną wiedzę, ale system, w którym ta wiedza działa. Mają osobowość, ogólną strategię, w ramach której ich taktyka opiera się i ewoluuje.

W pewnym sensie program komputerowy grający w szachy to potwór Frankensteina stworzony z połączenia różnych ciał (programistów, ekspertów itp.). Nic więc dziwnego, że porady jednego eksperta nie pasowałyby dobrze do istniejącego systemu.

Zgadzam się z innymi komentarzami, że eksperci mogą nie wiedzieć, jak robią to, co robią. W takim przypadku, będąc człowiekiem, ich świadomy umysł tworzy wiarygodną historię, dlaczego podjęli określoną decyzję. Ale nadal uważam, że porady ekspertów dla zespołu programistów zawsze są poza kontekstem (tj. Są niezgodne z kontekstem projektu i historii programu).

EDYCJA: Może być tutaj również błąd nastawienia zbrojenia. Nie mogę znaleźć żadnych dobrych linków, które mogłyby wyjaśnić stronniczość zbrojenia, ale w moim rozumieniu tego terminu jest to efekt, który uzyskujesz, gdy aktualizujesz (remontujesz) model nadzorowany, wykorzystując poprzednie wyniki modelu - zwykle pośrednio - jako cele. Jest podobny do stronniczości Potwierdzenia, ale wiąże się z pewnym poziomem pośrednictwa. Ludzcy eksperci mieliby swoje Wzmocnienia, które mogłyby mieć wpływ na różne rzeczy.

Wayne
źródło
Nie jestem pewien, czy rozumiem twoje ostatnie zdanie, które wydaje się być ciekawym punktem. Czy mógłbyś opracować?
Michelle,
@Michelle: Program, który mamy nadzieję ulepszyć dzięki poradom ekspertów merytorycznych, ma już swój własny kontekst (oryginalny projekt, programiści, wcześniejsi eksperci itp.). Rada, którą staramy się zastosować, pochodzi z innego kontekstu i może nie działać dobrze - może nawet nie być spójna - z kontekstem, który ma już program. Moja ostatnia wypowiedź była próbą stwierdzenia, że ​​w rzeczywistości jest mało prawdopodobne, aby nowe dane wejściowe działały w kontekście (programu), który został już ustanowiony.
Wayne