Co się działo przed nauką PAC

Badam uczenie się PAC (teorii uczenia obliczeniowego) jako początkujący bez wcześniejszej wiedzy o uczeniu maszynowym / sztucznej inteligencji. Model badam głównie z historycznego punktu widzenia.

W tym celu najważniejsze są oczywiście wyniki oparte na modelu. Istnieje wystarczająco dużo dokumentów, które dokumentują te wyniki. Ale chcę też napisać coś o tym, co działo się przed nauką PAC, aby naszkicować kontekst historyczny do miejsca, w którym Valiant przyszedł z koncepcją modelu PAC.

Nie znalazłem do tej pory żadnych dokumentów / ankiet, a jako osoba nie posiadająca prawdziwej wiedzy na temat uczenia maszynowego, trudno to znaleźć. Dlatego zadaję tutaj to miękkie pytanie, ponieważ uważam, że istnieje wystarczająca liczba ekspertów, którzy mogą mi w tym pomóc. Referencje są bardzo cenione.

Kiedy mogę badać i badać, co działo się przed PAC, mógłbym lepiej zrozumieć, dlaczego świat akademicki jest tak entuzjastycznie nastawiony do modelu PAC, co jest również czymś, co warto udokumentować w mojej pracy historycznej!

Referencje są bardzo cenione.

Oczekuje się, że autor odniesie się do kwestii kontekstu i znaczenia swoich wyników na początku swojej publikacji. Właśnie przejrzałem wprowadzenie „L. Valiant. Teoria uczenia się. Communications of the ACM, 27, 1984.” jeszcze raz i dowiedziałem się, że Valiant rzeczywiście dobrze odpowiedział na twoje pytanie.

Oryginalny artykuł Valiant jest dostępny bezpłatnie i nie jest zbyt trudny do odczytania. (Z wyjątkiem sekcji 7, która tylko dowodzi, że autor potrafi również rozwiązywać trudne problemy matematyczne, ale nie przyczynia się zbytnio do prawdziwej treści artykułu). Przeczytanie przynajmniej jego wprowadzenia będzie bardziej satysfakcjonujące niż przeczytanie mojej zbyt długiej odpowiedzi na to pytanie pytanie, więc proponuję naprawdę spróbować.

Pozostała część tej odpowiedzi próbuje zacytować kilka fragmentów wstępu, które powinny wskazywać, czy czytanie tego wstępu może odpowiedzieć na pytanie o kontekst historyczny. Zauważ jednak, że autor ma naturalną prerogatywę, aby być stronniczym w odniesieniu do takich pytań.

... taki system byłby przynajmniej bardzo dobrym początkiem. Po pierwsze, gdy badamy najsłynniejsze przykłady systemów, które zawierają zaprogramowaną wiedzę, a mianowicie systemy eksperckie, takie jak DENDRAL i MYCIN , zasadniczo nie stosuje się żadnej logicznej notacji poza rachunkiem zdań.

Jest to interesująca informacja dla kontekstu, ponieważ rachunek zdań jest znacznie słabszy niż rachunek predykatywny lub różne obecnie stosowane systemy teorii typów. (Dziwne jednak, Prolog (1972) i ML (1973) były między innymi przeznaczone jako metajęzyki dla „takich” systemów eksperckich i wydają się wykraczać poza prostą logikę zdań, o ile widzę. Ponadto model relacyjny ( 1969) dla zarządzania bazami danych twierdzi się, że opiera się na logice predykatów.)

Być może głównym technicznym odkryciem zawartym w artykule jest to, że z tym probabilistycznym pojęciem uczenia się możliwe jest wysoce zbieżne uczenie się dla całych klas funkcji boolowskich. Wydaje się, że odróżnia to podejście od bardziej tradycyjnych, w których uczenie się postrzegane jest jako proces „indukowania” jakiejś ogólnej reguły od informacji niewystarczających do wiarygodnego wnioskowania.

W pełni się z tym zgadzam. Ważne jest, aby móc wyjaśnić, w jaki sposób twoje rozwiązanie jest w stanie rozwiązać dany problem iw jakim sensie jest to rozwiązanie. W przeciwnym razie po prostu kończą się twierdzenia o braku obiadu, które nie pozwalają odróżnić błędnej implementacji wątpliwej heurystyki od poprawnej implementacji odpowiedniej heurystyki.

Podsumowując, niniejszy artykuł próbuje zbadać granice tego, czego można się nauczyć, na co pozwala złożoność algorytmiczna. Wyniki można odróżnić od różnorodnych treści poprzednich prac nad uczeniem się, ponieważ próbują one pogodzić trzy wspomniane wcześniej właściwości ((1) - (3)). Rygorystycznie najbliżej naszego podejścia jest literatura wnioskowania indukcyjnego [...]. Wiele pracy poświęcono rozpoznawaniu i klasyfikowaniu wzorców przy użyciu narzędzi statystycznych i innych [...]. Nauka, w różnych mniej formalnych sensach, była szeroko badana jako gałąź sztucznej inteligencji.

Właściwości ((1) - (3)) polegały na tym, że (1) „maszyny mogą w sposób udowodniony nauczyć się całych charakterystycznych klas pojęć”, które są (2) „odpowiednie i nietrywialne dla wiedzy ogólnego przeznaczenia” oraz (3) „obliczeniowe proces wymaga jedynie wykonalnej (tj. wielomianowej) liczby kroków ".

Identyfikacja języka w granicy jest pierwszą znaną próbą uchwycenia pojęcia możliwości uczenia się. Został wprowadzony przez Golda w 1967 roku i jest modelem wnioskowania indukcyjnego, który dotyczy uczenia się języków.