Jakie są matematyczne warunki dla badacza AI?

12

Jakie są matematyczne przesłanki do zrozumienia podstawowej części algorytmów sztucznej inteligencji i opracowania własnego algorytmu?

Proszę polecić mi konkretne książki.

sbhusal123
źródło

Odpowiedzi:

9

Fundacja Dobra Matematyka

Zacznij od zapewnienia pełnej kompetencji w zakresie algebry pośredniej i niektórych innych podstaw rachunku różniczkowego i matematycznego, w tym terminologii i podstawowych pojęć w ramach tych tematów.

  • Nieskończona seria
  • Dowody logiczne
  • Algebra liniowa i macierze
  • Geometria analityczna, zwłaszcza rozróżnienie między ekstremami lokalnymi i globalnymi (minima i maksima), punktami siodłowymi i punktami przegięcia
  • Ustaw teorię
  • Prawdopodobieństwo
  • Statystyka

Podstawy cybernetyki

Norbert Wiener, Cybernetics, 1948, MIT Press, zawiera szeregi czasowe i koncepcje zwrotne z jasnością i rozkazem, których nie widać w kolejnych pracach; zawiera także wprowadzenie do teorii informacji rozpoczynające się od wzoru log 2 Shannona, służącego do definiowania ilości informacji w bitach. Jest to ważne, aby zrozumieć rozszerzenie koncepcji entropii informacji.

Rachunek różniczkowy

Znajdź dobrą księgę rachunkową i upewnij się, że masz jasność co do kluczowych teorii i zastosowań w tych kategoriach.

  • Szereg czasowy
  • Nieskończona seria
  • Konwergencja - Sztuczne sieci idealnie łączą się z optymalnymi podczas nauki.
  • Częściowe różnice
  • Macierze Jakobiańskie i Heskie
  • Matematyka wielowymiarowa
  • Regiony graniczne
  • Dyskretna matematyka

Wiele z nich znajduje się w Calculus , Strang, MIT, Wellesley-Cambridge Press . Chociaż plik PDF jest dostępny w Internecie, jest prosty i niezbyt głęboki. Ta w naszej bibliotece laboratoryjnej to Intermediate Calculus , Hurley, Holt Rinehart i Winston, 1980 . Jest obszerny i pod pewnymi względami lepiej rozplanowany niż ten, który mam w mojej domowej bibliotece, którą Princeton używa do drugiego roku.

Upewnij się, że czujesz się komfortowo pracując w przestrzeniach poza ℝ 2 (poza 2D). Na przykład RNN często znajdują się w przestrzeniach, takich jak ℝ 4 Thorugh ℝ 7, ze względu na poziomy, pionowy, głębokość pikseli i wymiary klatki filmu.

Skończona matematyka

Szkoda, że ​​żadna kombinacja trzech książek, o których myślę, nie ma ich wszystkich.

  • Grafy kierunkowe - dowiedz się tego PRZED drzewami lub obwodami (sieciami sztucznymi), ponieważ jest to nadzbiór topografii wszystkich tych konfiguracji
  • Drzewa z symbolami abstrakcyjnymi (AST)
  • Zaawansowana teoria mnogości
  • Drzewa decyzyjne
  • Łańcuchy Markowa
  • Teoria chaosu (szczególnie różnica między losowym a pseudolosowym)
  • Teoria gier zaczynając Von Neumanna i Morgensterna teorii gier , przełomowej pracy w tej dziedzinie
  • Konwergencja w układach dyskretnych, zwłaszcza zastosowanie teorii do nasycenia sygnału w arytmetyce liczb całkowitych, stałych i zmiennoprzecinkowych
  • Środki statystyczne, odchylenia, korelacja i bardziej progresywne pojęcia entropii, entropii względnej i entropii krzyżowej
  • Dopasowanie krzywej
  • Skręt
  • Prawdopodobieństwo, zwłaszcza twierdzenie Bayesa
  • Teoria algorytmiczna (twierdzenia o niepewności Gödla i kompletność Turinga)

Chemia i neurologia

Dobrze jest przywołać równowagę chemiczną z chemii w szkole średniej. Balance odgrywa kluczową rolę w bardziej wyrafinowanych projektach AI. Zrozumienie symbiotycznej relacji między modelami generatywnymi i dyskryminacyjnymi w sieciach GAN pomoże uczniowi pogłębić to zrozumienie.

Funkcje kontrolne w systemach biologicznych pozostają głównym źródłem dowodów na potwierdzenie koncepcji w badaniach nad sztuczną inteligencją. W miarę jak badacze stają się bardziej kreatywni w wyobrażaniu sobie form adaptacji, które nie naśladują bezpośrednio niektórych aspektów biologii (wciąż daleko od tego pisania), kreatywność może odgrywać większą rolę w formułowaniu celów badań nad AI.

Mimo to AI prawdopodobnie pozostanie dziedziną w dużej mierze interdyscyplinarną.

FauChristian
źródło
2
Kilka komentarzy: 1) Zgadzam się z tym, co napisał John w swojej odpowiedzi, że jego odpowiedź dotyczy bardziej ogólnego „rdzenia”, podczas gdy twój zawiera rzeczy, które mogą być przydatne lub mogą nie zależeć od tego, w którą dziedzinę AI ktoś się wchodzi. 2) Wiele rzeczy, które opisujesz pod „matematyką w szkole średniej”, nie jest (koniecznie) matematyką w szkole średniej, a przynajmniej nie w Europie (nie wiem o USA). W Holandii tak naprawdę nie dostałem żadnej algebry liniowej, macierzy, nieskończonych szeregów ani teorii teorii aż do pierwszego roku studiów. Niektóre z nich mogłyby pojawić się wcześniej, gdybym wybrał inny zestaw kursów w szkole średniej.
Dennis Soemers,
2
3) Analiza funkcjonalna / teoria pomiarów może być przydatna w niektórych obszarach. Ale znowu, to bardzo zależy od tego, jak głęboko chcesz zajść jako badacz AI. Niektórzy badacze AI po bardziej teoretycznej stronie rzeczy uznają, że prawie wszystkie te rzeczy są przydatne. Inni badacze AI bardziej po stronie empirycznej / oprogramowania / programowania potrzebują znacznie, dużo mniej. Oba nadal mogą dostarczyć bardzo cennych badań.
Dennis Soemers,
7

Pracuję jako profesor, a ostatnio opracowałem wymagania matematyczne dla nowej specjalizacji AI, w porozumieniu z wieloma moimi kolegami z innych instytucji.

Inne odpowiedzi, szczególnie @ FauChrisian, wykonują dobrą robotę w katalogowaniu wszystkich konkretnych tematów, które mogą być przydatne gdzieś w AI, ale nie wszystkie z nich są równie przydatne do zrozumienia podstawowych tematów. W innych przypadkach zrozumienie tematu jest zasadniczo takie samo, jak zrozumienie powiązanych algorytmów sztucznej inteligencji, dlatego zwykle po prostu uczymy ich razem, zamiast zakładać wymaganą wiedzę. Na przykład, procesy decyzyjne Markowa nie są trudne do nauczenia dla kogoś, kto już zna podstawy teorii grafów i prawdopodobieństw, dlatego zwykle omawiamy je, gdy uczymy uczenia wzmacniającego na kursie sztucznej inteligencji, a nie jako osobny temat w matematyce. kierunek.

Wymagania matematyczne, na których się ustaliliśmy, wyglądają następująco:

  • Jeden lub dwa semestralne kursy matematyki dyskretnej. To tyle samo, aby zapewnić komfort z dowodem i matematyczną dyscypliną, jak w przypadku każdego konkretnego tematu w tej dziedzinie. Przeważnie jest to wiedza „fundamentalna”, ale jej fragmenty okazują się bardzo przydatne. Wygoda z nieskończonymi sumowaniami, podstawy wykresów, kombinatoryka i analiza asymptotyczna są być może najbardziej bezpośrednimi częściami. Lubię książkę Susanny Epp .

    • Jeden lub dwa semestralne kursy z algebry liniowej, które są przydatne w szerokim zakresie tematów AI, zwłaszcza uczenia maszynowego i eksploracji danych. Lay & Lay to dobra książka, ale prawdopodobnie nie najlepsza. Shilov jest zaleceniem Iana Goodfellowa i innych, ale sam tego nie próbowałem.

    • Kurs prawdopodobieństwa i być może nowoczesny kurs statystyki (tj. Z naciskiem na Bayesa). Starszy kurs statystyczny lub ten skierowany do naukowców-naukowców nie jest jednak zbyt przydatny. Moi koledzy statystycy korzystają obecnie z Lock5 i mają z tym dobre doświadczenia.

    • Przynajmniej rachunek różniczkowy i całkowy, a najlepiej przynajmniej pochodne cząstkowe w rachunku wektorowym, ale być może cały przebieg. Jest to przydatne w optymalizacji, uczeniu maszynowym i ekonomicznym podejściu do sztucznej inteligencji. Stewart to najpopularniejszy podręcznik. Jest kompleksowy i można go stosować na wszystkich trzech kursach, ale jego wyjaśnienia nie zawsze są najlepsze. Nadal jednak polecam.

To są główne tematy. Jeśli nie również mają tradycyjne doświadczenie w programowaniu, to oczywiście w teorii grafów i podstawy asymptotycznej złożoności lub projektowania i analizy algorytmów może być dobre suplementy. Zazwyczaj AI'e pochodzą jednak ze standardowej wiedzy informatycznej, która bardzo dobrze obejmuje wszystkie te rzeczy.

John Doucette
źródło
1
@FauChristian Myślę, że wymieniliśmy te same tematy: Rachunek i matematyka na pewno. Oboje uważamy, że powinieneś wziąć po kilka klas w każdej z nich. Wymieniłem statystyki i prawdopodobieństwo. Myślę, że jeśli chcesz wykonywać nowoczesną pracę w sztucznej inteligencji, nie zajedziesz daleko. Wymieniłeś chemię i neuronaukę. Myślę, że niewielu AI uważa, że ​​są to niezbędne tematy. Z pewnością bez tego można przejść przez całą Russell i Norvig. Jeśli chcesz pracować w neuronologii obliczeniowej (nie w głębokim uczeniu się), może być to pomocne. Wątpię również, że potrzebujesz 16 lat na wniesienie wkładu. Na pewno 5-6.
John Doucette
1
@FauChristian To wszystko prawda. Wydaje mi się, że gdybyś chciał przeprowadzić badania w większości współczesnych laboratoriów AI, nadal potrzebowałbyś prawdopodobieństwa (co najmniej połowa współczesnych sztucznej inteligencji polega na uczeniu maszynowym, a duża część z nich to głębokie uczenie się) . Zasadniczo absolwenci wykonują prace badawcze. Większość z nich wykonuje prace badawcze po zaledwie 1-2 latach ukończenia szkoły. Niektóre z nich są nawet całkiem dobre. Osoby te miały najwyżej 4-6 lat formalnego wykształcenia w tym zakresie. Co więcej, może sprawić, że będziesz szybszy lub głębszy, ale potencjał badawczy zaczyna się właśnie tam.
John Doucette
3

Jeśli chodzi o proste algorytmy, takie jak opadanie gradientu, musisz dobrze znać częściowe pochodne. Zwłaszcza jeśli chcesz wdrożyć sieci neuronowe. Również większość algorytmów jest wektoryzowanych w celu poprawy prędkości obliczeniowej, dlatego musisz czuć się komfortowo z matematyką matematyczną. To wymaga bycia naprawdę szybkim i wygodnym w wymiarach matryc, wymiarach produktów, mnożeniu matryc, transpozycji i tak dalej. Bardzo rzadko możesz użyć rachunku macierzowego, aby bezpośrednio dojść do optymalnych rozwiązań, więc powinno wystarczyć kilka wyników z tego obszaru. Idąc dalej, musisz zrozumieć analizę niektórych funkcji. jest to potrzebne, aby uzyskać intuicję na temat funkcji aktywacji, takich jak sigmoid i tanh, log. Bardzo przydatne jest również zrozumienie prawdopodobieństwa i oczekiwań. Powinieneś także mieć do czynienia z wektorami ortogonalnymi i produktami wewnętrznymi.

Biorąc to pod uwagę, proponuję uchwycić podstawowe operacje na rachunku różniczkowym i macierzowym i spróbować nauczyć się koncepcji AI. Jeśli nie możesz czegoś wymyślić, zbadaj matematykę.

Uwaga: ponownie jest to tylko na początek.

pranav
źródło