Jakie są matematyczne przesłanki do zrozumienia podstawowej części algorytmów sztucznej inteligencji i opracowania własnego algorytmu?
Proszę polecić mi konkretne książki.
Fundacja Dobra Matematyka
Zacznij od zapewnienia pełnej kompetencji w zakresie algebry pośredniej i niektórych innych podstaw rachunku różniczkowego i matematycznego, w tym terminologii i podstawowych pojęć w ramach tych tematów.
Podstawy cybernetyki
Norbert Wiener, Cybernetics, 1948, MIT Press, zawiera szeregi czasowe i koncepcje zwrotne z jasnością i rozkazem, których nie widać w kolejnych pracach; zawiera także wprowadzenie do teorii informacji rozpoczynające się od wzoru log 2 Shannona, służącego do definiowania ilości informacji w bitach. Jest to ważne, aby zrozumieć rozszerzenie koncepcji entropii informacji.
Rachunek różniczkowy
Znajdź dobrą księgę rachunkową i upewnij się, że masz jasność co do kluczowych teorii i zastosowań w tych kategoriach.
Wiele z nich znajduje się w Calculus , Strang, MIT, Wellesley-Cambridge Press . Chociaż plik PDF jest dostępny w Internecie, jest prosty i niezbyt głęboki. Ta w naszej bibliotece laboratoryjnej to Intermediate Calculus , Hurley, Holt Rinehart i Winston, 1980 . Jest obszerny i pod pewnymi względami lepiej rozplanowany niż ten, który mam w mojej domowej bibliotece, którą Princeton używa do drugiego roku.
Upewnij się, że czujesz się komfortowo pracując w przestrzeniach poza ℝ 2 (poza 2D). Na przykład RNN często znajdują się w przestrzeniach, takich jak ℝ 4 Thorugh ℝ 7, ze względu na poziomy, pionowy, głębokość pikseli i wymiary klatki filmu.
Skończona matematyka
Szkoda, że żadna kombinacja trzech książek, o których myślę, nie ma ich wszystkich.
Chemia i neurologia
Dobrze jest przywołać równowagę chemiczną z chemii w szkole średniej. Balance odgrywa kluczową rolę w bardziej wyrafinowanych projektach AI. Zrozumienie symbiotycznej relacji między modelami generatywnymi i dyskryminacyjnymi w sieciach GAN pomoże uczniowi pogłębić to zrozumienie.
Funkcje kontrolne w systemach biologicznych pozostają głównym źródłem dowodów na potwierdzenie koncepcji w badaniach nad sztuczną inteligencją. W miarę jak badacze stają się bardziej kreatywni w wyobrażaniu sobie form adaptacji, które nie naśladują bezpośrednio niektórych aspektów biologii (wciąż daleko od tego pisania), kreatywność może odgrywać większą rolę w formułowaniu celów badań nad AI.
Mimo to AI prawdopodobnie pozostanie dziedziną w dużej mierze interdyscyplinarną.
Pracuję jako profesor, a ostatnio opracowałem wymagania matematyczne dla nowej specjalizacji AI, w porozumieniu z wieloma moimi kolegami z innych instytucji.
Inne odpowiedzi, szczególnie @ FauChrisian, wykonują dobrą robotę w katalogowaniu wszystkich konkretnych tematów, które mogą być przydatne gdzieś w AI, ale nie wszystkie z nich są równie przydatne do zrozumienia podstawowych tematów. W innych przypadkach zrozumienie tematu jest zasadniczo takie samo, jak zrozumienie powiązanych algorytmów sztucznej inteligencji, dlatego zwykle po prostu uczymy ich razem, zamiast zakładać wymaganą wiedzę. Na przykład, procesy decyzyjne Markowa nie są trudne do nauczenia dla kogoś, kto już zna podstawy teorii grafów i prawdopodobieństw, dlatego zwykle omawiamy je, gdy uczymy uczenia wzmacniającego na kursie sztucznej inteligencji, a nie jako osobny temat w matematyce. kierunek.
Wymagania matematyczne, na których się ustaliliśmy, wyglądają następująco:
Jeden lub dwa semestralne kursy matematyki dyskretnej. To tyle samo, aby zapewnić komfort z dowodem i matematyczną dyscypliną, jak w przypadku każdego konkretnego tematu w tej dziedzinie. Przeważnie jest to wiedza „fundamentalna”, ale jej fragmenty okazują się bardzo przydatne. Wygoda z nieskończonymi sumowaniami, podstawy wykresów, kombinatoryka i analiza asymptotyczna są być może najbardziej bezpośrednimi częściami. Lubię książkę Susanny Epp .
Jeden lub dwa semestralne kursy z algebry liniowej, które są przydatne w szerokim zakresie tematów AI, zwłaszcza uczenia maszynowego i eksploracji danych. Lay & Lay to dobra książka, ale prawdopodobnie nie najlepsza. Shilov jest zaleceniem Iana Goodfellowa i innych, ale sam tego nie próbowałem.
Kurs prawdopodobieństwa i być może nowoczesny kurs statystyki (tj. Z naciskiem na Bayesa). Starszy kurs statystyczny lub ten skierowany do naukowców-naukowców nie jest jednak zbyt przydatny. Moi koledzy statystycy korzystają obecnie z Lock5 i mają z tym dobre doświadczenia.
Przynajmniej rachunek różniczkowy i całkowy, a najlepiej przynajmniej pochodne cząstkowe w rachunku wektorowym, ale być może cały przebieg. Jest to przydatne w optymalizacji, uczeniu maszynowym i ekonomicznym podejściu do sztucznej inteligencji. Stewart to najpopularniejszy podręcznik. Jest kompleksowy i można go stosować na wszystkich trzech kursach, ale jego wyjaśnienia nie zawsze są najlepsze. Nadal jednak polecam.
To są główne tematy. Jeśli nie również mają tradycyjne doświadczenie w programowaniu, to oczywiście w teorii grafów i podstawy asymptotycznej złożoności lub projektowania i analizy algorytmów może być dobre suplementy. Zazwyczaj AI'e pochodzą jednak ze standardowej wiedzy informatycznej, która bardzo dobrze obejmuje wszystkie te rzeczy.
źródło
Jeśli chodzi o proste algorytmy, takie jak opadanie gradientu, musisz dobrze znać częściowe pochodne. Zwłaszcza jeśli chcesz wdrożyć sieci neuronowe. Również większość algorytmów jest wektoryzowanych w celu poprawy prędkości obliczeniowej, dlatego musisz czuć się komfortowo z matematyką matematyczną. To wymaga bycia naprawdę szybkim i wygodnym w wymiarach matryc, wymiarach produktów, mnożeniu matryc, transpozycji i tak dalej. Bardzo rzadko możesz użyć rachunku macierzowego, aby bezpośrednio dojść do optymalnych rozwiązań, więc powinno wystarczyć kilka wyników z tego obszaru. Idąc dalej, musisz zrozumieć analizę niektórych funkcji. jest to potrzebne, aby uzyskać intuicję na temat funkcji aktywacji, takich jak sigmoid i tanh, log. Bardzo przydatne jest również zrozumienie prawdopodobieństwa i oczekiwań. Powinieneś także mieć do czynienia z wektorami ortogonalnymi i produktami wewnętrznymi.
Biorąc to pod uwagę, proponuję uchwycić podstawowe operacje na rachunku różniczkowym i macierzowym i spróbować nauczyć się koncepcji AI. Jeśli nie możesz czegoś wymyślić, zbadaj matematykę.
Uwaga: ponownie jest to tylko na początek.
źródło