Niedawno na zajęciach uczenia maszynowego u profesora Oriola Pujola z UPC / Barcelona opisał najczęstsze algorytmy, zasady i koncepcje do wykorzystania w szerokim zakresie zadań związanych z uczeniem maszynowym. Tutaj dzielę się nimi z tobą i pytam:
- czy istnieją jakieś kompleksowe ramy dopasowujące zadania z podejściami lub metodami związanymi z różnymi rodzajami problemów związanych z uczeniem maszynowym?
Jak nauczyć się prostego gaussowskiego? Prawdopodobieństwo, zmienne losowe, rozkłady; estymacja, zbieżność i asymptotyka, przedział ufności.
Jak nauczyć się mieszanki Gaussów (MoG)? Prawdopodobieństwo, Oczekiwanie-Maksymalizacja (EM); uogólnienie, wybór modelu, walidacja krzyżowa; k-średnie, ukryte modele Markowa (HMM)
Jak nauczyć się jakiejkolwiek gęstości? Estymacja parametryczna a nieparametryczna, Sobolejew i inne przestrzenie funkcjonalne; błąd l ́ 2; Szacowanie gęstości jądra (KDE), optymalne jądro, teoria KDE
Jak przewidzieć zmienną ciągłą (regresję)? Regresja liniowa, regularyzacja, regresja kalenicowa i LASSO; lokalna regresja liniowa; estymacja gęstości warunkowej.
Jak przewidzieć zmienną dyskretną (klasyfikację)? Klasyfikator Bayesa, naiwny Bayesa, generatywny vs. dyskryminacyjny; perceptron, rozkład masy, liniowa maszyna wektora nośnego; najbliższy sąsiad klasyfikator i teoria
Z jakiej funkcji utraty należy korzystać? Teoria szacowania maksymalnego prawdopodobieństwa; oszacowanie l -2; Oszacowanie Bayessa; teoria minimaks i teorii decyzji, bayesianizm a częstość
Którego modelu powinienem użyć? AIC i BIC; Teoria Vapnika-Chervonenskisa; teoria walidacji krzyżowej; ładowanie; Teoria prawdopodobnie w przybliżeniu poprawna (PAC); Granice pochodzące od Hoeffdinga
Jak mogę nauczyć się bardziej zaawansowanych (połączonych) modeli? Teoria uczenia się w zespole; wzmocnienie; parcianka; układanie w stosy
Jak mogę nauczyć się bardziej wyszukanych (nieliniowych) modeli? Uogólnione modele liniowe, regresja logistyczna; Twierdzenie Kołmogorowa, uogólnione modele addytywne; jądro, odtwarzanie przestrzeni jądra Hilberta, nieliniowa SVM, regresja procesu Gaussa
Jak mogę nauczyć się bardziej wytwornych (kompozytowych) modeli? Modele rekurencyjne, drzewa decyzyjne, hierarchiczne grupowanie; sieci neuronowe, propagacja wsteczna, sieci głębokiej wiary; modele graficzne, mieszanki HMM, warunkowe pola losowe, maksymalne marże sieci Markowa; modele logarytmiczno-liniowe; gramatyki
Jak zmniejszyć lub powiązać funkcje? Wybór cech a redukcja wymiarów, metody owijania do wyboru cech; przyczynowość a korelacja, korelacja częściowa, uczenie się struktury netto Bayesa
Jak utworzyć nowe funkcje? analiza głównych składników (PCA), niezależna analiza składników (ICA), skalowanie wielowymiarowe, różnorodne uczenie się, nadzorowana redukcja wymiarów, uczenie metryczne
Jak zmniejszyć lub powiązać dane? Klastrowanie, bi-klastrowanie, klastrowanie ograniczone; zasady stowarzyszenia i analiza koszyka rynkowego; regresja rankingowa / porządkowa; analiza linków; dane relacyjne
Jak traktować szeregi czasowe? ARMA; Filtr Kalmana i modele w przestrzeni statycznej, filtr cząstek; funkcjonalna analiza danych; wykrywanie punktu zmiany; cross-validation dla szeregów czasowych
Jak leczyć nie idealne dane? przesunięcie współzmienne; brak równowagi klas; brakujące dane, nieregularnie próbkowane dane, błędy pomiarowe; wykrywanie anomalii, odporność
Jak zoptymalizować parametry? Optymalizacja nieograniczona a ograniczona / wypukła, metody bez pochodnych, metody pierwszego i drugiego rzędu, dopasowanie; naturalny gradient; związana optymalizacja i EM
Jak zoptymalizować funkcje liniowe? obliczeniowa algebra liniowa, inwersja macierzy dla regresji, rozkład wartości osobliwych (SVD) dla redukcji wymiarowości
Jak zoptymalizować z ograniczeniami? Wypukłość, mnożniki Lagrange'a, warunki Karusha-Kuhna-Tuckera, metody punktów wewnętrznych, algorytm SMO dla SVM
Jak ocenić głęboko zagnieżdżone kwoty? Dokładne wnioskowanie o modelu graficznym, ograniczenia wariacyjne sum, przybliżone wnioskowanie o modelu graficznym, propagacja oczekiwań
Jak oceniać duże kwoty i wyszukiwania? Uogólnione problemy z ciałem N (GNP), hierarchiczne struktury danych, wyszukiwanie najbliższego sąsiada, szybka metoda wielokrotna; Integracja z Monte Carlo, Markov Chain Monte Carlo, Monte Carlo SVD
Jak leczyć jeszcze większe problemy? Równoległe / rozproszone EM, równoległe / rozproszone PNB; stochastyczne metody podporządkowania, nauka online
Jak zastosować to wszystko w prawdziwym świecie? Przegląd części ML, wybór między metodami stosowanymi do każdego zadania, wcześniejszą wiedzą i założeniami; eksploracyjna analiza danych i wizualizacja informacji; ocena i interpretacja, z wykorzystaniem przedziałów ufności i testu hipotez, krzywych ROC; gdzie są problemy badawcze w ML
źródło
Odpowiedzi:
Zgadzam się z @geogaffer. To naprawdę bardzo dobra lista. Widzę jednak pewne problemy z tą listą, ponieważ jest ona obecnie sformułowana. Na przykład jedną kwestią jest to, że sugerowane rozwiązania mają różne poziomy szczegółowości - niektóre z nich reprezentują podejścia , niektóre - metody , niektóre - algorytmy , a niektóre inne - tylko pojęcia (innymi słowy, terminy w obrębie terminologii domeny danego tematu). Ponadto - i uważam, że jest to o wiele ważniejsze niż powyższe - uważam, że byłoby bardzo cenne, gdyby wszystkie te rozwiązania na liście były ułożone w ujednoliconych tematycznych ramach statystycznych. Pomysł ten został zainspirowany przeczytaniem doskonałej książki Lisy Harlow „Esencja myślenia wielowymiarowego”. Dlatego niedawno zainicjowałem odpowiednią, choć obecnie nieco ograniczoną, dyskusję na stronie StackExchange w Cross Validated . Nie daj się zwieść tytułowi - moja domniemana intencja i nadzieja dotyczy budowy zunifikowanych ram , jak wspomniano powyżej.
źródło
To dobra lista obejmująca wiele. Użyłem niektórych z tych metod, zanim jeszcze coś nazywało się uczeniem maszynowym i myślę, że zobaczysz niektóre z wymienionych metod, które pojawią się i zejdą z czasem. Jeśli metoda zbyt długo nie była przychylna, może być czas na ponowną wizytę. Niektóre metody mogą zaciemniać inne nazwy wynikające z różnych dziedzin studiów.
Jednym z głównych obszarów, w których zastosowałem te metody, jest modelowanie potencjału mineralnego, które jest geoprzestrzenne, i aby wspomóc, że można dodać kilka dodatkowych kategorii związanych z metodami danych przestrzennych i zorientowanych.
Przekazanie ogólnego pytania do konkretnych pól prawdopodobnie będzie miejscem, w którym znajdziesz więcej przykładów metod, których nie ma na wyczerpującej liście. Na przykład dwie metody, które widziałem w zakresie potencjału mineralnego, to regresja krokowa wstecz i modelowanie wag dowodów. Nie jestem statystykiem; być może zostaną one uwzględnione w wykazie w ramach regresji liniowej i metod bayesowskich.
źródło
Myślę, że twoje podejście jest trochę wstecz.
„Co oznacza rozkład Gaussa dopasowany do tych danych?” nigdy nie stanowi problemu, więc „jak dopasować Gaussa?” nigdy nie jest problemem, który naprawdę chcesz rozwiązać.
Różnica jest czymś więcej niż semantycznym. Zastanów się nad pytaniem „jak zbudować nowe funkcje?” Jeśli Twoim celem jest opracowanie indeksu, możesz użyć pewnego rodzaju analizy czynnikowej. Jeśli Twoim celem jest po prostu zmniejszenie przestrzeni cech przed dopasowaniem modelu liniowego, możesz całkowicie pominąć krok i zamiast tego użyć regresji elastycznej siatki.
Lepszym rozwiązaniem byłoby skompilowanie listy rzeczywistych zadań analizy danych, z którymi chciałbyś się zmierzyć . Pytania takie jak:
Również twoja lista zawiera teraz ogromną ilość materiału; zdecydowanie za dużo, by „przejrzeć” i zdobyć więcej niż zrozumienie na poziomie powierzchni. Właściwy cel może pomóc w ustaleniu priorytetów.
źródło