Skąd wziął się termin „nauczyć się modelu”

10

Często słyszałem, że tutaj górnicy danych używają tego terminu. Jako statystyk, który pracował nad problemami z klasyfikacją, znam pojęcie „trenuj klasyfikatora” i zakładam, że „ucz się modelu” oznacza to samo. Nie mam nic przeciwko określeniu „szkolić klasyfikatora”. To wydaje się przedstawiać ideę dopasowania modelu, ponieważ dane szkoleniowe są wykorzystywane do uzyskania dobrych lub „ulepszonych” oszacowań parametrów modelu. Ale nauczą się, jak zdobyć wiedzę. Mówiąc wprost, „ucz się modelu” oznaczałoby wiedzieć, co to jest. Ale tak naprawdę nigdy nie „znamy” modelu. Modele przybliżają rzeczywistość, ale żaden model nie jest poprawny. To tak, jak Box powiedział: „Żaden model nie jest poprawny, ale niektóre są przydatne”.

Chciałbym usłyszeć odpowiedź minerów danych. Jak powstał ten termin? Jeśli go używasz, dlaczego go lubisz?

Michael R. Chernick
źródło
Zabawne jest to, że „ucz się modelu” oznacza co najwyżej „zapamiętaj wszystkie jego parametry”, a więc jest to niepoprawne, nawet jeśli nie będziesz się kłócił, czy „uczenie się” jest tutaj dobrym słowem. W moim języku (pl) oficjalna nomenklatura to „uczenie modelu”, chociaż „uczenie maszynowe” nazywa się „uczeniem maszynowym”, a nie „uczeniem maszynowym”.
Pasek boczny: czy masz odniesienie do oferty Box.
entropia

Odpowiedzi:

8

Podejrzewam, że jego początki pochodzą ze społeczności zajmującej się badaniami sztucznej sieci neuronowej, gdzie sieć neuronowa może być postrzegana jako nauka modelu danych poprzez modyfikację ciężarów synaptycznych w podobny sposób, jak to dzieje się w ludzkim mózgu, gdy sami uczymy się od doświadczenie. Moja kariera naukowa rozpoczęła się w sztucznych sieciach neuronowych, więc czasami używam tego wyrażenia.

Być może ma to większy sens, jeśli myślisz, że model jest zakodowany w parametrach modelu, a nie w równaniu, w taki sam sposób, w jaki model mentalny nie jest możliwym do zidentyfikowania fizycznym składnikiem mózgu, a jedynie zestawem parametrów ustawienia niektórych naszych neuronów.

Zauważ, że nie ma to wpływu na to, że model mentalny jest koniecznie poprawny!

Dikran Torbacz
źródło
1
Fiihrerze badanie i miałem tę dyskusję, i wysłałem pytanie odnoszące się do tej dyskusji tutaj stats.stackexchange.com/questions/43559/... . Zrozumiałem, że dopasowanie modelu, szkolenie, szacowanie i uczenie się oznaczają po prostu zastosowanie pewnej metody optymalizacji w celu znalezienia najlepszych parametrów, które określają model określonej formy.
entropia
6

Termin ten jest dość stary w sztucznej inteligencji. Turing poświęcony długi rozdział „Uczenie Maszyn” w jego 1950 Computing Machinery i inteligencja papieru w pamięci , a jakościowo nakreśla nadzorowanego uczenia się. Oryginalny artykuł Rosenblatta: Perceptron: probabilistyczny model przechowywania i organizacji informacji w dokumencie Brain z 1958 r. Mówi obszernie o „matematycznym modelu uczenia się”. Tutaj perceptron był „modelem uczenia się”; modele nie zostały „wyuczone”.

Artykuł Pittsa i McCullougha z 1943 r. - oryginalny artykuł o „sieciach neuronowych” - nie był tak naprawdę zainteresowany nauką, a bardziej, jak zbudować logiczny rachunek różniczkowy (jak system Hilberta lub Gentzen, ale myślę, że odnoszą się do Russella / Whitehead), który mógł wykonać wnioskowanie. Myślę, że to właśnie artykuł „Perceptrons” wprowadził numeryczne, w przeciwieństwie do symbolicznego pojęcia uczenia się w tej tradycji.

Czy maszyna może nauczyć się grać w szachy na podstawie przykładów? Tak. Czy ma model do gry w szachy? Tak. Czy to model optymalny (zakładając, że taki istnieje)? Prawie na pewno nie. Mówiąc wprost, „nauczyłem się szachów”, jeśli potrafię grać w szachy, dobrze - a może całkiem nieźle. To nie znaczy, że jestem optymalnym szachistą. W tym sensie Turing opisywał „uczenie się”, kiedy omawiał naukę gry w szachy w swoim artykule.

Jestem bardzo niespójny z tym terminem, którego używam. Tak więc (na przykład) w przypadku uczenia się na granicy powiedziałbym „zidentyfikuj”, w przypadku uczenia się SVM powiedziałbym „trenuj”, ale w przypadku MCMC „uczenia się” powiedziałbym „optymalizuj”. I np. Po prostu nazywam regresję „regresją”.

Patrick Caldon
źródło
Moje pytanie nie dotyczyło użycia pojęcia uczenia się w klasyfikacji, ale raczej wyrażenia „nauka modelu”. Uczenie maszynowe jest bardzo znane, ale „uczenie się modelu” to zdanie, które usłyszałem po raz pierwszy tutaj na tej stronie.
Michael R. Chernick,
Dodałem tam trochę niedociągnięć, ale masz rację, to nie jest świetna odpowiedź, wtrąciłem się w naukę bez długiej dyskusji na temat „modelu”. Zobaczę, czy mogę dziś coś zapamiętać, ale mogę to usunąć dziś wieczorem, jeśli nic nie przychodzi mi do głowy.
Patrick Caldon,
Chciałem usunąć tę odpowiedź, ale najwyraźniej niektórym się to podoba! Wydaje mi się, że jest to rozsądne streszczenie streszczenia terminu „uczenie się” w tym kontekście.
Patrick Caldon,
+1 Daję głos, ponieważ choć trochę nie na temat pytania, jest powiązany i interesujący i otrzymał 3 głosy poparcia. Trzymaj to.
Michael R. Chernick,
2

Jako badacz w Bioplausible Machine Learning zdecydowanie zgadzam się z tym, że „żaden model nie jest poprawny, ale niektóre są przydatne”, a w rzeczywistości modele i formalizmy mają poważne niepowodzenia, jak to stosują autorzy, którzy mówią o optymalizacji problemu, kiedy robią to, co robią optymalizuje model, tj. eksploruje przestrzeń parametrów i znajduje lokalne lub miejmy nadzieję globalne optimum. Zasadniczo nie jest to optymalne rozwiązanie dla prawdziwego problemu. Podczas gdy twórca modelu zwykle używa właściwej terminologii i ujawnia wszystkie założenia, większość użytkowników omija założenia, o których najczęściej wiadomo, że ich nie ma, a także używa mniej precyzyjnego języka o „uczeniu się” i „optymalizacji” i „ parametryzacja ”.

Myślę, że ta optymalna parametryzacja modelu jest tym, co ludzie mieliby na myśli w uczeniu maszynowym, szczególnie w nadzorowanym uczeniu maszynowym, chociaż nie mogę powiedzieć, że słyszałem „uczenie się modelu” bardzo często - ale zdarza się, a osoba ta trenuje model, komputer uczy się parametrów modelu. Nawet w uczeniu się bez nadzoru „uczenie się” jest najczęściej po prostu parametryzacją modelu, a miejmy nadzieję, że „uczenie się modelu” jest optymalną parametryzacją modelu (chociaż często różne sposoby przeszukiwania przestrzeni parametrów znajdują różne rozwiązania, nawet jeśli można je udowodnić zoptymalizować to samo). Rzeczywiście wolałbym użyć „szkolenia modelu”

W rzeczywistości większość moich badań dotyczy uczenia się modelu w zakresie odkrywania lepszego modelu lub modelu bardziej wykonalnego obliczeniowo i poznawczo / biologicznie / ekologicznie.

David MW Powers
źródło