Kiedy regresję liniową należy nazwać „uczeniem maszynowym”?

90

W ostatnim kolokwium streszczenie mówcy twierdziło, że korzysta z uczenia maszynowego. Podczas rozmowy jedyną rzeczą związaną z uczeniem maszynowym było to, że wykonują regresję liniową na swoich danych. Po obliczeniu współczynników najlepszego dopasowania w przestrzeni parametrów 5D, porównali te współczynniki w jednym systemie z współczynnikami najlepszego dopasowania w innych systemach.

Kiedy uczenie maszynowe z regresją liniową , a nie po prostu znalezienie linii najlepiej dopasowanej? (Czy abstrakcja badacza wprowadzała w błąd?)

Biorąc pod uwagę, że ostatnio skupia się na uczeniu maszynowym, takie rozróżnienie wydaje się ważne.

Moje pytanie jest podobne do tego , z tym wyjątkiem, że pytanie to dotyczy definicji „regresji liniowej”, podczas gdy moje pyta, kiedy regresję liniową (która ma wiele zastosowań) można odpowiednio nazwać „uczeniem maszynowym”.

Wyjaśnienia

Nie pytam, kiedy regresja liniowa jest taka sama jak uczenie maszynowe. Jak niektórzy zauważyli, pojedynczy algorytm nie stanowi dziedziny badań. Pytam, kiedy słusznie jest powiedzieć, że uczymy się maszynowo, gdy stosowany algorytm jest po prostu regresją liniową.

Wszystkie żarty na bok (patrz komentarze), jednym z powodów, dla których o to pytam, jest to, że nieetyczne jest twierdzenie, że ktoś uczy się maszynowo, aby dodać kilka złotych gwiazd do swojego imienia, jeśli tak naprawdę nie uczy się maszynowego. (Wielu naukowców obliczyć jakiś rodzaj najlepiej dopasowanej linii dla ich pracy, ale to nie znaczy, że robią uczenia maszynowego.) Z drugiej strony, istnieją sytuacje, kiedy wyraźnie regresji liniowej jest używany jako część uczenia maszynowego. Szukam ekspertów, którzy pomogą mi sklasyfikować te sytuacje. ;-)

jvriesem
źródło
13
Może chcesz zobaczyć wątek: „ Dwie kultury: statystyki kontra uczenie maszynowe? ”.
usεr11852
75
Powinieneś zmienić nazwę regresji na „uczenie maszynowe”, ilekroć chcesz podwoić opłaty na karcie stawek.
Sycorax,
3
Jest różnica. Uczenie się jest procesem. Najlepsze dopasowanie jest celem. Zobacz moją odpowiedź poniżej. Szczerze mówiąc, słowa nie mają tego samego znaczenia, chociaż mogą pojawiać się w tym samym kontekście, jak „ptaki latają”, można je skojarzyć, ale ptaki nie są lotem i chociaż latanie jest dla ptaków, to dla F -18 myśliwców.
Carl
20
@Sycorax i głębokie uczenie się, gdy chcesz poczwórnie
Franck Dernoncourt
11
@FranckDernoncourt „Jestem naukowcem danych używającym głębokiego uczenia się w środowisku dużych zbiorów danych do rozwiązywania problemów uczenia maszynowego” brzmi jak niezły nagłówek do profilu LinkedIn;)
Tim

Odpowiedzi:

78

Odpowiadając na pytanie, czym jest uczenie maszynowe? Trevor Hastie, Robert Tibshirani i Jerome Friedman w The Elements of Statistics Learning , Kevin P. Murphy in Machine Learning A Probabilistic Perspective , Christopher Bishop w Rozpoznawanie wzorców i Machine Learning , Ian Goodfellow, Yoshua Bengio i Aaron Courville w Deep Learning oraz szereg innych inne „biblijne” uczenie maszynowe wymieniają regresję liniową jako jeden z „algorytmów” uczących się maszynowo. Uczenie maszynowe jest po części modnym słowem stosowanym w statystyce stosowanej, a rozróżnienie między statystykami a uczeniem maszynowym jest często rozmyte.

Tim
źródło
4
To prawda, ale w dużej mierze są to dyscypliny wyciszone z dużą ilością nie pokrywającej się literatury, metod i algorytmów. Na przykład w dzisiejszym świecie uczenie maszynowe, dane i stopnie informatyczne wyprzedzają kandydatów statystycznych pod względem finansowania, stypendiów i ofert pracy, jak to nazywacie.
Mike Hunter,
6
@DJohnson, więc zastosowano statystyki z nowym pakietem, sprzedawanym po wyższej cenie ..? I nie sądzę, że fakt, że jest modny nie sprawia, że modne. Statystyka bayesowska ma również własne metody, czasopisma, konferencje, podręczniki i aplikacje, które częściowo nie pokrywają się ze statystykami klasycznymi - czy to czyni dyscyplinę odrębną od statystyki?
Tim
3
Tak. Zlekceważyłem moje spostrzeżenie na temat praktyków ML z bardziej ogólną obserwacją, że wyciszeni, wąsko skoncentrowani praktykujący są endemiczni dla każdej dziedziny i zawodu, nie tylko ML. Jest to rodzaj zagrożenia zawodowego - czytaj ludzkie niepowodzenia - że ludzie zasłaniają informacje poza ich bezpośrednimi potrzebami i zainteresowaniami. CV nie jest tutaj wyjątkiem.
Mike Hunter,
23
(+1) Zgadzam się, że nie ma wyraźnego rozróżnienia. W zakresie, w jakim myślę o różnicach, zwykle uważałbym ML za bardziej zainteresowane prognozami , a statystyki za bardziej związane z wnioskowaniem parametrów (np. Projektowanie eksperymentalne dla modelowania powierzchni odpowiedzi nie byłoby typowe w ML?). W tym sensie przykład PO - gdzie współczynniki regresji wydają się być najbardziej niepokojące - byłby bardziej „podobny do statystyki” (?)
GeoMatt22
3
Zobacz także Dwie kultury Leo Breimana, które przypominają te z @ GeoMatt22: ML, koncentrują się na dokładnych prognozach. To, czy model jest prawdziwy, nie jest ważne. Statystyka klasyczna szuka w pewnym sensie „prawdziwego” modelu, a przynajmniej modelu, który daje pewien wgląd w procesy, które wytworzyły dane.
Peter
41

Regresja liniowa jest zdecydowanie algorytmem, który można wykorzystać w uczeniu maszynowym. Ale reductio ad absurdum : Każdy, kto ma kopię Excela, może dopasować model liniowy.

Nawet ograniczając się do modeli liniowych, jest jeszcze kilka rzeczy do rozważenia podczas omawiania uczenia maszynowego:

  • Uczenie maszynowe problemów biznesowych może obejmować znacznie więcej danych. „ Big data ”, jeśli chcesz używać modnego hasła. Czyszczenie i przygotowanie danych może wymagać więcej pracy niż faktyczne modelowanie. A kiedy ilość danych przekracza możliwości przetwarzania pojedynczej maszyny, wyzwania inżynieryjne są równie istotne jak wyzwania statystyczne. (Ogólna zasada: jeśli mieści się w pamięci głównej, nie jest to duża baza danych).
  • Uczenie maszynowe często obejmuje o wiele więcej zmiennych objaśniających (cech) niż tradycyjne modele statystyczne. Być może dziesiątki, czasem nawet setki, z których niektóre będą zmiennymi kategorialnymi o wielu poziomach. Gdy te funkcje mogą potencjalnie oddziaływać (np. W modelu efektów krzyżowych), liczba potencjalnych modeli, które można dopasować, szybko rośnie.
  • Specjalista od uczenia maszynowego zwykle mniej interesuje się znaczeniem poszczególnych cech, a bardziej dąży do wyciśnięcia jak największej mocy predykcyjnej z modelu przy użyciu dowolnej kombinacji cech. (Wartości P są związane z objaśnieniem, a nie prognozowaniem).
  • Dzięki dużej liczbie funkcji i różnym sposobom inżynierii tych funkcji ręczny wybór modelu staje się niemożliwy. Moim zdaniem prawdziwym wyzwaniem w uczeniu maszynowym jest automatyczny wybór funkcji (inżynieria cech) i inne aspekty specyfikacji modelu. W modelu liniowym można to zrobić na różne sposoby, zwykle warianty brutalnej siły; w tym regresję stopniową, eliminację wsteczną itp., które znów wymagają znacznej mocy obliczeniowej. (Druga zasada: jeśli wybierasz funkcje ręcznie, robisz statystyki, a nie uczenie maszynowe).
  • Gdy automatycznie dopasowujesz wiele modeli z wieloma funkcjami, nadmierne dopasowanie jest poważnym potencjalnym problemem. Rozwiązanie tego problemu często wymaga pewnej formy walidacji krzyżowej : tj. Jeszcze więcej obliczeń brutalnej siły!

Z mojego punktu widzenia krótka odpowiedź jest taka, że ​​tam, gdzie uczenie maszynowe odbiega od tradycyjnego modelowania statystycznego, stosuje się brutalną siłę i podejście numeryczne do wyboru modelu, szczególnie w domenach z dużą ilością danych i dużą liczbą zmiennych objaśniających , z naciskiem na moc predykcyjną, a następnie większą brutalną siłę do walidacji modelu.

david25272
źródło
2
Ogólnie podoba mi się to rozróżnienie. Czy weryfikacja krzyżowa jest jednak kiedykolwiek stosowana w modelach „statystycznych”, czy też jest to rzadko potrzebne, ponieważ zwykle wykonuje się ją ręcznie? Czy zatem inżynieria obiektów jest uważana za statystykę, tak jak dzieje się to ręcznie?
Jos
3
@ josh, Tak, może być. Ale jeśli spojrzysz na tag krzyżowej weryfikacji, prawie wszystkie pytania dotyczą modelowania predykcyjnego.
david25272
@ david25272 Byłbym ciekawy, jak myślisz o bootstrap, bootstrap .632+ i testach permutacji - zawsze uważałem je za bardziej „statystyki stosowane” niż „uczenie maszynowe” z powodu tego, jak są zmotywowani, ale podobnie „brutalna siła” - k-krotnie lub pomijaj krzyżową walidację. Myślę, że regularyzację L1 można również traktować jako rodzaj wyboru cech w ramach statystyki ...
Patrick B.
@Patrick stats.stackexchange.com/questions/18348 to lepsza odpowiedź na temat zastosowania bootstapowania do sprawdzania poprawności modelu, niż mógłbym podać.
david25272
@ david25272 ah, przepraszam, moje pytanie brzmiało bardziej, czy myślisz o nich jako o technikach „uczenia maszynowego” czy technikach „statystyki stosowanej”, ponieważ są one motywowane statystycznie, ale także „brutalną siłą”. Jestem zaznajomiony ze stosowaniem bootstrapów z poprawionymi błędami do weryfikacji modelu.
Patrick B.
14

Myślę, że definicja Mitchella stanowi pomocny sposób na ugruntowanie dyskusji na temat uczenia maszynowego, rodzaj pierwszej zasady. Zgodnie z reprodukcją na Wikipedii :

Mówi się, że program komputerowy uczy się z doświadczenia E w odniesieniu do pewnej klasy zadań T i pomiaru wydajności P, jeżeli jego wydajność na zadaniach w T, mierzona przez P, poprawia się wraz z doświadczeniem E.

Jest to pomocne na kilka sposobów. Po pierwsze, na twoje bezpośrednie pytanie: regresja to uczenie maszynowe, gdy jej zadaniem jest dostarczenie szacunkowej wartości z funkcji predykcyjnych w niektórych aplikacjach. Jego wydajność powinna ulec poprawie, mierzonej średnią do kwadratu (lub wartości bezwzględnej itp.), Z powodu błędu, ponieważ występuje więcej danych.

Po drugie, pomaga nakreślić uczenie maszynowe od pokrewnych terminów i jego wykorzystanie jako modnego hasła marketingowego. Porównaj powyższe zadanie ze standardową regresją wnioskowania, w której analityk interpretuje współczynniki dla istotnych relacji. Tutaj program zwraca podsumowanie: współczynniki, wartości p itp. Nie można powiedzieć, że program poprawia tę wydajność wraz z doświadczeniem; zadaniem jest skomplikowane obliczenia.

Wreszcie pomaga ujednolicić podpola uczenia maszynowego, zarówno te powszechnie stosowane w prezentacji wstępnej (nadzorowane, bez nadzoru) z innymi, takimi jak uczenie się wzmocnienia lub szacowanie gęstości. (Każda z nich ma zadanie, miarę wydajności i koncepcję doświadczenia, jeśli się nad nimi zastanowić). Zapewnia, moim zdaniem, bogatszą definicję, która pomaga wytyczyć dwa pola bez niepotrzebnego zmniejszania jednego z nich. Na przykład „ML służy do przewidywania, statystyki wnioskowania” ignoruje zarówno techniki uczenia maszynowego poza uczeniem nadzorowanym, jak i techniki statystyczne, które koncentrują się na prognozowaniu.

Sean Easter
źródło
12

Nie ma prawa, które mówi, że stolarz nie może używać piły do ​​beczek.

Uczenie maszynowe i statystyki są niejasne, ale jeśli dobrze zdefiniowane, statystyki i uczenie maszynowe nakładają się na siebie. Dotyczy to metod tych dwóch obszarów, a także (i osobno) osób, które oznakują się tymi dwoma obszarami. Ale jeśli chodzi o matematykę, uczenie maszynowe jest całkowicie w dziedzinie statystyki.

Regresja liniowa jest bardzo dobrze zdefiniowaną procedurą matematyczną. Staram się kojarzyć to z obszarem statystyki i ludźmi, którzy nazywają siebie „statystykami” i tymi, którzy wychodzą z programów akademickich z takimi etykietami jak „statystyki”. SVM (Support Vector Machines) jest również bardzo dobrze zdefiniowaną procedurą matematyczną, która ma wszystkie podobne wejścia i wyjścia i rozwiązuje podobne problemy. Ale zwykle kojarzę to z dziedziną uczenia maszynowego i ludźmi, którzy nazywają siebie informatykami lub osobami pracującymi w sztucznej inteligencji lub uczeniu maszynowym, które są zwykle uważane za część informatyki jako dyscypliny.

Ale niektórzy statystycy mogą używać SVM, a niektórzy AI używają regresji logistycznej. Dla jasności bardziej prawdopodobne jest, że statystyk lub badacz AI opracuje metodę, niż faktycznie zastosuje ją w praktyce.

Wszystkie metody uczenia maszynowego umieściłem dokładnie w dziedzinie statystyki. Nawet takie najnowsze rzeczy, jak Deep Learning, RNN, CNN, LSTM, CRF. Zastosowany statystyk (biostatysta, agronom) może nie znać ich. Są to wszystkie metody modelowania predykcyjnego, zwykle oznaczone jako „uczenie maszynowe” i rzadko powiązane ze statystykami. Są to jednak modele predykcyjne, z zastrzeżeniem, że można je oceniać metodami statystycznymi.

Ostatecznie regresję logistyczną należy uznać za element uczenia maszynowego.

Ale tak, widzę i często podzielam niechęć do niewłaściwego zastosowania tych słów. Regresja liniowa jest tak fundamentalną częścią rzeczy zwanych statystykami, że bardzo dziwne i mylące jest nazywanie jej użycia „uczeniem maszynowym” .

Aby to zilustrować, regresja logistyczna jest matematycznie identyczna z siecią Deep Learning bez ukrytych węzłów i funkcją logistyczną jako funkcją aktywacji pojedynczego węzła wyjściowego. Nie nazwałbym regresji logistycznej metodą uczenia maszynowego, ale z pewnością jest stosowana w kontekstach uczenia maszynowego.

Jest to głównie kwestia oczekiwań.

Odp .: „Użyłem uczenia maszynowego, aby przewidzieć readmisję do szpitala po operacji serca”.

B: „O tak? Głęboka nauka? Losowe lasy? !!?”

Odp .: „Och, nie, nic nadzwyczajnego, tylko regresja logistyczna”.

B: bardzo rozczarowany wygląd .

To tak, jakby powiedzieć, że myjąc okno wodą, używasz chemii kwantowej. Cóż, tak, pewnie nie jest to technicznie złe, ale sugerujesz o wiele więcej niż potrzeba.

Ale tak naprawdę jest to dokładnie różnica kulturowa vs. różnica substancji. Konotacje słowa i skojarzenia z grupami ludzi (LR to zupełnie nie ML!) A matematyka i aplikacje (LR to całkowicie ML!).

Mitch
źródło
3
Regresja logistyczna jest również bardzo podobna, zarówno pod względem praktycznym, jak i teoretycznym, do maszyn SVM: web.stanford.edu/~hastie/Papers/svmtalk.pdf
Patrick B.
3

Powszechnie uważa się, że uczenie maszynowe składa się z 4 obszarów:

1) Redukcja wymiarów

2) Klastrowanie

3) Klasyfikacja

4) Regresja

Regresja liniowa jest regresją. Po wytrenowaniu modelu można go wykorzystać do przewidywania, jak każdy inny, powiedzmy, losowy regres leśny.

Akavall
źródło
Istnieje różnica, chociaż regresję liniową można rozwiązać za pomocą uczenia maszynowego. Wspólnym celem regresji są zwykłe najmniejsze kwadraty, co oznacza, że ​​nasza funkcja utraty celu, suma kwadratów reszt, ma zostać zminimalizowana. Teraz uczenie maszynowe odnosi się po prostu do tej metody, dzięki której minimalizujemy funkcję strat.
Carl
Tak więc koncepcyjnie regresja liniowa poprzez opadanie gradientu (uczenie się) wybiera coraz lepiej zsumowane reszty kwadratowe (funkcja straty). Podstawowe pojęcia są takie same, jak w przypadku znacznie bardziej zaawansowanych algorytmów uczenia się, takich jak sieci neuronowe. Algorytmy te po prostu zastępują model liniowy modelem o wiele bardziej złożonym - i, odpowiednio, o wiele bardziej złożoną funkcją kosztów. .
Carl
1
Tak więc odpowiedź na pytanie PO Kiedy uczenie maszynowe z regresją liniową, a nie po prostu znalezienie linii najlepiej dopasowanej? Kiedy regresja liniowa jest wykonywana przy użyciu definiowalnego elementu uczenia maszynowego, takiego jak opadanie gradientu , jest to regresja liniowa wykonywana przy użyciu uczenia maszynowego.
Carl
5
@Carl, tutaj zdefiniowany problem „uczenia maszynowego”. Dla mnie, jeśli możemy użyć modelu statystycznego, a ten model miałby zdolność przewidywania, że ​​jest to uczenie maszynowe. I nie ma znaczenia, jakie podejście zastosowano do znalezienia współczynników modelu.
Akavall
1
Uznałem, że odpowiedź Akavall jest dość jasna. Uważam, że problemem Akavall jest to, że twoja definicja jest okrągła, ponieważ wydaje się sprowadzać do „Q: kiedy technika X liczy się jako„ uczenie maszynowe ”? O: kiedy technika X jest wykonywana przy użyciu definiowalnego elementu uczenia maszynowego”. (Niestety nie rozumiem drugiego punktu, o którym mówisz, więc nie mogę na to odpowiedzieć.)
Patrick B.
2

Regresja liniowa jest techniką, podczas gdy uczenie maszynowe jest celem, który można osiągnąć za pomocą różnych środków i technik.

Tak więc wydajność regresji mierzy się tym, jak blisko mieści się ona w oczekiwanej linii / krzywej, natomiast uczenie maszynowe mierzy się, jak dobrze może rozwiązać określony problem, przy użyciu wszelkich niezbędnych środków.

Mam nadzieję, że jest pomocna
źródło
2

Będę argumentować, że różnica między uczeniem maszynowym a wnioskowaniem statystycznym jest wyraźna. Krótko mówiąc, uczenie maszynowe = przewidywanie przyszłych obserwacji; statystyki = wyjaśnienie.

Oto przykład z mojej dziedziny zainteresowań (medycyny): opracowując lek, szukamy genu (genów), który najlepiej wyjaśnia stan chorobowy, w celu nakierowania go na ten lek. Używamy do tego statystyk. Natomiast podczas opracowywania testów diagnostycznych, na przykład przewidywania, czy lek pomoże pacjentowi, celem jest ścisłe znalezienie najlepszego predyktora przyszłego wyniku, nawet jeśli zawiera wiele genów i jest zbyt skomplikowany, aby go zrozumieć. W tym celu wykorzystujemy uczenie maszynowe. Istnieje wiele opublikowanych przykładów [1], [2], [3], [4] pokazujących, że obecność docelowego leku nie jest dobrym prognostykiem wyniku leczenia, stąd rozróżnienie.

Na tej podstawie można śmiało powiedzieć, że uczymy się maszynowo, gdy celem jest ścisłe przewidywanie wyników przyszłych / wcześniej niewidzianych obserwacji. Jeśli celem jest zrozumienie określonego zjawiska, to jest to wnioskowanie statystyczne, a nie uczenie maszynowe. Jak zauważyli inni, jest to prawdą niezależnie od zastosowanej metody.

Aby odpowiedzieć na twoje pytanie: w opisywanych przez ciebie badaniach naukowcy porównali role czynników (wagi) w różnych modelach regresji liniowej, nie porównując dokładności modeli. Dlatego nie można nazywać ich wnioskowaniem maszynowym.

[1] Messersmith WA, Ahnen DJ. Celowanie w EGFR w raku jelita grubego. The New England Journal of Medicine; 2008; 359; 17

[2] Pogue-Geile KL i in. Przewidywanie stopnia korzyści z leczenia uzupełniającego Trastuzumabem w badaniu B-31 NSABP. J Natl Cancer Inst; 2013; 105: 1782-1788.

[3] Zatwierdzenie Pazdur R. FDA dla wemurafenibu. https://www.cancer.gov/about-cancer/treatment/drugs/fda-vemurafenib . Zaktualizowano 3 lipca 2013 r.

[4] Ray T. Dwa badania ASCO pokazują wyzwanie polegające na stosowaniu sygnalizacji MET jako markera predykcyjnego w badaniach leków NSCLC. GenomeWeb, 11 czerwca 2014 r.

ljubomir
źródło
7
Zgadzam się, że badania uczenia maszynowego kładą znacznie większy nacisk na przewidywania niż na oszacowanie parametrów. Ale to nie jest wyraźna linia podziału: badania statystyczne są bogate w metody predykcyjne.
Cliff AB
4
A co ze statystykami, którzy przewidywali, zanim istniały komputery (lub były powszechnie dostępne)? Czy stosowali uczenie maszynowe na papierze i ołówku ?!
Tim
1
@Tim: bardzo dobry argument. Uważam, że odpowiedź brzmi „tak”, gdyby koncentrowali się na przyszłych obserwacjach, chociaż w tych (rzadkich) przypadkach potwierdzam, że nauka statystyczna nazwana byłaby bardziej odpowiednia. Wraz z pojawieniem się komputerów termin uczenia maszynowego stał się bardziej modny. Nie chodzi o nazwę, ani o użycie komputerów; to jasność celu. Moim zdaniem optymalizacja zarówno dokładnego przewidywania wcześniej niewidzianych obserwacji, jak i zrozumienia tego zjawiska jest prawie niemożliwa . Lepiej odpowiednio się skoncentrować.
ljubomir
4
Prognozowanie szeregów czasowych (przewidywanie przyszłych obserwacji) było od dawna popularnym problemem w statystyce (i ekonometrii), więc nie zgadzam się z wyraźnym rozróżnieniem opartym na tym.
Richard Hardy
1
Ta odpowiedź jest nieprawdziwa. Prognozowanie to tylko niewielka część uczenia maszynowego. Statystycy również przewidują. Chociaż trudno jest rozróżnić uczenie maszynowe od statystyk, ale zdecydowanie nie jest to właściwy sposób.
robguinness
2

Przywołanie uczenia maszynowego z regresją liniową może być przydatne, ponieważ generalnie oznacza to kilka ważnych rzeczy na temat rozwiązania problemu:

  1. Zdecydowałeś, że nie jest konieczne sprawdzanie przyczynowych założeń i wcześniejszej teorii leżących u podstaw zmiennych objaśniających. Sygnalizuje, że twój model nie miał na celu wyjaśnienia, ale przewidzenia. Jest to całkowicie uzasadnione w wielu ustawieniach, na przykład przewidywanie spamu e-mail na podstawie słów kluczowych. Tak naprawdę nie ma zbyt wiele literatury, w której słowa przewidują spam, i jest tak wiele słów, że nie ma sensu zastanawiać się nad teoretycznym znaczeniem każdego słowa
  2. Nie sprawdziłeś zmienności istotności ani nie użyłeś wartości p, ale zamiast tego prawdopodobnie wybrałeś zestaw wstrzymań lub krzyżową weryfikację, aby ocenić wydajność predykcyjną poza próbą. Może to być w pełni poprawne, jeśli - wracając do przykładu spamu e-mail - jeśli naprawdę zależy Ci na stworzeniu modelu, który skutecznie przewiduje spam, nawet jeśli odbywa się to kosztem uwzględnienia zmiennych, które mogą nie przejść tradycyjnych testów istotności.

Jeśli jednak twój model ma bardziej na celu wyjaśnienie niż przewidywanie, a ty rygorystycznie sprawdzasz teoretyczne założenia przyczynowo-skutkowe itp., To tak, raczej niemądre jest nazywanie go uczeniem maszynowym.

Ryan Zotti
źródło
2

Wprawdzie każda odpowiedź na to pytanie jest bardziej opinią niż faktem obiektywnym, ale postaram się wyjaśnić moją logikę, dlaczego uważam, że odpowiedź nigdy nie jest . Każdy tak zwany ekspert lub instruktor uczenia maszynowego ujawnia swoją niewiedzę, reprezentując regresję liniową jako taką.

Wyznaczanie dyscyplin akademickich polega bardziej na wytyczaniu społeczności niż na metodach. Dyscypliny naukowe przez cały czas zapożyczają metody z różnych dyscyplin. Również w XIX wieku (kiedy opracowano regresję liniową), a wcześniej dyscypliny naukowe nie były tak jasno określone jak obecnie. Dlatego szczególnie, gdy metody zostały opracowane w XIX wieku lub wcześniej, powinniśmy uważać, aby przypisać je do określonej dyscypliny.

To powiedziawszy, można spojrzeć na historię dyscypliny i rozsądnie dojść do wniosku, że poszczególne metody „należą” do tej lub innej dyscypliny. Nikt dziś nie powiedziałby, że rachunek różniczkowy należy do dziedziny fizyki, chociaż Newton, który był jednym z wynalazców rachunku różniczkowego, zdecydowanie próbował zastosować to w fizyce. Rachunek wyraźnie należy do dyscypliny matematyki, a nie fizyki. Wynika to z faktu, że rachunek różniczkowy jest ogólną metodą matematyczną, którą można stosować całkowicie poza kontekstami fizyki.

Z tego samego powodu regresja liniowa należy do dyscypliny statystyki, mimo że jest powszechnie stosowana jako prosty przykład dopasowania danych do modelu w kontekście uczenia maszynowego. Podobnie jak rachunek różniczkowy może być używany poza kontekstem fizyki, regresja liniowa może (i jest) stosowana poza kontekstem uczenia maszynowego.

Instruktorzy uczenia maszynowego powinni wskazać, że regresję liniową stosuje się od końca XIX wieku, na długo przed pojawieniem się nowoczesnego pojęcia uczenia maszynowego. Powinni także podkreślić, że uczenie maszynowe wykorzystuje wiele pojęć z prawdopodobieństwa i statystyki, a także innych dyscyplin (np. Teoria informacji). Jednak te koncepcje same w sobie nie reprezentują uczenia maszynowego lub „algorytmu” uczenia maszynowego.

robguinness
źródło
1

To Maszyna, Głupku!

Nie jestem ani statystykiem, ani ekspertem od Big Data (TM). Powiedziałbym jednak, że zasadniczą różnicą jest to, że „uczenie maszynowe” wymaga „maszyny”. W szczególności oznacza to agencję . Wynik nie zostanie spokojnie pochłonięty przez człowieka. Rezultatem będzie raczej wkład do zamkniętego cyklu, w którym zautomatyzowany system poprawi jego wydajność.

Zamknięty system

Jest to w dużej mierze zgodne z odpowiedzią Seana Eastera, ale chcę tylko podkreślić, że w zastosowaniach komercyjnych maszyna patrzy na wyniki i działa na nie . Klasycznym przykładem jest algorytm CineMatch, który był celem nagrody Netflix. Człowiek może spojrzeć na wyniki CineMatch i dowiedzieć się ciekawych funkcji o widzach. Ale nie dlatego istnieje. Celem CineMatch jest zapewnienie mechanizmu, dzięki któremu serwery Netflix mogą sugerować filmy klientom, którym będą się podobać . Dane wyjściowe modelu statystycznego trafiają do usługi rekomendacyjnej, która ostatecznie generuje większy wkład w miarę oceniania filmów przez klientów, z których niektóre wybrano za radą CineMatch.

Otwarty system

Z drugiej strony, jeśli badacz wykorzystuje algorytm do generowania wyników statystycznych, które są wyświetlane w prezentacji innym ludziom, to zdecydowanie nie jest on zaangażowany w uczenie maszynowe . Jest to dla mnie, oczywiście, ludzka nauka . Analiza jest wykonywana przez maszynę, ale to nie maszyna uczy się . Teraz jest to „uczenie maszynowe” do tego stopnia, że ​​ludzki mózg nie doświadczył wszystkich danych wejściowych próbki i uzyskuje wyniki statystyczne „biologicznie”. Ale nazwałbym to „statystykami”, ponieważ to właśnie robili statystycy od czasu wynalezienia pola.

Wniosek

Dlatego odpowiedziałbym na to pytanie, zadając pytanie: „Kto spożywa wyniki?” Jeśli odpowiedź brzmi: „ludzie”, to są to „statystyki”. Jeśli odpowiedź brzmi: „oprogramowanie”, oznacza to „uczenie maszynowe”. A kiedy mówimy, że „oprogramowanie zużywa wyniki”, nie mamy na myśli, że przechowuje je gdzieś do późniejszego pobrania. Rozumiemy, że zachowuje się ono w sposób określony przez wyniki w zamkniętej pętli .

Kosiarz umyslów
źródło
8
Jest to rozsądny punkt, ale myślę, że w praktyce modele ML są często przekazywane ludziom do interpretacji i pracy.
gung
1
Powiedziałbym, że to dlatego, że ML jako pole zrodziło wiele przydatnych narzędzi wykorzystywanych przez statystyk , nawet jeśli nie tak nazywają siebie, w celach marketingowych. ;)
Lawnmower Man
Zdecydowanie zgadzam się z @gung; podobnie jak inne odpowiedzi, zgadzam się, że jest to częściej motywacja dla ludzi, którzy nazywają siebie „badaczami ML”, co zdecydowanie nie jest linią definiującą. Dwa przeciwne przykłady: systemy rekomendujące są uważane za obszar badań ML, ale wyniki są podawane bezpośrednio człowiekowi. Filtry Kalmana są bardzo często używane w nawigacji dla autopilota, bez człowieka w pętli, ale zwykle są uważane za metodologię statystyczną.
Cliff AB,
-1

Moim zdaniem można mówić o uczeniu maszynowym, gdy maszyna jest zaprogramowana do wnioskowania parametrów jakiegoś modelu na podstawie niektórych danych.

Jeśli regresja liniowa jest wykonywana przez maszynę, to się kwalifikuje.

Jeśli zrobisz to ręcznie, nie zrobi tego.

Definicje, które zależą od rozpowszechnienia jakiegoś agenta (jak Excel) lub iteracyjnej poprawy (jak sugeruje Sean Easter powyżej), w jakiś sposób próbują oddzielić go od statystyk lub w zależności od tego, co zrobić z wynikami , moim zdaniem okażą się niespójne.

Ytsen de Boer
źródło
3
Więc jeśli obliczysz regresję, kNN lub drzewo decyzyjne, używając papieru i ołówka i uzyskasz te same wyniki, co obliczone na komputerze, to w pierwszym przypadku będzie to uczenie maszynowe, a po drugie nie ...? Z drugiej strony, jeśli używasz komputera do losowego przypisywania niektórych wartości jako „parametrów” twojego modelu, to kwalifikowałbyś go jako uczenie maszynowe, ponieważ zostało wykonane przez maszynę? Ta definicja wydaje się nie mieć większego sensu ...
Tim
Trudno nazwać to uczeniem maszynowym, jeśli nie używasz maszyny. W końcu to maszyna się uczy. W rzeczywistości wdrożyłem modele, które „nauczyły się” swoich parametrów w przypadkowym procesie (Monte Carlo). Muszę jednak przyznać, że później nastąpił etap weryfikacji.
Ytsen de Boer
2
Algorytmy takie jak maszyny wektorów wsparcia są nazywane „maszynami” ze względów historycznych, ponieważ na początku ludzie musieliby budować rzeczywiste maszyny / komputery, aby je uruchomić ( stats.stackexchange.com/questions/261041/… ), nie ma nic do zrobić z „algorytmami uruchamianymi na komputerach”. Ponadto modele szeregów czasowych, takie jak ARIMA, nie wchodzą w zakres uczenia maszynowego, ale statystyki i uruchamiane na komputerach.
Tim