W ostatnim kolokwium streszczenie mówcy twierdziło, że korzysta z uczenia maszynowego. Podczas rozmowy jedyną rzeczą związaną z uczeniem maszynowym było to, że wykonują regresję liniową na swoich danych. Po obliczeniu współczynników najlepszego dopasowania w przestrzeni parametrów 5D, porównali te współczynniki w jednym systemie z współczynnikami najlepszego dopasowania w innych systemach.

Kiedy uczenie maszynowe z regresją liniową , a nie po prostu znalezienie linii najlepiej dopasowanej? (Czy abstrakcja badacza wprowadzała w błąd?)

Biorąc pod uwagę, że ostatnio skupia się na uczeniu maszynowym, takie rozróżnienie wydaje się ważne.

Moje pytanie jest podobne do tego , z tym wyjątkiem, że pytanie to dotyczy definicji „regresji liniowej”, podczas gdy moje pyta, kiedy regresję liniową (która ma wiele zastosowań) można odpowiednio nazwać „uczeniem maszynowym”.

Wyjaśnienia

Nie pytam, kiedy regresja liniowa jest taka sama jak uczenie maszynowe. Jak niektórzy zauważyli, pojedynczy algorytm nie stanowi dziedziny badań. Pytam, kiedy słusznie jest powiedzieć, że uczymy się maszynowo, gdy stosowany algorytm jest po prostu regresją liniową.

Wszystkie żarty na bok (patrz komentarze), jednym z powodów, dla których o to pytam, jest to, że nieetyczne jest twierdzenie, że ktoś uczy się maszynowo, aby dodać kilka złotych gwiazd do swojego imienia, jeśli tak naprawdę nie uczy się maszynowego. (Wielu naukowców obliczyć jakiś rodzaj najlepiej dopasowanej linii dla ich pracy, ale to nie znaczy, że robią uczenia maszynowego.) Z drugiej strony, istnieją sytuacje, kiedy wyraźnie regresji liniowej jest używany jako część uczenia maszynowego. Szukam ekspertów, którzy pomogą mi sklasyfikować te sytuacje. ;-)

Odpowiadając na pytanie, czym jest uczenie maszynowe? Trevor Hastie, Robert Tibshirani i Jerome Friedman w The Elements of Statistics Learning , Kevin P. Murphy in Machine Learning A Probabilistic Perspective , Christopher Bishop w Rozpoznawanie wzorców i Machine Learning , Ian Goodfellow, Yoshua Bengio i Aaron Courville w Deep Learning oraz szereg innych inne „biblijne” uczenie maszynowe wymieniają regresję liniową jako jeden z „algorytmów” uczących się maszynowo. Uczenie maszynowe jest po części modnym słowem stosowanym w statystyce stosowanej, a rozróżnienie między statystykami a uczeniem maszynowym jest często rozmyte.

Regresja liniowa jest zdecydowanie algorytmem, który można wykorzystać w uczeniu maszynowym. Ale reductio ad absurdum : Każdy, kto ma kopię Excela, może dopasować model liniowy.

Nawet ograniczając się do modeli liniowych, jest jeszcze kilka rzeczy do rozważenia podczas omawiania uczenia maszynowego:

• Uczenie maszynowe problemów biznesowych może obejmować znacznie więcej danych. „ Big data ”, jeśli chcesz używać modnego hasła. Czyszczenie i przygotowanie danych może wymagać więcej pracy niż faktyczne modelowanie. A kiedy ilość danych przekracza możliwości przetwarzania pojedynczej maszyny, wyzwania inżynieryjne są równie istotne jak wyzwania statystyczne. (Ogólna zasada: jeśli mieści się w pamięci głównej, nie jest to duża baza danych).
• Uczenie maszynowe często obejmuje o wiele więcej zmiennych objaśniających (cech) niż tradycyjne modele statystyczne. Być może dziesiątki, czasem nawet setki, z których niektóre będą zmiennymi kategorialnymi o wielu poziomach. Gdy te funkcje mogą potencjalnie oddziaływać (np. W modelu efektów krzyżowych), liczba potencjalnych modeli, które można dopasować, szybko rośnie.
• Specjalista od uczenia maszynowego zwykle mniej interesuje się znaczeniem poszczególnych cech, a bardziej dąży do wyciśnięcia jak największej mocy predykcyjnej z modelu przy użyciu dowolnej kombinacji cech. (Wartości P są związane z objaśnieniem, a nie prognozowaniem).
• Dzięki dużej liczbie funkcji i różnym sposobom inżynierii tych funkcji ręczny wybór modelu staje się niemożliwy. Moim zdaniem prawdziwym wyzwaniem w uczeniu maszynowym jest automatyczny wybór funkcji (inżynieria cech) i inne aspekty specyfikacji modelu. W modelu liniowym można to zrobić na różne sposoby, zwykle warianty brutalnej siły; w tym regresję stopniową, eliminację wsteczną itp., które znów wymagają znacznej mocy obliczeniowej. (Druga zasada: jeśli wybierasz funkcje ręcznie, robisz statystyki, a nie uczenie maszynowe).
• Gdy automatycznie dopasowujesz wiele modeli z wieloma funkcjami, nadmierne dopasowanie jest poważnym potencjalnym problemem. Rozwiązanie tego problemu często wymaga pewnej formy walidacji krzyżowej : tj. Jeszcze więcej obliczeń brutalnej siły!

Z mojego punktu widzenia krótka odpowiedź jest taka, że ​​tam, gdzie uczenie maszynowe odbiega od tradycyjnego modelowania statystycznego, stosuje się brutalną siłę i podejście numeryczne do wyboru modelu, szczególnie w domenach z dużą ilością danych i dużą liczbą zmiennych objaśniających , z naciskiem na moc predykcyjną, a następnie większą brutalną siłę do walidacji modelu.

Myślę, że definicja Mitchella stanowi pomocny sposób na ugruntowanie dyskusji na temat uczenia maszynowego, rodzaj pierwszej zasady. Zgodnie z reprodukcją na Wikipedii :

Mówi się, że program komputerowy uczy się z doświadczenia E w odniesieniu do pewnej klasy zadań T i pomiaru wydajności P, jeżeli jego wydajność na zadaniach w T, mierzona przez P, poprawia się wraz z doświadczeniem E.

Jest to pomocne na kilka sposobów. Po pierwsze, na twoje bezpośrednie pytanie: regresja to uczenie maszynowe, gdy jej zadaniem jest dostarczenie szacunkowej wartości z funkcji predykcyjnych w niektórych aplikacjach. Jego wydajność powinna ulec poprawie, mierzonej średnią do kwadratu (lub wartości bezwzględnej itp.), Z powodu błędu, ponieważ występuje więcej danych.

Po drugie, pomaga nakreślić uczenie maszynowe od pokrewnych terminów i jego wykorzystanie jako modnego hasła marketingowego. Porównaj powyższe zadanie ze standardową regresją wnioskowania, w której analityk interpretuje współczynniki dla istotnych relacji. Tutaj program zwraca podsumowanie: współczynniki, wartości p itp. Nie można powiedzieć, że program poprawia tę wydajność wraz z doświadczeniem; zadaniem jest skomplikowane obliczenia.

Wreszcie pomaga ujednolicić podpola uczenia maszynowego, zarówno te powszechnie stosowane w prezentacji wstępnej (nadzorowane, bez nadzoru) z innymi, takimi jak uczenie się wzmocnienia lub szacowanie gęstości. (Każda z nich ma zadanie, miarę wydajności i koncepcję doświadczenia, jeśli się nad nimi zastanowić). Zapewnia, moim zdaniem, bogatszą definicję, która pomaga wytyczyć dwa pola bez niepotrzebnego zmniejszania jednego z nich. Na przykład „ML służy do przewidywania, statystyki wnioskowania” ignoruje zarówno techniki uczenia maszynowego poza uczeniem nadzorowanym, jak i techniki statystyczne, które koncentrują się na prognozowaniu.

Nie ma prawa, które mówi, że stolarz nie może używać piły do ​​beczek.

Uczenie maszynowe i statystyki są niejasne, ale jeśli dobrze zdefiniowane, statystyki i uczenie maszynowe nakładają się na siebie. Dotyczy to metod tych dwóch obszarów, a także (i osobno) osób, które oznakują się tymi dwoma obszarami. Ale jeśli chodzi o matematykę, uczenie maszynowe jest całkowicie w dziedzinie statystyki.

Regresja liniowa jest bardzo dobrze zdefiniowaną procedurą matematyczną. Staram się kojarzyć to z obszarem statystyki i ludźmi, którzy nazywają siebie „statystykami” i tymi, którzy wychodzą z programów akademickich z takimi etykietami jak „statystyki”. SVM (Support Vector Machines) jest również bardzo dobrze zdefiniowaną procedurą matematyczną, która ma wszystkie podobne wejścia i wyjścia i rozwiązuje podobne problemy. Ale zwykle kojarzę to z dziedziną uczenia maszynowego i ludźmi, którzy nazywają siebie informatykami lub osobami pracującymi w sztucznej inteligencji lub uczeniu maszynowym, które są zwykle uważane za część informatyki jako dyscypliny.

Ale niektórzy statystycy mogą używać SVM, a niektórzy AI używają regresji logistycznej. Dla jasności bardziej prawdopodobne jest, że statystyk lub badacz AI opracuje metodę, niż faktycznie zastosuje ją w praktyce.

Wszystkie metody uczenia maszynowego umieściłem dokładnie w dziedzinie statystyki. Nawet takie najnowsze rzeczy, jak Deep Learning, RNN, CNN, LSTM, CRF. Zastosowany statystyk (biostatysta, agronom) może nie znać ich. Są to wszystkie metody modelowania predykcyjnego, zwykle oznaczone jako „uczenie maszynowe” i rzadko powiązane ze statystykami. Są to jednak modele predykcyjne, z zastrzeżeniem, że można je oceniać metodami statystycznymi.

Ostatecznie regresję logistyczną należy uznać za element uczenia maszynowego.

Ale tak, widzę i często podzielam niechęć do niewłaściwego zastosowania tych słów. Regresja liniowa jest tak fundamentalną częścią rzeczy zwanych statystykami, że bardzo dziwne i mylące jest nazywanie jej użycia „uczeniem maszynowym” .

Aby to zilustrować, regresja logistyczna jest matematycznie identyczna z siecią Deep Learning bez ukrytych węzłów i funkcją logistyczną jako funkcją aktywacji pojedynczego węzła wyjściowego. Nie nazwałbym regresji logistycznej metodą uczenia maszynowego, ale z pewnością jest stosowana w kontekstach uczenia maszynowego.

Jest to głównie kwestia oczekiwań.

Odp .: „Użyłem uczenia maszynowego, aby przewidzieć readmisję do szpitala po operacji serca”.

B: „O tak? Głęboka nauka? Losowe lasy? !!?”

Odp .: „Och, nie, nic nadzwyczajnego, tylko regresja logistyczna”.

B: bardzo rozczarowany wygląd .

To tak, jakby powiedzieć, że myjąc okno wodą, używasz chemii kwantowej. Cóż, tak, pewnie nie jest to technicznie złe, ale sugerujesz o wiele więcej niż potrzeba.

Ale tak naprawdę jest to dokładnie różnica kulturowa vs. różnica substancji. Konotacje słowa i skojarzenia z grupami ludzi (LR to zupełnie nie ML!) A matematyka i aplikacje (LR to całkowicie ML!).

Powszechnie uważa się, że uczenie maszynowe składa się z 4 obszarów:

1) Redukcja wymiarów

2) Klastrowanie

3) Klasyfikacja

4) Regresja

Regresja liniowa jest regresją. Po wytrenowaniu modelu można go wykorzystać do przewidywania, jak każdy inny, powiedzmy, losowy regres leśny.

Regresja liniowa jest techniką, podczas gdy uczenie maszynowe jest celem, który można osiągnąć za pomocą różnych środków i technik.

Tak więc wydajność regresji mierzy się tym, jak blisko mieści się ona w oczekiwanej linii / krzywej, natomiast uczenie maszynowe mierzy się, jak dobrze może rozwiązać określony problem, przy użyciu wszelkich niezbędnych środków.

Będę argumentować, że różnica między uczeniem maszynowym a wnioskowaniem statystycznym jest wyraźna. Krótko mówiąc, uczenie maszynowe = przewidywanie przyszłych obserwacji; statystyki = wyjaśnienie.

Oto przykład z mojej dziedziny zainteresowań (medycyny): opracowując lek, szukamy genu (genów), który najlepiej wyjaśnia stan chorobowy, w celu nakierowania go na ten lek. Używamy do tego statystyk. Natomiast podczas opracowywania testów diagnostycznych, na przykład przewidywania, czy lek pomoże pacjentowi, celem jest ścisłe znalezienie najlepszego predyktora przyszłego wyniku, nawet jeśli zawiera wiele genów i jest zbyt skomplikowany, aby go zrozumieć. W tym celu wykorzystujemy uczenie maszynowe. Istnieje wiele opublikowanych przykładów [1], [2], [3], [4] pokazujących, że obecność docelowego leku nie jest dobrym prognostykiem wyniku leczenia, stąd rozróżnienie.

Na tej podstawie można śmiało powiedzieć, że uczymy się maszynowo, gdy celem jest ścisłe przewidywanie wyników przyszłych / wcześniej niewidzianych obserwacji. Jeśli celem jest zrozumienie określonego zjawiska, to jest to wnioskowanie statystyczne, a nie uczenie maszynowe. Jak zauważyli inni, jest to prawdą niezależnie od zastosowanej metody.

Aby odpowiedzieć na twoje pytanie: w opisywanych przez ciebie badaniach naukowcy porównali role czynników (wagi) w różnych modelach regresji liniowej, nie porównując dokładności modeli. Dlatego nie można nazywać ich wnioskowaniem maszynowym.

[1] Messersmith WA, Ahnen DJ. Celowanie w EGFR w raku jelita grubego. The New England Journal of Medicine; 2008; 359; 17

[2] Pogue-Geile KL i in. Przewidywanie stopnia korzyści z leczenia uzupełniającego Trastuzumabem w badaniu B-31 NSABP. J Natl Cancer Inst; 2013; 105: 1782-1788.

[3] Zatwierdzenie Pazdur R. FDA dla wemurafenibu. https://www.cancer.gov/about-cancer/treatment/drugs/fda-vemurafenib . Zaktualizowano 3 lipca 2013 r.

[4] Ray T. Dwa badania ASCO pokazują wyzwanie polegające na stosowaniu sygnalizacji MET jako markera predykcyjnego w badaniach leków NSCLC. GenomeWeb, 11 czerwca 2014 r.

Przywołanie uczenia maszynowego z regresją liniową może być przydatne, ponieważ generalnie oznacza to kilka ważnych rzeczy na temat rozwiązania problemu:

1. Zdecydowałeś, że nie jest konieczne sprawdzanie przyczynowych założeń i wcześniejszej teorii leżących u podstaw zmiennych objaśniających. Sygnalizuje, że twój model nie miał na celu wyjaśnienia, ale przewidzenia. Jest to całkowicie uzasadnione w wielu ustawieniach, na przykład przewidywanie spamu e-mail na podstawie słów kluczowych. Tak naprawdę nie ma zbyt wiele literatury, w której słowa przewidują spam, i jest tak wiele słów, że nie ma sensu zastanawiać się nad teoretycznym znaczeniem każdego słowa
2. Nie sprawdziłeś zmienności istotności ani nie użyłeś wartości p, ale zamiast tego prawdopodobnie wybrałeś zestaw wstrzymań lub krzyżową weryfikację, aby ocenić wydajność predykcyjną poza próbą. Może to być w pełni poprawne, jeśli - wracając do przykładu spamu e-mail - jeśli naprawdę zależy Ci na stworzeniu modelu, który skutecznie przewiduje spam, nawet jeśli odbywa się to kosztem uwzględnienia zmiennych, które mogą nie przejść tradycyjnych testów istotności.

Jeśli jednak twój model ma bardziej na celu wyjaśnienie niż przewidywanie, a ty rygorystycznie sprawdzasz teoretyczne założenia przyczynowo-skutkowe itp., To tak, raczej niemądre jest nazywanie go uczeniem maszynowym.

Wprawdzie każda odpowiedź na to pytanie jest bardziej opinią niż faktem obiektywnym, ale postaram się wyjaśnić moją logikę, dlaczego uważam, że odpowiedź nigdy nie jest . Każdy tak zwany ekspert lub instruktor uczenia maszynowego ujawnia swoją niewiedzę, reprezentując regresję liniową jako taką.

Wyznaczanie dyscyplin akademickich polega bardziej na wytyczaniu społeczności niż na metodach. Dyscypliny naukowe przez cały czas zapożyczają metody z różnych dyscyplin. Również w XIX wieku (kiedy opracowano regresję liniową), a wcześniej dyscypliny naukowe nie były tak jasno określone jak obecnie. Dlatego szczególnie, gdy metody zostały opracowane w XIX wieku lub wcześniej, powinniśmy uważać, aby przypisać je do określonej dyscypliny.

To powiedziawszy, można spojrzeć na historię dyscypliny i rozsądnie dojść do wniosku, że poszczególne metody „należą” do tej lub innej dyscypliny. Nikt dziś nie powiedziałby, że rachunek różniczkowy należy do dziedziny fizyki, chociaż Newton, który był jednym z wynalazców rachunku różniczkowego, zdecydowanie próbował zastosować to w fizyce. Rachunek wyraźnie należy do dyscypliny matematyki, a nie fizyki. Wynika to z faktu, że rachunek różniczkowy jest ogólną metodą matematyczną, którą można stosować całkowicie poza kontekstami fizyki.

Z tego samego powodu regresja liniowa należy do dyscypliny statystyki, mimo że jest powszechnie stosowana jako prosty przykład dopasowania danych do modelu w kontekście uczenia maszynowego. Podobnie jak rachunek różniczkowy może być używany poza kontekstem fizyki, regresja liniowa może (i jest) stosowana poza kontekstem uczenia maszynowego.

Instruktorzy uczenia maszynowego powinni wskazać, że regresję liniową stosuje się od końca XIX wieku, na długo przed pojawieniem się nowoczesnego pojęcia uczenia maszynowego. Powinni także podkreślić, że uczenie maszynowe wykorzystuje wiele pojęć z prawdopodobieństwa i statystyki, a także innych dyscyplin (np. Teoria informacji). Jednak te koncepcje same w sobie nie reprezentują uczenia maszynowego lub „algorytmu” uczenia maszynowego.

To Maszyna, Głupku!

Nie jestem ani statystykiem, ani ekspertem od Big Data (TM). Powiedziałbym jednak, że zasadniczą różnicą jest to, że „uczenie maszynowe” wymaga „maszyny”. W szczególności oznacza to agencję . Wynik nie zostanie spokojnie pochłonięty przez człowieka. Rezultatem będzie raczej wkład do zamkniętego cyklu, w którym zautomatyzowany system poprawi jego wydajność.

Zamknięty system

Jest to w dużej mierze zgodne z odpowiedzią Seana Eastera, ale chcę tylko podkreślić, że w zastosowaniach komercyjnych maszyna patrzy na wyniki i działa na nie . Klasycznym przykładem jest algorytm CineMatch, który był celem nagrody Netflix. Człowiek może spojrzeć na wyniki CineMatch i dowiedzieć się ciekawych funkcji o widzach. Ale nie dlatego istnieje. Celem CineMatch jest zapewnienie mechanizmu, dzięki któremu serwery Netflix mogą sugerować filmy klientom, którym będą się podobać . Dane wyjściowe modelu statystycznego trafiają do usługi rekomendacyjnej, która ostatecznie generuje większy wkład w miarę oceniania filmów przez klientów, z których niektóre wybrano za radą CineMatch.

Otwarty system

Z drugiej strony, jeśli badacz wykorzystuje algorytm do generowania wyników statystycznych, które są wyświetlane w prezentacji innym ludziom, to zdecydowanie nie jest on zaangażowany w uczenie maszynowe . Jest to dla mnie, oczywiście, ludzka nauka . Analiza jest wykonywana przez maszynę, ale to nie maszyna uczy się . Teraz jest to „uczenie maszynowe” do tego stopnia, że ​​ludzki mózg nie doświadczył wszystkich danych wejściowych próbki i uzyskuje wyniki statystyczne „biologicznie”. Ale nazwałbym to „statystykami”, ponieważ to właśnie robili statystycy od czasu wynalezienia pola.

Wniosek

Dlatego odpowiedziałbym na to pytanie, zadając pytanie: „Kto spożywa wyniki?” Jeśli odpowiedź brzmi: „ludzie”, to są to „statystyki”. Jeśli odpowiedź brzmi: „oprogramowanie”, oznacza to „uczenie maszynowe”. A kiedy mówimy, że „oprogramowanie zużywa wyniki”, nie mamy na myśli, że przechowuje je gdzieś do późniejszego pobrania. Rozumiemy, że zachowuje się ono w sposób określony przez wyniki w zamkniętej pętli .

Moim zdaniem można mówić o uczeniu maszynowym, gdy maszyna jest zaprogramowana do wnioskowania parametrów jakiegoś modelu na podstawie niektórych danych.

Jeśli regresja liniowa jest wykonywana przez maszynę, to się kwalifikuje.

Jeśli zrobisz to ręcznie, nie zrobi tego.

Definicje, które zależą od rozpowszechnienia jakiegoś agenta (jak Excel) lub iteracyjnej poprawy (jak sugeruje Sean Easter powyżej), w jakiś sposób próbują oddzielić go od statystyk lub w zależności od tego, co zrobić z wynikami , moim zdaniem okażą się niespójne.