Dlaczego regresja logistyczna nazywana jest algorytmem uczenia maszynowego?

19

Jeśli dobrze zrozumiałem, w algorytmie uczenia maszynowego model musi wyciągać wnioski z własnego doświadczenia, tj. Gdy model podaje błędne prognozy dla nowych przypadków, musi dostosować się do nowych obserwacji, az czasem model staje się coraz lepszy . Nie widzę, aby regresja logistyczna miała tę cechę. Dlaczego więc nadal jest uważany za algorytm uczenia maszynowego? Jaka jest różnica między regresją logistyczną a regresją normalną pod względem „uczenia się”?

Mam to samo pytanie dotyczące losowych lasów!

Jaka jest definicja „uczenia maszynowego”?

Metariat
źródło
4
Zredagowałem twoje pytanie dla jasności gramatycznej, ale nie jestem pewien, co masz na myśli ogólnie ... Regresja logistyczna wchodzi w zakres ML, ponieważ jest to algorytm klasyfikacji. Uczenie maszynowe nie oznacza, że ​​algorytm musi być adaptacyjny (chociaż istnieją algorytmy, które uczą się na podstawie nowych obserwacji). Dostosowanie to raczej wybór implementacji, zwykle osiągany przez generatywne algorytmy uczenia maszynowego, które modelują prawdopodobieństwo połączenia.
Zhubarb,
12
„Uczenie maszynowe” to dość luźno zdefiniowana koncepcja. Naprawdę, wszystkie procedury statystyczne, które wymagają dopasowania modelu, można uznać za uczenie maszynowe. (Zakładając, że dopasowanie modelu może być wykonane do pewnego stopnia przez komputer!). Właśnie dlatego niektórzy statystycy denerwują się z powodu „dużych
zbiorów
1
@ P.Windridge: jeśli „wszystkie procedury statystyczne obejmujące dopasowanie modelu można uznać za uczenie maszynowe”, więc nie rozumiem, dlaczego powinniśmy rozróżniać uczenie maszynowe i statystyki
Metariat
4
@XuanQuangDO Prawdopodobnie nie powinniśmy rozróżniać uczenia maszynowego i statystyk.
Sycorax mówi Przywróć Monikę

Odpowiedzi:

21

Uczenie maszynowe nie jest dobrze zdefiniowanym terminem.

W rzeczywistości, jeśli zdefiniujesz w Google „Machine Learning Definition”, pierwsze dwie rzeczy, które otrzymasz, są zupełnie inne.

Z WhatIs.com ,

Uczenie maszynowe jest rodzajem sztucznej inteligencji (AI), która zapewnia komputerom możliwość uczenia się bez wyraźnego programowania. Uczenie maszynowe koncentruje się na opracowywaniu programów komputerowych, które mogą nauczyć się rosnąć i zmieniać po wystawieniu na nowe dane.

Z Wikipedii ,

Uczenie maszynowe bada budowę i badanie algorytmów, które mogą uczyć się i przewidywać dane.

Regresja logistyczna niewątpliwie pasuje do definicji Wikipedii i można spierać się, czy pasuje ona do definicji WhatIs.

Osobiście definiuję uczenie maszynowe tak, jak robi to Wikipedia i uważam to za podzbiór statystyk.

TrynnaDoStat
źródło
1
Zgadzam się z większością tego, co powiedziałeś, poza tym, że jest to podzbiór statystyk. Ma duże nakładanie się, ale istnieją rodzaje uczenia się, takie jak uczenie się przez wzmacnianie, którego tak naprawdę nie można uznać za podzbiór statystyk.
George,
2
To nie są dobre źródła.
Neil G,
@George Racja, ale spójrzmy prawdzie w oczy, gdybyś musiał zastosować etykietę do wszystkich metod gromadzenia, analizy i modelowania danych, niezależnie od tego, czy chodzi o uczenie maszynowe, nadzorowany czy nienadzorowany, parametryczny czy nieparametryczny, wszystkie statystyki. ML to specjalistyczna dziedzina statystyki.
RobertF
@RobertF Nie zgadzam się. Uczenie maszynowe to dziedzina, która bada, w jaki sposób maszyny mogą się uczyć. Zgadzam się, że większość metod stosowanych w ML można uznać za metody statystyczne, ale dziedzina ta nie jest z natury podpolą statystyki. Na przykład nie sądzę, że procesy decyzyjne Markowa są uważane za metody statystyczne.
George
1
@George Dyskretny czas Modele Markowa są modelami prawdopodobieństwa. Po oszacowaniu nieznanych parametrów modelu prawdopodobieństwa (np. Procesy decyzyjne Markowa) jest to podręcznikowa definicja procedury statystycznej. Myślę, że główną klasą działań, które można nazwać ML, a nie statystykami, są konkretne zastosowania, takie jak budowanie robota, który gra w szachy. Algorytmy leżące u podstaw będą niewątpliwie obejmować prawdopodobieństwo i statystyki, ale aplikacja nie jest tak naprawdę „statystyką”. Coś w rodzaju tego, jak badania genomiki intensywnie wykorzystują statystyki, ale są to zdecydowanie różne dziedziny.
ahfoss
20

Uczenie maszynowe jest gorące i tam, gdzie są pieniądze. Ludzie nazywają rzeczy, które próbują sprzedać, co w tej chwili są gorące i dlatego „sprzedają”. To może sprzedawać oprogramowanie. Może to oznaczać, że sprzedają się jako obecni pracownicy próbujący awansować, jako potencjalni pracownicy, jako konsultanci itp. Może to być menedżer, który próbuje uzyskać zatwierdzenie budżetu od dużej firmy, aby zatrudniać ludzi i kupować rzeczy lub przekonać inwestorów do inwestowania w jego nowy gorący start, który robi Machine Learning jako klucz do stworzenia ulepszonej aplikacji do sekstowania. Więc oprogramowanie działa w uczeniu maszynowym, a ludzie są ekspertami w uczeniu maszynowym, ponieważ to jest gorące, a zatem to, co sprzedaje ... przynajmniej na razie.

Zrobiłem wszystkie rodzaje liniowego i nieliniowego modelu statystycznego pasującego ponad 30 lat temu. Wtedy nie nazywało się to uczeniem maszynowym. Teraz większość z nich byłaby.

Tak jak wszyscy i ich wujek jest teraz „naukowcem”. To jest gorące, podobno seksowne, więc ludzie tak się nazywają. I właśnie to zatrudnianie menedżerów, którzy muszą uzyskać zatwierdzenie budżetu, aby zatrudnić kogoś, wymienia pozycje jako. Tak więc ktoś, kto nie zna pierwszej rzeczy na temat matematyki, prawdopodobieństwa, statystyki, optymalizacji lub obliczeń liczbowych / zmiennoprzecinkowych, używa pakietu R lub Python o wątpliwej poprawności i niezawodności implementacji, który jest oznaczony jako algorytm uczenia maszynowego, w celu zastosowania do danych, których nie rozumieją, i nazywają siebie naukowcem danych, opierając się na swoim doświadczeniu w tym zakresie.

Może to zabrzmi źle, ale uważam, że jest to istota sytuacji.

Edycja: 26 września 2019 r. Opublikowano tweeta:

https://twitter.com/daniela_witten/status/1177294449702928384

Daniela Witten @daniela_witten „Kiedy zbieramy pieniądze, to jest sztuczna inteligencja, kiedy zatrudniamy to uczenie maszynowe, a kiedy wykonujemy pracę, to regresja logistyczna”.

(Nie jestem pewien, kto to wymyślił, ale to klejnot 💎)

Mark L. Stone
źródło
16
Nie będę ukrywał, że podzielam niektóre z tych opinii i życzę pozostałym. Jednak, aby były odpowiednie jako odpowiedź na stronie SE, potrzebują wsparcia. Oczywiście nie będzie to wynikało z wnioskowania dedukcyjnego: musi pochodzić z przedstawiania faktów i / lub cytowania wiarygodnych źródeł. Byłoby fajnie, gdybyś mógł to zrobić!
whuber
10
Z pewnością najbardziej zabawny post, który przeczytałem dzisiaj na tej stronie, i zgadzam się z nim w większości. Ale muszę zgodzić się z @whuber, że tak naprawdę nie odpowiada na pytanie w obecnej formie.
Nick Cox,
6
Jako małe wyjaśnienie. Zajmuję się zarówno tworzeniem oprogramowania, jak i złośliwą „Data Science”. Przeprowadzam wywiady z wieloma ludźmi. Odsetek osób przeprowadzających rozmowy kwalifikacyjne na stanowiskach programistycznych i informatycznych, które nie mają umiejętności wykonywania pracy, jest mniej więcej taki sam. Więc co jest specjalnego w tytule data science? Ludzie będą podnosić swoje umiejętności we wszystkich dyscyplinach technicznych. Jestem pewien, że programowanie wymiany stosów ma wiele takich samych skarg.
Matthew Drury
7
To bardziej przypomina rant niż odpowiedź. Jasne, zmiana nazw, branding jest ważny, a uczenie maszynowe jest gorące (i dlatego wielu samozwańczych praktyków nie wie, co robią). Jednak użycie tego jako argumentu do lekceważenia dziedziny, która stała się bardzo ważna zarówno w badaniach, jak i przemyśle, wydaje mi się tania.
Marc Claesen,
7
@ MarkL.Stone Rozumiem twoją sytuację i całkowicie się zgadzam, że istnieje wiele niekompetentnych wstawień na gorąco tutaj . Jednak moim zdaniem fakt, że tacy ludzie znajdują (i utrzymują!) Pracę, jest winą kierownictwa. Jeśli menedżerowie są niezadowoleni z wyników analityków i traktują wszystkich analityków tak samo, niezależnie od indywidualnych umiejętności / wyników, wówczas zarządzanie jest równie niekompetentne jak złych analityków. Każda praca o zapachu gotówki ma szarlatany, na przykład zażywa lekarstwa. Szerokie uogólnienia na temat naukowców zajmujących się danymi i uczących się maszyn są tak samo złe, jak nieufność do wszystkich analityków.
Marc Claesen
18

Jak już wspomnieli inni, nie ma wyraźnego rozdziału między statystykami, uczeniem maszynowym, sztuczną inteligencją i tak dalej, więc weź dowolną definicję z odrobiną soli. Regresja logistyczna jest prawdopodobnie częściej oznaczana jako statystyka niż uczenie maszynowe, podczas gdy sieci neuronowe są zwykle oznaczane jako uczenie maszynowe (nawet jeśli sieci neuronowe są często tylko zbiorem modeli regresji logistycznej).

Moim zdaniem uczenie maszynowe bada metody, które mogą w jakiś sposób uczyć się na podstawie danych, zwykle przez zbudowanie modelu w jakiejś formie lub formie. Regresja logistyczna, taka jak SVM, sieci neuronowe, losowe lasy i wiele innych technik, uczy się na podstawie danych podczas konstruowania modelu.

Jeśli dobrze zrozumiałem, w algorytmie uczenia maszynowego model musi wyciągać wnioski z własnego doświadczenia

To nie jest tak, jak zwykle definiuje się uczenie maszynowe. Nie wszystkie metody uczenia maszynowego dają modele, które dynamicznie dostosowują się do nowych danych (to subpole nazywa się uczeniem online ).

Jaka jest różnica między regresją logistyczną a regresją normalną pod względem „uczenia się”?

Wiele metod regresji klasyfikuje się również jako uczenie maszynowe (np. SVM).

Marc Claesen
źródło
2
Zauważ, że uczenie się bez nadzoru jest nadal nazywane uczeniem się maszynowym, więc niekoniecznie potrzebujesz pętli sprzężenia zwrotnego, aby sklasyfikować coś jako „uczenie maszynowe”.
vsz
To nie jest temat na pytanie, ale ta odpowiedź wspomina również o oddzieleniu AI od ML. Zawsze podobała mi się ta definicja AI: en.wikipedia.org/wiki/…
Davis Yoshida,
10

Regresja logistyczna została wynaleziona przez statystę DR Coxa w 1958 r., A więc wyprzedza dziedzinę uczenia maszynowego. Regresja logistyczna nie jest metodą klasyfikacji, na szczęście. Jest to model bezpośredniego prawdopodobieństwa.

Jeśli uważasz, że algorytm musi składać się z dwóch faz (wstępne odgadnięcie, a następnie „poprawić” błędy „przewidywania”), zastanów się nad tym: regresja logistyczna poprawia to za pierwszym razem. To znaczy w przestrzeni modeli addytywnych (w logit). Regresja logistyczna jest bezpośrednim konkurentem wielu metod uczenia maszynowego i przewyższa wiele z nich, gdy predyktory działają głównie addytywnie (lub gdy wiedza merytoryczna prawidłowo określa interakcje). Niektórzy nazywają regresję logistyczną rodzajem uczenia maszynowego, ale większość nie. Można nazwać niektóre metody uczenia maszynowego (przykłady są sieci neuronowe) modele statystyczne.

Frank Harrell
źródło
1
Co zabawne, usługa uczenia maszynowego Amazon używa tylko jednego algorytmu (afaik) - regresji logistycznej - do zadań klasyfikacyjnych : p aws.amazon.com/machine-learning/faqs
stmax
Możesz po prostu prezentować dane przyrostowo - jak w przypadku problemu z nauką online . W takim przypadku regresja logistyczna nie „poprawia go za pierwszym razem”. Stopniowo się uczę. Ma standardową stratę, a jego aktualizacja to standardowe zastosowanie spadku gradientu. Regresja logistyczna występuje w każdym podręczniku do uczenia maszynowego, który widziałem.
Neil G,
1
β
@FrankHarrell: Racja, i tak postępuje oszacowanie maksymalnego prawdopodobieństwa rozwiązania problemu regresji logistycznej.
Neil G,
Regresja logistyczna może poprzedzać termin „uczenie maszynowe”, ale nie poprzedza dziedziny : SNARC został opracowany w 1951 r. I był maszyną uczącą się . Nacisk, że regresja logistyczna modeluje tylko prawdopodobieństwa, a nie jest klasyfikatorem, rozdziela włosy. Zgodnie z tą logiką sieć neuronowa nie jest klasyfikatorem (chyba że warstwa wyjściowa składa się z neuronów binarnych, ale uniemożliwiłoby to propagację wsteczną).
Igor F.
8

Będę musiał się nie zgodzić z większością odpowiedzi tutaj i twierdzić, że uczenie maszynowema bardzo precyzyjny zakres i wyraźne rozróżnienie od statystyki. ML to dziedzina informatyki o długiej historii, która dopiero w ostatnich latach znalazła zastosowania poza jej domeną. Dziedzina ojcowska ML i dziedzina aplikacji leży w zakresie sztucznej inteligencji (robotyka, oprogramowanie do rozpoznawania wzorców itp.), Dlatego nie jest to tylko „gorący termin”, taki jak „Big Data” lub „Data Science”. Z kolei statystyki (pochodzące od słowa „państwo”) zostały opracowane w naukach społecznych i ekonomicznych jako narzędzie dla ludzi, a nie maszyn. ML ewoluował niezależnie od statystyki i, choć gdzieś po drodze zaczął w dużej mierze opierać się na zasadach statystycznych, w żadnym wypadku nie jest to podpole statystyki. ML i statystyki to pola uzupełniające się, nie pokrywające się.

Długa odpowiedź :

Jak sama nazwa wskazuje, opracowano metody ML dla oprogramowania / maszyn, podczas gdy dla ludzi stworzono metody statystyczne. Zarówno ML, jak i statystyki radzą sobie z przewidywaniami danych, jednak metody ML są oparte na nieparametrycznym zautomatyzowanym podejściu, podczas gdy metody statystyczne wymagają dużej ilości ręcznej pracy nad budowaniem modelu z dodatkowym czynnikiem wyjaśniającym. Ma to sens, jeśli weźmie się pod uwagę, że algorytmy ML zostały opracowane w badaniach AI jako środek do automatycznego prognozowania, który miał zostać zintegrowany z oprogramowaniem robotyki (np. Do celów rozpoznawania głosu i twarzy). Kiedy „maszyna” dokonuje prognozy, nie przejmuje się jej przyczynami. Maszyna nie dba o to, aby znać sterowniki / predyktory modelu, który klasyfikuje wiadomości e-mail jako spam lub nie-spam, zależy tylko na najlepszej dokładności prognoz.czarne skrzynki , to nie dlatego, że nie mają modelu, to dlatego, że model jest zbudowany algorytmicznie i nie ma być widoczny dla człowieka ani maszyny.

Pojęcie „treningu” w ML opiera się na mocy obliczeniowej, podczas gdy budowanie modelu statystycznego metodami szacowania parametrów typu OLS opiera się na wiedzy eksperta-człowieka. W scenariuszu z regresją wielokrotną wyłącznie do statystyk należy wykorzystanie oceny eksperckiej w celu wyboru modelu i weryfikacji wszystkich wymaganych założeń statystycznych. Celem statystyki jest nie tylko znalezienie wzorców i wykorzystanie ich do prognoz, ale także zrozumienie jego danych i jego problemu na znacznie większej głębokości niż ML.

Oczywiście w niektórych przypadkach ML i statystyki pokrywają się, jak ma to miejsce w przypadku wielu dyscyplin. Regresja logistyczna jest jedną z tych okazji; pierwotnie metoda statystyczna, która tak bardzo przypomina prosty Perceptron (jedna z najbardziej podstawowych technik ML), że niektórzy postrzegają ją jako metodę ML.

Digio
źródło
1
Być może nigdy nie słyszałeś o statystykach nieparametrycznych i nieparametrycznych modelach statystycznych i budowaniu modeli?
Mark L. Stone,
1
Tak, codziennie używam statystyk nieparametrycznych. Nie powiedziałem, że ML jest nieparametryczną odpowiedzią na statystyki, po prostu uważam, że metody ML nieparametryczne są efektem ubocznym. Statystyka nieparametryczna jest alternatywną opcją statystyki, gdy zawodzi statystyka parametryczna, ale nadal jest wynikiem świadomego wyboru eksperta. Prawdopodobnie nie jestem wystarczająco jasny w przekazywaniu mojego poglądu i za to przepraszam.
Digio,
3
Jest wielu statystyk, którzy cały czas wykonują modele nieparametryczne, statystyki. Czy słyszałeś o prawdopodobieństwie empirycznym - wynalezionym przez statystykę, używanym przez statystyków i dość nieparametrycznym, chociaż można go również stosować w sposób półparametryczny. Nie zgadzam się z tobą, ale nie głosowałem za tobą.
Mark L. Stone,
1
Nie zgadzam się, Mark, ale nadal nie do końca rozumiem, o co chodzi w twoim kontrargumentie. Czy sugerujesz, że statystyki nieparametryczne nie wymagają uczenia maszynowego (czego nigdy nie zaprzeczałem)? A może twierdzisz, że uczenie maszynowe jest w rzeczywistości po prostu inną nazwą statystyki nieparametrycznej (czego zaprzeczałem)?
Digio,
3
Tu nie można się zgodzić. Modele regresji wielowymiarowej, stosowane w połączeniu z nowoczesnymi narzędziami statystycznymi, mogą być elastyczne i wysoce konkurencyjne w zakresie ML.
Frank Harrell,
3

Uczenie maszynowe jest dość luźno zdefiniowane i masz rację sądząc, że modele regresji - a nie tylko regresje logistyczne - również „uczą się” na podstawie danych. Nie jestem do końca pewien, czy to oznacza, że ​​uczenie maszynowe to tak naprawdę statystyka, czy statystyka to uczenie maszynowe - czy to w ogóle ma znaczenie.

k

To powiedziawszy, niektóre algorytmy uczą się na błędach prognozowania - jest to szczególnie powszechne w uczeniu się przez wzmocnienie , gdzie agent podejmuje pewne działania, obserwuje ich wynik, a następnie wykorzystuje wynik do planowania przyszłych działań. Na przykład odkurzacz robotyczny może zacząć od modelu świata, w którym równie często czyści wszystkie lokalizacje, a następnie nauczyć się odkurzać brudne miejsca (gdzie jest „nagradzane” przez znajdowanie brudu) więcej i mniej czyste miejsca.

Algorytmy online lub przyrostowe można wielokrotnie aktualizować o nowe dane treningowe. Niekoniecznie zależy to od dokładności prognozowania modelu, ale mogę sobie wyobrazić algorytm, w którym wagi są aktualizowane bardziej agresywnie, jeśli na przykład nowe dane wydają się bardzo mało prawdopodobne w obecnym modelu. Istnieją wersje online regresji logistycznej: np. McMahan i Streeeter (2012) .

Matt Krause
źródło
3

W końcu to rozgryzłem. Teraz znam różnicę między dopasowaniem modelu statystycznego a uczeniem maszynowym.

  • Jeśli dopasujesz model (regresję), to dopasowanie modelu statystycznego
  • Jeśli uczysz się modelu (regresji), to jest uczenie maszynowe

Jeśli więc nauczysz się regresji logistycznej, jest to algorytm uczenia maszynowego.

Komentarz: Wybacz mi, że jestem starym geezerem, ale ilekroć słyszę ludzi mówiących o nauce modelu lub regresji, przypomina mi to Jethro: „Nauczyłem się edukacji”.

KONIEC NICI

Mark L. Stone
źródło
??? Mogę również nauczyć się modelu logistycznego, o czym ty mówisz?
SmallChess
1
@Student T, jeśli pasuje model logistyczny, to jest dopasowanie modelu statystycznego. Jeśli nauczysz się modelu logistycznego, czyli uczenia maszynowego, to naprawdę jest kwestia terminologii stosowanej w różnych dziedzinach. To samo można nazwać różnymi rzeczami w różnych dziedzinach (statystyki i uczenie maszynowe).
Mark L. Stone,
0

Regresja logistyczna (i bardziej ogólnie, GLM) NIE należy do uczenia maszynowego! Metody te należą raczej do modelowania parametrycznego .

Zarówno modele parametryczne, jak i algorytmiczne (ML) wykorzystują dane, ale na różne sposoby. Modele algorytmiczne uczą się na podstawie danych, w jaki sposób predyktory mapują się na predyktory, ale nie przyjmują żadnych założeń dotyczących procesu, który wygenerował obserwacje (ani żadnego innego założenia, w rzeczywistości). Uważają, że podstawowe zależności między zmiennymi wejściowymi i wyjściowymi są złożone i nieznane, a zatem przyjmują podejście oparte na danych, aby zrozumieć, co się dzieje, zamiast narzucać formalne równanie.

Z drugiej strony modele parametryczne są ustalane z góry na podstawie pewnej wiedzy o badanym procesie, wykorzystują dane do oszacowania ich parametrów i przyjmują wiele nierealnych założeń, które rzadko mają zastosowanie w praktyce (takich jak niezależność, równa wariancja i Normalny rozkład błędów).

Ponadto modele parametryczne (takie jak regresja logistyczna) są modelami globalnymi . Nie mogą uchwycić lokalnych wzorców w danych (w przeciwieństwie do metod ML, które wykorzystują drzewa jako swoje modele podstawowe, na przykład RF lub drzewa wzmocnione). Zobacz ten artykuł na stronie 5. Jako strategię zaradczą można zastosować lokalne (tj. Nieparametryczne) GLM (patrz na przykład pakiet locfit R).

Często, gdy dostępna jest niewielka wiedza na temat podstawowego zjawiska, lepiej jest zastosować podejście oparte na danych i zastosować modelowanie algorytmiczne. Na przykład, jeśli zastosujesz regresję logistyczną w przypadku, gdy wzajemne oddziaływanie między zmiennymi wejściowymi i wyjściowymi nie jest liniowe, twój model będzie wyraźnie nieodpowiedni i duża część sygnału nie zostanie przechwycona. Jednak gdy proces jest dobrze zrozumiany, modele parametryczne mają tę zaletę, że zapewniają formalne równanie podsumowujące wszystko, co jest potężne z teoretycznego punktu widzenia.

Aby uzyskać bardziej szczegółową dyskusję, przeczytaj ten znakomity artykuł Leo Breimana.

Antoine
źródło
4
Poświęć trochę czasu na zrozumienie regresji logistycznej. Nie przyjmuje żadnych założeń dystrybucyjnych. To czyni dokładnie taki sam rodzaj założenia niezależności, jaki podjął ML. ML wymaga znacznie większych próbek niż regresja logistyczna. Na przykład losowe lasy i SVM mogą wymagać 200 zdarzeń na cechę kandydującą, aby były stabilne, podczas gdy regresja logistyczna zwykle wymaga 200 zdarzeń na zmienną kandydującą.
Frank Harrell,
2
Państwo powinno trochę czasu, aby zrozumieć regresji logistycznej! Jest to uogólniony model liniowy, w którym link jest funkcją logit. Jest parametryczny. Zakłada się, że obserwacje są IID. Powodzenia w wychwytywaniu relacji nieliniowych. Co również oznacza druga część zdania? Dla mnie cechą jest zmienna (?)
Antoine
5
Jest wiele dobrych książek na ten temat i radzę skonsultować się z nimi przed kontynuowaniem. Regresja logistyczna nie zakłada identycznych rozkładów iw efekcie nie zakłada żadnego rozkładu. Oba podejścia zakładają niezależność, chyba że potrafisz wykazać, w jaki sposób uwzględnisz strukturę korelacji w ML. Splajny regresji stosowane są od 1982 r. W celu złagodzenia założeń liniowości w regresji logistycznej. Dla tej funkcji dyskusji = zmienna, chyba że jest rozwinięta splajnem.
Frank Harrell,
5
Breiman rozumiał wszystko całkiem dobrze. Po prostu nie zajmował się rozwojem regresji logistycznej po 1982 r., Np. Karanym szacowaniem maksymalnego prawdopodobieństwa, splajnami regresji i kombinacjami metod redukcji danych. Jedynym poważnym ograniczeniem regresji logistycznej jest to, że podobnie jak inne metody, znalezienie dobrych interakcji nie jest dobre, jeśli szuka się interakcji i nie są one wstępnie określone. Większość metod, które rzekomo są w stanie to zrobić, nie daje powtarzalnych wyników. Ponadto Breiman zastosował niewłaściwy wynik dokładności, który można zoptymalizować za pomocą fałszywego modelu.
Frank Harrell,
3
@Antoine: „dlaczego regresja logistyczna radykalnie różni się od ML”. Zauważ, że niektóre metody w ML (najbardziej zauważalnie SVM) są bardzo mocno związane z regresją logistyczną. Z wyjątkiem wielu interakcji - jak napisał Frank - reg logistyczny z nieliniowościami i penalizacją daje bardzo podobne wyniki do SVM i innych metod ML. Nadal zadziwia mnie, jak niektóre artykuły przytaczają poprawę wydajności opartą na metodzie ML w porównaniu z modelem logistycznym stat101, aby negatywnie obramować regresję logistyczną.
Thomas Speidel
-1

Myślę, że inne odpowiedzi dobrze sprawdzają się w identyfikacji mniej więcej tego, czym jest uczenie maszynowe (jak wskazują, może to być rozmyte). Dodam, że regresja logistyczna (i jej bardziej ogólna wersja wielomianowa) jest bardzo często stosowana jako metoda przeprowadzania klasyfikacji w sztucznych sieciach neuronowych (które moim zdaniem są jednoznacznie objęte dowolną rozsądną definicją uczenia maszynowego), a więc jeśli wspomnicie Regresja logistyczna dla osoby sieci neuronowej, prawdopodobnie natychmiast pomyślą o tym w tym kontekście. Zajęcie się ciężkim doświadczeniem w uczeniu maszynowym jest dobrym sposobem, aby samemu stać się techniką uczenia maszynowego, i myślę, że do pewnego stopnia tak się stało z różnymi technikami regresji, chociaż nie zlekceważyłbym ich jako właściwych technik uczenia maszynowego samo w sobie.

adamconkey
źródło
Należy zauważyć, że regresja logistyczna nie jest klasyfikatorem, ale metodą bezpośredniej oceny prawdopodobieństwa.
Frank Harrell,
Aby uzyskać więcej informacji na temat doktora Harrella, zobacz mój post tutaj. stats.stackexchange.com/questions/127042/…
Sycorax mówi Przywróć Monikę
@FrankHarrell Możemy również użyć prawdopodobieństwa do klasyfikacji, więc to naprawdę klasyfikator.
SmallChess
@ StudentT4 To nie może być bardziej niepoprawne. Jeśli jest bezpośrednim estymatorem prawdopodobieństwa. To, jak wykorzystasz końcowy wynik modelu logistycznego, zależy od Ciebie. Według twojej logiki, próbka oznacza klasyfikator.
Frank Harrell,
-1

Myślę, że każdą procedurę „iteracyjną” można uznać za przypadek uczenia maszynowego. Regresję można uznać za uczenie maszynowe. Moglibyśmy to zrobić ręcznie, ale zajęłoby to dużo czasu, jeśli to w ogóle możliwe. Więc teraz mamy te programy, maszyny, które wykonują dla nas iteracje. Zbliża się coraz bardziej do rozwiązania lub do najlepszego rozwiązania lub najlepszego dopasowania. Zatem „uczenie maszynowe”. Oczywiście takie rzeczy, jak sieci neuronowe, poświęcają najwięcej uwagi uczeniu maszynowemu, więc zwykle uczenie maszynowe kojarzy się z tymi seksownymi procedurami. Istotna jest tutaj również różnica między uczeniem maszynowym „nadzorowanym” i „bez nadzoru”

dailyl
źródło
-2

Jest to bardzo częsty błąd, który popełniają większość ludzi i widzę to tutaj (popełniane przez prawie wszystkich). Pozwól mi wyjaśnić to szczegółowo ... Regresja logistyczna i model regresji liniowej, oba są modelem parametrycznym, a także techniką uczenia maszynowego. To zależy tylko od metody używanej do oszacowania parametrów modelu (theta). Istnieją 2 sposoby znalezienia parametrów modelu w regresji liniowej i regresji logistycznej.

  1. Technika zejścia gradientu : Tutaj zaczynamy od przypisania losowych wartości do parametrów i znalezienia funkcji kosztu (błędu). W każdej iteracji aktualizujemy nasze parametry i minimalizujemy funkcję kosztów. Po pewnej liczbie iteracji funkcja kosztu zredukowana do pożądanych wartości, a odpowiadające im wartości parametrów są naszymi ostatecznymi wartościami. To właśnie powinny robić techniki uczenia maszynowego. Tak więc, jeśli używasz techniki spadku gradientu, regresja logistyczna może być wywoływana jako technika uczenia maszynowego.

  2. Za pomocą metody najmniejszych kwadratów: tutaj mamy bezpośredni wzór na znalezienie naszych parametrów (wymagana jest pewna algebra macierzowa, aby zrozumieć wyprowadzenie tego wzoru), który jest znany jako równanie normalne. Metoda najmniejszych kwadratów

Tutaj b oznacza parametry X to macierz projektowa. Obie metody mają swoje zalety i ograniczenia. Aby uzyskać więcej informacji: śledź Coursera Kurs uczenia maszynowego wciąż trwa.

Mam nadzieję, że ten post może być pomocny .. :-)

Mohit Kumar
źródło