Czy generalnie wnioskowanie jest trudniejsze niż przewidywanie?

Moje pytanie pochodzi z następującego faktu. Czytam posty, blogi, wykłady oraz książki na temat uczenia maszynowego. Mam wrażenie, że praktycy uczenia maszynowego wydają się być obojętni na wiele rzeczy, którymi interesują się statystyki / ekonometria. W szczególności praktycy uczenia maszynowego kładą nacisk na dokładność przewidywania w porównaniu do wnioskowania.

Jeden z takich przykładów miał miejsce, kiedy brałem Andrew Learning na Machinera na Coursera. Omawiając prosty model liniowy, nie wspomniał nic o NIEBIESKIEJ właściwości estymatorów ani o tym, jak heteroskedastyczność „unieważnia” przedział ufności. Zamiast tego skupia się na implementacji spadku gradientu i koncepcji walidacji krzyżowej / krzywej ROC. Tematy te nie były omawiane na moich zajęciach z ekonometrii / statystyki.

Kolejny przykład miał miejsce, gdy brałem udział w zawodach Kaggle. Czytałem kod i myśli innych ludzi. Duża część uczestników po prostu wrzuca wszystko do SVM / random forest / XGBoost.

Jeszcze inny przykład dotyczy stopniowego wyboru modelu. Ta technika jest szeroko stosowana, przynajmniej online i na Kaggle. Obejmuje to także wiele klasycznych podręczników do uczenia maszynowego, takich jak Wprowadzenie do uczenia statystycznego. Jednak zgodnie z tą odpowiedzią (co jest dość przekonujące), stopniowy wybór modelu napotyka wiele problemów, szczególnie jeśli chodzi o „odkrycie prawdziwego modelu”. Wydaje się, że istnieją tylko dwie możliwości: albo praktycy uczenia maszynowego nie znają problemu krok po kroku, albo wiedzą, ale ich to nie obchodzi.

Oto moje pytania:

1. Czy to prawda, że ​​(ogólnie) praktycy uczenia maszynowego koncentrują się na prognozowaniu, a tym samym nie dbają o wiele rzeczy, na których troszczą się statystycy / ekonomiści?
2. Jeśli to prawda, jaki jest tego powód? Czy to dlatego, że wnioskowanie jest w pewnym sensie trudniejsze?
3. Istnieje mnóstwo materiałów na temat uczenia maszynowego (lub prognozowania) online. Jeśli jednak jestem zainteresowany nauką wnioskowania, jakie zasoby online mogę sprawdzić?

Aktualizacja : Właśnie zdałem sobie sprawę, że słowo „wnioskowanie” może potencjalnie oznaczać wiele rzeczy. Co mam na myśli przez „wnioskowanie” odnosi się do takich pytań jak

1. $X$$Y$$Y$$X$$X_1,X_2,\cdots,X_n$

2. Skoro „wszystkie modele są złe”, w jaki sposób „zły” jest nasz model z modelu prawdziwego?

3. Biorąc pod uwagę informacje o próbie, co możemy powiedzieć o populacji i jak pewni możemy to powiedzieć?

Ze względu na moją bardzo ograniczoną wiedzę statystyczną nie jestem nawet pewien, czy pytania te należą do dziedziny statystyki, czy nie. Ale są to pytania, na które nie zwracają uwagi praktycy uczenia maszynowego. Być może statystycy też to nie obchodzą? Nie wiem

Po pierwsze, miałbym inną perspektywę uczenia maszynowego. Jak wspomniałeś, wykład Coursera Andrew Ng i konkurs Kaggle to nie 100% uczenia maszynowego, ale niektóre gałęzie ukierunkowane na praktyczne zastosowania. Prawdziwe badania nad uczeniem maszynowym powinny być pracą, która wymyśli losowy model zwiększania lasu / SVM / gradientu, który jest dość zbliżony do statystyki / matematyki.

Zgadzam się, że praktycy uczenia maszynowego bardziej skupiają się na dokładności niż statystycy / ekonomiści. Są powody, dla których ludzie są zainteresowani uzyskaniem większej dokładności, a nie „wnioskowania o prawdziwym rozkładzie”. Głównym powodem jest sposób, w jaki zbieramy dane i korzystamy z nich w ostatnich dziesięcioleciach.

Statystyki powstały od stu lat, ale w przeszłości nikt nie pomyślałby o tym, że masz miliardy danych na szkolenia i inne miliardy danych na testy. (Na przykład liczba zdjęć w Internecie). Dlatego przy stosunkowo niewielkiej ilości danych do wykonania pracy potrzebne są założenia z wiedzy domenowej. Możesz też pomyśleć o „uregulowaniu” modelu. Po przyjęciu założeń pojawiają się problemy z wnioskami na temat „prawdziwego” rozkładu.

Jeśli jednak dobrze się nad tym zastanowimy, czy możemy upewnić się, że te założenia są prawdziwe, a wnioski są prawidłowe? Chciałbym zacytować George Box:

Wszystkie modele są błędne, ale niektóre są przydatne

Wróćmy teraz do praktycznego podejścia do położenia większego nacisku na dokładność niż założenie / wnioskowanie. To dobre podejście, gdy mamy ogromną ilość danych.

Załóżmy, że budujemy model dla wszystkich obrazów zawierających ludzkie twarze na poziomie pikseli. Po pierwsze, bardzo trudno jest zaproponować założenia dotyczące poziomu pikseli dla miliarda obrazów: nikt nie ma takiej wiedzy w tej dziedzinie. Po drugie, możemy pomyśleć o wszystkich możliwych sposobach dopasowania danych, a ponieważ dane są ogromne, wszystkie modele, które posiadamy, mogą być niewystarczające (prawie niemożliwe do przeregulowania).

Dlatego też „głęboka nauka / sieć neuronowa” znów stała się popularna. Pod warunkiem dużych zbiorów danych możemy wybrać jeden model, który jest naprawdę złożony, i dopasować go najlepiej, jak potrafimy, i nadal możemy być w porządku, ponieważ nasze zasoby obliczeniowe są ograniczone w porównaniu do wszystkich rzeczywistych danych w tym słowie.

Wreszcie, jeśli model, który zbudowaliśmy, jest dobry w ogromnym zestawie danych testowych, to są one dobre i cenne, chociaż możemy nie znać podkreślonego założenia lub prawdziwego rozkładu.

Chcę podkreślić, że słowo „wnioskowanie” ma różne znaczenie w różnych społecznościach.

• W społeczności statystyk zwykle oznacza to uzyskanie informacji o rzeczywistym rozkładzie w sposób parametryczny lub nieparametryczny.
• W społeczności zajmującej się uczeniem maszynowym zwykle oznacza to obliczenie pewnych prawdopodobieństw z danej dystrybucji. Przykłady można znaleźć w samouczku modeli graficznych Murphy'ego .
• W uczeniu maszynowym ludzie używają słowa „uczenie się”, aby reprezentować „uzyskanie parametrów prawdziwej dystrybucji”, co jest podobne do „wnioskowania” w społeczności statystycznej.

Widzicie więc, że wiele osób uczących się maszyn robi również „wnioskowanie”.

Ponadto możesz również pomyśleć o ludziach ze środowisk akademickich, którzy lubią „zmieniać markę swojej pracy i odsprzedawać”: opracowanie nowych warunków może być pomocne, aby pokazać nowość badań. W rzeczywistości istnieje wiele powielania sztucznej inteligencji, eksploracji danych i uczenia maszynowego. I są ściśle związane ze statystykami i projektowaniem algorytmów. Ponownie nie ma wyraźnych granic dla „wnioskowania” lub nie.