Czy regularyzacja może być pomocna, jeśli interesuje nas tylko modelowanie, a nie prognozowanie?

Czy regularyzacja może być pomocna, jeśli jesteśmy zainteresowani jedynie szacunkiem (i interpretacją) parametrów modelu, a nie prognozowaniem lub prognozowaniem?

Widzę, jak regularyzacja / walidacja krzyżowa jest niezwykle przydatna, jeśli Twoim celem jest dobre prognozowanie nowych danych. Ale co, jeśli robisz tradycyjną ekonomię, a wszystko, na czym ci zależy, to szacowanie ? Czy w tym kontekście przydatna może być również walidacja krzyżowa? Trudność konceptualna, z którą się zmagam, polega na tym, że możemy faktycznie obliczyć na danych testowych, ale nigdy nie możemy obliczyć ponieważ prawda z definicji nigdy nie jest przestrzegana. (Przyjmij, biorąc pod uwagę założenie, że istnieje nawet prawda , tzn. Że znamy rodzinę modeli, z których dane zostały wygenerowane).L ( Y , Y ) L ( β , β ) β $\beta$$\mathcal{L}\left(Y, \hat{Y}\right)$$\mathcal{L}\left(\beta, \hat{\beta}\right)$$\beta$$\beta$

Załóżmy, że Twoja strata to . Stawiasz czoła kompromisowi wariancji, prawda? Teoretycznie lepiej byłoby dokonać pewnej regulacji. Ale jak możesz wybrać parametr regularyzacji?$\mathcal{L}\left(\beta, \hat{\beta}\right) = \lVert \beta - \hat{\beta} \rVert$

Byłbym szczęśliwy widząc prosty numeryczny przykład modelu regresji liniowej ze współczynnikami $\beta \equiv (\beta_1, \beta_2, \ldots, \beta_k)$ , w którym funkcją straty badacza jest np. $\lVert \beta - \hat{\beta} \rVert$ , a nawet po prostu $(\beta_1 - \hat{\beta}_1)^2$ . Jak w praktyce można zastosować walidację krzyżową w celu poprawy oczekiwanej straty w tych przykładach?

Edycja : DJohnson wskazał mi https://www.cs.cornell.edu/home/kleinber/aer15-prediction.pdf , który jest istotny dla tego pytania. Piszą to autorzy

Techniki uczenia maszynowego ... zapewniają zdyscyplinowany sposób przewidywania $\hat{Y}$ który (i) korzysta z samych danych, aby zdecydować, w jaki sposób dokonać kompromisu wariancji odchylenia, oraz (ii) umożliwia wyszukiwanie w bardzo bogatym zestawie zmienne i formy funkcjonalne. Ale wszystko ma swoją cenę: należy zawsze pamiętać, że ponieważ są one dostrojone do $\hat{Y}$ , nie dają (bez wielu innych założeń) bardzo użytecznych gwarancji dla $\hat{\beta}$ .

Kolejny istotny artykuł, ponownie dzięki DJohnson: http://arxiv.org/pdf/1504.01132v3.pdf . Ten artykuł dotyczy powyższego pytania:

Podstawowym wyzwaniem w stosowaniu gotowych metod uczenia maszynowego, takich jak drzewa regresji do problemu wnioskowania przyczynowego, jest to, że podejścia regularyzacyjne oparte na krzyżowej walidacji zwykle polegają na przestrzeganiu „prawdziwej prawdy”, to znaczy rzeczywistych wyników w próbce walidacji krzyżowej. Jeśli jednak naszym celem jest zminimalizowanie średniego błędu kwadratu efektów leczenia, napotkamy coś, co [11] nazywa „podstawowym problemem wnioskowania przyczynowego”: efekt przyczynowy nie jest obserwowany dla żadnej pojedynczej jednostki, więc nie bezpośrednio mieć podstawową prawdę. Zajmujemy się tym, proponując podejścia do konstruowania obiektywnych szacunków błędu średniej kwadratowej skutku przyczynowego leczenia.

Tak, gdy chcemy stronnicze oszacowania niskiej wariancji. Szczególnie podoba mi się tutaj post Gunga. Jaki problem rozwiązują metody skurczu? Pozwól mi wkleić tutaj figurkę Gunga ...

Jeśli sprawdzisz wykonany działka, zrozumiesz, dlaczego potrzebujemy regularyzacji / skurczu. Na początku czuję się dziwnie, dlaczego potrzebujemy stronniczych szacunków? Uświadomiłem sobie jednak, że patrząc na tę liczbę, model o niskiej wariancji ma wiele zalet: na przykład jest bardziej „stabilny” w zastosowaniu produkcyjnym.

Czy walidacja krzyżowa może być pomocna, jeśli interesuje nas tylko modelowanie (tj. Szacowanie parametrów), a nie prognozowanie?

Tak, może. Na przykład, innego dnia korzystałem z oszacowania ważności parametrów za pośrednictwem drzew decyzyjnych. Za każdym razem, gdy buduję drzewo, sprawdzam błąd weryfikacji krzyżowej. Staram się maksymalnie zmniejszyć błąd, a następnie przejdę do następnego kroku oceny ważności parametrów. Możliwe, że jeśli pierwsze drzewo, które zbudujesz, będzie bardzo złe i nie sprawdzisz błędu, otrzymasz mniej dokładne (jeśli nie złe) odpowiedzi.

Uważam, że głównym powodem jest duża liczba zmiennych kontrolnych, które ma każda technika. Nawet niewielka zmiana jednej zmiennej kontrolnej zapewni inny wynik.

Jak ulepszyć swój model po sprawdzeniu błędu weryfikacji krzyżowej? To zależy od twojego modelu. Mam nadzieję, że po kilku próbach uzyskasz pojęcie o najważniejszych zmiennych kontrolnych i możesz nimi manipulować, aby znaleźć niski błąd.