Powszechnie wiadomo, że regresja liniowa z karą jest równoważna znalezieniu oszacowania MAP przy danym przed Gaussa współczynników. Podobnie użycie kary jest równoważne z użyciem rozkładu Laplace'a jako wcześniejszego.
Często zdarza się, że używa się ważonej kombinacji regularyzacji i . Czy możemy powiedzieć, że jest to równoważne wcześniejszemu rozkładowi współczynników (intuicyjnie wydaje się, że tak musi być)? Czy możemy nadać temu rozkładowi przyjemną formę analityczną (może mieszaninę Gaussa i Laplaciana)? Jeśli nie, dlaczego nie?
regression
bayesian
regularization
prior
elastic-net
Michael Curry
źródło
źródło
Odpowiedzi:
Komentarz Bena jest prawdopodobnie wystarczający, ale podam kilka innych odniesień, z których jeden pochodzi z gazety, do której Ben się odwoływał.
Skorygowany model bayesowski dla elastycznej siatki został niedawno zaproponowany przez Roya i Chakraborty (ich równanie 6). Autorzy przedstawiają również odpowiedni próbnik Gibbsa do pobierania próbek z rozkładu tylnego i pokazują, że próbnik Gibbsa zbiega się z rozkładem stacjonarnym z prędkością geometryczną. Z tego powodu odniesienia te mogą okazać się przydatne oprócz pracy Hansa .
źródło