Czy istnieje bayesowska interpretacja regresji liniowej z równoczesną regularyzacją L1 i L2 (inaczej elastyczna siatka)?

17

Powszechnie wiadomo, że regresja liniowa z karą jest równoważna znalezieniu oszacowania MAP przy danym przed Gaussa współczynników. Podobnie użycie kary jest równoważne z użyciem rozkładu Laplace'a jako wcześniejszego.l2l1

Często zdarza się, że używa się ważonej kombinacji regularyzacji i . Czy możemy powiedzieć, że jest to równoważne wcześniejszemu rozkładowi współczynników (intuicyjnie wydaje się, że tak musi być)? Czy możemy nadać temu rozkładowi przyjemną formę analityczną (może mieszaninę Gaussa i Laplaciana)? Jeśli nie, dlaczego nie?l1l2

Michael Curry
źródło
2
zobacz ten artykuł: tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 (Jeśli odpowiedź nie zostanie poprawnie udzielona za tydzień lub dwa, opublikuję (mniej więcej) streszczenie tego artykułu)
user795305
8
Dodam, że wszelkie frequentists czasowe mają kara , A Bayesa można zinterpretować, że jako (prawdopodobnie) wcześniejszego niewłaściwego e - p e n na podstawie standardowego wzoru Gaussa. penepen
user795305
dzięki, ten artykuł i jego cytaty doskonale odpowiadają na moje pytanie!
Michael Curry
Świetny! Czy masz coś przeciwko wskazaniu, które cytaty masz na myśli? (
Planuję
1
Ok spoko! Myślę, że ich interpretacja bayesowska wiąże się z moim drugim komentarzem
user795305

Odpowiedzi:

6

Komentarz Bena jest prawdopodobnie wystarczający, ale podam kilka innych odniesień, z których jeden pochodzi z gazety, do której Ben się odwoływał.

β

Skorygowany model bayesowski dla elastycznej siatki został niedawno zaproponowany przez Roya i Chakraborty (ich równanie 6). Autorzy przedstawiają również odpowiedni próbnik Gibbsa do pobierania próbek z rozkładu tylnego i pokazują, że próbnik Gibbsa zbiega się z rozkładem stacjonarnym z prędkością geometryczną. Z tego powodu odniesienia te mogą okazać się przydatne oprócz pracy Hansa .

Greenparker
źródło
(+1) Świetna odpowiedź!
user795305
1
dla każdego w przyszłości - wszystkie artykuły są warte obejrzenia, ale artykuł Hansa zawiera kilka próbników Gibbsa dla różnych dystrybucji, a także hierarchiczną reprezentację przełożonego, którą można łatwo przetłumaczyć na Stan.
Michael Curry