Jaki powinien być nieinformacyjny uprzedni spadek dla regresji liniowej?

10

Wykonując bayesowską regresję liniową, należy przypisać pierwszeństwo dla nachylenia za i przecięcia b . Ponieważ jest parametrem lokalizacji, sensowne jest przypisanie uprzedniego munduru; Wydaje mi się jednak, że jest zbliżone do parametru skali i wydaje się nienaturalne przypisywanie munduru przed nim.bza

Z drugiej strony nie wydaje się słuszne przypisywanie zwykłego niedoinformowanego przełożonego Jeffreya ( ) dla nachylenia regresji liniowej. Po pierwsze może być ujemny. Ale nie rozumiem, co to może być.1/za

Jaki jest zatem „właściwy” nieinformacyjny uprzedzenie zbocza regresji liniowej bayesowskiej? (Wszelkie referencje będą mile widziane.)

Lindelof
źródło
Nachylenie nie jest tak naprawdę parametrem skali - na przykład może być ujemne. Nie ma wcześniej „właściwej” nieinformacyjnej informacji (lepsza informacja może być lepsza) wcześniej. Istnieje kilka typowych wyborów, które mogą pasować do różnych osób lub różnych sytuacji.
Glen_b

Odpowiedzi:

10

Z Bayesian Data Analysis wydanie 3, str. 355:

Standardowa nieinformacyjna wcześniejsza dystrybucja

W modelu regresji normalnej dogodna nieinformacyjna wcześniejsza dystrybucja jest jednolita dla lub równoważnie p ( β , σ 2(β,logσ)

p(β,σ2)|X)σ-2)

( odnoszący się do regresorów.) Książka zawiera przydatną dalszą dyskusję wykraczającą poza zakres tego pytania: Kiedy ten przeżytek jest użyteczny, gdy inni są bardziej odpowiedni, jego późniejsze porównanie i porównanie z klasycznymi szacunkami.X

Sean Easter
źródło
9

Bayesianie zwykle wybierają przeory, które ułatwiają ich matematycznie trudne życie. Oznacza to priory gaussowskie, chyba że model absolutnie tego zabrania. Pamiętaj, że potrzebujesz wcześniej dwuwymiarowego w swojej sytuacji, ponieważ musisz modelować korelację między nachyleniem i położeniem, a także ich marginalne zachowania. Norma wielowymiarowa jest twoim biletem.

Gaussowski przedtem parametrów ładnie zazębia się z (niewątpliwie) błędem pomiaru Gaussa, który ma już Twój model regresji.

Nawiasem mówiąc, nie wiążę nachyleń z parametrami skali, ponieważ nachylenia mogą być ujemne, a parametry skali nie.

Teraz rozkład gaussowski nie jest nieinformacyjnym przeorem, ale jeśli tak naprawdę nie masz wcześniejszych informacji, być może powinieneś być częstym. Lub użyj Gaussa z bardzo dużą wariancją.

Nie znam współczesnego odniesienia do wnioskowania bayesowskiego. Ryzykując użycie bazooki do zastrzelenia królika, możesz poszukać Rasmussena i Williamsa, które są dostępne online . Pierwsza część rozdziału 2 szczegółowo omawia regresję bayesowską.

Placidia
źródło