Czytając artykuł „Prognozowanie w skali” (narzędzie prognostyczne FBProphet, patrz https://peerj.com/preprints/3190.pdf ) natknąłem się na termin „rzadkie wcześniejsze”. Autorzy wyjaśniają, że używali takiego „rzadkiego wcześniejszego” do modelowania wektora odchyleń szybkości od pewnego współczynnika skalarnego , który jest parametrem modelu w logistycznym modelu wzrostu.
Gdy stwierdzają, że , czy rozumiem poprawnie, że „rzadki” odnosi się do elementów przenoszących wektor bliski zeru, jeśli parametr był mały? Jestem zdezorientowany, ponieważ myślałem, że wszystkie elementy wektorowe muszą być parametrami regresji, ale zdefiniowanie ich w ten sposób pozostawia parametry i jako parametry modelu swobodnego, prawda?
Ponadto, czy użycie rozkładu Laplace'a do wygenerowania wcześniejszego wspólnego? Nie rozumiem, dlaczego jest to lepsze niż np. Rozkład normalny.
źródło
Odpowiedzi:
Dane rzadkie to dane z wieloma zerami. Tutaj autorzy wydają się nazywać przeora rzadkim, ponieważ faworyzuje zera. Jest to dość oczywiste, jeśli spojrzysz na kształt rozkładu Laplace'a (znanego również jako podwójny wykładniczy), który osiąga wartość szczytową wokół zera.
(źródło obrazu Tibshirani, 1996)
Ten efekt jest prawdziwy dla każdej wartości (rozkład jest zawsze najwyższy w swoim parametrze lokalizacji, tutaj równym zero), chociaż im mniejsza wartość parametru, tym bardziej efekt regularyzacji ma.τ
Z tego powodu wcześniej Laplace jest często stosowany jako solidny , mający działanie regulujące. Powiedziawszy to, wcześniejszy Laplace jest popularnym wyborem, ale jeśli chcesz naprawdę rzadkich rozwiązań, mogą być lepsze opcje, jak opisano w Van Erp i in. (2019).
Van Erp, S., Oberski, DL i Mulder, J. (2019). Priors Kurczenia za Bayesowską Regres Karny. Journal of Mathematical Psychology, 89 , 31-50. doi: 10.1016 / j.jmp.2018.12.004
źródło