Mówi się, że estymatory regresji karnej, takie jak LASSO i kalenica, odpowiadają estymatorom bayesowskim z pewnymi priorytetami. Wydaje mi się (ponieważ nie wiem wystarczająco dużo na temat statystyki bayesowskiej), że dla ustalonego parametru strojenia istnieje konkretny wcześniejszy odpowiednik.
Teraz częsty optymalizowałby parametr strojenia poprzez krzyżową weryfikację. Czy istnieje odpowiednik bayesowski i czy jest w ogóle wykorzystywany? Czy też podejście bayesowskie skutecznie naprawia parametr strojenia przed obejrzeniem danych? (Myślę, że to ostatnie byłoby szkodliwe dla wydajności predykcyjnej.)
bayesian
lasso
ridge-regression
Richard Hardy
źródło
źródło
Odpowiedzi:
Tak to jest poprawne. Ilekroć mamy problem z optymalizacją, polegający na maksymalizacji funkcji logarytmu prawdopodobieństwa plus funkcji kary na parametrach, jest to matematycznie równoważne późniejszej maksymalizacji, gdzie funkcja kary jest logarytmem poprzedniego jądra. † Aby to zobaczyć, załóżmy, że mamy funkcję kary w, używając parametru strojenia λ . Funkcję celu w tych przypadkach można zapisać jako:† w λ
gdzie używamy wcześniejszegoπ(θ|λ)∝exp(−w(θ|λ)) . Zauważ, że parametr strojenia w optymalizacji jest traktowany jako stały hiperparametr we wcześniejszym rozkładzie. Jeśli przeprowadzasz klasyczną optymalizację ze stałym parametrem strojenia, jest to równoważne z przeprowadzeniem optymalizacji bayesowskiej ze stałym hiperparametrem. W przypadku regresji LASSO i Ridge funkcje karne i odpowiadające im wcześniejsze odpowiedniki to:
The former method penalises the regression coefficients according to their absolute magnitude, which is the equivalent of imposing a Laplace prior located at zero. The latter method penalises the regression coefficients according to their squared magnitude, which is the equivalent of imposing a normal prior located at zero.
Tak długo, jak metoda częstokrzyska może być przedstawiana jako problem optymalizacyjny (zamiast powiedzieć, że obejmuje test hipotezy lub coś w tym rodzaju), będzie analogia Bayesa z użyciem równoważnego wcześniejszego. Podobnie jak częste osoby mogą traktować parametr strojeniaλ jako nieznany i oszacować to na podstawie danych, tak Bayesian może podobnie traktować hiperparametr λ jako nieznany. W pełnej analizie bayesowskiej wymagałoby to nadania hiperparametru własnemu przejęciu i znalezienia tylnego maksimum pod tym przełożeniem, co byłoby analogiczne do maksymalizacji następującej funkcji celu:
This method is indeed used in Bayesian analysis in cases where the analyst is not comfortable choosing a specific hyperparameter for their prior, and seeks to make the prior more diffuse by treating it as unknown and giving it a distribution. (Note that this is just an implicit way of giving a more diffuse prior to the parameter of interestθ .)
Before proceeding to look atK -fold cross-validation, it is first worth noting that, mathematically, the maximum a posteriori (MAP) method is simply an optimisation of a function of the parameter θ and the data x . If you are willing to allow improper priors then the scope encapsulates any optimisation problem involving a function of these variables. Thus, any frequentist method that can be framed as a single optimisation problem of this kind has a MAP analogy, and any frequentist method that cannot be framed as a single optimisation of this kind does not have a MAP analogy.
The loss measures for each of theK "folds" can then be aggregated to get an overall loss measure for the cross-validation:
One then estimates the tuning parameter by minimising the overall loss measure:
We can see that this is an optimisation problem, and so we now have two seperate optimisation problems (i.e., the one described in the sections above forθ , and the one described here for λ ). Since the latter optimisation does not involve θ , we can combine these optimisations into a single problem, with some technicalities that I discuss below. To do this, consider the optimisation problem with objective function:
whereδ>0 is a weighting value on the tuning-loss. As δ→∞ the weight on optimisation of the tuning-loss becomes infinite and so the optimisation problem yields the estimated tuning parameter from K -fold cross-validation (in the limit). The remaining part of the objective function is the standard objective function conditional on this estimated value of the tuning parameter. Now, unfortunately, taking δ=∞ screws up the optimisation problem, but if we take δ to be a very large (but still finite) value, we can approximate the combination of the two optimisation problems up to arbitrary accuracy.
From the above analysis we can see that it is possible to form a MAP analogy to the model-fitting andK -fold cross-validation process. This is not an exact analogy, but it is a close analogy, up to arbitrarily accuracy. It is also important to note that the MAP analogy no longer shares the same likelihood function as the original problem, since the loss function depends on the data and is thus absorbed as part of the likelihood rather than the prior. In fact, the full analogy is as follows:
whereL∗x(θ,λ)∝exp(ℓx(θ)−δL(x,λ)) and π(θ,λ)∝exp(−w(θ|λ)) , with a fixed (and very large) hyper-parameter δ .
źródło
Indeed most penalized regression methods correspond to placing a particular type of prior to the regression coefficients. For example, you get the LASSO using a Laplace prior, and the ridge using a normal prior. The tuning parameters are the “hyperparameters” under the Bayesian formulation for which you can place an additional prior to estimate them; for example, for in the case of the ridge it is often assumed that the inverse variance of the normal distribution has aχ2 prior. However, as one would expect, resulting inferences can be sensitive to the choice of the prior distributions for these hyperparameters. For example, for the horseshoe prior there are some theoretical results that you should place such a prior for the hyperparameters that it would reflect the number of non-zero coefficients you expect to have.
A nice overview of the links between penalized regression and Bayesian priors is given, for example, by Mallick and Yi.
źródło