Czy prawdopodobieństwo dziennika w GLM gwarantuje konwergencję do maksymalnych wartości globalnych?

Moje pytania to:

Czy uogólnione modele liniowe (GLM) są gwarantowane, że osiągną globalne maksimum? Jeśli tak, to dlaczego?
Co więcej, jakie są ograniczenia funkcji łączenia w celu zapewnienia wypukłości?

Rozumiem GLM, że maksymalizują one wysoce nieliniową funkcję wiarygodności. Tak więc wyobrażam sobie, że istnieje kilka lokalnych maksimów, a zestaw parametrów, do którego się zbliżasz, zależy od warunków początkowych algorytmu optymalizacji. Jednak po przeprowadzeniu niektórych badań nie znalazłem ani jednego źródła, które wskazuje, że istnieje wiele lokalnych maksimów. Co więcej, nie znam się na technikach optymalizacji, ale wiem, że metoda Newtona-Raphsona i algorytm IRLS są bardzo podatne na lokalne maksima.

Proszę wyjaśnić, jeśli to możliwe, zarówno intuicyjnie, jak i matematycznie!

EDYCJA: dksahuji odpowiedział na moje pierwotne pytanie, ale chcę dodać pytanie uzupełniające [ 2 ] powyżej. („Jakie są ograniczenia funkcji łączenia w celu zapewnienia wypukłości?”)

generalized-linear-model optimization convergence exponential-family DankMasterDan
źródło

Myślę, że zanim będzie to możliwe, konieczne będą pewne ograniczenia. Jakie jest źródło tego oświadczenia?

Glen_b

Wydawało się, że sugeruje to kilka stron, ale nie mogłem znaleźć niczego, co by o tym wspominało, dlatego też z zadowoleniem przyjmuję jego dyskomfort!

DankMasterDan

tak długo, jak prawdopodobieństwo jest dobrze zdefiniowane wszędzie w domenie (i ignorując pewne styczne problemy numeryczne), myślę, że tak. W tych warunkach hessian wynosi <0 wszędzie w domenie, więc podobieństwo jest globalnie wklęsłe. Przy okazji, funkcje nie są „wysoce nieliniowe” w parametrach i to jest ważne.

user603

@ user603 jakie jest twoje źródło / dowód, że hessian jest wszędzie <0?

DankMasterDan

Regresje logistyczne, Poissona i Gaussa są często wypukłe, biorąc pod uwagę „dobrą” funkcję łącza. Jednak w przypadku dowolnej funkcji łącza nie są one wypukłe.

Memming

Odpowiedzi:

Definicja rodziny wykładniczej jest następująca:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

gdzie jest funkcją partycji dziennika. Teraz można udowodnić, że następujące trzy rzeczy dotyczą przypadku 1D (i generalizują do wyższych wymiarów - możesz przyjrzeć się właściwościom rodziny wykładniczej lub partycji dziennika): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

Powyższy wynik dowodzi, że jest wypukły (ponieważ jest dodatnim półfinałem). Teraz przyjrzymy się funkcji wiarygodności dla MLE: $A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

$\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Istnieje uogólniona wersja zwana zakrzywioną rodziną wykładniczą, która również byłaby podobna. Ale większość dowodów ma formę kanoniczną.

dksahuji
źródło

więc czy to oznacza, że GLM ma unikalny globalny numer minimalny, która funkcja łącza jest wybrana (w tym te niekanoniczne)?

DankMasterDan

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$

Zauważ, że pytanie dotyczy raczej zbieżności, a nie tylko istnienia, ale z kilkoma ograniczeniami, które również mogą być wykonalne.

Glen_b

@Glen_b Czy potrafisz opracować? Nie znam takich ograniczeń. Może coś w rodzaju ograniczeń dotyczących stopniowania w optymalizatorze opartym na gradiencie do zbieżności w przypadku funkcji wklęsłej.

dksahuji

@Glen_b To może być prawda, ale nie widzę żadnego powodu, aby funkcja wklęsła nie była zbieżna z optymami w ramach niewielkiej tolerowanej wartości. Ale powiedziałbym, że nie mam z nimi żadnego praktycznego doświadczenia i właśnie zacząłem. :)

dksahuji