Jaka jest różnica między „funkcją łącza” a „kanoniczną funkcją łącza” dla GLM

65

Jaka jest różnica między terminami „funkcja łącza” i „kanoniczna funkcja łącza”? Czy są też (teoretyczne) zalety używania jednego nad drugim?

Na przykład binarna zmienna odpowiedzi może być modelowana przy użyciu wielu funkcji łącza, takich jak logit , probit itp. Jednak logit tutaj jest uważany za „kanoniczną” funkcję łącza.

logistic generalized-linear-model link-function steadyfish
źródło

10

Obszernie omawiam tutaj funkcje linków: Różnica między modelami logit i probit , skupiając się na regresji dla binarnej zmiennej odpowiedzi. Chociaż tylko niewielka część tej dyskusji skupia się na znaczeniu funkcji „link” jako „kanonicznej”, to jednak może być pomocne w czytaniu. Zauważ, że aby zrozumieć różnicę b / ti zalety kanonicznej vs niekanonicznej funkcji łącza, należy zagłębić się głęboko w matematykę leżącą u podstaw GLiM.

gung - Przywróć Monikę

68

Powyższe odpowiedzi są bardziej intuicyjne, więc staram się bardziej rygorystycznie.

Co to jest GLM?

Niech oznacza zbiór odpowiedź i -wymiarowego wektora współzmienna o wartość oczekiwana . Dla niezależnych obserwacji rozkład każdego jest wykładniczy rodziny o gęstości $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$ Tutaj interesującym parametrem (parametr naturalny lub kanoniczny) jest , jest a parametr skali (znany lub postrzegany jako uciążliwy) oraz i są znanymi funkcjami. Gdy -wymiarowych wektory stałych wartościach wejściowych na

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$

p

$p$ zmienne objaśniające oznaczone są przez

. Zakładamy, że wektory wejściowe wpływają (1) tylko przez funkcję liniową, predyktor liniowy,

od których zależy

. Jak można wykazać, że

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$ , tę zależność ustala się, łącząc predyktor liniowy

i

za pomocą średniej. Mówiąc dokładniej, średnia

jest postrzegana jako odwracalna i gładka funkcja predyktora liniowego, tj.

Teraz, aby odpowiedzieć na twoje pytanie:

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$

$g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

$X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

Dlatego zazwyczaj są używane. Zauważ jednak, że nie ma a priori powodu, dla którego efekty w modelu powinny być addytywne w skali podanej przez to lub inne łącze.

Momo
źródło

5

+1, to naprawdę fajna odpowiedź, @Momo. Niektóre równania były dla mnie trudniejsze do odczytania, gdy zostały zakopane w akapitach, więc „zablokowałem” je, stosując podwójne znaki dolara (tj. $ $). Mam nadzieję, że to w porządku (jeśli nie, możesz cofnąć, bez moich przeprosin).

gung - Przywróć Monikę

1

@Momo oryginalne pytanie tutaj zawiera jednak to, o co pytał Wei, dlatego warto podkreślić, że na to pytanie nie ma jeszcze wyraźnej odpowiedzi.

Glen_b

1

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

1

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$ istnieje tylko wtedy, gdy użyjemy kanonicznej funkcji łącza.

Druss2k

2

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

16

Gung przytoczył dobre wyjaśnienie: link kanoniczny ma specjalne teoretyczne właściwości minimalnej wystarczalności. Oznacza to, że możesz zdefiniować warunkowy model logit (który ekonomiści nazywają modelem o stałym efekcie), uzależniając go od liczby wyników, ale nie możesz zdefiniować warunkowego modelu probit, ponieważ nie ma wystarczających statystyk do użycia z łączem probit.

StasK
źródło

Czy możesz rozwinąć nieco minimalną wystarczalność? Na podstawie powyższego wyjaśnienia nadal możemy zdefiniować model probitowy, prawda? Na pewno nie będzie to kanoniczna funkcja łącza, ale jaka szkoda w korzystaniu z niekanonicznej funkcji łącza.

pikachuchameleon

9

Oto mały schemat zainspirowany klasą MIT 18.650, który uważam za bardzo przydatny, ponieważ pomaga zwizualizować relacje między tymi funkcjami. Użyłem tego samego zapisu, co w poście @ momo:

$\gamma(\theta)$
$g(\mu)$

$g$

Schemat pozwala łatwo przejść z jednego kierunku do drugiego, na przykład:

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

Kanoniczna funkcja łącza

$g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

Xavier Bourret Sicotte
źródło

1

Powyższe odpowiedzi obejmują już to, co chcę powiedzieć. Aby wyjaśnić kilka kwestii jako badacza uczenia maszynowego:

funkcja link jest niczym innym jak odwrotnością funkcji aktywacji. Na przykład logit jest odwrotnością sigmoidu, probit jest odwrotnością funkcji skumulowanego rozkładu Gaussa.
$w^T x$ $w$ $x$

Powyższa dyskusja nie ma nic wspólnego z wykładniczą rodziną, ale miłą dyskusję można znaleźć w książce PRML Christophera Bishopa Rozdział 4.3.6.

Guojun Zhang
źródło

Jaka jest różnica między „funkcją łącza” a „kanoniczną funkcją łącza” dla GLM

Odpowiedzi:

Kanoniczna funkcja łącza