Dlaczego rodzina wykładnicza nie obejmuje wszystkich rozkładów?

Czytam książkę:

Bishop, Rozpoznawanie wzorców i uczenie maszynowe (2006)

który definiuje wykładniczą rodzinę jako rozkłady postaci (równanie 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

Ale nie widzę żadnych ograniczeń dotyczących lub . Czy to nie oznacza, że dowolna dystrybucja może być umieszczona w tej formie, poprzez odpowiedni wybór i (w rzeczywistości tylko jeden z nich musi być odpowiednio wybrany!)? Dlaczego więc rodzina wykładnicza nie obejmuje wszystkich rozkładów prawdopodobieństwa? czego mi brakuje? $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

Na koniec bardziej szczegółowe pytanie, które mnie interesuje, brzmi: czy rozkład Bernoulliego w rodzinie wykładniczej ? Wikipedia twierdzi, że tak, ale ponieważ jestem tutaj wyraźnie zdezorientowany, chciałbym dowiedzieć się, dlaczego.

mathematical-statistics exponential-family becko
źródło

dla dowodu, że rozkład Bernoulliego należy do rodziny wykładniczej, spróbuj użyć faktu, że i zobacz, dokąd cię to

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$

zaprowadzi

Aby wyjaśnić, czy pytasz, czy w tym formularzu można napisać jakąkolwiek dystrybucję, czy też w tej formie można napisać rodzinę dystrybucji? Wydaje się, że otrzymałeś odpowiedzi na to ostatnie pytanie.

Owen,

@Owen Tak, teraz widzę, że jest to kluczowy punkt. Chociaż dowolna dystrybucja może być zapisana w tej formie (poprzez odpowiednie ustawienie i ), nie oznacza to, że w tej formie można napisać dowolną rodzinę .

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

becko

@becko, Dokładnie tak. Frazowanie w tekście „rodzina wykładnicza” jest nieco mylące, ponieważ nie ma tylko jednej rodziny wykładniczej; raczej każdy wybór

daje początek rodzinie. Zamiast tego wielu autorów mówi „wykładnicza rodzina”, co wyjaśnia to bardziej; np. zobacz stronę Wikipedii: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

Brent Kerby

@becko Myślę, że twój argument pokazuje, że dowolna dystrybucja może być jednym członkiem rodziny wykładniczej, ale nie że każda rodzina dystrybucji może być rodziną wykładniczą.

Matthew Drury

Odpowiedzi:

Cóż, jedną konsekwencją twojej definicji: jest to, że obsługa rodziny dystrybucji indeksowanej parametrem nie zależy od . (Wsparcie rozkładu prawdopodobieństwa to (zamknięcie) najmniejszego zestawu z prawdopodobieństwem jeden, czyli innymi słowy, gdzie rozkład występuje

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$ .) Wystarczy więc podać kontrprzykład rodziny dystrybucji ze wsparciem zależnym od parametru, najłatwiejszym przykładem jest następująca rodzina rozkładów jednorodnych:

. (inna odpowiedź @Chaconne daje bardziej wyrafinowany kontrprzykład).

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$

kjetil b halvorsen
źródło

Rozważ niecentralny rozkład Laplace'a

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

Chyba że nie będziesz mógł pisać jako iloczyn wewnętrzny między a jakąś funkcją . $\mu = 0$ $|x - \mu|$ $\mu$ $x$

Rodzina wykładnicza zawiera ogromną większość ładnie nazwanych dystrybucji, które często spotykamy, więc na początku może się wydawać, że ma wszystko, co interesujące, ale w żadnym wypadku nie jest wyczerpująca.

jld
źródło