Estymator największego prawdopodobieństwa wspólnego rozkładu, biorąc pod uwagę tylko marginalne liczby

Niech będzie łącznym rozkładem dwóch zmiennych kategorialnych , z . Powiedzmy, że próbek pobrano z tego rozkładu, ale podano nam tylko liczby krańcowe, mianowicie dla : $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

Jaki jest estymator największej wiarygodności dla , biorąc uwagę ? Czy to jest znane? Wykonalne obliczeniowo? Czy istnieją inne uzasadnione podejścia do tego problemu inne niż ML? $p_{x,y}$ $S_j,T_j$

categorical-data maximum-likelihood joint-distribution marginal maximum-entropy RS
źródło

Marginesy tak naprawdę nie zawierają informacji * o wspólnym rozkładzie (w rzeczy samej jest to punkt kopul). * lub przynajmniej prawie wcale - oczywiście marginesy zawierają co najmniej pewne informacje, ponieważ wewnętrzne liczby nie mogą przekraczać marginesów, w których występują. Czy masz na myśli konkretny wspólny rozkład? Dlaczego użyłeś tagu? Czy szukasz rozwiązania z maksymalną entropią?

$\:$ maximum-entropy

Glen_b

Nie znam się na kopulach. Czy mają również zastosowanie do przypadku kategorycznego? Co to znaczy - że każda wspólna dystrybucja z tymi samymi marżami miałaby takie samo prawdopodobieństwo? (Oznacziłem maksymalną entropię, ponieważ myślałem, że może być istotna.)

Nie mamy nawet określonego modelu dystrybucji, więc tak naprawdę nie jesteśmy w stanie obliczyć . Jest tu wiele możliwości. Istnieją kopuły dla uporządkowanego przypadku kategorycznego (jeśli nie unikatowego), ale moim celem w podniesieniu go było uzasadnienie, dlaczego marginesy nie były ogólnie bardzo pouczające. Jeśli chodzi o przypadek liczenia kategorycznego, Fisher traktował marginesy jako mało informujące o połączeniu, skąd dokładny test Fisher-Irwin. Jeśli chcesz maksymalnej entropii, prawdopodobnie możesz uzyskać rozwiązanie maksymalnej entropii, ale nie wiem, że będzie to bardzo pouczające o ...

P (x | θ)

$P(x|\theta)$

Glen_b

(ctd) ... struktura. W obu przypadkach ME lub ML myślę, że najpierw będziesz potrzebować jakiegoś modelu, czy to będzie dwuwymiarowa wielomianowa, dwuwymiarowa hipergeometryczna, czy coś o większej strukturze. Zobacz to pytanie , w którym autor umieszcza odniesienie w odpowiedzi. To może być pomocne.

Glen_b

Miałem na myśli ogólny dwumianowy rozkład wielomianowy. Pytanie dotyczy przypadku, w którym podane są sumy rozkładu i widzimy próbki ze wspólnego rozkładu. Tutaj mamy sumy próbki. Myślę, że problem jest dobrze zdefiniowany w przypadku ML (rozwiązanie może nie być unikalne, ale nie wiem).

Odpowiedzi:

Tego rodzaju problem został zbadany w pracy „Augmentacja danych w wielostronnych tabelach nieprzewidzianych ze stałymi marginalnymi sumami” , Dobra i in. (2006). Niech oznacza parametry modelu, niech oznacza nieobserwowaną tablicę liczb całkowitych zliczeń dla każdej pary , i niech będzie zbiorem tablic liczb całkowitych, których liczby brzeżne są równe . Zatem prawdopodobieństwo zaobserwowania wartości krańcowych wynosi: gdzie $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$ jest wielomianowym rozkładem próbkowania. Definiuje to funkcję prawdopodobieństwa dla ML, ale bezpośrednia ocena jest niemożliwa, z wyjątkiem małych problemów. Zalecane przez nich podejście to MCMC, w którym na przemian aktualizujesz i , próbkując z rozkładu propozycji i akceptując zmianę zgodnie ze współczynnikiem akceptacji Metropolis-Hastings. Można to dostosować, aby znaleźć przybliżone maksimum ponad przy użyciu Monte Carlo EM.

n

$\mathbf{n}$

θ

$\theta$

θ

$\theta$

Inne podejście zastosowałoby metody wariacyjne do przybliżenia sumy nad . Więzy krańcowe można zakodować jako wykres czynnikowy, a wnioskowanie nad można przeprowadzić za pomocą propagacji oczekiwań. $\mathbf{n}$ $\theta$

Aby zobaczyć, dlaczego ten problem jest trudny i nie pozwala na trywialne rozwiązanie, rozważ przypadek . Przyjmując jako sumy wierszy i jako sumy kolumn, istnieją dwie możliwe tabele zliczeń: Dlatego funkcja prawdopodobieństwo, MLE dla tego problemu to co odpowiada założeniu tabeli po lewej stronie. Natomiast szacunek, który można uzyskać, zakładając niezależność, to: $S=(1,2), T=(2,1)$ $S$ $T$

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$ który ma mniejszą wartość prawdopodobieństwa.

Tom Minka
źródło

Czy nie jest możliwe uzyskanie rozwiązania analitycznego?

Ben Kuhn

Dzięki! Artykuł wydaje się trafny, choć wydaje się, że pochodzi z perspektywy bayesowskiej. Co z konkretnym przypadkiem, w którym jest w rzeczywistości samym rozkładem, a mianowicie , dla wszystkich par ? Czy podejrzewałby, że w tym przypadku byłoby rozwiązanie analityczne?

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

Nie podejrzewałbym, że istnieje rozwiązanie analityczne. Dodałem przykład, aby to zilustrować.

Tom Minka,

Dzięki. Być może jest to prawda asymptotycznie? Zatem warunkowanie na sumy marginesów jest takie samo jak warunkowanie na rozkładach marginesów (po normalizacji), a prawdopodobieństwo logarytmiczne dla każdej nieobserwowanej tabeli liczb całkowitych jest proporcjonalne do jej entropii. Może więc coś z AEP?

Jak wskazał @Glen_b, nie jest to wystarczająco określone. Nie sądzę, abyś mógł wykorzystać maksymalne prawdopodobieństwo, chyba że możesz w pełni określić prawdopodobieństwo.

Jeśli byłeś gotów założyć niezależność, problem jest dość prosty (nawiasem mówiąc, myślę, że rozwiązaniem byłoby zaproponowane maksymalne rozwiązanie entropii). Jeśli nie chcesz ani nie jesteś w stanie narzucić dodatkowej struktury w swoim problemie i nadal chcesz jakieś przybliżenie wartości komórek, być może możesz użyć granic kopuły Frécheta – Hoeffdinga . Bez dodatkowych założeń nie sądzę, abyś mógł pójść dalej.

F. Tusell
źródło

Prawdopodobieństwo tego może być wielomianowe. Dlaczego to nie wystarcza?

Jak rozumiem, prawdopodobieństwo jest funkcją parametrów podanych danych. Tutaj nie masz wartości dla każdej komórki, tylko marginesy, dlatego nie masz jednej funkcji parametrów, którą możesz obliczyć, a co dopiero maksymalizować. Zasadniczo istnieje wiele konfiguracji komórek zgodnych z marginesami i każda daje inne prawdopodobieństwo.

F. Tusell,

Tak, ale w porządku. Parametry to , dane to marginesy. Nadal mogę obliczyć prawdopodobieństwo podanych marginesów - jest to suma wszystkich prawdopodobieństw konfiguracji komórek, które dają marginesy. To jedna funkcja, którą mogę zmaksymalizować.

p

$p$

p

$p$

Edycja: Ta odpowiedź opiera się na niepoprawnym założeniu, że prawdopodobieństwo podanych wartości krańcowych jest tylko funkcją prawdopodobieństw krańcowych i . Nadal o tym myślę. $p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

Następują złe rzeczy:

Jak wspomniano w komentarzu, problem ze znalezieniem „estymatora największego prawdopodobieństwa dla polega na tym, że nie jest on unikalny. Rozważmy na przykład przypadek z binarnymi i marginesami . Dwa estymatory $p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

mają te same krańcowe prawdopodobieństwa i we wszystkich przypadkach, a zatem mają równe prawdopodobieństwo (oba z nich maksymalizują funkcję prawdopodobieństwa, jak można zweryfikować). $p_x$ $p_y$

Rzeczywiście, bez względu na marginesy (o ile dwa z nich są niezerowe w każdym wymiarze), rozwiązanie maksymalnego prawdopodobieństwa nie jest unikalne. Udowodnię to w przypadku pliku binarnego. Niech będzie rozwiązaniem o najwyższym prawdopodobieństwie. Bez utraty ogólności załóżmy, że . Zatem ma te same marginesy, a zatem jest również rozwiązaniem o najwyższym prawdopodobieństwie. $p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

Jeśli chcesz dodatkowo zastosować ograniczenie maksymalnej entropii, otrzymujesz unikalne rozwiązanie, które, jak stwierdził F. Tussell, jest rozwiązaniem, w którym są niezależne. Możesz to zobaczyć w następujący sposób: $X, Y$

Entropia rozkładu to ; maksymalizacja z zastrzeżeniem i (równoważnie, gdzie i ) stosując mnożników Lagrange podaje równanie: $H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (p) = \sum_{k \in X \cup Y} λ_{k} \nabla g_{k} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

Wszystkie gradienty każdego wynoszą 1, więc współdziała to $g_k$

1 - \log p_{x, y} = λ_{x} + λ_{y} ⟹ p_{x, y} = e^{1 - λ_{x} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

plus oryginalne ograniczenia i . Możesz sprawdzić, czy jest to spełnione, gdy oraz , dając $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{x, y} = p_{x} p_{y} .

$p_{x,y} = p_xp_y.$

Ben Kuhn
źródło

W pierwszym przykładzie: podane są liczby krańcowe , a nie krańcowe prawdopodobieństwa. W opisanym przypadku prawdopodobieństwo dla lewego oznacza prawdopodobieństwo które wynosi . Dla prawej jest to , czyli . Nawet jeśli nie ma unikalnego rozwiązania, nie oznacza to, że nie możemy wskazać jakiegoś rozwiązania. Maksymalna entropia daje unikalne rozwiązanie, ale może nie być maksymalnego prawdopodobieństwa.

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

Niepoprawnie obliczyłeś prawdopodobieństwa; na przykład zapomniałeś podać współczynniki dwumianowe. Ale masz rację, że dwie macierze dają różne wspólne rozkłady wartości krańcowych, nawet jeśli dają taki sam rozkład krańcowy liczb krańcowych. (Yikes!) Pomyślę o tym więcej.

Ben Kuhn