Jaka jest różnica między częściowym prawdopodobieństwem, prawdopodobieństwem profilu i prawdopodobieństwem krańcowym?

Widzę, że te terminy są używane i ciągle je mieszam. Czy istnieje proste wyjaśnienie różnic między nimi?

Funkcja prawdopodobieństwa zwykle zależy od wielu parametrów. W zależności od aplikacji zwykle jesteśmy zainteresowani tylko podzbiorem tych parametrów. Na przykład w regresji liniowej zainteresowanie zwykle leży w współczynnikach nachylenia, a nie w wariancji błędu.

Oznacz parametry, którymi jesteśmy zainteresowani, jako $\beta$ a parametry, które nie są przedmiotem zainteresowania, jako $\theta$ . Standardowym sposobem podejścia do problemu oszacowania jest maksymalizacja funkcji prawdopodobieństwa, aby uzyskać oszacowania $\beta$ i $\theta$ . Ponieważ jednak głównym przedmiotem zainteresowania jest $\beta$ częściowe, profil i marginalne prawdopodobieństwo oferują alternatywne sposoby oszacowania $\beta$ bez szacowania $\theta$ .

Aby zobaczyć różnicę, oznacz standardowe prawdopodobieństwo przez $L(\beta, \theta|\mathrm{data})$ .

Maksymalne prawdopodobieństwo

Znajdź $\beta$ i $\theta$ które maksymalizują $L(\beta, \theta|\mathrm{data})$ .

Częściowe prawdopodobieństwo

Jeśli możemy napisać funkcję prawdopodobieństwa jako:

$$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$$

$L_1(\beta|\mathrm{data})$

Prawdopodobieństwo profilu

$\theta$$\beta$$\theta$

$\theta = g(\beta)$

$$L(\beta, g(\beta)|\mathrm{data})$$

Marginalne prawdopodobieństwo

$\theta$$\theta$$\beta$

Wszystkie trzy są używane w przypadku parametrów uciążliwych w całkowicie określonej funkcji wiarygodności.

Krańcowe prawdopodobieństwo jest podstawową metodą eliminacji uciążliwych parametrów w teorii. Jest to prawdziwa funkcja prawdopodobieństwa (tzn. Jest proporcjonalna do (marginalnego) prawdopodobieństwa zaobserwowanych danych).

Częściowe prawdopodobieństwo ogólnie nie jest prawdziwym prawdopodobieństwem. Jednak w niektórych przypadkach można to traktować jako prawdopodobieństwo wnioskowania asymptotycznego. Na przykład w modelach proporcjonalnego hazardu Coxa, skąd się wziął, interesują nas obserwowane rankingi w danych (T1> T2> ..) bez określania ryzyka bazowego. Efron wykazał, że częściowe prawdopodobieństwo niewiele lub wcale nie traci informacji dla różnych funkcji zagrożeń.

Prawdopodobieństwo profilu jest wygodne, gdy mamy wielowymiarową funkcję wiarygodności i pojedynczy parametr będący przedmiotem zainteresowania. Jest to określone przez zastąpienie niedogodności S jego MLE przy każdej stałej T (parametr będący przedmiotem zainteresowania), tj. L (T) = L (T, S (T)). Może to działać dobrze w praktyce, chociaż istnieje potencjalne odchylenie w MLE uzyskane w ten sposób; krańcowe prawdopodobieństwo koryguje to obciążenie.