Jaka jest różnica między częściowym prawdopodobieństwem, prawdopodobieństwem profilu i prawdopodobieństwem krańcowym?

56

Widzę, że te terminy są używane i ciągle je mieszam. Czy istnieje proste wyjaśnienie różnic między nimi?

Rob Hyndman
źródło

Odpowiedzi:

57

Funkcja prawdopodobieństwa zwykle zależy od wielu parametrów. W zależności od aplikacji zwykle jesteśmy zainteresowani tylko podzbiorem tych parametrów. Na przykład w regresji liniowej zainteresowanie zwykle leży w współczynnikach nachylenia, a nie w wariancji błędu.

Oznacz parametry, którymi jesteśmy zainteresowani, jako β a parametry, które nie są przedmiotem zainteresowania, jako θ . Standardowym sposobem podejścia do problemu oszacowania jest maksymalizacja funkcji prawdopodobieństwa, aby uzyskać oszacowania β i θ . Ponieważ jednak głównym przedmiotem zainteresowania jest β częściowe, profil i marginalne prawdopodobieństwo oferują alternatywne sposoby oszacowania β bez szacowania θ .

Aby zobaczyć różnicę, oznacz standardowe prawdopodobieństwo przez L(β,θ|data) .

Maksymalne prawdopodobieństwo

Znajdź β i θ które maksymalizują L(β,θ|data) .

Częściowe prawdopodobieństwo

Jeśli możemy napisać funkcję prawdopodobieństwa jako:

L(β,θ|data)=L1(β|data)L2(θ|data)

L1(β|data)

Prawdopodobieństwo profilu

θβθ

θ=g(β)

L(β,g(β)|data)

Marginalne prawdopodobieństwo

θθβ

febstar
źródło
2
Zauważ, że ostatnia definicja tutaj to prawdopodobieństwo zintegrowane (lub bayesowskie), a nie prawdopodobieństwo krańcowe.
ars
Czy jest to poprawne w RHS dla częściowego prawdopodobieństwa: „L2 (θ | theta)”?
jpalecek
@ars, czy mógłbyś edytować odpowiedź i podać definicję krańcowego prawdopodobieństwa?
Waldir Leoncio
13

Wszystkie trzy są używane w przypadku parametrów uciążliwych w całkowicie określonej funkcji wiarygodności.

Krańcowe prawdopodobieństwo jest podstawową metodą eliminacji uciążliwych parametrów w teorii. Jest to prawdziwa funkcja prawdopodobieństwa (tzn. Jest proporcjonalna do (marginalnego) prawdopodobieństwa zaobserwowanych danych).

Częściowe prawdopodobieństwo ogólnie nie jest prawdziwym prawdopodobieństwem. Jednak w niektórych przypadkach można to traktować jako prawdopodobieństwo wnioskowania asymptotycznego. Na przykład w modelach proporcjonalnego hazardu Coxa, skąd się wziął, interesują nas obserwowane rankingi w danych (T1> T2> ..) bez określania ryzyka bazowego. Efron wykazał, że częściowe prawdopodobieństwo niewiele lub wcale nie traci informacji dla różnych funkcji zagrożeń.

Prawdopodobieństwo profilu jest wygodne, gdy mamy wielowymiarową funkcję wiarygodności i pojedynczy parametr będący przedmiotem zainteresowania. Jest to określone przez zastąpienie niedogodności S jego MLE przy każdej stałej T (parametr będący przedmiotem zainteresowania), tj. L (T) = L (T, S (T)). Może to działać dobrze w praktyce, chociaż istnieje potencjalne odchylenie w MLE uzyskane w ten sposób; krańcowe prawdopodobieństwo koryguje to obciążenie.

ars
źródło