Czy twierdzenie Bayesa dotyczy oczekiwań?

18

Czy to prawda, że dla dwóch zmiennych losowych i , $A$ $B$

E (A ∣ B) = E (B ∣ A) \frac{E (A)}{E (B)} ?

$E(A\mid B)=E(B\mid A)\frac{E(A)}{E(B)}?$

bayesian mathematical-statistics tomka
źródło

3

Hmm ... Nie sądzę, aby te dwie strony były równoważne

Jon

6

Jak wskazano w odpowiedziach, pytanie jest probabilistycznie pozbawione znaczenia ze względu na integrację zmiennych losowych po jednej stronie, które są zmiennymi warunkującymi po drugiej stronie.

Xi'an

25

\begin{matrix} (1) & E [A ∣ B] \overset{?}{=} E [B ∣ A] \frac{E [A]}{E [B]} \end{matrix}

$E[A\mid B] \stackrel{?}= E[B\mid A]\frac{E[A]}{E[B]} \tag 1$ Przypuszczalny wynik jest trywialnie prawdziwy dla niezależnych zmiennych losowych

i

z niezerowymi środkami.

(1)

$(1)$

A

$A$

B

$B$

Jeśli $E[B]=0$ , to prawa strona $(1)$ obejmuje dzielenie przez $0$ a zatem $(1)$ jest bez znaczenia. Należy pamiętać, że to, czy $A$ i $B$ są niezależne, nie ma znaczenia.

Ogólnie rzecz biorąc , $(1)$ nie dotyczy zależnych zmiennych losowych, ale można znaleźć konkretne przykłady zależnych $A$ i $B$ spełniających $(1)$ . Zauważ, że musimy nadal nalegać, aby $E[B]\neq 0$ , w przeciwnym razie prawa strona $(1)$ jest bez znaczenia. Należy pamiętać, że $E[A\mid B]$ jest zmienną losową , która okazuje się być funkcją zmiennej losowej $B$ , np $g(B)$ , a $E[B\mid A]$ jest zmienną losową , która jest funkcją z powiedzmy zmienna losowa $A$ $h(A)$ . Zatem $(1)$ jest podobne do pytania, czy

\begin{matrix} (2) & g (B) \overset{?}{=} h (A) \frac{E [A]}{E [B]} \end{matrix}

$g(B)\stackrel{?}= h(A)\frac{E[A]}{E[B]} \tag 2$ może być prawdziwym stwierdzeniem i oczywiście odpowiedź jest taka, że

g (B)

$g(B)$ nie może być wielokrotność

h (A)

$h(A)$ ogólnie.

O ile mi wiadomo, są tylko dwa specjalne przypadki, w których $(1)$ może się utrzymywać.

Jak wspomniano powyżej, dla niezależnych zmiennych losowych i , i są zdegenerowane zmiennych losowych (zwane stałe statystycznie nieobytymi ludzi), które równy oraz odpowiednio, i jeżeli , mamy równość w . $A$ $B$ $g(B)$ $h(A)$ $E[A]$ $E[B]$ $E[B]\neq 0$ $(1)$
Na drugim końcu spektrum od niezależności załóżmy, że gdzie jest funkcją odwracalną, a zatem i są całkowicie zależne zmienne losowe. W tym przypadku i tak staje się który zachowuje się dokładnie, gdy gdzie może być dowolna niezerowa liczba rzeczywista. Tak więc ilekroć jest skalarną wielokrotnością , i oczywiście $A=g(B)$ $g(\cdot)$ $A=g(B)$ $B=g^{-1}(A)$
$mi [ZA ∣ b] = sol (b), mi [b ∣ ZA] = {sol}^{- 1} (ZA) = {sol}^{- 1} (sol (b)) = b$ $E[A\mid B] = g(B), \quad E[B\mid A] = g^{-1}(A) = g^{-1}(g(B)) = B$ $(1)$ $sol (b) \overset{?}{=} b \frac{mi [ZA]}{mi [b]}$ $g(B)\stackrel{?}= B\frac{E[A]}{E[B]}$ $g(x) = \alpha x$ $\alpha$ $(1)$ $A$ $B$ $E[B]$ musi być niezerowe (por . odpowiedź Michaela Hardy'ego ). Z powyższego wynika, że rozwój musi być liniowa funkcja a nie może zawierać do afinicznej funkcji z . Należy jednak zauważyć, że Alecos Papadopolous w swojej odpowiedzi i komentarzach później twierdzi, że jeśli jest normalną zmienną losową o niezerowej średniej, to dla określonych wartości i , które podaje, i spełniają $g(x)$ $(1)$ $g(x) = \alpha x + \beta$ $\beta \neq 0$ $B$ $\alpha$ $\beta\neq 0$ $A=\alpha B+\beta$ $B$ $(1)$ . Moim zdaniem jego przykład jest niepoprawny.

W komentarzu do tej odpowiedzi, Huber zasugerował rozważa symetrycznego domniemanym równość która od Oczywiście, zawsze posiada dla niezależnych zmiennych losowych, niezależnie od wartości oraz oraz dla skalarnych wielokrotności również. Oczywiście w bardziej trywialny sposób dotyczy dowolnych zerowych zmiennych losowych i (niezależnych lub zależnych, wielokrotności skalarnej lub nie; to nie ma znaczenia!): jest wystarczające dla równości w . Zatem może nie być tak interesujący jak

\begin{matrix} (3) & E [A ∣ B] E [B] \overset{?}{=} E [B ∣ A] E [A] \end{matrix}

$E[A\mid B]E[B] \stackrel{?}=E[B\mid A]E[A]\tag{3}$

E [A]

$E[A]$

E [B]

$E[B]$

A = α B

$A = \alpha B$

(3)

$(3)$

A

$A$

B

$B$

E [A] = E [B] = 0

$E[A]=E[B]=0$

(3)

$(3)$

(3)

$(3)$

(1)

$(1)$ jako temat do dyskusji.

Dilip Sarwate
źródło

9

+1. Aby być hojnym, pytanie można interpretować jako pytanie, czy , gdzie znika pytanie o dzielenie przez zero.

E (A | B) E (B) = E (B | A) E (A)

$E(A|B)E(B)=E(B|A)E(A)$

whuber

1

@whuber Dzięki. Moja edycja odnosi się do bardziej ogólnego pytania, czy możliwe jest posiadanie .

E [A ∣ B] E [B] = E [B ∣ A] E [A]

$E[A\mid B]E[B]=E[B\mid A]E[A]$

Dilip Sarwate

11

Wynik jest ogólnie nieprawdziwy, zobaczmy to w prostym przykładzie. Niech ma rozkład dwumianowy z parametrami a ma rozkład beta z parametrami , czyli model bayesowski z koniugatem wcześniejszym. Teraz wystarczy obliczyć dwie strony formuły, lewa strona to , podczas gdy prawa strona to i te z pewnością nie są równe. $X \mid P=p$ $n,p$ $P$ $(\alpha, \beta)$ $\DeclareMathOperator{\E}{\mathbb{E}} \E X \mid P = nP$

E (P ∣ X) \frac{E X}{E P} = \frac{α + X}{n + α + β} \frac{α / (α + β)}{n α / (α + β)}

$\E( P\mid X) \frac{\E X}{\E P} = \frac{\alpha+X}{n+\alpha+\beta} \frac{\alpha/(\alpha+\beta)}{n\alpha/(\alpha+\beta)}$

kjetil b halvorsen
źródło

2

Warunkowa oczekiwana wartość zmiennej losowej biorąc pod uwagę zdarzenie, że jest liczbą, która zależy od liczby . Nazwij toNastępnie warunkowego wartość oczekiwana jest losowym, którego wartość jest w pełni określona przez wartość zmiennej losowej . Zatem jest funkcją i jest funkcją . $A$ $B=b$ $b$ $h(b).$ $\operatorname{E}(A\mid B)$ $h(B),$ $B$ $\operatorname{E}(A\mid B)$ $B$ $\operatorname{E}(B\mid A)$ $A$

Iloraz nazwa nazwa to tylko liczba. $\operatorname{E}(A)/\operatorname{E}(B)$

Tak więc jedna strona proponowanej równości jest określona przez a druga przez , więc ogólnie nie mogą być równe. $A$ $B$

(Być może powinienem dodać, że mogą być one równe w trywialnym przypadku, gdy wartości i określają się nawzajem, na przykład gdy i , gdy Ale funkcje równe sobie tylko w kilku punktach nie są równe.) $A$ $B$ $A = \alpha B, \alpha \neq 0$ $E[B]\neq 0$

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$

Michael Hardy
źródło

Masz na myśli, że niekoniecznie są one równe? Mam na myśli, że mogą być równe?

BCLC,

1

@BCLC: Są równe tylko w trywialnych przypadkach. A dwie funkcje są sobie równe w niektórych punktach, a nie w innych, nie są równe.

Michael Hardy

2

„Ale tylko w tym trywialnym przypadku mogą być one równe” (podkreślenie dodane) nie jest całkiem poprawne. Rozważ niezależne

i

z

. Następnie

podczas gdy

a więc

A

$A$

B

$B$

E [B] \neq 0

$E[B]\neq 0$

E [A ∣ B] = E [A]

$E[A\mid B] = E[A]$

E [B ∣ A] = E [B]

$E[B\mid A] = E[B]$

E [B ∣ A] \frac{E [A]}{E [B]} = E [B] \frac{E [A]}{E [B]} = E [A] = E [A ∣ B] .

$E[B\mid A] \frac{E[A]}{E[B]} = E[B]\frac{E[A]}{E[B]} = E[A] = E[A\mid B].$

Dilip Sarwate,

@DilipSarwate Już miałem powiedzieć, że haha!

BCLC,

Zredagowałem twoją odpowiedź, aby dodać kilka szczegółów dla sprawy, którą wskazałeś. Cofnij zmiany, jeśli nie podobają Ci się zmiany.

Dilip Sarwate

-1

Wyrażenie to z pewnością nie obowiązuje w ogóle. Dla zabawy pokazuję poniżej, że jeśli i wspólnie podążają dwuwymiarowym rozkładem normalnym i mają niezerowe średnie, wynik zostanie zachowany, jeśli dwie zmienne są funkcjami liniowymi i mają ten sam współczynnik zmienności ( stosunek odchylenia standardowego do średniej) w wartościach bezwzględnych. $A$ $B$

Dla wspólnych normalnych mamy

E (A ∣ B) = μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B})

$\operatorname{E}(A \mid B) = \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B)$

i chcemy narzucić

μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = [μ_{B} + ρ \frac{σ_{B}}{σ_{A}} (A - μ_{A})] \frac{μ_{A}}{μ_{B}}

$\mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \left[\mu_B + \rho \frac{\sigma_B}{\sigma_A}(A - \mu_A)\right]\frac{\mu_A}{\mu_B}$

⟹ μ_{A} + ρ \frac{σ_{A}}{σ_{B}} (B - μ_{B}) = μ_{A} + ρ \frac{σ_{B}}{σ_{A}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$\implies \mu_A + \rho \frac{\sigma_A}{\sigma_B}(B - \mu_B) = \mu_A + \rho \frac{\sigma_B}{\sigma_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

Uprość a następnie , i przearanżuj, aby uzyskać $\mu_A$ $\rho$

B = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (A - μ_{A})

$B = \mu_B +\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(A - \mu_A)$

Jest to więc relacja liniowa między tymi dwiema zmiennymi (więc są one z pewnością zależne, ze współczynnikiem korelacji równym jedności w wartościach bezwzględnych), aby uzyskać pożądaną równość. Co to oznacza?

Po pierwsze, musi być również spełnione

E (B) \equiv μ_{B} = μ_{B} + \frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}} (E (A) - μ_{A}) ⟹ μ_{B} = μ_{B}

$E(B) \equiv \mu_B = \mu_B+\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}(E(A) - \mu_A) \implies \mu_B = \mu_B$

więc na (lub ) nie nakłada się żadnych innych ograniczeń, z wyjątkiem tego, że są one niezerowe. Również relacja dla wariancji musi być spełniona, $B$ $A$

Var (B) \equiv σ_{B}^{2} = {(\frac{σ_{B}^{2}}{σ_{A}^{2}} \frac{μ_{A}}{μ_{B}})}^{2} Var (A)

$\operatorname{Var}(B) \equiv \sigma^2_B = \left(\frac{\sigma^2_B}{\sigma^2_A}\frac{\mu_A}{\mu_B}\right)^2\operatorname{Var}(A)$

⟹ {(σ_{A}^{2})}^{2} σ_{B}^{2} = {(σ_{B}^{2})}^{2} σ_{A}^{2} {(\frac{μ_{A}}{μ_{B}})}^{2}

$\implies \left(\sigma^2_A\right)^2\sigma^2_B = \left(\sigma^2_B\right)^2\sigma^2_A\left(\frac{\mu_A}{\mu_B}\right)^2$

⟹ {(\frac{σ_{A}}{μ_{A}})}^{2} = {(\frac{σ_{B}}{μ_{B}})}^{2} ⟹ ({cv}_{A})^{2} = ({cv}_{B})^{2}

$\implies \left(\frac{\sigma_A}{\mu_A}\right)^2 = \left(\frac{\sigma_B}{\mu_B}\right)^2 \implies (\text{cv}_A)^2 = (\text{cv}_B)^2$

⟹ | {cv}_{A} | = | {cv}_{B} |

$\implies |\text{cv}_A| = |\text{cv}_B|$

który miał być pokazany.

Należy zauważyć, że równość współczynnika zmienności w wartościach bezwzględnych pozwala zmiennym na różne wariancje, a także na jedną dodatnią średnią, a drugą ujemną.

Alecos Papadopoulos
źródło

1

Czy to nie jest skomplikowana droga do

gdzie

to jakiś skalar?

A = α B

$A = \alpha B$

α

$\alpha$

Matthew Gunn

1

@MatthewGunn Twój komentarz jest odpowiedni do celu. Normalność nie ma nic wspólnego z tą sprawą. Dla zmiennych losowych

i

, tak że

,

i podobnie,

. W związku z tym, zakładając, że

,

A

$A$

B

$B$

A = α B

$A = \alpha B$

E [A ∣ B] = α B = A

$E[A\mid B] = \alpha B = A$

E [B ∣ A] = B

$E[B\mid A] = B$

E [B] \neq 0

$E[B]\neq 0$

E [A ∣ B] = α B = E [B ∣ A] \cdot α = E [B ∣ A] \frac{α E [B]}{E [B]} = E [B ∣ A] \frac{E [A]}{E [B]} .

$E[A\mid B] = \alpha B = E[B\mid A]\cdot\alpha = E[B\mid A]\frac{\alpha E[B]}{E[B]} = E[B\mid A]\frac{E[A]}{E[B]}.$

| c v_{A} | = | c v_{B} |

$|cv_A|=|cv_B|$

a Var X

$a\text{Var}X$

a Var (X)

$a\text{Var}(X)$

a Var X

$a\operatorname{Var}X$

a Var (X) .

$a\operatorname{Var}(X).$ That's why the latter is standard usage.

Michael Hardy

@MatthewGun It seems to me that providing answers that contain specific examples is considered valuable content in this site. So yes, when a random variable is an affine function of another, and they are jointly normal with non-zero means, then one needs to have equal coefficients of variation, while, also there are no restrictions on the means of these rv's. On the other hand, when a random variable is just a linear function of another, the relation holds always. So no my answer is not a convoluted way to say

A = a B

$A=aB$ . (cc:@DilipSarwate)

Alecos Papadopoulos

2

If

B

$B$ is a non-normal random variable with

E [B] = μ_{B} \neq 0

$E[B]=\mu_B\neq 0$ and

A = c B + d

$A=c B+d$ (and so

B = \frac{A - d}{c}

$B=\frac{A-d}{c}$ ), then

E [A ∣ B] = c B + d = A, E [B ∣ A] = \frac{A - d}{c} = B .

$E[A\mid B]=cB+d=A, E[B\mid A]=\frac{A-d}{c}=B.$ Now, if we want to have

E [A ∣ B] = c B + d

$E[A\mid B]=cB+d$ to equal

E [B ∣ A] \cdot \frac{μ_{A}}{μ_{B}} = B \cdot \frac{μ_{A}}{μ_{B}}

$E[B\mid A]\cdot\frac{\mu_A}{\mu_B} =B\cdot\frac{\mu_A}{\mu_B}$ , it must be that

c B + d = B \cdot \frac{μ_{A}}{μ_{B}} ⟹ d = 0, c = \frac{μ_{A}}{μ_{B}}

$cB+d=B\cdot\frac{\mu_A}{\mu_B}\implies d=0,c=\frac{\mu_A}{\mu_B}$ and so

A = c B = \frac{μ_{A}}{μ_{B}} B

$A=cB=\frac{\mu_A}{\mu_B}B$ . So, for nonnormal

B

$B$ , the OP's conjectured result holds if

A = c B

$A=cB$ but not if

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$ .Of course, as you have proved, the result holds for normal random variables if

A = c B + d, d \neq 0

$A=cB+d, d\neq 0$ .

Dilip Sarwate

Czy twierdzenie Bayesa dotyczy oczekiwań?

Odpowiedzi: