Paradoks danych ID (przynajmniej dla mnie)

Jeśli chodzi o moją kruszywa (i ograniczonych) wiedzy na statystykach zezwoleń, zrozumiałem, że jeśli $X_1, X_2,..., X_n$ są IID zmiennymi losowymi, a następnie jako termin oznacza, że są niezależne i jednakowo rozdzielone.

Moje obawy o to dawny majątek próbek IID, który brzmi:

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}),

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}),$

dla dowolnej kolekcji różnych 's st . $i_j$ $1 \leq i_j < n$

Jednak wiadomo, że suma niezależnych próbek identycznych rozkładów dostarcza informacji o strukturze rozkładu, aw rezultacie o w powyższym przypadku, więc tak naprawdę nie powinno być tak, że: $X_n$

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}) .

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}).$

Wiem, że jestem ofiarą błędu, ale nie wiem dlaczego. Proszę, pomóż mi w tym.

sampling conditional-probability independence Cupitor
źródło

Czy wiesz, że rządzi Bayes? Słyszałem o klasykach. vs statystyki bayesowskie? Dawcy?

Matthew Gunn,

Nie podążam za argumentem na końcu twojego pytania. Czy możesz być bardziej wyraźny?

Glen_b

@Glen_b czego dokładnie nie przestrzegasz? Co masz na myśli pod koniec? Staram się powiedzieć z różnymi logikami, że zarówno równość, jak i nierówność wydają się prawdopodobne, co jest paradoksem.

Cupitor

Nie ma tu paradoksu - po prostu brak zastosowania odpowiednich definicji. Nie możesz twierdzić, że masz paradoks, gdy ignorujesz znaczenie używanych słów! W tym przypadku porównanie definicji niezależnie do tego z prawdopodobieństwem pokaże błąd.

whuber

@ Whuber, zakładam, że zauważyłeś wyraźne „(przynajmniej dla mnie)” w tytule mojego pytania, a także fakt, że proszę o pomoc w znalezieniu „błędności” mojego argumentu, co wskazuje na fakt, że to naprawdę nie jest prawdziwym paradoksem.

Cupitor

Odpowiedzi:

\begin{matrix} (1) & P (X_{n} | θ, X_{i_{1}}, X_{i_{2}}, \dots, X_{i_{k}}) = P (X_{n} | θ) \end{matrix}

$P(X_n | \theta, X_{i_1}, X_{i_2}, \dots, X_{i_k}) = P(X_n | \theta) \tag{1}$ $X_n$

θ

$\theta$ ), wówczas rozkład nie zmienia się, biorąc pod uwagę, że zaobserwowałeś z niego kilka próbek.

$X_n$ $n$ $\theta$ $X_n$ $n$ $(1)$

$P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

Sobi
źródło

Dziękuję Ci bardzo. Całkiem do rzeczy. Całkiem zabawne, że zgadywałem taką odpowiedź jakiś czas temu, ale o tym zapomniałem ... O ile rozumiem, błędem jest niejawne zakładanie „modelu”, który może sparametryzować rozkład zmiennej losowej. Czy dobrze to zrozumiałem?

Cupitor

@Cupitor: Cieszę się, że było to przydatne. Tak, zależne od modelu, niezależne zmienne losowe nie wpływają na siebie. Ale, jak prawdopodobne jest, że dany rozkład wygenerował sekwencję zmian wyników, gdy widzisz więcej próbek z podstawowego (prawdziwego) rozkładu (niezależnie od założenia niezależności).

Sobi,

$X$ $\theta$ $P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

$\theta$ $\theta$ $\theta$

$X_n$ $\theta$

Statystyki bayesowskie a klasyczne

$x_i$

$P(x_i = H)$ $\theta$ $\theta$
$\theta$

$\theta$ $\theta$

Dokąd to zmierza?

$n$

P (x_{n} = H ∣ x_{n - 1}, x_{n - 2}, \dots, x_{1}) = P (x_{n} = H) = θ

$P(x_n=H \mid x_{n-1}, x_{n-2}, \ldots,x_{1}) = P(x_n=H) = \theta$

θ

$\theta$

Bayesian głęboko w subiektywnym prawdopodobieństwie powiedziałby, że liczy się prawdopodobieństwo z jej perspektywy! . Jeśli zobaczy 10 głów z rzędu, 11. głowa jest bardziej prawdopodobne, ponieważ 10 głów z rzędu prowadzi do przekonania, że moneta jest przekrzywiona na korzyść głów.

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H) > P (x_{1} = H)

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H) > P(x_1 = H)$

$\theta$ $\theta$ $\theta$

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H, θ) = P (x_{1} = H ∣ θ) = θ

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H, \theta) = P(x_1 = H \mid \theta) = \theta$

$\theta$ $\theta$

Dalsze uwagi

Starałem się dać krótkie wprowadzenie tutaj, ale to, co zrobiłem, jest w najlepszym razie dość powierzchowne, a koncepcje są w pewnym sensie dość głębokie. Jeśli chcesz zagłębić się w filozofię prawdopodobieństwa, książka Savage'a z 1954 r., Foundation of Statistics to klasyk. Google dla Bayesian vs. Frequist i pojawi się mnóstwo rzeczy.

Innym sposobem myślenia o losowaniach IID jest twierdzenie de Finetti i pojęcie wymienności . W ramach bayesowskich wymienność jest równoważna niezależności zależnej od pewnej utajonej zmiennej losowej (w tym przypadku krzywej monety).

Matthew Gunn
źródło

Zasadniczo podejście bayesowskie traktowałoby stwierdzenie „iid zmiennych losowych” nie jako aksjomat, że muszą one być IID, ale tak samo jak bardzo mocne wcześniejsze założenie, że tak jest - i jeśli nawet mocniejsze dowody wskazują, że jest bardzo mało prawdopodobne, aby dane założenia są prawdziwe, to „niedowierzanie w danych warunkach” znajdzie odzwierciedlenie w wynikach.

Peteris,

Dziękuję bardzo za dokładną odpowiedź. Poparłem go, ale myślę, że odpowiedź Sobi bardziej wyraźnie wskazuje, na czym polega problem, tj. Domyślnie zakłada strukturę modelu (lub jest to, o ile ją rozumiem)

Cupitor

@Matthew Gunn: schludny, dokładny i bardzo dobrze wyjaśniony! Nauczyłem się kilku rzeczy z twojej odpowiedzi, dzięki!

Sobi