Jakie jest intuicyjne znaczenie podłączania losowej zmiennej do własnego pliku pdf lub cdf?

9

Plik pdf jest zwykle zapisywany jako f(x|θ), gdzie małe litery x jest traktowany jako realizacja lub wynik zmiennej losowej Xktóry ma ten pdf. Podobnie plik cdf jest zapisywany jakoFX(x), co ma znaczenie P(X<x). Jednak w niektórych okolicznościach, takich jak definicja funkcji score i to wyprowadzenie, że cdf jest równomiernie rozłożony , wydaje się, że zmienna losowaXjest podłączany do własnego pliku pdf / cdf; w ten sposób otrzymujemy nową zmienną losową Y=f(X|θ) lub Z=FX(X). Nie sądzę, abyśmy mogli to nazwać pdf lub cdf, ponieważ jest to teraz sama zmienna losowa, aw tym drugim przypadku „interpretacja”FX(X)=P(X<X) wydaje mi się nonsensem.

Ponadto w powyższym ostatnim przypadku nie jestem pewien, czy rozumiem stwierdzenie „cdf zmiennej losowej ma rozkład równomierny”. Plik cdf jest funkcją, a nie zmienną losową, dlatego nie ma rozkładu. Raczej to, co ma jednolity rozkład, to zmienna losowa przekształcona za pomocą funkcji reprezentującej jej własny plik cdf, ale nie rozumiem, dlaczego ta transformacja jest znacząca. To samo dotyczy funkcji score, w której podłączamy losową zmienną do funkcji, która reprezentuje własne prawdopodobieństwo dziennika.

Od tygodni niszczę mózg, próbując znaleźć intuicyjne znaczenie dla tych przemian, ale utknąłem. Wszelkie informacje będą mile widziane!

mai
źródło
4
Notacja może Cię mylić. Na przykład,FX(X)jest dokładnie tak samo znaczący, jak zastosowanie do dowolnej mierzalnej funkcjiXbyłoby. Aby uzyskać poprawną interpretację, musisz bardzo jasno określić, czym jest zmienna losowa . Dla dowolnej zmiennej losowejX:ΩR, funkcja
Y:ωFX(X(ω))
dla ωΩ wyraźnie jest zmienną losową i dlatego ma rozkład FY. (Zwróć uwagę na dwa różne znaczenia symbolu „X" w "FX(X). ”) FY jest jednolity wtedy i tylko wtedy Xma ciągłą dystrybucję.
whuber
1
To nie jest tak naprawdę kwestia teoretyczna: aby to zrozumieć, możesz bezpiecznie zignorować wszystkie odniesienia do „mierzalności”. Możesz skorzystać z nauki małej teorii na początku kariery zawodowej: tam większość ludzi uczy się, co tak naprawdę oznacza ta podstawowa (i wszechobecna) terminologia i notacja matematyczna, więc lepiej nie odkładać nauki.
whuber
Być może słowo o tym, dlaczego należy robić takie szalone rzeczy: wstawić samochód kempingowy w jego własną gęstość !!?! Jeden przykład: powiedz, że chcesz oszacować gęstość X, a następnie możesz zmierzyć, jak dobry jesteś przez całkowanief(x)fX(x)ale jest to „niesprawiedliwe”: nigdy nie osiągniesz dobrego przybliżenia, jeśli nie masz wielu przykładów danych (tj. prawdziwa gęstość jest niewielka). Dlatego „uczciwą” oceną byłoby zważenie terminu na podstawie rzeczywistej gęstości. Jest to mniej więcej efekt wstawienia kampera we własną gęstość ...
Fabian Werner
Zobacz także stats.stackexchange.com/questions/324768/...
Fabian Werner

Odpowiedzi:

8

Jak mówisz, każda (mierzalna) funkcja zmiennej losowej jest sama zmienną losową. Łatwiej jest po prostu pomyślećf(x) i F(x)jako „dowolna stara funkcja”. Po prostu mają jakieś fajne właściwości. Na przykład jeśliX jest standardową wykładniczą RV, wtedy nie ma nic szczególnie dziwnego w zmiennej losowej

Y=1eX
Tak się po prostu dzieje Y=FX(X). Fakt, żeY ma jednolity rozkład (biorąc pod uwagę, że X jest ciągłym RV) można zobaczyć w ogólnym przypadku, wyprowadzając CDF z Y.

FY(y)=P(Yy)=P(FX(X)y)=P(XFX1(y))=FX(FX1(y))=y

Który jest wyraźnie CDF z U(0,1)zmienna losowa. Uwaga: ta wersja dowodu zakłada, żeFX(x) jest stale rosnąca i ciągła, ale nie jest o wiele trudniej pokazać bardziej ogólną wersję.

knrumsey
źródło
1
Twój wniosek jest niepoprawny dla najbardziej ścisłego wzrostu FX: założyłeś FXFX1jest tożsamość - ale nie zawsze tak jest.
whuber
Tak dziękuję. Zmienna losowaXwyraźnie musi być ciągły. Czy coś mi teraz brakuje?
knrumsey
1
FXnie musi być bolesna. Weźmy na przykład przypadek, w którymXsam ma jednolity rozkład! Zamknięcie obrazuFX musi być cały przedział [0,1]. Jest to zasadniczo definicja ciągłego rozkładu.
whuber
11

Przekształcić zmiennej losowejX przez mierzalną funkcję T:XY jest kolejną zmienną losową Y=T(X) którego rozkład daje odwrotna transformata prawdopodobieństwa

P(YA)=P(X{x;T(x)A})=defP(XT1(A))
dla wszystkich zestawów A takie, że {x;T(x)A} jest mierzalne przy rozkładzie X.

Ta właściwość dotyczy specjalnego przypadku, gdy FX:X[0,1] to cdf zmiennej losowej X: Y=FX(X) jest nową zmienną losową uwzględniającą jej realizację [0,1]. Zdarza się,Y jest rozpowszechniany jako jednolity U([0,1]) kiedy FXjest ciągły. (GdybyFX jest nieciągły, zakres Y=FX(X) już nie jest [0,1]. Zawsze tak jest, kiedyU jest mundurem U([0,1]), następnie FX(U) ma taki sam rozkład jak X, gdzie FX oznacza uogólnioną odwrotność FX. Który jest formalnym sposobem (a) zrozumienia zmiennych losowych jako mierzalnych przekształceń fundamentalnychωΩ od X(ω)=FX(ω) jest zmienną losową z cdf FXi (b) generować losowe zmienne z danego rozkładu za pomocą cdfFX.)

Aby zrozumieć paradoks P(XX), weź reprezentację

FX(x)=P(Xx)=0xdFX(x)=0xfX(x)dλ(x)
gdyby dλ jest miarą dominującą i fXodpowiednia gęstość. Następnie
FX(X)=0XdFX(x)=0XfX(x)dλ(x)
jest zmienną losową, ponieważ górna granica całki jest losowa. (Jest to jedyna losowa część wyrażenia.) Pozorna sprzeczność wP(XX)wynika z pomieszania notacji. Aby właściwie zdefiniować, potrzebne są dwie niezależne wersje zmiennej losowejX, X1 i X2, w którym to przypadku zmienna losowa FX(X1) jest zdefiniowany przez
FX(X1)=PX2(X2X1)
prawdopodobieństwo jest obliczane dla rozkładu X2.

Ta sama uwaga dotyczy transformacji według gęstości (pdf), fX(X), która jest nową zmienną losową, z tym wyjątkiem, że nie ma ustalonego rozkładu kiedy fXróżni się Jest to jednak przydatne do celów statystycznych, biorąc pod uwagę na przykład współczynnik prawdopodobieństwafX(X|θ^(X))/fX(X|θ0) który 2 x logarytm jest w przybliżeniu a χ2 zmienna losowa w niektórych warunkach.

To samo dotyczy funkcji score

logfX(X|θ)θ
która jest zmienną losową, tak że jej oczekiwanie wynosi zero, jeśli zostanie przyjęte przy prawdziwej wartości parametru θtzn.
Eθ0[logfX(X|θ0)θ]=logfX(x|θ0)θfX(x|θ0)dλ(x)=0

[Odpowiedź wpisana podczas gdy @whuber i @knrumsey wpisywali swoje odpowiedzi!]

Xi'an
źródło
Could you explain in words what is the meaning/interpretation of the statement FX(X1)=P.(X2)X1)? Nadal wydaje mi się, że powiedzenie „cdf rv ma jednolity rozkład” nie ma żadnego sensu.
mai
Cdf rv faX to nie to samo, co transformacja rv X przez cdf tego rv, a mianowicie faX(X).
Xi'an
Tak, zgadzam się, że to nie to samo. W pierwszym przypadku nie jest to rv, podczas gdy w drugim przypadku jest to rv. Czy mam rację?
mai
Yes, which relates to the different meanings of X in FX(X)
Xi'an
Could you explain what you mean by "expectation is zero when taken at the true value of the parameter θ? It seems like θ is being treated as a variable here. What changes if θ is not at its "true value"?
mai