(Podobne pytanie zadałem na stronie math.se. ) W geometrii informacji wyznacznikiem macierzy informacji Fishera jest naturalna postać objętości na rozmaitości statystycznej, więc ma dobrą interpretację geometryczną. Na przykład fakt, że pojawia się w definicji Jeffreys przed, jest związany z jej...
Czy jest jakiś użytek dla ilości w statystyce lub teorii informacji?∫f(x)2dx∫f(x)2dx \int f(x)^2
Twierdzenie Halmosa-Savage'a mówi, że dla dominującego modelu statystycznego statystyka jest wystarczający, jeśli (i tylko jeśli) dla wszystkich istnieje wersja pochodnej Radon Nikodym, mierzalna wersja gdzie jest uprzywilejowany środek taki, że do i .(Ω,A,P)(Ω,A,P)(\Omega, \mathscr A, \mathscr...
Jeśli chodzi o tytuł, chodzi o wykorzystanie wzajemnej informacji, tu i po MI, do oszacowania „korelacji” (zdefiniowanej jako „ile wiem o A, gdy znam B”) między zmienną ciągłą a zmienną kategorialną. Za chwilę opowiem o moich przemyśleniach na ten temat, ale zanim doradzę, przeczytajcie inne...
Wyobraź sobie, że badacz bada zbiór danych i przeprowadza 1000 różnych regresji i znajduje między nimi jedną interesującą relację. Teraz wyobraź sobie, że inny badacz z tymi samymi danymi wykonuje tylko 1 regresję i okazuje się, że jest to ta sama, którą drugi badacz wziął 1000 regresji, aby ją...
Załóżmy, że mamy (mierzalny i odpowiednio zachowujący się) zestaw , gdzie jest zwarty. Co więcej, załóżmy, że możemy pobrać próbki z równomiernego rozkładu na względem miary Lebesgue'a i że znamy miarę . Na przykład może być polem zawierającymS⊆B⊂RnS⊆B⊂RnS\subseteq B\subset\mathbb...
Uwaga: to pytanie jest repost, ponieważ moje poprzednie pytanie musiało zostać usunięte ze względów prawnych. Porównując PROC MIXED z SAS z funkcją lmez nlmepakietu w R, natknąłem się na pewne dość mylące różnice. Mówiąc dokładniej, stopnie swobody w różnych testach różnią się między PROC MIXEDi...
Interesuje mnie (Deep) Reinforcement Learning (RL) . Czy przed nurkowaniem w tym polu powinienem wziąć udział w kursie z teorii gier (GT) ? W jaki sposób powiązane są GT i RL
Jeśli chcielibyśmy obliczyć przyczynowo-skutkowy wpływ na na poniższym wykresie przyczynowym, możemy użyć zarówno twierdzeń o dopasowaniu tylnych drzwi, jak i przednich drzwi, tj. XXXYYYP(y|do(X=x))=∑uP(y|x,u)P(u)P(y|do(X=x))=∑uP(y|x,u)P(u)P(y | \textit{do}(X = x)) = \sum_u P(y | x, u) P(u) i...
Chciałbym obliczyć dywergencję Jensen-Shannon dla 3 następujących rozkładów. Czy poniższe obliczenia są prawidłowe? (Postępowałem zgodnie ze wzorem JSD z wikipedii ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) =...
Z Wikipedii istnieje definicja Kryterium Informacyjnego Akaike (AIC) jako , gdzie jest liczbą parametrów, a jest prawdopodobieństwem modelu.AIC=2k−2logLAIC=2k−2logL AIC = 2k -2 \log L kkklogLlogL\log L Jednak nasze ekonometria zauważa na szanowanym uniwersytecie, że . Tutaj to oszacowana...
Niech oznacza ryzyko Bayesa estymatora w odniesieniu do wcześniejszego , niech oznacza zbiór wszystkich priorów w przestrzeni parametrów , a niech oznacza zbiór wszystkie (ewentualnie losowe) reguły decyzyjne.δ π Π Θ Δr(π,δ)r(π,δ)r(\pi, \delta)δδ\deltaππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta Stwierdza to...
Mam problem ze zrozumieniem pełnej wystarczającej statystyki? Niech będzie wystarczającą statystyką.T=ΣxiT=ΣxiT=\Sigma x_i Jeśli z prawdopodobieństwem 1, dla niektórych funkcji g , jest to kompletna wystarczająca statystyka.E[g(T)]=0E[g(T)]=0E[g(T)]=0ggg Ale co to znaczy? Widziałem przykłady...
Patrzyłem na teoretyczne ramy wyboru metod (uwaga: nie wybór modelu) i znalazłem bardzo mało systematycznej, motywowanej matematycznie pracy. Pod pojęciem „wybór metody” rozumiem strukturę umożliwiającą rozróżnienie odpowiedniej (lub lepszej, optymalnej) metody w odniesieniu do problemu lub rodzaju...
Czy wzajemna informacja nad wspólną entropią: 0 ≤ I( X, Y)H.( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 być zdefiniowane jako: „Prawdopodobieństwo przekazania informacji z X do Y”? Przepraszam, że jestem taki naiwny, ale nigdy nie studiowałem teorii informacji i staram się po...
Moja fryzjerka Stacey zawsze robi radosną minę, ale często stresuje ją zarządzanie czasem. Dzisiaj Stacey była spóźniona na moje spotkanie i bardzo przepraszała. Podczas strzyżenia zastanawiałem się: jak długo powinny trwać jej standardowe spotkania? (jeśli preferencje klienta dotyczące czystych...
Korzystałem z metody ekstrakcji sieci szkieletowej opisanej w tym artykule: http://www.pnas.org/content/106/16/6483.abstract Zasadniczo autorzy proponują metodę opartą na statystykach, która daje prawdopodobieństwo dla każdej krawędzi na wykresie, że krawędź mogła wystąpić przypadkowo. Używam...
Napisałem program do symulacji występowi karty Losowo. Każda karta jest ponumerowana, kolor odpowiada, od CLUBS, DIAMONDS, HEARTS, SPADESrangi od dwóch do dziesięciu, a następnie Jacka, Królowej, Króla i Asa. Zatem Two of Clubs ma liczbę 1, Three of Clubs 2 ... As trefl wynosi 13 ... As pik...
Próbuję wykreślić granicę decyzyjną algorytmu perceptronowego i jestem naprawdę zdezorientowany co do kilku rzeczy. Moje instancje wejściowe mają postać , w zasadzie instancję wejściową 2D ( i x_ {2} ) oraz wartość docelową klasy binarnej ( y ) [1 lub 0].[ ( x1, x2)) , y][(x1,x2)),y][(x_{1},x_{2}),...
Mam bardzo podstawowe wątpliwości. Przepraszam, jeśli to trochę irytuje. Wiem, że wartość wzajemnych informacji powinna być większa niż 0, ale czy powinna być mniejsza niż 1? Czy jest ograniczona jakąkolwiek górną wartością? Dzięki,