W przypadku płaskiego przejęcia estymatory ML (częste - maksymalne prawdopodobieństwo) i MAP (bayesowskie - maksymalne a posteriori) pokrywają się. Mówiąc bardziej ogólnie, mówię o estymatorach punktowych wyprowadzonych jako optymalizatory niektórych funkcji strat. To znaczy (Bayesa) x...
Czy są jakieś dobre książki, które wyjaśniają ważne pojęcia teorii prawdopodobieństwa, takie jak funkcje rozkładu prawdopodobieństwa i funkcje rozkładu skumulowanego? Proszę unikać odwoływania się do książek takich jak „Statystyka matematyczna i analiza danych” Johna Rice'a, które zaczynają się...
To pytanie zostało zainspirowane dwiema niedawnymi interakcjami, które miałem, jedną tutaj w CV , drugą w ekonomics.se. Tam miałem wysłana odpowiedź do znanego „Koperta Paradox” (Pamiętaj, a nie jak w „poprawnej odpowiedzi”, ale jako odpowiedź płynącą z określonych założeń o strukturze sytuacji)....
Jakie teoretyczne podejścia do związku przyczynowego powinienem znać jako statystyczny / ekonometryczny? Znam (trochę) Model przyczynowy Neyman – Rubin (i Roy , Haavelmo itp.) Praca Pearl o przyczynowości Przyczynowość Grangera (choć mniej zorientowana na leczenie) Których koncepcji brakuje...
Próbowałem obliczyć AIC regresji liniowej w R, ale bez użycia AICfunkcji: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Jednak AICdaje inną wartość: AIC(lm_mtcars) [1] 190.7999 Czy ktoś...
Natknąłem się na kilka podstawowych sposobów pomiaru złożoności sieci neuronowych: Naiwne i nieformalne: policz liczbę neuronów, ukrytych neuronów, warstw lub ukrytych warstw Wymiar VC (Eduardo D. Sontag [1998] „Wymiar VC sieci neuronowych” [ pdf ].) Miara złożonejT.do0reT.dore0TC^0_d i...
To pytanie podaje ilościową definicję entropii krzyżowej pod względem jej wzoru. Szukam bardziej hipotetycznej definicji, wikipedia mówi: W teorii informacji entropia krzyżowa między dwoma rozkładami prawdopodobieństwa mierzy średnią liczbę bitów potrzebną do zidentyfikowania zdarzenia z...
Niedawno przeczytałem ten artykuł na temat entropii dyskretnego rozkładu prawdopodobieństwa. Opisuje ładny sposób myślenia o entropii jako oczekiwanej liczbie bitów (przynajmniej przy użyciu w definicji entropii) potrzebnej do zakodowania wiadomości, gdy kodowanie jest optymalne, biorąc pod uwagę...
Testy permutacyjne (zwane również testem randomizacji, testem ponownej randomizacji lub testem dokładnym) są bardzo przydatne i przydają się, gdy t-testnie jest spełnione założenie o rozkładzie normalnym wymagane na przykład i gdy transformacja wartości przez ranking test nieparametryczny,...
Pomyślałem, że koncepcja typowego zestawu jest dość intuicyjna: sekwencja długości należałaby do typowego zestawu jeśli prawdopodobieństwo wystąpienia sekwencji byłoby wysokie. Tak więc każda sekwencja, która prawdopodobnie byłaby w . (Unikam formalnej definicji związanej z entropią, ponieważ...
Rozważ rozwiązanie Jaynesa w paradoksie Bertranda, stosując zasadę obojętności . Dlaczego podobny argument nie dotyczy paradoksu Borela-Kołmogorowa ? Czy jest coś złego w argumentowaniu, że ponieważ problem nie określa orientacji kuli, obrócenie kuli nie powinno wpływać na wynikowy rozkład...
Nie powołując się na źródła Wikipedia określa przekrój entropia dyskretnych rozkładów i Q sięPPPQQQ H×(P;Q)=−∑xp(x)logq(x).H×(P;Q)=−∑xp(x)logq(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Kto pierwszy zaczął używać tej ilości? A kto wynalazł ten termin?...
Wyobraź sobie następującą konfigurację: masz 2 monety, monetę A, która jest gwarantowana , oraz monetę B, która może, ale nie musi być uczciwa. Zostaniesz poproszony o wykonanie 100 rzutów monetą, a Twoim celem jest maksymalizacja liczby głów . Wcześniejsze informacje na temat monety B były takie,...
Kontekst : Chcę, aby narysować linię na wykresie rozrzutu, że nie pojawia się parametryczne, dlatego używam geom_smooth()w ggplotw R. Automatycznie zwraca geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change...
Dla arbitralnej ciągłej zmiennej losowej, powiedzmy , czy jej entropia różnicowa jest zawsze mniejsza niż ∞ ? (Jest ok, jeśli jest - ∞ .) Jeśli nie, jaki jest konieczny i wystarczający warunek, aby był mniejszy niż ∞ ?XXX∞∞\infty-
Modele mieszanin gaussowskich (GMM) są atrakcyjne, ponieważ są łatwe do pracy zarówno w analityce, jak i w praktyce, i są w stanie modelować niektóre egzotyczne rozkłady bez zbytniej złożoności. Istnieje kilka właściwości analitycznych, których należy się spodziewać, które nie są ogólnie jasne. W...
Jeśli chodzi o tytuł, chodzi o wykorzystanie wzajemnej informacji, tu i po MI, do oszacowania „korelacji” (zdefiniowanej jako „ile wiem o A, gdy znam B”) między zmienną ciągłą a zmienną kategorialną. Za chwilę opowiem o moich przemyśleniach na ten temat, ale zanim doradzę, przeczytajcie inne...
Staram się omijać następujący dowód, że Gaussian ma maksymalną entropię. Jak ma sens krok oznaczony gwiazdką? Określona kowariancja naprawia tylko drugi moment. Co dzieje się z trzecią, czwartą, piątą chwilą
Przez ostatni rok pracowałem nad dość istotnym pobieraniem próbek i mam kilka otwartych pytań, z którymi miałem nadzieję uzyskać pomoc. Moje praktyczne doświadczenie z ważnymi schematami pobierania próbek było takie, że czasami mogą one generować fantastyczne oszacowania niskiej wariancji i...
(Podobne pytanie zadałem na stronie math.se. ) W geometrii informacji wyznacznikiem macierzy informacji Fishera jest naturalna postać objętości na rozmaitości statystycznej, więc ma dobrą interpretację geometryczną. Na przykład fakt, że pojawia się w definicji Jeffreys przed, jest związany z jej...