maksymalna entropia lub maksimum to zasada statystyczna wywodząca się z teorii informacji. Uważa się, że dystrybucje maksymalizujące entropię (przy pewnych ograniczeniach) są „maksymalnie nieinformacyjne”, biorąc pod uwagę ograniczenia. Maksymalna entropia może być używana do wielu celów, takich jak wybór wcześniejszego wyboru, wybór modelu próbkowania lub projekt eksperymentów.
Wiem, że entropia jest miarą losowości procesu / zmiennej i można ją zdefiniować w następujący sposób. dla losowej zmiennej zestawie : - . W książce na temat Entropii i teorii informacji MacKaya podaje to oświadczenie w Ch2A H ( X ) = ∑ x i ∈ A - p ( x i ) log ( p ( x i ) )X∈X∈X \inZAZAAH.( X) =...
W tym artykule utalentowany badacz Cosma Shalizi przekonuje, że aby w pełni zaakceptować subiektywny pogląd bayesowski, należy również zaakceptować niefizyczny wynik, że strzałka czasu (podana przez przepływ entropii) powinna faktycznie cofnąć się . Jest to głównie próba argumentacji przeciwko...
Użyłem zasady maksymalnej entropii, aby uzasadnić użycie kilku rozkładów w różnych ustawieniach; jednakże muszę jeszcze być w stanie sformułować statystyczną, w przeciwieństwie do teorii informacji, interpretację maksymalnej entropii. Innymi słowy, co maksymalizacja entropii implikuje w...
Używam logarytmicznych rozkładów jako poprzednich rozkładów dla parametrów skali (dla rozkładów normalnych, rozkładów t itp.), Gdy mam ogólne pojęcie o tym, jaka powinna być skala, ale chcę się pomylić, mówiąc, że nie wiem dużo o tym. Używam tego, ponieważ to użycie ma dla mnie intuicyjny sens, ale...
Dla arbitralnej ciągłej zmiennej losowej, powiedzmy , czy jej entropia różnicowa jest zawsze mniejsza niż ∞ ? (Jest ok, jeśli jest - ∞ .) Jeśli nie, jaki jest konieczny i wystarczający warunek, aby był mniejszy niż ∞ ?XXX∞∞\infty-
Jaki jest maksymalny rozkład entropii dla dodatniej zmiennej ciągłej, biorąc pod uwagę jej pierwszy i drugi moment? Na przykład rozkład Gaussa jest maksymalnym rozkładem entropii dla zmiennej niezwiązanej, biorąc pod uwagę jego średnią i odchylenie standardowe, a rozkład gamma jest maksymalnym...
Staram się omijać następujący dowód, że Gaussian ma maksymalną entropię. Jak ma sens krok oznaczony gwiazdką? Określona kowariancja naprawia tylko drugi moment. Co dzieje się z trzecią, czwartą, piątą chwilą
Niech będzie łącznym rozkładem dwóch zmiennych kategorialnych , z . Powiedzmy, że próbek pobrano z tego rozkładu, ale podano nam tylko liczby krańcowe, mianowicie dla
Pytanie: Bootstrapping jest lepszy od jackknifing; Zastanawiam się jednak, czy istnieją przypadki, w których podnoszenie jest jedyną lub przynajmniej realną opcją charakteryzowania niepewności na podstawie oszacowań parametrów. Ponadto w sytuacjach praktycznych, w jaki sposób stronniczy /...
Czytałem dyskusję w Hacker News na temat stosowania standardowego odchylenia w przeciwieństwie do innych wskaźników, takich jak średnie bezwzględne odchylenie. A więc, jeśli mielibyśmy przestrzegać zasady maksymalnej entropii, z jakiego rodzaju rozkładu korzystalibyśmy, gdybyśmy tylko znali średnią...
Jedną z ważnych kwestii, przed którymi stoją prognozy, jest to, czy daną serię można prognozować, czy nie? Natknąłem się na artykuł zatytułowany „ Entropia jako wskaźnik Priori przewidywalności ” autorstwa Petera Catta, który wykorzystuje aproksymalną entropię (ApEn) jako miarę względną do...
Intryguje mnie koncepcja modelu Maksymalnej Entropii Markowa (MEMM) i zastanawiam się nad użyciem go do taggera części mowy (POS). W tej chwili używam konwencjonalnego klasyfikatora Maximum Entropy (ME) do oznaczania każdego słowa. Wykorzystuje szereg funkcji, w tym dwa poprzednie tagi. MEMM...
Krótkie pytanie: dlaczego to prawda? Długie pytanie: Po prostu staram się dowiedzieć, co uzasadnia to pierwsze równanie. Autor książki, którą czytam (w kontekście , jeśli chcesz, ale niekoniecznie), twierdzi, co następuje: Z powodu założenia bliskiego gaussowskości możemy napisać:...