Chciałbym wiedzieć, czy losowy las Breimana (losowy las w pakiecie R randomForest) wykorzystuje jako kryterium podziału (kryterium wyboru atrybutów) przyrost informacji lub indeks Gini? Próbowałem to znaleźć na http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm oraz w dokumentacji...
Pomyślałem, że koncepcja typowego zestawu jest dość intuicyjna: sekwencja długości należałaby do typowego zestawu jeśli prawdopodobieństwo wystąpienia sekwencji byłoby wysokie. Tak więc każda sekwencja, która prawdopodobnie byłaby w . (Unikam formalnej definicji związanej z entropią, ponieważ...
Niedawno przeczytałem ten artykuł na temat entropii dyskretnego rozkładu prawdopodobieństwa. Opisuje ładny sposób myślenia o entropii jako oczekiwanej liczbie bitów (przynajmniej przy użyciu w definicji entropii) potrzebnej do zakodowania wiadomości, gdy kodowanie jest optymalne, biorąc pod uwagę...
Grupuję rozkłady prawdopodobieństwa za pomocą algorytmu propagacji powinowactwa i planuję użyć dywergencji Jensena-Shannona jako miary odległości. Czy poprawne jest użycie samego JSD jako odległości lub kwadratu JSD? Dlaczego? Jakie różnice wynikałyby z wyboru jednego lub drugiego?...
Nie powołując się na źródła Wikipedia określa przekrój entropia dyskretnych rozkładów i Q sięPPPQQQ H×(P;Q)=−∑xp(x)logq(x).H×(P;Q)=−∑xp(x)logq(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Kto pierwszy zaczął używać tej ilości? A kto wynalazł ten termin?...
To pytanie podaje ilościową definicję entropii krzyżowej pod względem jej wzoru. Szukam bardziej hipotetycznej definicji, wikipedia mówi: W teorii informacji entropia krzyżowa między dwoma rozkładami prawdopodobieństwa mierzy średnią liczbę bitów potrzebną do zidentyfikowania zdarzenia z...
Testy permutacyjne (zwane również testem randomizacji, testem ponownej randomizacji lub testem dokładnym) są bardzo przydatne i przydają się, gdy t-testnie jest spełnione założenie o rozkładzie normalnym wymagane na przykład i gdy transformacja wartości przez ranking test nieparametryczny,...
Entropia ciągłego rozkładu z funkcją gęstości faff określa się jako ujemny z oczekiwaniem log( f) ,log(f),\log(f), a zatem jest równa H.fa= - ∫∞- ∞log( f( x ) ) f( x ) d x .Hf=−∫−∞∞log(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. Także, że każdej zmiennej losowej XXX ,...
Czy koszt entropii krzyżowej ma sens w kontekście regresji (w przeciwieństwie do klasyfikacji)? Jeśli tak, czy możesz podać przykład zabawki za pośrednictwem TensorFlow? Jeśli nie, dlaczego nie? Czytałem o entropii krzyżowej w sieciach neuronowych i głębokim uczeniu się Michaela Nielsena i wydaje...
Patrząc na wektory własne macierzy kowariancji, otrzymujemy kierunki maksymalnej wariancji (pierwszy wektor własny to kierunek, w którym dane najbardziej się różnią itp.); nazywa się to analizą głównych składników (PCA). Zastanawiałem się, co to znaczy spojrzeć na wektory własne / wartości matrycy...
Dla arbitralnej ciągłej zmiennej losowej, powiedzmy , czy jej entropia różnicowa jest zawsze mniejsza niż ∞ ? (Jest ok, jeśli jest - ∞ .) Jeśli nie, jaki jest konieczny i wystarczający warunek, aby był mniejszy niż ∞ ?XXX∞∞\infty-
Entropia różniczkowa RV Gaussa to . Zależy to od , który jest odchyleniem standardowym.σlog2)( σ2 πmi---√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Jeśli znormalizujemy zmienną losową, aby miała wariancję jednostkową, jej entropia różnicowa spadnie. Dla mnie jest to sprzeczne z intuicją,...
Staram się omijać następujący dowód, że Gaussian ma maksymalną entropię. Jak ma sens krok oznaczony gwiazdką? Określona kowariancja naprawia tylko drugi moment. Co dzieje się z trzecią, czwartą, piątą chwilą
Pytanie to jest więc nieco związane, ale starałem się, aby było to jak najbardziej proste. Cel: Krótko mówiąc, istnieje pochodna negentropii, która nie obejmuje kumulantów wyższego rzędu, i próbuję zrozumieć, w jaki sposób została wyprowadzona. Tło: (Rozumiem to wszystko) Sam studiuję książkę...
Czy jest jakiś użytek dla ilości w statystyce lub teorii informacji?∫f(x)2dx∫f(x)2dx \int f(x)^2
Jaki jest maksymalny rozkład entropii dla dodatniej zmiennej ciągłej, biorąc pod uwagę jej pierwszy i drugi moment? Na przykład rozkład Gaussa jest maksymalnym rozkładem entropii dla zmiennej niezwiązanej, biorąc pod uwagę jego średnią i odchylenie standardowe, a rozkład gamma jest maksymalnym...
Pytanie: Bootstrapping jest lepszy od jackknifing; Zastanawiam się jednak, czy istnieją przypadki, w których podnoszenie jest jedyną lub przynajmniej realną opcją charakteryzowania niepewności na podstawie oszacowań parametrów. Ponadto w sytuacjach praktycznych, w jaki sposób stronniczy /...
I rozumie, że dany zestaw niezależnych obserwacji największej wiarygodności Estymator (lub równoważnie MAP o płaskich / jednolity wcześniej), który identyfikuje Parametry \ mathbf {θ} , które wytwarzają model dystrybucji p_ {wzór} \ left (\, \ cdot \,; \ mathbf {θ} \ right) najlepiej pasujące do...
Niech będzie łącznym rozkładem dwóch zmiennych kategorialnych , z . Powiedzmy, że próbek pobrano z tego rozkładu, ale podano nam tylko liczby krańcowe, mianowicie dla
Mam bardzo duży zestaw danych i brakuje około 5% wartości losowych. Te zmienne są ze sobą skorelowane. Poniższy przykładowy zestaw danych R jest tylko zabawkowym przykładem z fałszywymi skorelowanymi danymi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace =...