Chcę kwantyfikować związek między dwiema zmiennymi, A i B, wykorzystując wzajemne informacje. Można to obliczyć, dzieląc obserwacje (patrz przykładowy kod Python poniżej). Jednak jakie czynniki determinują, jaka liczba pojemników jest rozsądna? Potrzebuję szybkiego obliczenia, więc nie mogę po...
Próbuję zastosować ideę wzajemnej informacji do wyboru funkcji, jak opisano w tych uwagach do wykładu (na stronie 5). Moja platforma to Matlab. Jednym z problemów, które spotykam przy obliczaniu wzajemnej informacji z danych empirycznych, jest to, że liczba jest zawsze tendencyjna w górę....
Moje pytanie dotyczy związku między hipotezą efektywnego kodowania, która została opisana na stronie Wikipedii dotyczącej wydajnego kodowania i algorytmów uczenia sieci neuronowej. Jaki jest związek między efektywną hipotezą kodowania a sieciami neuronowymi? Czy są jakieś modele sieci neuronowych...
Załóżmy, że mam jedną próbkę częstotliwości 4 możliwych zdarzeń: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 i mam spodziewane prawdopodobieństwo wystąpienia moich zdarzeń: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dzięki sumie obserwowanych częstotliwości moich czterech zdarzeń (18) mogę obliczyć oczekiwane...
Mam problem z budowaniem intuicji na temat wspólnej entropii. H.( X, Y)H(X,Y)H(X,Y) = niepewność w łącznym rozkładzie p ( x , y)p(x,y)p(x,y); H.( X)H(X)H(X) = niepewność w px( x )px(x)p_x(x); H.( Y)H(Y)H(Y) = niepewność w py( y)py(y)p_y(y). Jeśli H (X) jest wysoki, rozkład jest bardziej...
Dzisiaj natknąłem się na książkę „Teoria informacji: wprowadzenie do samouczka” Jamesa Stone'a i przez chwilę zastanawiałem się nad zakresem zastosowania teorii informacji w nauce o danych stosowanych (jeśli nie czujesz się komfortowo z tym wciąż nieco rozmytym terminem, pomyśl o analizie danych ,...
Próbuję zrozumieć znormalizowaną formę punktowej wzajemnej informacji. n p m i =p m i ( x , y)l o g( p ( x , y) )npmja=pmja(x,y)losol(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Dlaczego prawdopodobieństwo połączenia logarytmicznego normalizuje punktowe wzajemne informacje na poziomie [-1,...