informacja wzajemna to pojęcie z teorii informacji. Jest miarą łącznej zależności między dwiema zmiennymi losowymi, która nie jest, jak zwykły współczynnik korelacji, ograniczona do zmiennych skalarnych.
Dlaczego i kiedy powinniśmy używać informacji wzajemnych zamiast pomiarów korelacji statystycznych, takich jak „Pearson”, „włócznik” lub „tau
Niedawno przeczytałem dwa artykuły. Pierwszy dotyczy historii korelacji, a drugi nowej metody o nazwie Maksymalny współczynnik informacyjny (MIC). Potrzebuję twojej pomocy w zrozumieniu metody MIC w celu oszacowania nieliniowych korelacji między zmiennymi. Ponadto instrukcje dotyczące jego...
Załóżmy, że mam dwa zbiory XXX i oraz łączny rozkład prawdopodobieństwa dla tych zbiorów . Niech i oznaczają brzegowe rozkładu ponad i odpowiednio.YYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Wspólna informacja między i jest zdefiniowana
moje pytanie dotyczy szczególnie rekonstrukcji
Od pewnego czasu pracuję z wzajemnymi informacjami. Ale znalazłem bardzo niedawną miarę w „świecie korelacji”, którą można również wykorzystać do pomiaru niezależności dystrybucji, tak zwaną „korelację odległości” (zwaną także korelacją Browna): http://en.wikipedia.org/wiki/Brownian_covariance ....
Testy permutacyjne (zwane również testem randomizacji, testem ponownej randomizacji lub testem dokładnym) są bardzo przydatne i przydają się, gdy t-testnie jest spełnione założenie o rozkładzie normalnym wymagane na przykład i gdy transformacja wartości przez ranking test nieparametryczny,...
Patrząc na wektory własne macierzy kowariancji, otrzymujemy kierunki maksymalnej wariancji (pierwszy wektor własny to kierunek, w którym dane najbardziej się różnią itp.); nazywa się to analizą głównych składników (PCA). Zastanawiałem się, co to znaczy spojrzeć na wektory własne / wartości matrycy...
Jeśli chodzi o tytuł, chodzi o wykorzystanie wzajemnej informacji, tu i po MI, do oszacowania „korelacji” (zdefiniowanej jako „ile wiem o A, gdy znam B”) między zmienną ciągłą a zmienną kategorialną. Za chwilę opowiem o moich przemyśleniach na ten temat, ale zanim doradzę, przeczytajcie inne...
Czy wzajemna informacja nad wspólną entropią: 0 ≤ I( X, Y)H.( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 być zdefiniowane jako: „Prawdopodobieństwo przekazania informacji z X do Y”? Przepraszam, że jestem taki naiwny, ale nigdy nie studiowałem teorii informacji i staram się po...
Jednym ze sposobów generowania zanurzeń słowo jest następująco ( lustro ): Zdobądź ciała, np. „Lubię latać. Lubię NLP. Lubię głębokie uczenie się”. Zbuduj z niego macierz współbieżności słów: Wykonaj SVD na XXX i zachowaj pierwsze kkk kolumn U. U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} Pomiędzy...
Mam bardzo podstawowe wątpliwości. Przepraszam, jeśli to trochę irytuje. Wiem, że wartość wzajemnych informacji powinna być większa niż 0, ale czy powinna być mniejsza niż 1? Czy jest ograniczona jakąkolwiek górną wartością? Dzięki,
W tym przypadku „ciężar dowodów” (WOE) jest powszechnym terminem w opublikowanej literaturze naukowej i politycznej, najczęściej postrzeganym w kontekście oceny ryzyka, definiowanym przez: w(e:h)=logp(e|h)p(e|h¯¯¯)w(e:h)=logp(e|h)p(e|h¯)w(e : h) = \log\frac{p(e|h)}{p(e|\overline{h})} gdzie jest...
Widziałem kilka rozmów niestatystów, w których wydaje się, że na nowo opracowują miary korelacji przy użyciu wzajemnej informacji zamiast regresji (lub równoważnych / ściśle powiązanych testów statystycznych). Rozumiem, że istnieje dobry powód, dla którego statystycy nie przyjmują takiego...
Jestem trochę zmieszany. Czy ktoś może mi wyjaśnić, jak obliczyć wzajemne informacje między dwoma terminami w oparciu o matrycę termin-dokument z występowaniem terminów binarnych jako wag? Document1Document2Document3′Why′111′How′101′When′111′Wh e
Próbuję zastosować ideę wzajemnej informacji do wyboru funkcji, jak opisano w tych uwagach do wykładu (na stronie 5). Moja platforma to Matlab. Jednym z problemów, które spotykam przy obliczaniu wzajemnej informacji z danych empirycznych, jest to, że liczba jest zawsze tendencyjna w górę....
Chcę kwantyfikować związek między dwiema zmiennymi, A i B, wykorzystując wzajemne informacje. Można to obliczyć, dzieląc obserwacje (patrz przykładowy kod Python poniżej). Jednak jakie czynniki determinują, jaka liczba pojemników jest rozsądna? Potrzebuję szybkiego obliczenia, więc nie mogę po...
Załóżmy, że mam jedną próbkę częstotliwości 4 możliwych zdarzeń: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 i mam spodziewane prawdopodobieństwo wystąpienia moich zdarzeń: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dzięki sumie obserwowanych częstotliwości moich czterech zdarzeń (18) mogę obliczyć oczekiwane...
Mam problem z budowaniem intuicji na temat wspólnej entropii. H.( X, Y)H(X,Y)H(X,Y) = niepewność w łącznym rozkładzie p ( x , y)p(x,y)p(x,y); H.( X)H(X)H(X) = niepewność w px( x )px(x)p_x(x); H.( Y)H(Y)H(Y) = niepewność w py( y)py(y)p_y(y). Jeśli H (X) jest wysoki, rozkład jest bardziej...
Próbuję zrozumieć znormalizowaną formę punktowej wzajemnej informacji. n p m i =p m i ( x , y)l o g( p ( x , y) )npmja=pmja(x,y)losol(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Dlaczego prawdopodobieństwo połączenia logarytmicznego normalizuje punktowe wzajemne informacje na poziomie [-1,...
Jaka jest różnica między korelacją krzyżową a informacjami wzajemnymi. Jakie problemy można rozwiązać za pomocą tych środków i kiedy należy zastosować jeden nad drugim. Dziękuję za komentarze. Aby wyjaśnić, pytanie wynika raczej z zainteresowania analizą promieniowania niż analizy szeregów...