Korelacja odległości a wzajemna informacja

15

Od pewnego czasu pracuję z wzajemnymi informacjami. Ale znalazłem bardzo niedawną miarę w „świecie korelacji”, którą można również wykorzystać do pomiaru niezależności dystrybucji, tak zwaną „korelację odległości” (zwaną także korelacją Browna): http://en.wikipedia.org/wiki/Brownian_covariance . Sprawdziłem dokumenty, w których wprowadzono ten środek, ale nie znalazłem żadnych aluzji do wzajemnych informacji.

Tak więc moje pytania to:

  • Czy rozwiązują dokładnie ten sam problem? Jeśli nie, to czym różnią się problemy?
  • A jeśli na poprzednie pytanie można odpowiedzieć pozytywnie, jakie są zalety korzystania z jednego lub drugiego?
correlation mutual-information distance-covariance dsign
źródło
Spróbuj zapisać „korelację odległości” i „wzajemną informację” jako prosty przykład. W drugim przypadku otrzymasz logarytmy, podczas gdy w pierwszym - nie.
Piotr Migdal,
@PiotrMigdal Tak, zdaję sobie sprawę z tej różnicy. Czy możesz wyjaśnić, dlaczego jest to ważne? Proszę wziąć pod uwagę, że nie jestem statystykiem ...
dsign
Dla standardowego narzędzia mierzącego wzajemną zależność rozkładów prawdopodobieństwa jest wzajemna informacja. Ma wiele fajnych właściwości, a jego interpretacja jest prosta. Mogą jednak występować specyficzne problemy, w których preferowana jest korelacja odległości (ale nigdy w życiu jej nie używałem). Więc jaki problem próbujesz rozwiązać?
Piotr Migdal,
2
Ten komentarz jest spóźniony o kilka lat, ale Departament Statystyki Uniwersytetu Columbia sprawił, że rok akademicki 2013-2014 był rokiem koncentracji na miarach zależności. W kwietniu i maju 2014 r. Odbyły się warsztaty, w których wzięli udział najlepsi naukowcy wykonujący prace w tej dziedzinie, w tym Reshef Brothers (MIC), Gabor Szekely (korelacje odległości), Subhadeep Mukhopadhay, aby wymienić tylko kilka. Oto link do programu, który zawiera wiele plików pdf z prezentacji. dependence2013.wikischolars.columbia.edu/…
Mike Hunter

Odpowiedzi:

9

Informacja / wzajemna informacja nie zależy od możliwych wartości, zależy tylko od prawdopodobieństw, dlatego jest mniej wrażliwa. Korelacja odległości jest mocniejsza i łatwiejsza do obliczenia. Dla porównania patrz

http://www-stat.stanford.edu/~tibs/reshef/comment.pdf

gabor J Szekely
źródło
2
Cześć, dziękuję za odpowiedź! Artykuł, do którego się odwołujesz, dotyczy MIC, co jest, jak sądzę, nieco więcej niż MI. Wdrożyłem miarę korelacji odległości i nie sądzę, aby była prostsza niż MI dla przypadku elementarnego dyskretnych zmiennych kategorialnych. Z drugiej strony nauczyłem się, że DCM jest dobrze zdefiniowany i dobrze zachowuje się dla zmiennych ciągłych, ale w MI musisz robić binowanie lub wymyślne rzeczy, takie jak MIC.
dsign
3
Wydaje się jednak, że DCM potrzebuje kwadratowych matryc, których stroną jest liczba próbek. Innymi słowy, złożoność przestrzeni skaluje się kwadratowo. A przynajmniej tak mam wrażenie, chciałbym się pomylić. MIC działa lepiej, ponieważ można go dostroić w pewnym kompromisie między precyzją a wydajnością.
dsign