Jaka jest główna różnica między korelacją a wzajemną informacją?

Odpowiedzi:

25

Korelacja mierzy relację liniową (korelacja Pearsona) lub relację monotoniczną (korelacja Spearmana) między dwiema zmiennymi, X i Y.

Wzajemne informacje są bardziej ogólne i mierzą zmniejszenie niepewności w Y po obserwacji X. Jest to odległość KL między gęstością połączenia a iloczynem poszczególnych gęstości. Zatem MI może mierzyć relacje niemonotoniczne i inne bardziej skomplikowane relacje.

Rob Hyndman
źródło
3
Korelacja niekoniecznie jest liniowa - rho Spearmana opiera się na funkcji monotonicznej, a jednak nazywamy ją „współczynnikiem korelacji”, a nie „współczynnikiem wzajemnej informacji”. I nie bez powodu: dostarcza informacji o powiązaniu między dwiema zmiennymi. Wzajemne informacje, zbędne informacje, wzajemna wariancja, korelacja - te terminy są bardzo podobne, a to pytanie dotyczy rekonstrukcji sieci , więc myślę, że znaleźliśmy się w niewłaściwym obszarze z właściwą terminologią. To dość konkretne pytanie ...
aL3xa
1
Słuszna uwaga. Zredagowałem swoją odpowiedź, aby uwzględnić związki monotoniczne. Nic nie wiem o rekonstrukcji sieci.
Rob Hyndman
4

Aby dodać do odpowiedzi Roba ... w odniesieniu do inżynierii odwrotnej sieci, MI może być bardziej preferowane niż korelacja, jeśli chcesz wyodrębnić łącza przyczynowe niż asocjacyjne w swojej sieci. Sieci korelacji mają charakter czysto asocjacyjny. Ale w przypadku MI potrzebujesz więcej danych i mocy obliczeniowej.

ars
źródło