Dlaczego statystycy nie wykorzystują wzajemnych informacji jako miary powiązania?

Widziałem kilka rozmów niestatystów, w których wydaje się, że na nowo opracowują miary korelacji przy użyciu wzajemnej informacji zamiast regresji (lub równoważnych / ściśle powiązanych testów statystycznych).

Rozumiem, że istnieje dobry powód, dla którego statystycy nie przyjmują takiego podejścia. Rozumiem przez laika, że ​​estymatory entropii / wzajemnej informacji bywają problematyczne i niestabilne. Zakładam, że moc jest również problematyczna: próbują obejść ten problem, twierdząc, że nie używają ram testowania parametrycznego. Zazwyczaj tego rodzaju praca nie przeszkadza w obliczeniach mocy, a nawet w ufności / wiarygodnych odstępach czasu.

Ale czy zająć pozycję adwokata diabła, czy powolna konwergencja jest tak ważna, gdy zbiory danych są wyjątkowo duże? Czasami te metody wydają się „działać” w tym sensie, że powiązania są potwierdzane przez badania uzupełniające. Jaka jest najlepsza krytyka przeciwko wykorzystywaniu wzajemnych informacji jako miary powiązania i dlaczego nie jest szeroko stosowana w praktyce statystycznej?

edytuj: Czy są też jakieś dobre artykuły na te tematy?

Uważam, że należy rozróżnić dane kategoryczne (dyskretne) od danych ciągłych.

W przypadku danych ciągłych korelacja Pearsona mierzy relację liniową (monotoniczną), korelacja rang jest relacją monotoniczną.

MI natomiast „wykrywa” każdy związek. Zwykle nie jest to tym, czym jesteś zainteresowany i / lub może to być hałas. W szczególności musisz oszacować gęstość rozkładu. Ale ponieważ jest ciągły, najpierw należy utworzyć histogram [dyskretne przedziały], a następnie obliczyć MI. Ale ponieważ MI pozwala na dowolną relację, MI zmieni się, gdy użyjesz mniejszych pojemników (tj. Abyś pozwolił na więcej ruchów). Możesz więc zobaczyć, że oszacowanie MI będzie bardzo niestabilne, nie pozwalając na umieszczanie żadnych przedziałów ufności na oszacowaniu itp. [To samo dotyczy ciągłego szacowania gęstości.] Zasadniczo jest zbyt wiele rzeczy do oszacowania przed faktycznym obliczeniem MI.

Z drugiej strony dane kategoryczne dość dobrze mieszczą się w strukturze MI (patrz test G) i nie ma wiele do wyboru między testem G a kwadratem chi.