Nie ma najlepszej liczby pojemników do oszacowania wzajemnej informacji (MI) z histogramami. Najlepszym sposobem jest wybranie go za pomocą weryfikacji krzyżowej, jeśli możesz, lub poleganie na zasadzie ogólnej. Z tego powodu zaproponowano wiele innych estymatorów MI, które nie są oparte na histogramach.
Liczba pojemników będzie zależeć od całkowitej liczby punktów danych . Powinieneś starać się unikać zbyt wielu pojemników, aby uniknąć błędów oszacowania dla wspólnego rozkładu między dwiema zmiennymi. Powinieneś także unikać zbyt małej liczby pojemników, aby móc uchwycić związek między dwiema zmiennymi. Biorąc pod uwagę, że generuje histogram 2D z pojemnikami o równej szerokości dla obu i osobiście wybrałbym:
W tym przypadku średnio dla dwóch równomiernie rozmieszczonych zmiennych losowych będziesz miał co najmniej punktów dla każda komórka histogramu:
nnp.histogram2d(x, y, D)
D
x
y
D = ⌊n / 5---√⌋
5nreXreY≥ 5 ⇒nre2)≥ 5 ⇒re2)≤ n / 5 ⇒ D = ⌊n / 5---√⌋
Jest to jeden z możliwych wybór, który symuluje podejście adaptacyjnego podziału zaproponowane w
(Cellucci, 2005) . To drugie podejście jest często stosowane do oszacowania MI w celu wnioskowania o sieci genetyczne: np. W
MIDER .
Jeśli masz dużo punktów danych i nie ma brakujących wartości, nie powinieneś zbytnio przejmować się znalezieniem najlepszej liczby pojemników; np. jeśli . Jeśli tak nie jest, możesz rozważyć skorygowanie MI dla skończonych próbek. (Steuer i in., 2002) omawia pewną korektę MI dla zadania wnioskowania sieci genetycznej.nn = 100 , 000
Szacowanie liczby przedziałów dla histogramu to stary problem. Być może zainteresuje Cię rozmowa Lauritza Dieckmana na temat oszacowania liczby pojemników na MI. Ta rozmowa oparta jest na jednym z rozdziałów książki Mike'a X Cohena na temat neuronowych szeregów czasowych.
Możesz wybrać i niezależnie i użyć reguły stosowanej do oszacowania liczby przedziałów w histogramach 1D.reXreY
Reguła Freedmana-Diaconisa (brak założenia co do dystrybucji):
gdzie to różnica między 75-kwantylem a 25-kwantylem. Spójrz na to powiązane pytanie w SE .
reX= ⌈max X- min. X2 ⋅ IQR ⋅n- 1 / 3⌉
IQR
Reguła Scotta (założenie normalności):
gdzie jest odchyleniem standardowym dla .
reX= ⌈max X- min. X3,5 ⋅sX⋅n- 1 / 3⌉
sXX
Reguła Sturgesa (może nie doceniać liczby pojemników, ale jest dobra dla dużych ):
n
reX= ⌈ 1 +log2)n ⌉
Trudno jest poprawnie oszacować MI za pomocą histogramów. Następnie możesz wybrać inny estymator:
- Estymator NN Kraskowa , który jest nieco mniej wrażliwy na wybór parametru: lub najbliższych sąsiadów jest często używany jako domyślny. Papier: (Kraskov, 2003)kk = 4k = 6
- Oszacowanie MI za pomocą jąder (Moon, 1995) .
Istnieje wiele pakietów do oszacowania MI:
- Nieparametryczny zestaw narzędzi do szacowania entropii dla Pythona. strona .
- Zestaw narzędzi do dynamiki informacji w Javie, ale dostępny również dla Pythona. strona .
- Przybornik ITE w Matlabie. strona .