Pytania oznaczone «kullback-leibler»

Asymetryczna miara odległości (lub niepodobieństwa) między rozkładami prawdopodobieństwa. Można to zinterpretować jako wartość oczekiwaną współczynnika wiarygodności logarytmu w ramach hipotezy alternatywnej.

28
Dostosowanie odległości Kullback-Leibler?

Spójrz na ten obrazek: Jeśli wyciągniemy próbkę z gęstości czerwonej, wówczas oczekuje się, że niektóre wartości będą mniejsze niż 0,25, podczas gdy niemożliwe jest wygenerowanie takiej próbki z rozkładu niebieskiego. W konsekwencji odległość Kullbacka-Leiblera od gęstości czerwonej do gęstości...

18
Dlaczego rozbieżność KL jest nieujemna?

Dlaczego dywergencja KL nie jest ujemna? Z punktu widzenia teorii informacji rozumiem tak intuicyjnie: Powiedzmy, że istnieją dwa zespoły AAA i BBB które składają się z tego samego zestawu elementów oznaczonych xxx . p(x)p(x)p(x) i q(x)q(x)q(x) są różne rozkłady prawdopodobieństwa ponad zespołem...