Natknąłem się na termin zakłopotanie, które odnosi się do uśrednionego logarytmicznie odwrotnego prawdopodobieństwa na niewidzialnych danych. Artykuł Wikipedii na temat zakłopotania nie nadaje temu samemu intuicyjnego znaczenia.
Tę miarę zakłopotania wykorzystano w pracy pLSA .
Czy ktoś może wyjaśnić potrzebę i intuicyjne znaczenie pomiaru zakłopotania ?
measurement
perplexity
Uczeń
źródło
źródło
Odpowiedzi:
Przeglądałeś artykuł Wikipedii na temat zakłopotania . Daje to kłopot z dyskretnym rozkładem jako
który można również zapisać jako
tj. jako ważona średnia geometryczna odwrotności prawdopodobieństw. W przypadku ciągłego rozkładu suma zamieniłaby się w całkę.
W artykule podano również sposób oszacowania zakłopotania dla modelu przy użyciu fragmentów danych testowychN
które można również napisać
lub na wiele innych sposobów, a to powinno sprawić, że będzie jeszcze bardziej jasne, skąd pochodzi „log-średnie odwrotne prawdopodobieństwo”.
źródło
Uznałem to za dość intuicyjne:
http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/
źródło
Też się zastanawiałem. Pierwsze wytłumaczenie nie jest złe, ale oto moje 2 naty za cokolwiek, co jest warte.
Po pierwsze, zakłopotanie nie ma nic wspólnego z określaniem, jak często odgadujesz coś dobrze. Ma to więcej wspólnego z charakteryzowaniem złożoności sekwencji stochastycznej.
Najpierw anulujmy dziennik i potęgowanie.
Myślę, że warto zauważyć, że zakłopotanie jest niezmienne w stosunku do bazy, której używasz do definiowania entropii. W tym sensie zakłopotanie jest nieskończenie bardziej wyjątkowe / mniej arbitralne niż entropia jako miara.
Związek z kościami
Tak więc zakłopotanie reprezentuje liczbę boków uczciwej kości, która po rzuceniu tworzy sekwencję z taką samą entropią, jak podany rozkład prawdopodobieństwa.
Liczba stanów
Kiedy sprawiasz, że przewracanie jednej strony kostki staje się coraz bardziej mało prawdopodobne, zakłopotanie kończy się na tym, że ta strona nie istnieje.
źródło
Aby wyjaśnić, zakłopotanie jednolitym rozkładem X to po prostu | X | liczba elementów. Jeśli spróbujemy odgadnąć wartości, które przyjmą próbki z jednolitego rozkładu X, po prostu dokonując domysłów z X, będziemy poprawni 1 / | X | = 1 / zakłopotanie czasu. Ponieważ rozkład jednorodny jest najtrudniejszy do odgadnięcia, możemy użyć 1 / zakłopotanie jako dolnej granicy / heurystycznego przybliżenia tego, jak często nasze domysły będą prawidłowe.
źródło