W niektórych momentach widziałem zastosowanie pochodnej Radona-Nikodyma jednej miary prawdopodobieństwa w stosunku do drugiej, szczególnie w dywergencji Kullbacka-Leiblera, gdzie jest to pochodna miary prawdopodobieństwa modelu dla jakiegoś dowolnego parametru w odniesieniu do rzeczywistego...
Czy wzajemna informacja nad wspólną entropią: 0 ≤ I( X, Y)H.( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 być zdefiniowane jako: „Prawdopodobieństwo przekazania informacji z X do Y”? Przepraszam, że jestem taki naiwny, ale nigdy nie studiowałem teorii informacji i staram się po...
Natknąłem się na te slajdy (slajd 16 i 17) na jednym z kursów online. Instruktor próbował wyjaśnić, w jaki sposób Maximum Posterior Estimate (MAP) jest faktycznie rozwiązaniem , gdzie \ theta ^ {*} to prawdziwy parametr.L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne...
W moich badaniach natrafiłem na następujący ogólny problem: mam dwie rozkłady i w tej samej domenie i dużą (ale skończoną) liczbę próbek z tych rozkładów. Próbki są niezależnie i identycznie rozmieszczone z jednego z tych dwóch rozkładów (chociaż rozkłady mogą być powiązane: na przykład Q może być...
Próbuję zastosować ideę wzajemnej informacji do wyboru funkcji, jak opisano w tych uwagach do wykładu (na stronie 5). Moja platforma to Matlab. Jednym z problemów, które spotykam przy obliczaniu wzajemnej informacji z danych empirycznych, jest to, że liczba jest zawsze tendencyjna w górę....
Jestem trochę zmieszany. Czy ktoś może mi wyjaśnić, jak obliczyć wzajemne informacje między dwoma terminami w oparciu o matrycę termin-dokument z występowaniem terminów binarnych jako wag? Document1Document2Document3′Why′111′How′101′When′111′Wh e
Rozważmy nieskończony losowy wykres geometryczny, w którym położenia węzłów są zgodne z procesem punktu Poissona o gęstości a krawędzie są umieszczone między węzłami bliższymi niż d . Dlatego długość krawędzi jest zgodna z następującym plikiem PDF:ρρ\rhoredd fa( l ) = { 2 lre2)l ≤ d0l >...
Jak mówi tytuł, czy redukcja wymiarów zawsze traci jakieś informacje? Rozważ na przykład PCA. Jeśli dane, które posiadam, są bardzo rzadkie, zakładam, że można znaleźć „lepsze kodowanie” (czy jest to w jakiś sposób związane z rangą danych?) I nic by nie zostało...
Co jest dobrym miernikiem do oceny jakości analizy głównych składników (PCA)? Wykonałem ten algorytm na zbiorze danych. Moim celem było ograniczenie liczby funkcji (informacje były bardzo zbędne). Wiem, że odsetek zachowanych odchyleń jest dobrym wskaźnikiem tego, ile informacji przechowujemy. Czy...
Statystyka testowa Durbin, Watson może leżeć w obszarze jednoznaczne, w których nie jest możliwe albo odrzucić czy nie odrzucenia hipotezy zerowej (w tym przypadku zero autokorelacji). Jakie inne testy statystyczne mogą dać „niejednoznaczne” wyniki? Czy istnieje ogólne wyjaśnienie (machanie ręką...
Mam pewne dane, które istnieją na wykresie . Wierzchołki należą do jednej z dwóch klas , a ja jestem zainteresowany szkoleniem SVM do rozróżniania dwóch klas. Jeden odpowiedni jądro to jądro dyfuzji , gdzie jest Laplace'a z i \ p jest parametrem
Sieć małego świata jest rodzajem wykresu matematycznego, na którym większość węzłów nie sąsiaduje ze sobą, ale do większości węzłów można dotrzeć od siebie niewielką liczbą przeskoków lub kroków. W szczególności sieć małego świata jest zdefiniowana jako sieć, w której typowa odległość L między...
Chcę kwantyfikować związek między dwiema zmiennymi, A i B, wykorzystując wzajemne informacje. Można to obliczyć, dzieląc obserwacje (patrz przykładowy kod Python poniżej). Jednak jakie czynniki determinują, jaka liczba pojemników jest rozsądna? Potrzebuję szybkiego obliczenia, więc nie mogę po...
OK - moja oryginalna wiadomość nie wywołała odpowiedzi; pozwólcie, że postawię pytanie inaczej. Zacznę od wyjaśnienia mojego rozumienia estymacji z teoretycznego punktu widzenia decyzji. Nie mam formalnego szkolenia i nie zaskoczyłoby mnie, gdyby moje myślenie było w jakiś sposób błędne. Załóżmy,...
Programuję i wykonuję programowanie testowe. Po wprowadzeniu zmian w kodzie uruchamiam testy. Czasem im się udaje, a czasem im się nie udaje. Przed uruchomieniem testu zapisuję liczbę od 0,01 do 0,99 dla mojej wiarygodności, że test się powiedzie. Chcę wiedzieć, czy poprawiam przewidywanie, czy...
Lub jakie warunki to gwarantują? Zasadniczo (i nie tylko modele normalne i dwumianowe) przypuszczam, że głównym powodem złamania tego twierdzenia jest niespójność między modelem próbkowania a wcześniejszym, ale co jeszcze? Zaczynam od tego tematu, więc naprawdę doceniam proste...
Stawiłem czoła pytaniu kwalifikacyjnemu o pracę, w której ankieter zapytał mnie, czy twoje jest bardzo niskie (od 5 do 10%) dla modelu elastyczności cen. Jak rozwiązałbyś to pytanie?R2)R2)R^2 Nie mogłem wymyślić nic innego niż fakt, że zrobię diagnostykę regresji, aby zobaczyć, co poszło źle lub...
W artykule zatytułowanym Głębokie uczenie się i zasada wąskiego gardła informacji autorzy stwierdzają w sekcji II A), co następuje: Pojedyncze neurony klasyfikują tylko liniowo separowalne dane wejściowe, ponieważ mogą implementować tylko hiperpłaszczyzny w swojej przestrzeni wejściowej...
Załóżmy, że mam jedną próbkę częstotliwości 4 możliwych zdarzeń: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 i mam spodziewane prawdopodobieństwo wystąpienia moich zdarzeń: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dzięki sumie obserwowanych częstotliwości moich czterech zdarzeń (18) mogę obliczyć oczekiwane...
Utrata L2, wraz z utratą L0 i L1, są trzema bardzo częstymi „domyślnymi” funkcjami strat stosowanymi przy sumowaniu a posteriori za pomocą minimalnej oczekiwanej straty a posteriori. Jednym z powodów może być to, że są one stosunkowo łatwe do obliczenia (przynajmniej dla rozkładów 1d), L0 daje...