Użyłem zasady maksymalnej entropii, aby uzasadnić użycie kilku rozkładów w różnych ustawieniach; jednakże muszę jeszcze być w stanie sformułować statystyczną, w przeciwieństwie do teorii informacji, interpretację maksymalnej entropii. Innymi słowy, co maksymalizacja entropii implikuje w...
Widzę, że obie funkcje są częścią metod eksploracji danych, takich jak regresory zwiększające gradient . Widzę, że to także osobne obiekty. Jaka jest relacja między nimi w
Nie jestem pewien, czy podmiot ten zainteresuje się CrossValidated. Powiesz mi Muszę przestudiować wykres (z teorii grafów ) tj. Mam pewną liczbę połączonych kropek. Mam tabelę ze wszystkimi kropkami i kropkami, od których każda jest zależna. (Mam też inną tabelę z implikacjami) Moje pytania...
Większość zasobów na temat prawidłowych reguł punktowania wymienia szereg różnych zasad punktacji, takich jak utrata logów, wynik Briera lub punktacja sferyczna. Często jednak nie udzielają zbyt wielu wskazówek na temat różnic między nimi. (Dowód A: Wikipedia .) Wybór modelu, który maksymalizuje...
Studiuję drzewa klasyfikacji i regresji, a jedną z miar podziału lokalizacji jest wynik GINI. Teraz jestem przyzwyczajony do określania najlepszego podziału lokalizacji, gdy logarytm stosunku prawdopodobieństwa tych samych danych między dwiema dystrybucjami wynosi zero, co oznacza, że...
Chciałbym dowiedzieć się więcej o nieparametrycznych technikach bayesowskich (i pokrewnych). Mam doświadczenie w informatyce i chociaż nigdy nie brałem udziału w kursie teorii miary lub teorii prawdopodobieństwa, miałem ograniczone formalne szkolenie w zakresie prawdopodobieństwa i statystyki. Czy...
Co to znaczy powiedzieć, że „wariancja jest tendencyjnym estymatorem”. Co to znaczy przekonwertować tendencyjne oszacowanie na obiektywne oszacowanie za pomocą prostej formuły. Co dokładnie robi ta konwersja? Jakie jest praktyczne zastosowanie tej konwersji? Czy przeliczasz te wyniki, używając...
W szczególności szukam odniesień (artykułów, książek), które rygorystycznie pokażą i wyjaśnią przekleństwo wymiarowości. Pytanie to pojawiło się po tym, jak zacząłem czytać białą księgę autorstwa Lafferty i Wassermana. W akapicie trzecim wspominają o „dobrze znanym” równaniu, które implikuje, że...
Mam problem ze zrozumieniem pojęcia zmiennej losowej jako funkcji. Rozumiem mechanikę (tak myślę), ale nie rozumiem motywacji ... Powiedzmy ( Ω , B , P)(Ω,B,P)(\Omega, B, P) jest potrójnym prawdopodobieństwem, gdzie Ω = [ 0 , 1 ]Ω=[0,1]\Omega = [0,1] , bBB oznacza Borel- σσ\sigma -algebra w tym...
(Aby zobaczyć, dlaczego to napisałem, sprawdź komentarze poniżej mojej odpowiedzi na to pytanie ). Błędy typu III i teoria decyzji statystycznych Udzielenie prawidłowej odpowiedzi na złe pytanie jest czasem nazywane błędem typu III. Statystyczna teoria decyzji jest formalizacją procesu...
Niedawno przeczytałem dwa artykuły. Pierwszy dotyczy historii korelacji, a drugi nowej metody o nazwie Maksymalny współczynnik informacyjny (MIC). Potrzebuję twojej pomocy w zrozumieniu metody MIC w celu oszacowania nieliniowych korelacji między zmiennymi. Ponadto instrukcje dotyczące jego...
Precyzja jest zdefiniowana jako: p = true positives / (true positives + false positives) Czy jest to prawidłowe, że, jak true positivesi false positivespodejście 0, precyzja zbliża 1? To samo pytanie do przypomnienia: r = true positives / (true positives + false negatives) Obecnie wdrażam...
Zastanawiałem się, czy ktoś wie, czy istnieje aplikacja w statystykach, w której wymagana jest silna spójność estymatora zamiast słabej spójności. Oznacza to, że silna spójność jest niezbędna dla aplikacji, a aplikacja nie działałaby ze słabą
Pytanie głównie teoretyczne. Czy są jakieś przykłady rozkładów niestandardowych, które mają pierwsze cztery momenty równe rozkładom normalnym? Czy mogą istnieć w
Jeśli naprawię wartości zaobserwowanych węzłów MRF, czy stanie się to
W definicji wspólnie typowych zbiorów (w „Elementach teorii informacji”, rozdz. 7.6, s. 195) używamy np(xn)=∏ n i = 1 p(xi)- 1nlogp ( xn)-1nlogp(xn)-\frac{1}{n} \log{p(x^n)} jako empirycznej entropii wystąpienia -sequence z . Nigdy wcześniej nie spotkałem się z tą terminologią. Nigdzie nie jest...
Dlaczego dywergencja KL nie jest ujemna? Z punktu widzenia teorii informacji rozumiem tak intuicyjnie: Powiedzmy, że istnieją dwa zespoły AAA i BBB które składają się z tego samego zestawu elementów oznaczonych xxx . p(x)p(x)p(x) i q(x)q(x)q(x) są różne rozkłady prawdopodobieństwa ponad zespołem...
Rozważmy następujące dwa rozkłady prawdopodobieństwa P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Obliczyłem dywergencję Kullbacka-Leiblera, która jest równa Chcę ogólnie wiedzieć, co pokazuje ta liczba? Zasadniczo rozbieżność...
Załóżmy, że mam dwa zbiory XXX i oraz łączny rozkład prawdopodobieństwa dla tych zbiorów . Niech i oznaczają brzegowe rozkładu ponad i odpowiednio.YYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Wspólna informacja między i jest zdefiniowana
W przypadku płaskiego przejęcia estymatory ML (częste - maksymalne prawdopodobieństwo) i MAP (bayesowskie - maksymalne a posteriori) pokrywają się. Mówiąc bardziej ogólnie, mówię o estymatorach punktowych wyprowadzonych jako optymalizatory niektórych funkcji strat. To znaczy (Bayesa) x...