Wielkość matematyczna przeznaczona do pomiaru wielkości losowości zmiennej losowej.
Entropia Shannona jest ujemną z sumy prawdopodobieństw każdego wyniku pomnożonej przez logarytm prawdopodobieństwa każdego wyniku. Jaki cel służy logarytmowi w tym równaniu? Intuicyjna lub wizualna odpowiedź (w przeciwieństwie do głęboko matematycznej odpowiedzi) otrzyma dodatkowe...
Uczę sieci neuronowej, aby klasyfikować zestaw obiektów do n-klas. Każdy obiekt może należeć do wielu klas jednocześnie (wiele klas, wiele etykiet). Czytałem, że w przypadku problemów wieloklasowych ogólnie zaleca się stosowanie softmax i kategorycznej entropii krzyżowej jako funkcji straty...
Chcę zmierzyć entropię / gęstość informacji / podobieństwo wzorca dwuwymiarowej macierzy binarnej. Pokażę kilka zdjęć w celu wyjaśnienia: Ten ekran powinien mieć raczej wysoką entropię: ZA) To powinno mieć średnią entropię: B) Wreszcie te zdjęcia powinny mieć entropię bliską...
Moim zdaniem rozbieżność KL od rozkładu próbki do rozkładu rzeczywistego jest po prostu różnicą między entropią krzyżową a entropią. Dlaczego używamy entropii krzyżowej jako funkcji kosztów w wielu modelach uczenia maszynowego, a dywergencji Kullbacka-Leiblera w t-sne? Czy jest jakaś różnica w...
Przede wszystkim zdałem sobie sprawę, że jeśli muszę wykonać przewidywania binarne, muszę utworzyć co najmniej dwie klasy, wykonując kodowanie „na gorąco”. Czy to jest poprawne? Czy jednak binarna entropia krzyżowa dotyczy tylko predykcji z tylko jedną klasą? Gdybym miał zastosować kategoryczną...
Widziałem tu kilka pytań na temat tego, co to znaczy dla laików, ale są one dla mnie zbyt laikalne. Próbuję matematycznie zrozumieć, co oznacza wynik AIC. Ale jednocześnie nie chcę rygorystycznego dowodu, który sprawiłby, że nie widziałbym ważniejszych punktów. Na przykład, jeśli byłby to rachunek...
Wiem, że entropia jest miarą losowości procesu / zmiennej i można ją zdefiniować w następujący sposób. dla losowej zmiennej zestawie : - . W książce na temat Entropii i teorii informacji MacKaya podaje to oświadczenie w Ch2A H ( X ) = ∑ x i ∈ A - p ( x i ) log ( p ( x i ) )X∈X∈X \inZAZAAH.( X) =...
Czytam o entropii i trudno mi zrozumieć, co to znaczy w ciągłym przypadku. Strona wiki zawiera następujące informacje: Rozkład prawdopodobieństwa zdarzeń w połączeniu z ilością informacji każdego zdarzenia tworzy zmienną losową, której oczekiwaną wartością jest średnia ilość informacji lub...
W tym artykule utalentowany badacz Cosma Shalizi przekonuje, że aby w pełni zaakceptować subiektywny pogląd bayesowski, należy również zaakceptować niefizyczny wynik, że strzałka czasu (podana przez przepływ entropii) powinna faktycznie cofnąć się . Jest to głównie próba argumentacji przeciwko...
W 5.5, Deep Learning (autor: Ian Goodfellow, Yoshua Bengio i Aaron Courville) stwierdza, że Każda strata polegająca na ujemnym logarytmicznym prawdopodobieństwie jest entropią krzyżową między rozkładem empirycznym określonym przez zestaw szkoleniowy a rozkładem prawdopodobieństwa określonym...
Kiedy trenujesz sieci neuronowe segmentujące piksele, takie jak sieci w pełni splotowe, jak podejmiesz decyzję o zastosowaniu funkcji utraty krzyżowej entropii w porównaniu z funkcją utraty współczynnika kości? Zdaję sobie sprawę, że to krótkie pytanie, ale nie jestem pewien, jakie inne...
Po długim przeszukiwaniu Cross Validated nadal nie czuję, że jestem bliżej zrozumienia dywergencji KL poza sferą teorii informacji. To dość dziwne, gdy ktoś z wykształceniem matematycznym łatwiej jest zrozumieć wyjaśnienie teorii informacji. Podsumowując moje rozumienie na podstawie teorii...
Użyłem zasady maksymalnej entropii, aby uzasadnić użycie kilku rozkładów w różnych ustawieniach; jednakże muszę jeszcze być w stanie sformułować statystyczną, w przeciwieństwie do teorii informacji, interpretację maksymalnej entropii. Innymi słowy, co maksymalizacja entropii implikuje w...
Eksperymentuję trochę autoencoderów, a dzięki tensorflow stworzyłem model, który próbuje zrekonstruować zestaw danych MNIST. Moja sieć jest bardzo prosta: X, e1, e2, d1, Y, gdzie e1 i e2 są warstwami kodującymi, d2 i Y są warstwami dekodującymi (a Y jest zrekonstruowanym wyjściem). X ma 784...
Używam logarytmicznych rozkładów jako poprzednich rozkładów dla parametrów skali (dla rozkładów normalnych, rozkładów t itp.), Gdy mam ogólne pojęcie o tym, jaka powinna być skala, ale chcę się pomylić, mówiąc, że nie wiem dużo o tym. Używam tego, ponieważ to użycie ma dla mnie intuicyjny sens, ale...
Nie jestem w żaden sposób statystykiem (miałem kurs statystyki matematycznej, ale nic więcej), a ostatnio, studiując teorię informacji i mechanikę statystyczną, spotkałem to, co nazywa się „miarą niepewności” / „entropią”. Odczytałem jej pochodzenie Khinchina jako miarę niepewności i miało to dla...
Jaki jest najbardziej poprawny pod względem teoretycznym / informacyjnym sposób obliczenia entropii obrazu? W tej chwili nie dbam o wydajność obliczeniową - chcę, aby teoretycznie była jak najbardziej poprawna. Zacznijmy od obrazu w skali szarości. Jednym intuicyjnym podejściem jest rozważenie...
W definicji wspólnie typowych zbiorów (w „Elementach teorii informacji”, rozdz. 7.6, s. 195) używamy np(xn)=∏ n i = 1 p(xi)- 1nlogp ( xn)-1nlogp(xn)-\frac{1}{n} \log{p(x^n)} jako empirycznej entropii wystąpienia -sequence z . Nigdy wcześniej nie spotkałem się z tą terminologią. Nigdzie nie jest...
Szukam książki lub zasobu online, który wyjaśnia różne rodzaje entropii, takie jak Sample Entropy i Shannon Entropy oraz ich zalety i wady. Czy ktoś może skierować mnie we właściwym
Załóżmy, że mam dwa zbiory XXX i oraz łączny rozkład prawdopodobieństwa dla tych zbiorów . Niech i oznaczają brzegowe rozkładu ponad i odpowiednio.YYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Wspólna informacja między i jest zdefiniowana