Zastosowanie teorii informacji w informatyce stosowanej

9

Dzisiaj natknąłem się na książkę „Teoria informacji: wprowadzenie do samouczka” Jamesa Stone'a i przez chwilę zastanawiałem się nad zakresem zastosowania teorii informacji w nauce o danych stosowanych (jeśli nie czujesz się komfortowo z tym wciąż nieco rozmytym terminem, pomyśl o analizie danych , której nauka IMHO jest uwielbioną wersją). Jestem świadom znaczącego wykorzystania teorii informacji opartych podejść , metod i środków , zwłaszcza entropii , pod maską różnych technik i metod statystycznych do analizy danych.

Jestem jednak ciekawy zakresu / poziomu wiedzy, który jest potrzebny stosowanemu naukowcowi społecznemu, aby z powodzeniem wybierać i stosować te koncepcje, miary i narzędzia bez zbyt głębokiego sięgania w matematyczne pochodzenie teorii. Z niecierpliwością czekam na wasze odpowiedzi, które mogą odpowiedzieć na moje obawy w kontekście wyżej wspomnianej książki (lub innych podobnych książek - zachęcamy do polecania) lub ogólnie.

Byłbym także wdzięczny za niektóre zalecenia dla źródeł drukowanych lub internetowych, które omawiają teorię informacji oraz jej koncepcje, podejścia, metody i miary w kontekście (w porównaniu z) innymi (bardziej) tradycyjnymi podejściami statystycznymi ( częsty i bayesowski ).

information-theory Aleksandr Blekh
źródło
2
Być może jeden z najbardziej znanych i „stosowanych” przypadków użycia entropii ma miejsce podczas budowania drzewa. Jedną z możliwości podziału algorytmu jest pobranie metryki wzmocnienia informacji, która stanowi różnicę między entropią między poziomem najwyższym a poziomem niższym. Więcej informacji znajdziesz tutaj en.wikipedia.org/wiki/Information_gain_in_decision_trees
D.Castro
@ D.Castro: Dziękuję za komentarz - zdaję sobie sprawę z tego przypadku (a nawet opublikowałem odpowiedź na ten konkretny temat tutaj na Cross Validated lub na stronie Data Science SE). Mam nadzieję na bardziej wyczerpujące omówienie / omówienie tematu.
Aleksandr Blekh
1
Dla mnie i w dużej mierze jest to kwestia dyscypliny lub dziedziny, w której się kształci, a także kontynentu geograficznego. Moim zdaniem fizycy, matematycy i praktycy czystego uczenia maszynowego są znacznie bardziej narażeni na dogłębną ekspozycję na teorię informacji niż, powiedzmy, statystycy, ekonomiści lub analitycy finansowi. Ponadto podwoiłbym to w przypadku osób przeszkolonych w Europie, tzn. Europejczycy są znacznie bardziej znani z informatyki. Jednak pojawienie się modeli uczenia statystycznego zmienia się w przypadku naukowców zajmujących się danymi w Stanach Zjednoczonych.
Mike Hunter
@DJohnson Najmniej minut punktów, ale w Wielkiej Brytanii i być może gdzie indziej IT == technologia informacyjna. W przeciwnym razie twoje wrażenia przypominają moje.
Nick Cox,
@NickCox Dzięki, twój punkt odnosi się również do Stanów. Był to długi komentarz i, o ile pozwala na to miejsce, przeliterowałbym te słowa lub, lepiej, jeszcze wcześniej, wprowadził znaczenie akronimu.
Mike Hunter

Odpowiedzi:

4

Pierwsza część pytania: czy naukowcy danych muszą znać teorię informacji ? Myślałem, że odpowiedź brzmi „nie” aż do niedawna. Powodem, dla którego zmieniłem zdanie, jest jeden kluczowy element: hałas.

Wiele modeli uczenia maszynowego (zarówno stochastycznych, jak i nie) wykorzystuje szum jako część procesu kodowania i transformacji, aw wielu z tych modeli należy wywnioskować prawdopodobieństwo wpływu szumu po zdekodowaniu przetworzonego wyjścia modelu. Myślę, że jest to podstawowa część teorii informacji. Nie tylko to, że w głębokim uczeniu się rozbieżność KL jest bardzo ważnym stosowanym miernikiem, który również pochodzi z teorii informacji.

Druga część pytania: Myślę, że najlepszym źródłem jest teoria informacji Davida MacKaya , algorytmy wnioskowania i uczenia się . Zaczyna od teorii informacji i przenosi te pomysły do ​​sieci wnioskowania, a nawet sieci neuronowych. Pdf jest bezpłatny na stronie Dave'a, a wykłady są online, które są świetne

Ambodi
źródło
3
To doskonała książka. Każdy zainteresowany powinien również rzucić okiem na en.wikipedia.org/wiki/David_J._C._MacKay
Nick Cox
Dziękujemy za odpowiedź (+1 i potencjalna akceptacja, jeśli wkrótce nie pojawią się bardziej wyczerpujące odpowiedzi). Specjalne uznanie dla referencji. Dziwi mnie, że natknąłeś się na to prawie zapomniane, ale ważne pytanie. :-)
Aleksandr Blekh
Tak, to interesujące. Nigdy nie powinieneś rezygnować z pytania. Przyszedł do mnie po tym, jak uczestniczyłem w NIPS2016 i widziałem wszystkie te rozmowy na temat rozbieżności KL i wpływu hałasu na kodery.
Ambodi,