Czy istnieje domena, w której Bayesian Networks przewyższa sieci neuronowe?

Sieci neuronowe osiągają najlepsze wyniki w zadaniach widzenia komputerowego (patrz MNIST , ILSVRC , Kaggle Galaxy Challenge ). Wydaje się, że przewyższają każde inne podejście w Computer Vision. Ale są też inne zadania:

• Kaggle Molecular Activity Challenge
• Regresja: prognoza Kaggle Rain , również 2. miejsce
• Chwyć i podnieś 2. również trzecie miejsce - Zidentyfikuj ruchy rąk na podstawie nagrań EEG

Nie jestem zbyt pewny ASR (automatyczne rozpoznawanie mowy) i tłumaczenia maszynowego, ale myślę, że słyszałem również, że (nawracające) sieci neuronowe (zaczynają) przewyższają inne podejścia.

Obecnie uczę się o Bayesian Networks i zastanawiam się, w jakich przypadkach te modele są zwykle stosowane. Więc moje pytanie brzmi:

Czy są jakieś wyzwania / konkursy (Kaggle), w których najnowocześniejsze są sieci Bayesian lub przynajmniej bardzo podobne modele?

(Uwaga dodatkowa: Widziałem także drzewa decyzyjne , 2 , 3 , 4 , 5 , 6 , 7 wygrywające w kilku ostatnich wyzwaniach Kaggle)

Jednym z obszarów, w którym często stosuje się metody bayesowskie, jest potrzeba interpretacji systemu prognozowania. Nie chcesz dać lekarzom sieci neuronowej i powiedzieć, że jest ona w 95% dokładna. Raczej chcesz wyjaśnić założenia przyjęte przez twoją metodę, a także proces decyzyjny stosowany przez tę metodę.

Podobny obszar ma miejsce, gdy masz silną wcześniejszą wiedzę domenową i chcesz wykorzystać ją w systemie.

Sieci bayesowskie i sieci neuronowe nie wykluczają się nawzajem. W rzeczywistości sieci bayesowskie są po prostu innym terminem określającym „ukierunkowany model graficzny”. Mogą być bardzo przydatne w projektowaniu sieci neuronowych funkcji celu. Yann Lecun zwrócił na to uwagę tutaj: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Jeden przykład.

Doskonałe odpowiedzi już.

Jedną z domen, o której mogę myśleć i nad którą intensywnie pracuję, jest domena analityki klienta .

Muszę rozumieć i przewidywać ruchy i motywy klientów, aby informować i ostrzegać zarówno obsługę klienta, marketing, jak i zespoły ds. Rozwoju.

Więc tutaj sieci neuronowe wykonują naprawdę dobrą robotę w zakresie przewidywania rezygnacji itp. Ale znalazłem i wolę styl sieci bayesowskich i oto powody, dla których go preferuję:

1. Klienci zawsze mają wzór. Zawsze mają powód do działania. I to byłby powód, dla którego mój zespół dla nich zrobił, albo nauczyli się sami. Tak więc wszystko ma tutaj pierwszeństwo, a powód jest bardzo ważny, ponieważ napędza większość decyzji podejmowanych przez klienta.
2. Każdy ruch klienta i zespołów ds. Wzrostu na ścieżce marketingu / sprzedaży ma wpływ na przyczynę. Tak więc wcześniejsza wiedza jest niezbędna, jeśli chodzi o przekształcenie potencjalnej szansy w klienta.

Tak więc koncepcja uprzedniej jest bardzo ważna, jeśli chodzi o analitykę klienta, co sprawia, że ​​koncepcja sieci bayesowskich jest bardzo ważna w tej dziedzinie.

Sugerowana nauka:

Metody bayesowskie dla sieci neuronowych

Sieci bayesowskie w analizie biznesowej

Czasami zależy Ci tak samo na zmianie wyniku, jak na przewidywaniu wyniku.

Sieć neuronowa posiadająca wystarczającą ilość danych treningowych będzie miała tendencję do lepszego przewidywania wyniku, ale gdy będziesz w stanie przewidzieć wynik, możesz chcieć przewidzieć efekt wprowadzenia zmian w cechach wejściowych na wynik.

Przykład z prawdziwego życia, wiedząc, że ktoś może mieć zawał serca, jest przydatny, ale możliwość powiedzenia tej osobie, że jeśli przestanie robić XX, ryzyko zmniejszy się o 30%, przynosi znacznie większe korzyści.

Podobnie utrzymanie klienta, wiedząc, dlaczego klienci przestają z tobą robić zakupy, jest warte tyle samo, co przewidywanie klientów, którzy prawdopodobnie przestaną z tobą robić zakupy.

Również prostsza sieć bayesowska, która przewiduje gorsze prognozy, ale prowadzi do podjęcia większej liczby działań, może być często lepsza niż bardziej „poprawna” sieć bayesowska.

Największą przewagą sieci bayesowskich nad sieciami neuronowymi jest to, że można je wykorzystać do wnioskowania przyczynowego. Ta gałąź ma fundamentalne znaczenie dla statystyki i uczenia maszynowego, a Judea Pearl zdobyła nagrodę Turinga za te badania.

Sieci bayesowskie mogą przewyższać sieci neuronowe przy małych ustawieniach danych. Jeśli wcześniejsze informacje są właściwie zarządzane za pomocą struktury sieci, priorów i innych hiperparametrów, może mieć przewagę nad sieciami neuronowymi. Sieci neuronowe, szczególnie te z większą liczbą warstw, są bardzo dobrze znane z tego, że są głodne danych. Prawie z definicji wiele danych jest potrzebnych do ich właściwego szkolenia.

Opublikowałem ten link na Reddit i otrzymałem wiele opinii. Niektórzy opublikowali tutaj swoje odpowiedzi, inni nie. Ta odpowiedź powinna podsumować post reddit. (Stworzyłem wiki społeczności, żeby nie dostawać za to punktów)

• Automatyczne kodowanie wariacyjne Bayes jest kombinacją sieci Bayesa i sieci neuronowej. Artykuł Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference wydaje się iść w tym samym kierunku.
• Porzucenie: Prostym sposobem zapobiegania nadmiernemu dopasowaniu sieci neuronowych jest przykład, w którym bayesowskie sieci neuronowe przewyższają swoje podejście do porzucania (patrz punkt 6.4 „Porównanie z bayesowskimi sieciami neuronowymi”)
• Uczenie się koncepcji na poziomie ludzkim poprzez indukcję programu probabilistycznego to artykuł „na temat sieci bayesowskiej, która dokonuje jednorazowej klasyfikacji, która znacznie przewyższa sieci neuronowe” (według trashacount12345 - do tej pory tego nie sprawdzałem).
• Yann LeCun napisał post na Google+, w którym twierdzi, że sieci neuronowe i modele graficzne prawdopodobieństwa nie są pojęciami ortogonalnymi.

Sieci bayesowskie są preferowane do interpretacji genomu. Zobacz na przykład rozprawę omawiającą metody obliczeniowe interpretacji genomu.

Raz zrobiłem dla tego mały przykład. Z tego, myślę, że Bayesian Networks są preferowane, jeśli chcesz uchwycić dystrybucję, ale twój zestaw danych wejściowych nie obejmuje dobrze dystrybucji. W takich przypadkach nawet sieć neuronowa, która dobrze się uogólniła, nie byłaby w stanie odtworzyć rozkładu.

Zdecydowanie nie zgadzam się z tym, że sieci neuronowe mają się dobrze niż inni uczniowie. W rzeczywistości sieci neuronowe mają się dość źle w porównaniu do innych metod. Nie ma również metodologii, pomimo pewnych porad dotyczących wyboru parametrów, które często wykonuje się przypadkowo. Są też kolesie, którzy rozmawiają losowo na forach o tym, jak sieci neuronowe są tak dobre, nie dlatego, że mają na to jakieś dowody, ale dlatego, że są zachwyceni fantazyjnym i bzyczącym słowem „neuronowe”. Są również bardzo niestabilne, próbowałeś sieci neuronowej, aby porównać z xgboost? Nie spróbuję żadnej sieci neuronowej, dopóki nie będzie samoświadoma. Więc do tego czasu szczęśliwa sieć neuronowa :)