Czy istnieje domena, w której Bayesian Networks przewyższa sieci neuronowe?

48

Sieci neuronowe osiągają najlepsze wyniki w zadaniach widzenia komputerowego (patrz MNIST , ILSVRC , Kaggle Galaxy Challenge ). Wydaje się, że przewyższają każde inne podejście w Computer Vision. Ale są też inne zadania:

Nie jestem zbyt pewny ASR (automatyczne rozpoznawanie mowy) i tłumaczenia maszynowego, ale myślę, że słyszałem również, że (nawracające) sieci neuronowe (zaczynają) przewyższają inne podejścia.

Obecnie uczę się o Bayesian Networks i zastanawiam się, w jakich przypadkach te modele są zwykle stosowane. Więc moje pytanie brzmi:

Czy są jakieś wyzwania / konkursy (Kaggle), w których najnowocześniejsze są sieci Bayesian lub przynajmniej bardzo podobne modele?

(Uwaga dodatkowa: Widziałem także drzewa decyzyjne , 2 , 3 , 4 , 5 , 6 , 7 wygrywające w kilku ostatnich wyzwaniach Kaggle)

Martin Thoma
źródło
To nie jest kwestia domeny. To pytanie o to, ile masz danych, jak dobre są twoje priorytety i czy chcesz mieć plakaty.
Emre
1
@Emre Który jest kwestią domeny ... (i oczywiście pieniędzy, gdy masz możliwość nie tylko korzystania z istniejących zestawów danych, ale także możesz zatrudnić ludzi do tworzenia / oznaczania nowych danych).
Martin Thoma,
Byłoby kwestią domeny, gdyby istniała jakaś właściwość danych, jakaś struktura, że ​​jeden algorytm korzystałby lepiej od drugiego, ale nie to sugeruję.
Emre
2
Zatem odpowiedź na twoje pytanie brzmi: nie . Dobrze? Ponieważ wszystkie odpowiedzi wydają się wskazywać na przewagę Bayesian Networks nad innymi modelami predykcyjnymi, ale nie widziałem żadnej konkurencji Kaggle, w której faktycznie przewyższają inne modele. Czy ktoś może to zapewnić? Ponieważ wszystkie powody i możliwe korzyści, np. Brak wystarczających danych i wybór dobrych priorytetów, podane w odpowiedziach wydają się świetne w teorii, ale nadal nie odpowiadają na pytanie, podając przynajmniej jeden przykład.
MNLR
Jedną rzeczą jest to, że sieci bayesowskie mogą być przydatne do nauki / zadań bez nadzoru, w których ilość danych jest stosunkowo ograniczona. Sieci neuronowe przewyższają inne tylko wtedy, gdy istnieje ogromna ilość danych do przeszkolenia.
Xji

Odpowiedzi:

31

Jednym z obszarów, w którym często stosuje się metody bayesowskie, jest potrzeba interpretacji systemu prognozowania. Nie chcesz dać lekarzom sieci neuronowej i powiedzieć, że jest ona w 95% dokładna. Raczej chcesz wyjaśnić założenia przyjęte przez twoją metodę, a także proces decyzyjny stosowany przez tę metodę.

Podobny obszar ma miejsce, gdy masz silną wcześniejszą wiedzę domenową i chcesz wykorzystać ją w systemie.

MLgeek
źródło
1
Zobacz także: Mity interpretacji modeli
Martin Thoma,
Zobacz także: limonka
Martin Thoma,
18

Sieci bayesowskie i sieci neuronowe nie wykluczają się nawzajem. W rzeczywistości sieci bayesowskie są po prostu innym terminem określającym „ukierunkowany model graficzny”. Mogą być bardzo przydatne w projektowaniu sieci neuronowych funkcji celu. Yann Lecun zwrócił na to uwagę tutaj: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Jeden przykład.

p(x)=zp(x|z)p(z)dz.
p(x|z)q(z|x)p(z|x)
Bayer
źródło
Czy te dwie części mogą być wspólnie trenowane?
nn0p
16

Doskonałe odpowiedzi już.

Jedną z domen, o której mogę myśleć i nad którą intensywnie pracuję, jest domena analityki klienta .

Muszę rozumieć i przewidywać ruchy i motywy klientów, aby informować i ostrzegać zarówno obsługę klienta, marketing, jak i zespoły ds. Rozwoju.

Więc tutaj sieci neuronowe wykonują naprawdę dobrą robotę w zakresie przewidywania rezygnacji itp. Ale znalazłem i wolę styl sieci bayesowskich i oto powody, dla których go preferuję:

  1. Klienci zawsze mają wzór. Zawsze mają powód do działania. I to byłby powód, dla którego mój zespół dla nich zrobił, albo nauczyli się sami. Tak więc wszystko ma tutaj pierwszeństwo, a powód jest bardzo ważny, ponieważ napędza większość decyzji podejmowanych przez klienta.
  2. Każdy ruch klienta i zespołów ds. Wzrostu na ścieżce marketingu / sprzedaży ma wpływ na przyczynę. Tak więc wcześniejsza wiedza jest niezbędna, jeśli chodzi o przekształcenie potencjalnej szansy w klienta.

Tak więc koncepcja uprzedniej jest bardzo ważna, jeśli chodzi o analitykę klienta, co sprawia, że ​​koncepcja sieci bayesowskich jest bardzo ważna w tej dziedzinie.


Sugerowana nauka:

Metody bayesowskie dla sieci neuronowych

Sieci bayesowskie w analizie biznesowej

Dawny33
źródło
15

Czasami zależy Ci tak samo na zmianie wyniku, jak na przewidywaniu wyniku.

Sieć neuronowa posiadająca wystarczającą ilość danych treningowych będzie miała tendencję do lepszego przewidywania wyniku, ale gdy będziesz w stanie przewidzieć wynik, możesz chcieć przewidzieć efekt wprowadzenia zmian w cechach wejściowych na wynik.

Przykład z prawdziwego życia, wiedząc, że ktoś może mieć zawał serca, jest przydatny, ale możliwość powiedzenia tej osobie, że jeśli przestanie robić XX, ryzyko zmniejszy się o 30%, przynosi znacznie większe korzyści.

Podobnie utrzymanie klienta, wiedząc, dlaczego klienci przestają z tobą robić zakupy, jest warte tyle samo, co przewidywanie klientów, którzy prawdopodobnie przestaną z tobą robić zakupy.

Również prostsza sieć bayesowska, która przewiduje gorsze prognozy, ale prowadzi do podjęcia większej liczby działań, może być często lepsza niż bardziej „poprawna” sieć bayesowska.

Największą przewagą sieci bayesowskich nad sieciami neuronowymi jest to, że można je wykorzystać do wnioskowania przyczynowego. Ta gałąź ma fundamentalne znaczenie dla statystyki i uczenia maszynowego, a Judea Pearl zdobyła nagrodę Turinga za te badania.

Ian Ringrose
źródło
Ale sieci neuronowe można również wykorzystać do określenia roli i znaczenia różnych funkcji, prawda?
Hossein
7

Sieci bayesowskie mogą przewyższać sieci neuronowe przy małych ustawieniach danych. Jeśli wcześniejsze informacje są właściwie zarządzane za pomocą struktury sieci, priorów i innych hiperparametrów, może mieć przewagę nad sieciami neuronowymi. Sieci neuronowe, szczególnie te z większą liczbą warstw, są bardzo dobrze znane z tego, że są głodne danych. Prawie z definicji wiele danych jest potrzebnych do ich właściwego szkolenia.

Vladislavs Dovgalecs
źródło
4

Opublikowałem ten link na Reddit i otrzymałem wiele opinii. Niektórzy opublikowali tutaj swoje odpowiedzi, inni nie. Ta odpowiedź powinna podsumować post reddit. (Stworzyłem wiki społeczności, żeby nie dostawać za to punktów)

łosia
źródło
2

Sieci bayesowskie są preferowane do interpretacji genomu. Zobacz na przykład rozprawę omawiającą metody obliczeniowe interpretacji genomu.

Nathaniel Hendrix
źródło
2
Dlaczego są preferowani?
Ian Ringrose
2

Raz zrobiłem dla tego mały przykład. Z tego, myślę, że Bayesian Networks są preferowane, jeśli chcesz uchwycić dystrybucję, ale twój zestaw danych wejściowych nie obejmuje dobrze dystrybucji. W takich przypadkach nawet sieć neuronowa, która dobrze się uogólniła, nie byłaby w stanie odtworzyć rozkładu.

Leela Prabhu
źródło
-3

Zdecydowanie nie zgadzam się z tym, że sieci neuronowe mają się dobrze niż inni uczniowie. W rzeczywistości sieci neuronowe mają się dość źle w porównaniu do innych metod. Nie ma również metodologii, pomimo pewnych porad dotyczących wyboru parametrów, które często wykonuje się przypadkowo. Są też kolesie, którzy rozmawiają losowo na forach o tym, jak sieci neuronowe są tak dobre, nie dlatego, że mają na to jakieś dowody, ale dlatego, że są zachwyceni fantazyjnym i bzyczącym słowem „neuronowe”. Są również bardzo niestabilne, próbowałeś sieci neuronowej, aby porównać z xgboost? Nie spróbuję żadnej sieci neuronowej, dopóki nie będzie samoświadoma. Więc do tego czasu szczęśliwa sieć neuronowa :)

gm1
źródło
3
Jest to zbyt niejasne i konwersacyjne, aby dać dobrą odpowiedź. Niektóre szczegóły, fakty i edycja poprawiłyby to.
Sean Owen,
`` Szczegółowe fakty '' powinny być określone przez osoby, które publikują takie wiadomości, mówiąc, że sieci neuronowe są najlepsze, nie można powiedzieć, że sieci neuronowe mają się dobrze tylko dlatego, że brzmią fantazyjnie, są też zestawy danych, w których sieci neuronowe prawdopodobnie to robią źle w taki sposób, że knn uzyskują znacznie lepszy wynik.
gm1,
1
Chociaż nie zaprzeczam twoim poglądom, nie powinieneś również uważać, że twoja odpowiedź tak naprawdę nie odpowiada na pytanie. Więc rozważ rozważ dodanie go jako komentarza. I proszę dodać konkretne dowody i teorię potwierdzającą twoją odpowiedź, w przeciwnym razie przyszli widzowie
mogliby ją potraktować
1
@ gm1 Wydaje mi się, że chodziło mi o „,, Konkretne fakty” ”powinny być określone przez osoby, które publikują takie wiadomości, że sieci neuronowe są najlepsze”. Pamiętaj, że nie napisałem oświadczenia, które było tak ogólne. Napisałem, że NN wygrywa w wielu konkursach / zadaniach CV. Dodałem kilka wyzwań, w których zwyciężyły podejścia sieci neuronowych.
Martin Thoma,
Cześć, są oczywiście niektóre zawody Kaggle, w których sieci neuronowe spisały się dobrze (zakładając, że nie korzystały z sieci neuronowych w połączeniu z innymi modelami), ale to niewielki odsetek wszystkich zawodów Kaggle, czy możesz użyć sieci neuronowej, aby przejść TOP 3 w kaggle TFI? Myślę, że jestem w stanie zrobić zarówno dla publicznego, jak i prywatnego LB z modelem, który jest nieliniowy.
gm1,