Różnica między siecią Bayesa, siecią neuronową, drzewem decyzyjnym i sieciami Petriego

30

Jaka jest różnica pomiędzy sieci neuronowych , sieci Bayesa , drzewa decyzyjnego i sieci Petriego , chociaż one są wszystkie modele graficzne i wizualnie przedstawiają przyczynowo-skutkowy.

Ria George
źródło
1
Zauważ, że istnieją również bayesowskie sieci neuronowe (żeby się pomylić), które są w zasadzie tylko siecią neuronową z bayesowskim traktowaniem parametrów, o ile widzę.
naught101

Odpowiedzi:

27

Wow, co za wielkie pytanie! Krótka wersja odpowiedzi jest taka, że ​​tylko dlatego, że możesz reprezentować dwa modele za pomocą diagramowo podobnych reprezentacji wizualnych, nie oznacza to, że są one nawet zdalnie powiązane strukturalnie, funkcjonalnie lub filozoficznie. Nie znam FCM ani NF, ale mogę trochę porozmawiać z innymi.

Sieć Bayesowska

W sieci bayesowskiej wykres przedstawia zależności warunkowe różnych zmiennych w modelu. Każdy węzeł reprezentuje zmienną, a każda skierowana krawędź reprezentuje zależność warunkową. Zasadniczo model graficzny jest wizualizacją reguły łańcucha.

Sieć neuronowa

W sieci neuronowej każdy węzeł jest symulowanym „neuronem”. Neuron jest zasadniczo włączony lub wyłączony, a jego aktywacja jest określona przez liniową kombinację wartości każdego wyjścia w poprzedniej „warstwie” sieci.

Drzewo decyzyjne

Powiedzmy, że do klasyfikacji używamy drzewa decyzyjnego. Drzewo zasadniczo zapewnia nam schemat blokowy opisujący, jak powinniśmy sklasyfikować obserwację. Zaczynamy od korzenia drzewa, a liść, na którym kończymy, określa klasyfikację, którą przewidujemy.

Jak widać, te trzy modele w zasadzie nie mają ze sobą nic wspólnego, poza tym, że są reprezentowalne za pomocą pól i strzałek.

David Marks
źródło
1
Pomijając teorię, czy drzewo decyzyjne nie obsługuje również zależności między zmiennymi poprzez plucie danych? Jestem nowy w dziedzinie uczenia maszynowego i bardziej interesuje mnie intuicyjne zrozumienie, które algorytmy wykorzystać w jakim scenariuszu. Dla mnie wygląda na to, że użyłbyś sieci bayesowskiej, gdy znasz dokładną zależność między zmiennymi, natomiast użyłbyś drzewa decyzyjnego, gdy zgadniesz, że niektóre zmienne mogą być zależne od innych, ale nie wiesz dokładnie, które z nich. Chciałbym wiedzieć, czy wydaje się to poprawne, czy też zastosowanie sieci Bayesian i drzew decyzyjnych można wyjaśnić bardziej szczegółowo.
Deepak Agarwal
Naprawdę uważam, że odpowiedź powinna wskazywać zarówno na różnice, jak i podobieństwa, aby naszkicować większy obraz, stwierdzając, że „te trzy modele w zasadzie nie mają ze sobą nic wspólnego” jest po prostu błędne. Drzewo decyzyjne i sieci neuronowe stosują to samo dyskryminujące podejście w porównaniu z podejściem generatywnym BN. Podczas gdy pozostałe dwie reprezentują funkcje, sieci bayesowskie reprezentują funkcje uogólnione (rozkłady), ...
Lejafar,
1
Wprowadzane tutaj rozróżnienie na dyskryminujące i generatywne jest błędne. Sieci neuronowe mogą być wykorzystywane do konstruowania modeli generatywnych. Rozważmy na przykład GAN. Moja odpowiedź jest wystarczająca, ponieważ pytanie sprowadza się do: „modele te są reprezentowane wizualnie w podobny sposób, czy to oznacza, że ​​są one strukturalnie podobne?” i wyjaśniłem, w jaki sposób te reprezentacje graficzne kodują bardzo różne informacje.
David Marx,
1
Dodaj własną odpowiedź.
David Marx
2
@ Lejafar, nie używaj edycji, aby zmieniać treść odpowiedzi innej osoby. Jeśli nie zgadzasz się z odpowiedzią, zostaw komentarz, oddaj głos lub opublikuj własną odpowiedź.
gung - Przywróć Monikę
5

Łatwo jest wykazać (patrz kurs Daphne Koller ), że regresja logistyczna jest ograniczoną wersją warunkowych pól losowych, które są niekierowanymi modelami graficznymi, podczas gdy sieci Bayesian są modelami graficznymi ukierunkowanymi. Następnie regresję logistyczną można również postrzegać jako perceptron jednowarstwowy. To jedyne ogniwo (które jest bardzo luźne), które moim zdaniem można wyciągnąć między sieciami Bayesian i sieciami neuronowymi.

Nie znalazłem jeszcze związku między innymi koncepcjami, o które pytałeś.

Octavia-Maria Șulea
źródło
2
Witamy na stronie i dziękuję za ten wkład. Czy możesz wyjaśnić, jak łatwo to dostrzec? Obecnie jest to tylko twierdzenie, które może nie być oczywiste dla ludzi. Informacje mogą znajdować się pod linkiem, ale chcemy, aby ten wątek pozostawał informacyjny nawet po zerwaniu linku.
gung - Przywróć Monikę
Cześć, dzięki! Nie jestem pewien, jak precyzyjne powinno być wyjaśnienie (przygotowanie Daphne zajmuje co najmniej pół godziny) i nie jest to również szczególnie świeże w moim umyśle, ale ogólną ideą jest to, że model logistyczny jest uproszczoną wersją Dystrybucja Gibbsa, która z kolei stanowi podstawę CRF.
Octavia-Maria Șulea
1
Co znaczy CRF? Czy crf = warunkowe pola losowe?
Ted Taylor of Life
2

Doskonała odpowiedź @David Marx. Zastanawiam się, jaka jest różnica między drzewem klasyfikacji / regresji a siecią bayesowską. Jedna opiera się na entropii, aby sklasyfikować wynik do klas opartych na różnych predyktorach, a druga buduje sieć graficzną przy użyciu warunkowej niezależności i oszacowań parametrów probabilistycznych.

Wydaje mi się, że metodologia budowy sieci bayesowskiej jest inna w porównaniu do drzewa regresji / decyzji. Algorytm uczenia strukturalnego, cele korzystania z modeli, a także zdolność wnioskowania modeli są różne.

Podejście oparte na wynikach i podejście ograniczone może być zrozumiane z pewnymi podobieństwami narysowanymi z kryteriami zdobywania informacji w rodzinach drzew decyzyjnych.

KarthikS
źródło
1

Najpierw próbujemy określić charakter problemu, który próbował rozwiązać za pomocą tych metod. Jeśli problem jest prosty, wielomianowy lub NP Complete, mamy gotową wtyczkę algorytmów, które mogłyby dostarczyć deterministycznej odpowiedzi, poprzez prostą rekombinację aksjomatów według logicznych reguł. Jeśli jednak tak nie jest, musielibyśmy polegać na metodzie rozumowania, w której próbujemy potraktować problem jako heterogeniczny i podłączyć go do sieci, przy czym węzły są ocenami, a krawędzie są ścieżkami między elementami .

W żadnym rodzaju wnioskowania opartego na sieci nie rozumujemy dedukcyjnie, stosując abstrakcyjne uogólnienia i kombinacje, zgodnie z logicznymi regułami w przepływie liniowym, ale raczej pracujemy nad problemem opartym na propagacji rozumowania w różnych kierunkach, tak abyśmy rozwiązali problem po jednym węźle naraz, otwarty na ulepszenia w odkrywaniu nowych faktów dotyczących dowolnego węzła w przyszłości. Zobaczmy teraz, jak każda z tych technik podchodzi do tej metody rozwiązywania problemów na swój własny sposób.

Sieć neuronowa: Sieć neuronowa to czarna skrzynka, w której uważa się (nigdy nie można jej zweryfikować z zewnątrz systemu), że połączenia między węzłami prostetonowymi są tworzone i podkreślane przez wielokrotne zewnętrzne wzmocnienia. Podchodzi do problemu w paradygmacie Connectionsitic . Problem prawdopodobnie został rozwiązany, ale niewiele można wyjaśnić. Sieć neuronowa jest obecnie szeroko stosowana ze względu na jej zdolność do uzyskiwania szybkich rezultatów, jeśli pominięty zostanie problem wyjaśnialności.

Sieć Bayesowska: Sieć Bayesowska jest ukierunkowanym wykresem acyklicznym, który bardziej przypomina schemat blokowy, tyle że schemat blokowy może zawierać pętle cykliczne. Sieć bayesowska w przeciwieństwie do schematu blokowego może mieć wiele punktów początkowych. Zasadniczo śledzi propagację zdarzeń w wielu niejednoznacznych punktach, w których wydarzenie rozróżnia się probabilistycznie między ścieżkami. Oczywiście w dowolnym punkcie sieci prawdopodobieństwo odwiedzania tego węzła zależy od łącznego prawdopodobieństwa poprzednich węzłów. Sieć bayesowska różni się od sieci neuronowej tym, że jest jawnym rozumowaniem, nawet pomimo tego, że probabilistyczny, a zatem może mieć wiele stanów stabilnych w oparciu o każdy krok przeglądany i modyfikowany w ramach legalnych wartości, podobnie jak algorytm. Jest to solidny sposób uzasadnienia probabilistycznego, ale wymaga kodowania prawdopodobieństw,

Drzewa decyzyjne: Drzewo decyzyjne jest znowu siecią, która bardziej przypomina schemat blokowy, który jest bliższy sieci bayesowskiej niż sieci neuronowej. Każdy węzeł ma więcej inteligencji niż sieć neuronowa, a rozgałęzienia można określić na podstawie ocen matematycznych lub probabilistycznych. Decyzje są prostymi ocenami opartymi na rozkładach częstotliwości prawdopodobnych zdarzeń, przy czym decyzja jest probabilistyczna. Jednak w sieciach bayesowskich decyzja opiera się na dystrybucji „dowodów” wskazujących na zdarzenie, a nie na bezpośredniej obserwacji samego zdarzenia.

Przykład Na przykład, jeśli mamy przewidzieć ruch jedzącego człowieka tygrysa w niektórych wioskach w Himalajach, który akurat znajduje się na skraju rezerwatu tygrysów, moglibyśmy modelować go w następujący sposób:

W drzewie decyzyjnym opieralibyśmy się na szacunkach ekspertów, czy tygrys dałby wybór między polami otwartymi, a rzekami na tym drugim. W sieci bayesowskiej śledzimy tygrysa po znakach mopsów, ale rozumujemy w sposób, który uznaje, że te znaki mopsów mogły być znakami innych podobnych tygrysów rutynowo patrolujących jego terytorium. Jeśli mamy korzystać z sieci neuronowej, musielibyśmy wielokrotnie trenować model, stosując różne osobliwe zachowania tygrysa w ogóle, takie jak jego preferencja do pływania, preferencja obszarów zadaszonych nad otwartymi obszarami, unikanie ludzkich siedlisk w celu pozwól sieci generalnie uzasadnić przebieg tygrysa.

premganz
źródło
0

Jeśli chodzi o modele graficzne, Petri Net formalizuje zachowanie systemu; tym, że znacznie różni się od pozostałych wspomnianych modeli, z których wszystkie dotyczą sposobu formułowania wyroku.

Warto zauważyć, że większość cytowanych nazw oznacza dość rozbudowane koncepcje sztucznej inteligencji, które często łączą się: na przykład możesz użyć sieci neuronowej do zbudowania drzewa decyzyjnego, podczas gdy sama sieć neuronowa, jak omówiono wcześniej, może zależeć od bayesowskiego wnioskowanie.

użytkownik46748
źródło
-3

To dobre pytanie i zadawałem sobie to samo. Istnieją więcej niż dwa rodzaje sieci neuronowych i wydaje się, że poprzednia odpowiedź dotyczyła typu konkurencyjnego, podczas gdy sieć bayesowska wydaje się mieć podobieństwa do typu sprzężenia zwrotnego, propagacji wstecznej (FFBP), a nie typu konkurencyjnego. Powiedziałbym, że sieć bayesowska jest uogólnieniem FFBP. FFBP jest więc rodzajem sieci bayesowskiej i działa w podobny sposób.

użytkownik73493
źródło