Jaki jest związek między modelami hierarchicznymi, sieciami neuronowymi, modelami graficznymi, sieciami bayesowskimi?

Odpowiedzi:

30

Sieć bayesowska jest rodzajem modelu graficznego. Innym „dużym” typem modelu graficznego jest pole losowe Markowa (MRF). Modele graficzne służą do wnioskowania, szacowania i ogólnie do modelowania świata.

Termin model hierarchiczny oznacza wiele rzeczy w różnych obszarach.

Chociaż sieci neuronowe są wyposażone w „wykresy”, na ogół nie kodują informacji o zależnościach, a węzły nie reprezentują zmiennych losowych. NN są różne, ponieważ są dyskryminujące. Popularne sieci neuronowe są wykorzystywane do klasyfikacji i regresji.

Kevin Murphy ma doskonałe wprowadzenie do tych tematów dostępnych tutaj .

carlosdc
źródło
fajny link. dzięki
suncoolsu
1
Dziękuję za odpowiedź. Podobnie jak pierwotny pytający, zastanawiam się również, gdzie pasują do tego obrazu modele regresji wielopoziomowej / hierarchicznej. (Hierarchiczny jest jak zdefiniowano tutaj: en.wikipedia.org/wiki/Hierarchical_linear_modeling )
Yang
ale istnieją również generatywne modele sieci neuronowej. RNN, GAN itp.
Alexander Reshytko
9

Jak powiedział @carlosdc , sieć bayesowska jest rodzajem modelu graficznego (tj. Ukierunkowanego wykresu acyklicznego (DAG), którego struktura określa zestaw warunkowych właściwości niezależności). Hierarchiczne modele Bayesa mogą być również reprezentowane jako DAG; Hierarchiczni naiwni klasyfikatorzy Bayesa dla niepewnych danych , autorstwa Bellazzi i in., Stanowią dobre wprowadzenie do klasyfikacji za pomocą takich modeli. Jeśli chodzi o modele hierarchiczne, myślę, że wiele artykułów można pobrać, przeglądając za pomocą odpowiednich słów kluczowych; na przykład znalazłem ten:

CH Jackson, NG Best i S. Richardson. Bayesowskie modele graficzne regresji na wielu zestawach danych o różnych zmiennych . Biostatistics (2008) 10 (2): 335–351.

Michael I. Jordan ma fajny samouczek na temat modeli graficznych , z różnymi aplikacjami opartymi na silni Hidden Markov model w bioinformatyce lub przetwarzaniu języka naturalnego. Warto też przeczytać jego książkę, Learning in Graphical Models (MIT Press, 1998) (zastosowanie GM do modelowania strukturalnego za pomocą kodu BUGS , str. 575-598)

chl
źródło
0

Sieci neuronowe nie wymagają priorów, ale każdy ukryty węzeł (neurony) sieci neuronowej można uznać za CPD - Noisy OR / AND CPD dla węzła liniowego - Sigmoid CPD dla węzła logistycznego

Sieci neuronowe można więc postrzegać jako wiele warstw ukrytych węzłów, z których każdy ma CPD liniowy / sigmoidalny

Klasa Koller na Coursera LUB jej podręcznik powinien być dobrym źródłem informacji o typach CPD.

Raghu
źródło
Co oznacza CPD?
gwr