Parametry a zmienne ukryte

13

Pytałem o to wcześniej i naprawdę miałem problemy z określeniem, co czyni parametr modelu, a co czyni go zmienną ukrytą. Więc patrząc na różne wątki na ten temat na tej stronie, głównym rozróżnieniem wydaje się być:

Zmienne utajone nie są obserwowane, ale mają z nimi powiązany rozkład prawdopodobieństwa, ponieważ są to zmienne, a parametry również nie są obserwowane i nie są z nimi związany żaden rozkład, który rozumiem, ponieważ są to stałe i mają ustaloną, ale nieznaną wartość, którą próbujemy odnaleźć. Możemy również nadać parametrom parametry, aby reprezentowały naszą niepewność co do tych parametrów, nawet jeśli jest z nimi powiązana tylko jedna prawdziwa wartość lub przynajmniej tak zakładamy. Mam nadzieję, że do tej pory mam rację?

Teraz patrzyłem na ten przykład regresji liniowej ważonej metodą Bayesa z artykułu w czasopiśmie i naprawdę starałem się zrozumieć, co jest parametrem, a co zmienną:

yi=βTxi+ϵyi

Tutaj i y są, ale obserwuje się tylko Y jest traktowany jako zmienna IE rozkładu związanego z nim.xyy

Teraz założeniami modelowania są:

yN(βTxi,σ2/wi)

Tak więc wariancja jest ważona.y

Istnieje również wcześniejszy rozkład i w , które są odpowiednio rozkładami normalnymi i gamma. βw

Tak więc pełne prawdopodobieństwo dziennika jest podane przez:

logp(y,w,β|x)=ΣlogP(yi|w,β,xi)+logP(β)+ΣlogP(wi)

Teraz, jak rozumiem, zarówno jak i w są parametrami modelu. Jednak w artykule wciąż nazywają je zmiennymi ukrytymi. Moje rozumowanie jest takie, że β i w są częścią rozkładu prawdopodobieństwa dla zmiennej y i są parametrami modelu. Jednak autorzy traktują je jako ukryte zmienne losowe. Czy to jest poprawne? Jeśli tak, jakie byłyby parametry modelu?βwβwy

Artykuł można znaleźć tutaj ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

Artykuł dotyczy automatycznego wykrywania wartości odstających: podejście bayesowskie Tinga i in.

Luca
źródło
2
Może pomóc wymienić cytowanie artykułu (i może link). Częściowym problemem jest to, że to, czym dokładnie się różnią, b / t z perspektywy Frequentist i Bayesian. Z perspektywy Bayesa, parametr ma mieć rozkład - to nie jest tylko czymś dodany do reprezentowania niepewności.
Gung - Przywróć Monikę
Myślałem, że to niesprawiedliwe, ponieważ ludzie sądzą, że oczekuję, że przeczytają gazetę bez wyjaśnienia, ale już to powiedziałem.
Luca
Dlaczego nie możesz umieścić pierwszeństwa ukrytej zmiennej? Jestem nowicjuszem z Bayesian, ale wygląda na to, że powinieneś być w stanie to zrobić.
robin.datadrivers
wβw
2
Dzięki, @Luca. Nie byłoby dobrze, gdybyś wymagał, aby ludzie czytali gazetę, ale fajnie jest mieć go w odpowiednim kontekście. Myślę, że zrobiłeś to dobrze.
Gung - Przywróć Monikę

Odpowiedzi:

6

yβ

Z drugiej strony parametr jest stały, nawet jeśli nie znasz jego wartości. Szacowanie maksymalnego prawdopodobieństwa, na przykład, daje najbardziej prawdopodobną wartość twojego parametru. Ale daje ci punkt, a nie pełną dystrybucję, ponieważ ustalone rzeczy nie mają dystrybucji! (Możesz podać rozkład tego, czy masz pewność co do tej wartości lub w jakim zakresie, według ciebie, ta wartość jest, ale to nie jest to samo, co rozkład samej wartości, który istnieje tylko wtedy, gdy wartość jest w rzeczywistości losowa zmienna)

yβwyβwy

βw

W tym zdaniu:

Te równania aktualizacji należy uruchamiać iteracyjnie, aż wszystkie parametry i pełne prawdopodobieństwo dziennika zbiegną się do wartości stałych

teoretycznie mówią o dwóch parametrach, a nie o zmiennych losowych, ponieważ w EM to właśnie robisz, optymalizując parametry.

Alberto
źródło
Pytanie dotyczyło ukrytych zmiennych.
Tim
naprawione, mam nadzieję, że teraz jest wyraźniejsze.
alberto,