Pytałem o to wcześniej i naprawdę miałem problemy z określeniem, co czyni parametr modelu, a co czyni go zmienną ukrytą. Więc patrząc na różne wątki na ten temat na tej stronie, głównym rozróżnieniem wydaje się być:
Zmienne utajone nie są obserwowane, ale mają z nimi powiązany rozkład prawdopodobieństwa, ponieważ są to zmienne, a parametry również nie są obserwowane i nie są z nimi związany żaden rozkład, który rozumiem, ponieważ są to stałe i mają ustaloną, ale nieznaną wartość, którą próbujemy odnaleźć. Możemy również nadać parametrom parametry, aby reprezentowały naszą niepewność co do tych parametrów, nawet jeśli jest z nimi powiązana tylko jedna prawdziwa wartość lub przynajmniej tak zakładamy. Mam nadzieję, że do tej pory mam rację?
Teraz patrzyłem na ten przykład regresji liniowej ważonej metodą Bayesa z artykułu w czasopiśmie i naprawdę starałem się zrozumieć, co jest parametrem, a co zmienną:
Tutaj i y są, ale obserwuje się tylko Y jest traktowany jako zmienna IE rozkładu związanego z nim.
Teraz założeniami modelowania są:
Tak więc wariancja jest ważona.
Istnieje również wcześniejszy rozkład i w , które są odpowiednio rozkładami normalnymi i gamma.
Tak więc pełne prawdopodobieństwo dziennika jest podane przez:
Teraz, jak rozumiem, zarówno jak i w są parametrami modelu. Jednak w artykule wciąż nazywają je zmiennymi ukrytymi. Moje rozumowanie jest takie, że β i w są częścią rozkładu prawdopodobieństwa dla zmiennej y i są parametrami modelu. Jednak autorzy traktują je jako ukryte zmienne losowe. Czy to jest poprawne? Jeśli tak, jakie byłyby parametry modelu?
Artykuł można znaleźć tutaj ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).
Artykuł dotyczy automatycznego wykrywania wartości odstających: podejście bayesowskie Tinga i in.
Odpowiedzi:
Z drugiej strony parametr jest stały, nawet jeśli nie znasz jego wartości. Szacowanie maksymalnego prawdopodobieństwa, na przykład, daje najbardziej prawdopodobną wartość twojego parametru. Ale daje ci punkt, a nie pełną dystrybucję, ponieważ ustalone rzeczy nie mają dystrybucji! (Możesz podać rozkład tego, czy masz pewność co do tej wartości lub w jakim zakresie, według ciebie, ta wartość jest, ale to nie jest to samo, co rozkład samej wartości, który istnieje tylko wtedy, gdy wartość jest w rzeczywistości losowa zmienna)
W tym zdaniu:
teoretycznie mówią o dwóch parametrach, a nie o zmiennych losowych, ponieważ w EM to właśnie robisz, optymalizując parametry.
źródło