Dlaczego tak nazywane są „dyskryminacyjne” modele Gaussa?

Modele analizy dyskryminacyjnej Gaussa uczą się a następnie stosują regułę Bayesa do oceny Dlatego są to modele generatywne. Dlaczego zatem nazywa się to analizą dyskryminacyjną? Jeśli dzieje się tak, ponieważ w końcu wyprowadzamy krzywą dyskryminacyjną między klasami, dzieje się tak w przypadku wszystkich modeli generatywnych.$P(x|y)$

$$P(y|x) = \frac{P(x|y)P_{prior}(y)}{\Sigma_{g \in Y} P(x|g) P_{prior}(g) }.$$

Jeśli masz na myśli LDA , powiedziałbym, że nazwa, liniowa analiza dyskryminacyjna, może być wyjaśniona historycznie, co najmniej w pracy Fishera z 1936 roku , która, zgodnie z moją najlepszą wiedzą, poprzedza obecną terminologię i rozróżnienie w uczeniu maszynowym między dyskryminującym a model generatywny. Fisher nie nazwał tego bezpośrednio liniową analizą dyskryminacyjną, ale wyraźnie poprosił o liniową funkcję dyskryminacyjną. Jako ciekawostkę, Fisher rozważył dyskryminację ze względu na słynny zestaw danych Iris w artykule.

Nawiasem mówiąc, Fisher nie przedstawił liniowej metody dyskryminacji w kategoriach modelu generatywnego. Szukał kombinacji liniowej (dla dwóch klas), która maksymalizuje stosunek wariancji międzygrupowej do wariancji wewnątrzgrupowej , co nie wymaga założenia normalności. Szczegóły i sposób, w jaki odnosi się do LDA jako zasady Bayesa dla modelu generatywnego, można znaleźć w rozdziale 3 książki Briana Ripleya „Rozpoznawanie wzorców i sieci neuronowe”.

Jest to proste, jeśli masz dwie klasy , GDA korzysta z tego założenia:$(Y=0 , Y=1)$

1. $P(X|Y=0) \sim \mathcal{N}(\mu_0,\Sigma_0)$
2. $P(X|Y=1) \sim \mathcal{N}(\mu_1,\Sigma_1)$
3. $P(Y=1)=1-P(Y=0)=\Phi$

A następnie pobiera parametry przy użyciu oszacowania maksymalnego prawdopodobieństwa.$(\mu_0,\Sigma_0,\mu_1,\Sigma_1,\Phi)$

Jest więc gaussowski, ponieważ wykorzystuje Gaussowskie założenie do dystrybucji wewnątrzgupy (możesz zamiast tego użyć munduru na przykład) i dyskryminujący, ponieważ ma na celu rozdzielenie danych na grupy.

Więcej informacji znajdziesz tutaj .