próg obliczeniowy dla minimalnego klasyfikatora ryzyka?

Dla macierzy kosztów

L = [\begin{matrix} 0 & 0.5 \\ 1 & 0 \end{matrix}] \begin{matrix} c_{1} \\ c_{2} \end{matrix} prediction \begin{matrix} c_{1} & c_{2} \end{matrix} truth

$L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix} \begin{matrix} c_1 \\ c_2 \end{matrix} \;\text{prediction} \\ \hspace{-1.9cm} \begin{matrix} c_1 & c_2 \end{matrix} \\ \hspace{-1.9cm}\text{truth}$

utrata przewidywania klasy gdy prawda jest klasy wynosi , a koszt przewidywania klasy gdy prawda jest klasy wynosi . Poprawne prognozy nie żadnymi kosztami, . Ryzyko warunkowe do przewidywania każdej klasy jest zatem $c_1$ $c_2$ $L_{12} = 0.5$ $c_2$ $c_1$ $L_{21} = 1$ $L_{11} = L_{22} = 0$ $R$ $k$

\begin{aligned} R (c_{1} | x) & = L_{11} Pr (c_{1} | x) + L_{12} Pr (c_{2} | x) = L_{12} Pr (c_{2} | x) \\ R (c_{2} | x) & = L_{22} Pr (c_{2} | x) + L_{21} Pr (c_{1} | x) = L_{21} Pr (c_{1} | x) \end{aligned}

$\begin{align} R(c_1|x) &= L_{11} \Pr (c_1|x) + L_{12} \Pr (c_2|x) = L_{12} \Pr (c_2|x) \\ R(c_2|x) &= L_{22} \Pr (c_2|x) + L_{21} \Pr (c_1|x) = L_{21} \Pr (c_1|x) \end{align}$ Dla odniesienie patrz te uwagi na stronie 15.

Aby zminimalizować ryzyko / stratę, przewidujesz jeśli koszt spowodowany błędem zrobienia tego (to utrata błędnej prognozy razy tylne prawdopodobieństwo, że prognoza jest błędna ) wynosi mniejszy niż koszt błędnego przewidywania alternatywy, $c_1$ $L_{12} \Pr (c_2|x)$

\begin{aligned} L_{12} Pr (c_{2} | x) & < L_{21} Pr (c_{1} | x) \\ L_{12} Pr (x | c_{2}) Pr (c_{2}) & < L_{21} Pr (x | c_{1}) Pr (c_{1}) \\ \frac{L_{12} Pr (c_{2})}{L_{21} Pr (c_{1})} & < \frac{Pr (x | c_{1})}{Pr (x | c_{2})} \end{aligned}

$\begin{align} L_{12} \Pr (c_2|x) &< L_{21} \Pr (c_1|x) \\ L_{12} \Pr (x|c_2) \Pr (c_2) &< L_{21} \Pr (x|c_1) \Pr (c_1) \\ \frac{L_{12} \Pr (c_2)}{L_{21} \Pr (c_1)} &< \frac{\Pr (x|c_1)}{ \Pr (x|c_2)} \end{align}$ gdzie druga linia używa reguły Bayesa . Biorąc pod uwagę równe wcześniejsze prawdopodobieństwa otrzymujesz

Pr (c_{2} | x) \propto Pr (x | c_{2}) Pr (c_{2})

$\Pr (c_2|x) \propto \Pr (x|c_2) \Pr (c_2)$

Pr (c_{1}) = Pr (c_{2}) = 0.5

$\Pr (c_1) = \Pr (c_2) = 0.5$

\frac{1}{2} < \frac{Pr (x | c_{1})}{Pr (x | c_{2})}

$\frac{1}{2} < \frac{\Pr (x|c_1)}{ \Pr (x|c_2)}$

więc decydujesz się sklasyfikować obserwację jako gdy współczynnik prawdopodobieństwa przekracza ten próg. Teraz nie jest dla mnie jasne, czy chcesz znać „najlepszy próg” pod względem współczynników prawdopodobieństwa, czy też pod względem atrybutu . Odpowiedź zmienia się zgodnie z funkcją kosztu. Używanie Gaussa w nierówności z i , , $c_1$ $x$ $\sigma_1 = \sigma_2 = \sigma$ $\mu_1 = 0$ $\mu_2 = 1$

\begin{aligned} \frac{1}{2} & < \frac{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{1})^{2}]}{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{2})^{2}]} \\ \log (\frac{1}{2}) & < \log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 0)^{2} - [\log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 1)^{2}] \\ \log (\frac{1}{2}) & < - \frac{x^{2}}{2 σ^{2}} + \frac{x^{2}}{2 σ^{2}} - \frac{2 x}{2 σ^{2}} + \frac{1}{2 σ^{2}} \\ \frac{x}{σ^{2}} & < \frac{1}{2 σ^{2}} - \log (\frac{1}{2}) \\ x & < \frac{1}{2} - \log (\frac{1}{2}) σ^{2} \end{aligned}

$\begin{align} \frac{1}{2} &< \frac{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_1)^2 \right]}{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_2)^2 \right]} \\ \log \left(\frac{1}{2}\right) &< \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-0)^2 - \left[ \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-1)^2 \right] \\ \log \left(\frac{1}{2}\right) &< -\frac{x^2}{2\sigma^2} + \frac{x^2}{2\sigma^2} - \frac{2x}{2\sigma^2} + \frac{1}{2\sigma^2} \\ \frac{x}{\sigma^2} &< \frac{1}{2\sigma^2} - \log \left(\frac{1}{2}\right) \\ x &< \frac{1}{2} - \log \left(\frac{1}{2}\right) \sigma^2 \end{align}$ więc próg predykcji pod względem

x

$x$ podczas wyszukiwania można osiągnąć tylko wtedy, gdy straty z fałszywych prognoz są takie same, tj. ponieważ tylko wtedy możesz mieć a otrzymasz .

L_{12} = L_{21}

$L_{12} = L_{21}$

\log (\frac{L_{12}}{L_{21}}) = \log (1) = 0

$\log \left( \frac{L_{12}}{L_{21}} \right) = \log (1) = 0$

x_{0} < \frac{1}{2}

$x_0 < \frac{1}{2}$

Andy
źródło

Dobra odpowiedź, ale mnie zdezorientował! jeśli chcesz wybrać lub , który z nich jest poprawny?

x_{0} = 0.5

$x_0=0.5$

x_{0} < 0.5

$x_0<0.5$

użytkownik153695,

Tak więc na granicy decyzji nie można dokładnie powiedzieć, czy obserwacja powinna być w klasie pierwszej czy dwóch (ponieważ jest dokładnie na granicy). Więc wybór faktu, czy obserwację powinny być w klasie 1 jeśli lub należy do Ciebie. Przy wystarczająco dużych próbkach powinno się to zdarzyć przy bardzo niewielu obserwacjach, więc na marginesie będzie miało znaczenie ściółka dla twojego wyniku.

x_{0} = 0.5

$x_0=0.5$

i

$i$

x_{0} \leq 0.5

$x_0 \leq 0.5$

x_{0} < 0.5

$x_0 < 0.5$

Andy,

cały mój problem, który dał mu nagrodę, że mój prof. obliczone i nie akceptują proszę zobaczyć moją edycję w pytaniu, ja cienki próg powinien wynosić .

x_{0} < 0.5

$x_0<0.5$

x_{0} = 0.5

$x_0=0.5$

x_{0} < 0.5

$x_0<0.5$

użytkownik153695,

może 0,5-ln :)

użytkownik153695

@ Whuber dzięki, całkowicie mi tego brakowało, więc zacząłem od zupełnie złego końca.

Andy,

próg obliczeniowy dla minimalnego klasyfikatora ryzyka?

Odpowiedzi: