Test proporcji i binarny klasyfikator

Mam prototypową maszynę do produkcji części.

W pierwszym teście maszyna produkuje części a binarny klasyfikator mówi mi, że części d 1 są wadliwe ( d 1 < N 1 , zwykle d 1 / N 1 < 0,01 i N 1 ≈ 10 4 ) oraz N 1 - d 1 części są dobre.$N_1$$d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

Następnie technik dokonuje zmian w maszynie, aby zmniejszyć liczbę wadliwych części.

W drugim i kolejnym teście zmodyfikowana maszyna wytwarza części a ten sam binarny klasyfikator (nietknięty) mówi mi, że części d 2 są wadliwe, w każdym razie d 2 / N 2 jest dość podobne do d 1 / N 1 .$N_2$$d_2$$d_2/N_2$$d_1/N_1$

Technik chciałby wiedzieć, czy jego zmiany są skuteczne.

Zakładając, że klasyfikatory są idealne (jego czułość wynosi 100%, a swoistość wynosi 100%), mogę wykonać test proporcji (z R, po prostu piszę prop.test(c(d1,d2),c(N1,N2))).

Ale klasyfikator nie jest doskonały, więc jak mogę wziąć pod uwagę czułość i specyficzność, zarówno nieznaną, jak i klasyfikatora, aby właściwie odpowiedzieć technikowi?

Czerpię to z pierwszych zasad i dlatego nie jestem pewien, czy to prawda. Oto moje przemyślenia:

EDYCJA: To nie było wcześniej. Zaktualizowałem to.

1. Niech oznacza oczekiwaną różnicę między rzeczywistą liczbą prawdziwie dodatnich wartości d 1 a liczbą wyprowadzoną przez binarny klasyfikator, który nazwiemy $\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. $\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. A teraz zróbmy test rekwizytów. W standardowym teście rekwizytów najpierw obliczamy współczynnik sumaryczny zastosowany jako wartość zerową: . Więc tutaj podajemy nasze oszacowania punktowe$p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ i$\hat{\frac{d_1}{N_1}}$$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Kilka uwag na temat interpretacji:

• Model może wygenerować wyimaginowane wartości standardowego błędu. Stanie się to, kiedy$p < 0$

• Innym sposobem myślenia o tym jest to, że jeśli liczba wadliwych części mieści się w granicach błędu dla klasyfikatora, to oczywiście nie możemy stwierdzić, czy istnieje różnica: nie możemy nawet stwierdzić, czy jakieś części są wadliwe!

Włączenie błędów w oszacowaniu $\alpha$

• $\alpha$$\alpha$

Załóżmy, że chcemy obliczyć przedział ufności z pewnością $h$

• Oblicz empirycznie $\frac{h}{2}$$\alpha$$\alpha$$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$ (który zawiera oba wcześniejsze przedziały) powinien wynosić (1-h) * 100% CI dla różnicy proporcji ... Myślę, że ...

$\alpha$