Biorąc pod uwagę punktów danych, każdy z cechami , są oznaczone jako , pozostałe są oznaczone jako . Każda cecha przyjmuje losowo wartość z (rozkład równomierny). Jakie jest prawdopodobieństwo, że istnieje hiperpłaszczyzna, która może podzielić dwie klasy?d n / 2 0 n / 2 1 [ 0 , 1 ]
Najpierw rozważmy najprostszy przypadek, tj. .
Odpowiedzi:
Zakładając, że w danych nie ma duplikatów.
Jeślin≤d+1 , prawdopodobieństwo wynosi Pr=1 .
Dla innych kombinacji(n,d) zobacz następujący wykres:
Wygenerowałem ten wykres symulując dane wejściowe i wyjściowe określone w PO. Liniowa separowalność została zdefiniowana jako brak zbieżności w modelu regresji logistycznej z powodu efektu Haucka-Donnera .
Widzimy spadek prawdopodobieństwa wzrostu . W rzeczywistości mogliśmy dopasować model odnoszący się od do , i taki był wynik:n n,d p
Kod fabuły (w Julii):
Kod modelu odnoszącego się do do (w Julii):(n,d) p
źródło