Kiedy nie powinienem używać klasyfikatora zespołów?

Ogólnie rzecz biorąc, w przypadku problemu z klasyfikacją, w którym celem jest dokładne przewidywanie członkostwa w klasie poza próbą, kiedy nie powinienem używać klasyfikatora grupowego?

To pytanie jest ściśle związane z Dlaczego nie zawsze korzystać z nauki zespołowej? . To pytanie pyta, dlaczego nie używamy zespołów cały czas. Chcę wiedzieć, czy istnieją przypadki, w których zespoły są znane jako gorsze (nie tylko „nie lepsze i strata czasu”) niż ekwiwalent nie będący zespołem.

A przez „ensemble klasyfikator” odnoszę się konkretnie do klasyfikatorów takich jak AdaBoost i losowe lasy, w przeciwieństwie do np. Maszyny do wektorów wspomagających typu roll-your-own.

Model najbliższy procesowi generowania prawdziwych danych zawsze będzie najlepszy i pokona większość metod złożonych. Więc jeśli dane pochodzą z procesu liniowego, lm () będzie znacznie lepszy niż losowe lasy, np .:

    set.seed(1234)
p=10
N=1000
#covariates
x = matrix(rnorm(N*p),ncol=p)
#coefficients:
b = round(rnorm(p),2)
y = x %*% b + rnorm(N)
train=sample(N, N/2)
data = cbind.data.frame(y,x)
colnames(data) = c("y", paste0("x",1:p))
#linear model
fit1 = lm(y ~ ., data = data[train,])
summary(fit1)
yPred1 =predict(fit1,data[-train,])
round(mean(abs(yPred1-data[-train,"y"])),2)#0.79

library(randomForest)
fit2 = randomForest(y ~ ., data = data[train,],ntree=1000)
yPred2 =predict(fit2,data[-train,])
round(mean(abs(yPred2-data[-train,"y"])),2)#1.33

Nie polecam używania klasyfikatora zespołów, gdy twój model musi być możliwy do interpretacji i wyjaśnienia. Czasami potrzebujesz prognoz i wyjaśnień prognoz.

Kiedy trzeba przekonać ludzi, że prognozy są warte uwierzenia, bardzo dokładny model może być bardzo przekonujący, ale starałem się przekonać ludzi do działania na podstawie prognoz, gdy metody są zbyt złożone dla ich poziomu komfortu.

Z mojego doświadczenia wynika, że ​​większość ludzi czuje się komfortowo z liniowymi modelami addytywnymi, modelami, które mogłyby zdobyć ręcznie, a jeśli spróbujesz wyjaśnić adaptacyjne wzmocnienie, hiperpłaszczyzny i efekty interakcji na 5. poziomie, zareagują tak, jakbyś rzucał im czarną magię.

Z drugiej strony ludzie mogą czuć się komfortowo ze złożonością modelu, ale nadal chcą internalizować pewien wgląd. Na przykład naukowcy mogą nie uznać modelu czarnej skrzynki za postęp w wiedzy ludzkiej, nawet jeśli model ten jest bardzo dokładny.

Analiza zmienności ważności może pomóc w spostrzeżeniach, ale jeśli zespół jest dokładniejszy niż liniowy model addytywny, zespół prawdopodobnie wykorzystuje pewne nieliniowe i efekty interakcji, których analiza zmienności ważności nie jest w stanie w pełni uwzględnić.

Chciałbym dodać do odpowiedzi Branco. Zespoły mogą być bardzo konkurencyjne i zapewniać bardzo dobre wyniki. Na przykład w naukowcach to się liczy. W przemyśle zestawy mogą być zbyt trudne do wdrożenia / utrzymania / modyfikacji / portu. Praca Goefa Hintona nad „Ciemną wiedzą” dotyczy właśnie tego: jak przenieść „wiedzę” dużego zespołu w jeden łatwy do przenoszenia model. Stwierdza, że ​​zespoły są złe w czasie testu: są wysoce redundantne, a czas obliczeń może budzić obawy.

Jego zespół uzyskał kilka interesujących rezultatów, sugeruję sprawdzić jego publikacje lub przynajmniej slajdy. Jeśli moja pamięć jest dobra, był to jeden z gorących tematów z 2013 lub 2014 roku.

Slajdy na temat Dark Knowledge można znaleźć tutaj: http://www.ttic.edu/dl/dark14.pdf