Co to jest Deviance? (szczególnie w CART / rpart)

Co to jest „dewiacja”, jak jest obliczana i jakie jest jej zastosowanie w różnych dziedzinach statystyki?

W szczególności jestem osobiście zainteresowany jego zastosowaniami w CART (i jego implementacją w rpart w R).

Pytam o to, ponieważ artykuł na wiki wydaje się nieco brakuje, a twoje spostrzeżenia będą mile widziane.

Deviance and GLM

Formalnie można postrzegać dewiację jako rodzaj odległości między dwoma modelami probabilistycznymi; w kontekście GLM jest to dwukrotność ilorazu prawdopodobieństw między dwoma zagnieżdżonymi modelami gdzie jest modelem „mniejszym”; to znaczy liniowe ograniczenie parametrów modelu (por. lemat Neymana-Pearsona ), jak powiedział @suncoolsu. Jako taki może służyć do porównywania modeli . Można to również postrzegać jako uogólnienie RSS wykorzystywanego w estymacji OLS (ANOVA, regresja), ponieważ zapewnia miarę dobroci dopasowania ocenianego modelu w porównaniu z modelem zerowym (tylko przechwytywanie). Działa również z LM:$\ell_1/\ell_0$$\ell_0$

> x <- rnorm(100)
> y <- 0.8*x+rnorm(100)
> lm.res <- lm(y ~ x)

Resztki SS (RSS) oblicza się jako , który można łatwo otrzymać jako:$\hat\varepsilon^t\hat\varepsilon$

> t(residuals(lm.res))%*%residuals(lm.res)
         [,1]
[1,] 98.66754

lub z (niedostosowanego)$R^2$

> summary(lm.res)

Call:
lm(formula = y ~ x)

(...)

Residual standard error: 1.003 on 98 degrees of freedom
Multiple R-squared: 0.4234, Adjusted R-squared: 0.4175 
F-statistic: 71.97 on 1 and 98 DF,  p-value: 2.334e-13 

ponieważ gdzie jest całkowitą wariancją. Pamiętaj, że jest on dostępny bezpośrednio w tabeli ANOVA, na przykład$R^2=1-\text{RSS}/\text{TSS}$$\text{TSS}$

> summary.aov(lm.res)
            Df Sum Sq Mean Sq F value    Pr(>F)    
x            1 72.459  72.459  71.969 2.334e-13 ***
Residuals   98 98.668   1.007                      
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Teraz spójrz na dewiację:

> deviance(lm.res)
[1] 98.66754

W rzeczywistości w przypadku modeli liniowych odchylenie jest równe RSS (możesz pamiętać, że szacunki OLS i ML pokrywają się w takim przypadku).

Deviance and CART

Widzimy CART jako sposób na przydzielenie już oznakowanych osób do dowolnych klas (w kontekście klasyfikacji). Drzewa mogą być postrzegane jako model prawdopodobieństwa przynależności do klasy indywidualnej. Zatem w każdym węźle mamy rozkład prawdopodobieństwa między klasami. Ważne jest tutaj to, że liście drzewa dają nam losową próbkę z wielomianowego rozkładu określonego przez . Możemy zatem zdefiniować dewiację drzewa, , jako sumę wszystkich liści$n$$i$$p_{ik}$$n_{ik}$$p_{ik}$$D$

zgodnie z zapisami Venables i Ripleya ( MASS , Springer 2002, wydanie 4). Jeśli masz dostęp do tego niezbędnego odniesienia dla użytkowników R (IMHO), możesz sam sprawdzić, jak takie podejście jest stosowane do dzielenia węzłów i dopasowywania drzewa do obserwowanych danych (s. 255 i nast.); Zasadniczo chodzi o to, aby zminimalizować, przez przycinanie drzew, , gdzie jest liczba węzłów w drzewie . Tutaj mamy rozpoznać koszt złożoność kompromisu . Tutaj jest równoważne koncepcji zanieczyszczenia węzła (tj. Niejednorodności rozkładu w danym węźle), które są oparte na miary entropii lub przyrostu informacji lub dobrze znanym indeksie Gini, zdefiniowanym jako$D+\alpha \#(T)$$\#(T)$$T$D$D$$1-\sum_kp_{ik}^2$ (nieznane proporcje są szacowane na podstawie proporcji węzłów).

W przypadku drzewa regresji pomysł jest dość podobny i możemy konceptualizować dewiację jako sumę kwadratów zdefiniowanych dla jednostek przez$j$

zsumowane na wszystkich liściach. Tutaj modelem prawdopodobieństwa rozważanym w każdym liściu jest gaussian . Cytując Venables i Ripley (s. 256): „ jest zwykle skalowaną dewiacją dla GLM gaussowskiego. Jednak rozkład w wewnętrznych węzłach drzewa jest wówczas mieszaniną rozkładów normalnych, a zatem jest odpowiednie tylko dla liści. Proces budowy drzewa należy postrzegać jako hierarchiczne udoskonalenie modeli prawdopodobieństwa, bardzo podobne do selekcji zmiennych w przód w regresji ”. Sekcja 9.2 zawiera dalsze szczegółowe informacje na temat implementacji, ale możesz już sprawdzić funkcję$\mathcal{N}(\mu_i,\sigma^2)$$D$$D_i$rpartresiduals()rpart obiekt, w którym „reszty odchylenia” są obliczane jako pierwiastek kwadratowy z minus dwukrotność logarytmu dopasowanego modelu.

Dobrym początkiem jest także wprowadzenie do partycjonowania rekurencyjnego przy użyciu procedur rpart autorstwa Atkinsona i Therneau. W celu bardziej ogólnej oceny (w tym pakowania) polecam

• Moissen, GG (2008). Drzewa klasyfikacji i regresji . Ecological Informatics , ss. 582-588.
• Sutton, CD (2005). Drzewa klasyfikacji i regresji, workowanie i wzmacnianie , w Handbook of Statistics, Vol. 24 , ss. 303–329, Elsevier.

To może być nieco jaśniejsze, jeśli pomyślimy o idealnym modelu z tyloma parametrami, co obserwacjami, które wyjaśniają wszystkie wariancje odpowiedzi. To jest model nasycony. Odchylenie po prostu mierzy różnicę w „dopasowaniu” modelu kandydującego i modelu nasyconego.

W drzewie regresji nasyconym modelem byłby taki, który miałby tyle węzłów końcowych (liści), co obserwacje, więc idealnie pasowałby do odpowiedzi. Odchylenie prostszego modelu można obliczyć jako resztkowe sumy kwadratów w węźle, zsumowane we wszystkich węzłach. Innymi słowy, suma kwadratów różnic między przewidywanymi a obserwowanymi wartościami. Jest to ten sam rodzaj błędu (lub dewiacji), jaki zastosowano w regresji metodą najmniejszych kwadratów.

W przypadku drzewa klasyfikacji resztkowe sumy kwadratów nie są najwłaściwszą miarą braku dopasowania. Zamiast tego istnieje alternatywna miara dewiacji, a drzewa można budować, minimalizując miarę entropii lub indeks Gini. Ta ostatnia jest domyślna w rpart. Indeks Gini jest obliczany jako:

gdzie jest zaobserwowanym udziałem klasy w węźle . Miara ta jest sumowana dla wszystkich końcowych węzłów w drzewie, aby uzyskać odchylenie dla dopasowanego modelu drzewa.$p_{ik}$$k$$i$$i$

Odchylenie jest statystyką ilorazu wiarygodności do testowania hipotezy zerowej, że model utrzymuje ponownie ogólną alternatywę (tj. Model nasycony). W przypadku niektórych GLM Poissona i dwumianowych liczba obserwacji pozostaje stała, gdy poszczególne liczby rosną. Następnie dewiacja ma asymptotyczny rozkład zerowy chi-kwadrat . Stopnie swobody = N - p, gdzie p jest liczbą parametrów modelu; tzn. jest równa liczbie wolnych parametrów w modelach nasyconych i nienasyconych. Odchylenie zapewnia następnie test dopasowania modelu.$N$

$Deviance = -2[L(\hat{\mathbf{\mu}} | \mathbf{y})-L(\mathbf{y}|\mathbf{y})]$

Jednak w większości przypadków chcesz przetestować, czy musisz upuścić niektóre zmienne. Powiedzieć, że są dwa modele i z i parametrów, odpowiednio, i trzeba do testu, który z tych dwóch jest lepszy. Załóżmy, że jest szczególnym przypadkiem tj. Modeli zagnieżdżonych. $M_1$$M_2$$p_1$$p_2$$M_1$$M_2$

W takim przypadku przyjmuje się różnicę dewiacji:

$\Delta Deviance = -2[L(\hat{\mathbf{\mu}_1} | \mathbf{y})-L(\hat{\mathbf{\mu}_2}|\mathbf{y})]$

Zauważ, że prawdopodobieństwo dziennika nasyconego modelu anuluje się, a stopień swobody zmienia się na . Tego najczęściej używamy, gdy musimy sprawdzić, czy niektóre parametry są równe 0 czy nie. Ale kiedy zmieścić w wyjściu dewiacji jest dla nasyconej modelu vs obecnego modelu.p 2 - P $\Delta Deviance$$p_2-p_1$glmR

Jeśli chcesz przeczytać bardziej szczegółowo: patrz: Analiza danych kategorycznych Alana Agresti, s. 118.