Czy stopnie swobody mogą być liczbą niecałkowitą?

Kiedy korzystam z GAM, daje mi resztkowy DF (ostatni wiersz kodu). Co to znaczy? Wychodząc poza przykład GAM, ogólnie, czy liczba stopni swobody może być liczbą niecałkowitą?$26.6$

> library(gam)
> summary(gam(mpg~lo(wt),data=mtcars))

Call: gam(formula = mpg ~ lo(wt), data = mtcars)
Deviance Residuals:
    Min      1Q  Median      3Q     Max 
-4.1470 -1.6217 -0.8971  1.2445  6.0516 

(Dispersion Parameter for gaussian family taken to be 6.6717)

    Null Deviance: 1126.047 on 31 degrees of freedom
Residual Deviance: 177.4662 on 26.6 degrees of freedom
AIC: 158.4294 

Number of Local Scoring Iterations: 2 

Anova for Parametric Effects
            Df Sum Sq Mean Sq F value    Pr(>F)    
lo(wt)     1.0 847.73  847.73  127.06 1.239e-11 ***
Residuals 26.6 177.47    6.67                      

Stopnie swobody w wielu kontekstach nie są liczbami całkowitymi. Rzeczywiście w kilku okolicznościach można ustalić, że stopnie swobody dopasowania danych dla niektórych konkretnych modeli muszą zawierać się między pewną wartością a .$k$$k+1$

Zwykle myślimy o stopniach swobody jako liczbie wolnych parametrów, ale zdarzają się sytuacje, w których parametry nie są całkowicie wolne i mogą być trudne do zliczenia. Może się to zdarzyć na przykład podczas wygładzania / regulowania.

Przypadki lokalnie ważonej metody regresji / jądra i wygładzania splajnów są przykładami takiej sytuacji - całkowita liczba wolnych parametrów nie jest czymś, co można łatwo policzyć, dodając predyktory, więc potrzebna jest bardziej ogólna koncepcja stopni swobody.

W uogólnionych modelach addytywnych, na których gamczęściowo opiera się, Hastie i Tibshirani (1990) [1] (i rzeczywiście w wielu innych odnośnikach) dla niektórych modeli, w których możemy napisać , czasami przyjmuje się, że stopnie swobody są (omawiają także nazwa lub ). Pierwszy jest zgodny z bardziej typowym podejściem, w którym oba działają (np. W regresji, gdzie w normalnych sytuacjach będzie wymiarem kolumny ), ale gdy jest symetryczny i idempotentny, wszystkie trzy formuły są takie same.$\hat y = Ay$$\operatorname{tr}(A)$$\operatorname{tr}(AA^T)$$\operatorname{tr}(2A-AA^T)$$\operatorname{tr}(A)$$X$$A$

[Nie mam tego podręcznego podręcznika, żeby sprawdzić wystarczającą ilość szczegółów; alternatywą tych samych autorów (plus Friedmana), którą łatwo zdobyć, są elementy uczenia statystycznego [2]; patrz na przykład równanie 5.16, które definiuje efektywne stopnie swobody wygładzania splajnu jako nazwa (w mojej notacji)]$\operatorname{tr}(A)$

Mówiąc bardziej ogólnie, Ye (1998) [3] zdefiniował uogólnione stopnie swobody jako , który jest sumą wrażliwości dopasowanych wartości na odpowiadające im obserwacje. Z kolei jest to zgodne z nazwa którym ta definicja działa. Aby użyć definicji Ye, wystarczy jedynie obliczyć i zaburzyć dane o niewielką ilość (w celu obliczenia liczbowo). Dzięki temu ma bardzo szerokie zastosowanie.$\sum_i \frac{\partial \hat y_i}{\partial y_i}$$\operatorname{tr}(A)$$\hat y$$\frac{\partial \hat y_i}{\partial y_i}$

W przypadku modeli takich jak te gam, te różne miary zasadniczo nie są liczbami całkowitymi.

(Bardzo polecam przeczytanie dyskusji tych odniesień na ten temat, choć historia może się nieco bardziej skomplikować w niektórych sytuacjach. Patrz na przykład [4])

[1] Hastie, T. i Tibshirani, R. (1990),
Generalized Additive Models
London: Chapman and Hall.

[2] Hastie, T., Tibshirani, R. and Friedman, J. (2009),
The Elements of Statistics Learning: Data Mining, Inference and prediction , 2ndEd
Springer-Verlag.
https://statweb.stanford.edu/~tibs/ElemStatLearn/

[3] Ye, J. (1998),
„O mierzeniu i korygowaniu skutków eksploracji danych i selekcji modeli”
Journal of American Statistics Association , t. 93, nr 441, str. 120–131

[4] Janson, L., Fithian, W., i Hastie, T. (2013),
„Skuteczne stopnie wolności: wadliwa metafora”
https://arxiv.org/abs/1312.7851