Udowodnić związek między odległością Mahalanobis a dźwignią?

Widziałem formuły na Wikipedii. które odnoszą się do odległości i dźwigni Mahalanobisa:

Odległość Mahalanobisa jest ściśle związana ze statystyką dźwigni, , ale ma inną skalę:$h$

$$D^2 = (N - 1)(h - \tfrac{1}{N}).$$

W powiązanym artykule Wikipedia opisuje w następujących terminach:$h$

W tym modelu regresji liniowej, wynik dźwigni dla jednostki danych, jest zdefiniowane jako: diagonalny element macierzy Hat , gdzie oznacza transpozycję macierzy.$i^{th}$

$$h_{ii}=(H)_{ii},$$ $i^{th}$$H=X(X^{\top}X)^{-1}X^{\top}$⊤$^{\top}$

Nigdzie nie mogę znaleźć dowodu. Próbowałem zacząć od definicji, ale nie mogę zrobić żadnego postępu. Czy ktoś może podpowiedzieć?

Mój opis odległości Mahalanobis od dołu do góry wyjaśnienie odległości Mahalanobis? zawiera dwa kluczowe wyniki:

1. Z definicji nie zmienia się, gdy regresory są równomiernie przesuwane.

2. Kwadratowa odległość Mahalanobisa między wektorami $x$ i $y$ jest dana przez

   $$D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$$ gdzie $\Sigma$ jest kowariancją danych.

(1) pozwala założyć, że wszystkie regresory są zerowe. Pozostaje obliczyć $h_i$ . Jednak, aby twierdzenie było prawdziwe, musimy dodać jeszcze jedno założenie:

Model musi zawierać punkt przecięcia.

Pozwalając na to, niech będzie $k \ge 0$ regresory i $n$ danych, pisanie wartość REGRESSOR $j$ do obserwacji $i$ jako $x_{ij}$ . Niech wektor kolumna z tych $n$ wartości dla REGRESSOR $j$ być napisany $\mathbf{x}_{,j}$ , a wektor rzędu tych $k$ wartości dla obserwacji $i$ być napisane $\mathbf{x}_i$ . Zatem macierz modelu jest

$$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$$

a z definicji macierz kapelusza jest

$$H = X(X^\prime X)^{-1} X^\prime,$$

skąd wpis $i$ wzdłuż przekątnej jest

$$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$$

Nie ma nic innego, jak wypracować odwrotną macierz centralną - ale dzięki pierwszemu kluczowemu wynikowi jest to łatwe, szczególnie, gdy piszemy to w postaci macierzy blokowej:

$$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$$

gdzie $\mathbf{0} = (0,0,\ldots,0)^\prime$ i

$$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$$

(Napisałem $\Sigma$ dla przykładowej macierzy kowariancji regresorów.) Ponieważ jest to przekątna bloku, jej odwrotność można znaleźć po prostu odwracając bloki:

$$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$$

Z definicji $(1)$ otrzymujemy

$$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$$

Rozwiązanie dla kwadratowej długości Mahalanobisa $D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$ daje

$$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$$

QED .

Patrząc wstecz, możemy prześledzić addytywny termin $1/n$$X$$n-1$$n-1$$n$

---

$i$

---

Kod R, aby pokazać, że relacja rzeczywiście zawiera:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))