Średnia harmoniczna minimalizuje sumę kwadratowych błędów względnych

Szukam odniesienia, w którym udowodniono, że harmoniczna oznacza

{\bar{x}}^{h} = \frac{n}{\sum_{i = 1}^{n} \frac{1}{x_{i}}}

$\bar{x}^h = \frac{n}{\sum_{i=1}^n \frac{1}{x_i}}$

minimalizuje (w ) sumę kwadratowych błędów względnych $z$

\sum_{i = 1}^{n} (\frac{(x_{i} - z)^{2}}{x_{i}}) .

$\sum_{i=1}^n \left( \frac{(x_i - z)^2}{x_i}\right).$

references mean error weighted-regression harmonic-mean Martin Van der Linden
źródło

Odpowiedzi:

Dlaczego potrzebujesz referencji? Jest to prosty problem rachunku różniczkowego: aby problem, który sformułowałeś, miał sens, musimy założyć, że wszystkie $x_i > 0$ . Następnie zdefiniuj funkcję

f (z) = \sum_{i = 1}^{n} \frac{(x_{i} - z)^{2}}{x_{i}}

$f(z) = \sum_{i=1}^n \frac{(x_i - z)^2}{x_i}$ Następnie oblicz pochodną w odniesieniu do

z

$z$ :

f^{'} (z) = - 2 \cdot \sum_{i = 1}^{n} (1 - \frac{z}{x_{i}})

$f'(z) = -2\cdot \sum_{i=1}^n (1-\frac{z}{x_i})$ a następnie rozwiązanie równania

f^{'} (z) = 0

$f'(z)=0$ daje rozwiązanie. Teraz oczywiście musimy sprawdzić, czy jest to rzeczywiście minimum, aby obliczyć drugą pochodną:

f^{″} (z) = - 2 \cdot \sum_{i = 1}^{n} (0 - \frac{1}{x_{i}}) = 2 \sum_{i = 1}^{n} \frac{1}{x_{i}} > 0

$f''(z) = -2 \cdot \sum_{i=1}^n (0-\frac1{x_i}) = 2 \sum_{i=1}^n \frac1{x_i} > 0$ za ostatnią nierówność, której użyliśmy, wreszcie, że wszystkie

x_{i} > 0

$x_i>0$ . Bez tego założenia rzeczywiście moglibyśmy zaryzykować, że znaleźliśmy maksimum!

Jeśli chodzi o odniesienie, może https://en.wikipedia.org/wiki/Fr%C3%A9chet_mean lub https://en.wikipedia.org/wiki/Harmonic_mean lub odniesienia w nich zawarte.

kjetil b halvorsen
źródło

Dziękuję za odpowiedź. Referencje pozwoliłyby mi zaoszczędzić trochę miejsca. Chcę przytoczyć wynik jako Lemma do innych dowodów bez konieczności dołączania samodzielnego dowodu Lemmy.

Martin Van der Linden

Trudno znaleźć wyraźne odniesienie, uważa się je za podstawowe, aby na nie zasłużyć! Czy nie możesz po prostu powiedzieć, że dowód jest podstawowym ćwiczeniem rachunku różniczkowego i całkowego?

kjetil b halvorsen

Choć jest to tak proste, zawsze wolę podać odniesienie. Rozumiem jednak, że trudno znaleźć podstawowe wyniki, a pozostawienie dowodu czytelnikowi jest oczywistą opcją.

Martin Van der Linden

Tymczasowy ping poza tematem: rozważ głosowanie na synonim spearman-> spearman -rho tutaj stats.stackexchange.com/tags/spearman-rho/synonim . Dzięki

ameba mówi Przywróć Monikę

Można zauważyć, że jest to regresja ważona metodą najmniejszych kwadratów o wadze . $1/x_i$

Aby nawiązać połączenie z referencjami, powróć do standardowej notacji, w której szukasz która minimalizuje $\beta$

\sum ω_{i} (y_{i} - β)^{2} .

$\sum \omega_i (y_i - \beta)^2.$

Jest to model z pojedynczym stałym regresorem i wagą macierzy

X = (\begin{matrix} 1 \\ 1 \\ ⋮ \\ 1 \end{matrix})

$X = \pmatrix{1\\1\\\vdots\\1}$

W = (\begin{matrix} ω_{1} & 0 & \dots & 0 \\ 0 & ω_{2} & \dots & 0 \\ ⋮ & ⋮ & ⋱ & 0 \\ 0 & \dots & 0 & ω_{n} \end{matrix}) .

$W = \pmatrix{\omega_1 & 0 & \cdots & 0 \\ 0 & \omega_2 & \cdots & 0 \\\vdots & \vdots & \ddots & 0 \\ 0 & \cdots & 0 & \omega_n}.$

nazwę „ ” na „ ” („odpowiedź”), a parametr do oszacowania to zamiast . Wagi wynoszą . Konieczne jest, aby wszystkie przekroczyły . Rozwiązaniem jest $x_i$ $y_i$ $\beta$ $z$ $\omega_i=1/x_i$ $0$

\hat{β} = (X^{'} W X)^{- 1} X^{'} W y = \frac{\sum_{i} x_{i} ω_{i}}{\sum_{i} ω_{i}} = \frac{\sum_{i} x_{i} / x_{i}}{\sum_{i} 1 / x_{i}} = \frac{n}{\sum 1 / x_{i}},

$\hat\beta = (X^\prime W X)^{-1}X^\prime W y = \frac{\sum_i x_i\omega_i }{\sum_i \omega_i} = \frac{\sum_i x_i/x_i }{\sum_i 1/x_i} = \frac{n}{\sum 1/x_i},$

QED .

Komentarze

Ta sama analiza dotyczy wszelkich dodatnich zestawów wag, zapewniając uogólnienie średniej harmonicznej i użyteczny sposób jej scharakteryzowania.
Gdy, podobnie jak w kontrolowanym eksperymencie, są postrzegane jako ustalone (a nie losowe), maszyneria najmniej ważonych kwadratów zapewnia przedziały ufności i przedziały prognozowania itp . Innymi słowy, umieszczenie problemu w tym ustawieniu automatycznie umożliwia ocenę dokładności średniej harmonicznej. $x_i$
Wyświetlanie średniej harmonicznej jako rozwiązania ważonego problemu zapewnia wgląd w jego naturę, a zwłaszcza wrażliwość na dane. Jest obecnie jasne, że Najistotniejszymi czynnikami są te o najmniejszej wartości --and ich znaczenie jest określane za pomocą wagi macierzy . $x_i$ $W$

Odniesienie

Douglas C. Montgomery, Elizabeth A. Peck i G. Geoffrey Vining, Wprowadzenie do analizy regresji liniowej. Piąta edycja. J. Wiley, 2012. Sekcja 5.5.2.

Whuber
źródło