Dlaczego nie używamy ważonej średniej arytmetycznej zamiast średniej harmonicznej?

Zastanawiam się, jaka jest wewnętrzna wartość stosowania średniej harmonicznej (na przykład do obliczania miar F), a nie ważonej średniej arytmetycznej w łączeniu precyzji i przypominania? Myślę, że ważona średnia arytmetyczna może odgrywać rolę średniej harmonicznej, czy coś mi brakuje?

machine-learning monte-carlo precision-recall harmonic-mean Olga
źródło

Średnia harmoniczna jest ważoną średnią arytmetyczną: każdy

ma wagę proporcjonalną do

x_{i}

$x_i$

1 / x_{i}^{2}

$1/x_i^2$

whuber

Czy możesz powiedzieć coś więcej o tym, jak precyzja i pamięć zwrotna są połączone w ten sposób?

AdamO,

@whuber Nie jestem pewien, czy Twój komentarz jest poważny, czy też zdziwiony. Zwykle przyjmuje się, że wagi są funkcją indeksu próbki , a nie wartości próbki . W przeciwnym razie każdy środek jest średnią ważoną arytmetyczną

Luis Mendo

@Luis Prawda leży pomiędzy. Indeks próbki często nie ma znaczenia. Wagi są funkcjami obiektów, ale funkcje te zwykle nie zależą od uśrednionych wartości. Przykładami są wagi związane z czasem (EWMA), z lokalizacją (jak w miarach korelacji przestrzennej), rangą (jak w teście Shapiro-Wilka) i prawdopodobieństwami próbkowania. Ale nie wszystkie środki są ważonymi AM: na przykład MG nie jest. Ponieważ Filippa pyta o „wartość instruktażową”, wydawało się niemądre wskazywać matematyczny związek między średnią harmoniczną a średnią ważoną.

whuber

Odpowiedzi:

Ogólnie rzecz biorąc, środki harmoniczne są preferowane, gdy próbuje się uśrednić stawki zamiast liczb całkowitych. W przypadku miary F1 średnia harmoniczna będzie karać bardzo małe dokładności lub przywołania, podczas gdy nieważona średnia arytmetyczna nie. Wyobraź sobie uśrednienie 100% i 0%: średnia arytmetyczna wynosi 50%, a średnia harmoniczna 0%. Średnia harmoniczna wymaga, aby zarówno precyzja, jak i przywoływanie były wysokie.

Ponadto, gdy precyzja i przywołanie są blisko siebie, średnia harmoniczna będzie bliska średniej arytmetycznej. Przykład: średnia harmoniczna 95% i 90% wynosi 92,4% w porównaniu ze średnią arytmetyczną 92,5%.

To, czy jest to pożądana właściwość, zależy prawdopodobnie od przypadku użycia, ale zazwyczaj jest uważane za dobre.

Na koniec zauważ, że, jak stwierdził @whuber w komentarzach, średnia harmoniczna jest rzeczywiście ważoną średnią arytmetyczną.

ilanman
źródło

„środki harmoniczne są preferowane, gdy ktoś próbuje uśrednić stawki”. Być może, jeśli przejedziesz

km z prędkością

km / hi

km z powrotem z prędkością

km / h, aby uzyskać średnią całkowitą prędkość

km / h, ale nie jeśli przejechać

minut przy

km / hi

minut przy

km / h, aby uzyskać średnią całkowitą prędkość

km / h. Ale nie rozumiem, dlaczego dotyczy to ułamków

10

$10$

120

$120$

10

$10$

60

$60$

80

$80$

10

$10$

120

$120$

10

$10$

60

$60$

90

$90$

Henry

Rzeczywiście, pierwszy akapit jest bardziej ogólnym stwierdzeniem na temat średniej harmonicznej. Ale masz rację, precyzja i przypominanie to ułamki, a nie stawki. Uważam, że istnieje pojęcie, że średnia arytmetyczna jest preferowana dla wartości, które mają interpretowalne sumowanie (które nie miałyby zastosowania w tym przypadku), ale na pewno można przyjąć średnią arytmetyczną precyzji i przywołać i uzyskać użyteczny wynik.

ilanman

Świetny! Bardziej szukam „uzasadnień” stosowania reguły uśredniania harmonicznego. Ale nie jestem pewien, jak myśleć o uzasadnieniach.

Olga

Średnia harmoniczna może być przydatnym substytutem średniej arytmetycznej, gdy nie ma ona żadnych oczekiwań lub nie ma wariancji. Może rzeczywiście być tak, że nie istnieje lub jest nieskończony, podczas gdy istnieje. Na przykład rozkład Pareto o gęstości $\mathbb{E}[X]$ $\mathbb{E}[1/X]$ nie ma skończonego oczekiwania, gdy, co oznacza, że średnia arytmetyczna ma nieskończone oczekiwanie, podczas gdy

fa (x) = \frac{α x_{0}^{α}}{x^{α + 1}} {ja}_{x \geq x_{0}}

$f(x)=\dfrac{\alpha x_0^{\alpha}}{x^{\alpha+1}}\mathbb{I}_{x\ge x_0}$

α \leq 1

$\alpha\le 1$

co oznacza, że średnia harmoniczna ma skończone oczekiwanie.

mi [1 / X] = \int_{x_{0}}^{\infty} \frac{α x_{0}^{α}}{x^{α + 2)}} re x = \frac{α x_{0}^{α}}{(α + 1) x_{0}^{α + 1}} = \frac{α}{(α + 1) x_{0}}

$\mathbb{E}[1/X]=\int_{x_0}^\infty \dfrac{\alpha x_0^{\alpha}}{x^{\alpha+2}}\,\text{d}x=\dfrac{\alpha x_0^{\alpha}}{(\alpha+1) x_0^{\alpha+1}}=\dfrac{\alpha}{(\alpha+1) x_0}$

I odwrotnie, istnieją rozkłady, dla których nie ma oczekiwanych średnich harmonicznych, jak na przykład rozkład Beta gdy . I wiele innych, dla których nie ma wariancji. $\mathcal{B}e(\alpha,\beta)$ $\alpha\le1$

Istnieje również związek z przybliżeniami Monte Carlo do całek, a zwłaszcza stałych normalizujących, opartych na bayesowskiej tożsamości tylnej gdziejest dowolną gęstością,jest pierwiastkiem,prawdopodobieństwo, ajest marginalny, jak omówiono winnym pytaniudotyczącym sprawdzonego X, gdzieI komentujniebezpieczeństwa związane z używaniem tego, co Radford Neal (U Toronto) nazywanajgorszym estymatorem Monte Carlo w historii. (Napisałem równieżkilka wpisówna moim blogu na ten temat.)

mi [\frac{φ (θ)}{π (θ) L. (θ | x)} | x] = \frac{1}{m (x)}

$\mathbb{E}\left[\dfrac{\varphi(\theta)}{\pi(\theta)L(\theta|x)}\Big| x\right]=\dfrac{1}{m(x)}$

φ (\cdot)

$\varphi(\cdot)$

π (\cdot)

$\pi(\cdot)$

L (\cdot | x)

$L(\cdot|x)$

m (\cdot)

$m(\cdot)$

Xi'an
źródło

Dlaczego te właściwości są preferowane przy uśrednianiu stawek?

Walrus the Cat

Nie znam wyników optymalizacyjnych, ale posiadanie estymatora o skończonych oczekiwaniach wydaje się lepszym rozwiązaniem niż bez niego!

Xi'an