Czy mediana jest rodzajem środka dla pewnego uogólnienia „środka”?

20

Pojęcie „średniej” wędruje znacznie szerzej niż tradycyjna średnia arytmetyczna; czy rozciąga się tak daleko, że obejmuje medianę? Przez analogię

raw dataidraw datameanraw meanid1arithmetic meanraw datarecipreciprocalsmeanmean reciprocalrecip1harmonic meanraw dataloglogsmeanmean loglog1geometric meanraw datasquaresquaresmeanmean squaresquare1root mean squareraw datarankranksmeanmean rankrank1median

Rysuję analogię do quasi-arytmetycznej średniej , podanej przez:

Mf(x1,,xn)=f1(1ni=1nf(xi))

Dla porównania, gdy mówimy, że mediana zbioru danych złożonego z pięciu elementów jest równa trzeciemu elementowi, widzimy, że jest to równoznaczne z uszeregowaniem danych od jednego do pięciu (które moglibyśmy oznaczyć funkcją f ); przyjmując średnią z przekształconych danych (która wynosi trzy); i odczytywanie wartości elementu danych, który miał rangę trzy (rodzaj f1 ).

W przykładach średniej geometrycznej, średniej harmonicznej i RMS, f była stałą funkcją, którą można zastosować do dowolnej liczby oddzielnie. W przeciwieństwie do tego, aby przypisać rangę lub cofnąć się od rang do oryginalnych danych (interpolując w razie potrzeby), wymagana jest znajomość całego zestawu danych. Ponadto w definicjach, które przeczytałem o średniej quasi-arytmetycznej, f musi być ciągłe. Czy mediana jest kiedykolwiek uważana za szczególny przypadek średniej quasi-arytmetycznej, a jeśli tak, to w jaki sposób definiuje się f ? Czy też mediana jest kiedykolwiek opisywana jako przykład jakiegoś innego szerszego pojęcia „wrednego”? Średnia quasi-arytmetyczna z pewnością nie jest jedynym dostępnym uogólnieniem.

Część problemu ma charakter terminologiczny (co i tak znaczy „znaczy”, szczególnie w przeciwieństwie do „tendencji centralnej” lub „średniej”?). Na przykład w literaturze dotyczącej systemów sterowania rozmytego funkcja agregująca jest funkcją rosnącą z F ( a , a ) = a i F ( b , b ) = b ; funkcja agregująca, dla którejF:[a,b]×[a,b][a,b]F(a,a)=aF(b,b)=b dla wszystkich x , y [ a , b ] nazywa się „średnią” (w sensie ogólnym). Taka definicja jest, rzecz jasna, niezwykle szeroka! I w tym kontekście mediana jest rzeczywiście określana jako rodzaj średniej. [ 1 ] Zastanawiam się jednak, czy mniej szerokie charakterystyki średniej mogą nadal rozciągać się wystarczająco daleko, aby objąć medianę - tak zwanąśrednią uogólnionąmin(x,y)F(x,y)max(x,y)x,y[a,b][1](co można lepiej opisać jako „środek mocy”), a środek Lehmera nie, ale inni mogą. Ze względu na swoją wartość Wikipedia umieszcza „medianę” na liście „innych środków” , ale bez dalszego komentarza i cytowania.

: Tak szeroka definicja średniej, odpowiednio poszerzona o więcej niż dwa dane wejściowe, wydaje się standardem w dziedzinie kontroli rozmytej i wielokrotnie pojawiała się podczas wyszukiwania w Internecie przypadków wystąpienia mediany opisanej jako mediana; Przytoczę np. Fodor, JC i Rudas, IJ (2009), „O niektórych klasach funkcji agregacyjnych migrujących”,IFSA / EUSFLAT Conf. (str. 653–656). Nawiasem mówiąc, w tym dokumencie zauważono, że jednym z pierwszych użytkowników terminu „średnia” (moyenne) byłoCauchy, w Cours d'analyse de l'École royale polytechnique, 1ère partie; Przeanalizuj algébrique (1821). Późniejsze wypowiedziAczél,Chisini,[1]Kołmogorow i de Finetti w opracowywaniu bardziej ogólnych pojęć „średnia” niż Cauchy są uznani w Fodor, J. i Roubens, M. (1995), „ O sensie środków ”, Journal of Computational and Applied Mathematics , 64 (1) , 103–115.

Silverfish
źródło
Myślę, że średnia arytmetyczna, mediana i ruda często nazywane są ogólnie „średnimi”, a słowo to jest czasem używane w niejednoznaczny sposób. Książka „ Jak kłamać ze statystykami ” wykorzystuje to jako przykład „leżenia” ze statystykami. (Rozumiem, że twoje pytanie jest bardziej ogólne, więc opublikuj je jako komentarz.)
Tim
@Tim Mam nienaukowe wrażenie, że rzadko widuje się „tryb” określany jako „wredny”. Ale na pewno istnieje ogromny związek zamieszania wokół użycia „średniej” (która czasami jest używana jako synonim „średniej arytmetycznej”, a innym razem obejmuje miary tendencji centralnej, które wcale nie są środkami) i „średniej” (która w ogólne zastosowanie, a nie w sensie technicznym, jest najczęściej, ale nie wyłącznie, używane w „średniej arytmetycznej”). Nawiasem mówiąc, jest to również trudny temat do wyszukiwania w Internecie, z powodu innych znaczeń „wredny”!
Silverfish,
3
środki (arytmetyczne, geometryczne, harmoniczne, zasilane, wykładnicze, kombinatoryczne itp.) są „średnimi analitycznymi”. Mediana, kwantyle, pile są „średnimi pozycyjnymi”. Ranking różni się zupełnie od logu, kwadratu itp., Ponieważ jest monotoniczną transformacją dowolnego wariantu na zmienny jednolity i nie ma tylnej ścieżki do transformacji.
ttnphns
Przy okazji pojęcie „sposób ogólny” jest zajęte en.wikipedia.org/wiki/Generalized_mean
ttnphns
3
Jeśli dopuścisz wagi do obliczeń , wówczas medianę można łatwo uznać za rodzaj średniej. Podobnie, ale nie identycznie, pojęcie przyciętych środków z pewnością obejmuje mediany jako szczególny przypadek ograniczający lub grzecznościowy. stata-journal.com/article.html?article=st0313 to jedna dość niedawna recenzja. iwixi,iwi=1
Nick Cox,

Odpowiedzi:

9

Oto jeden ze sposobów, w jaki możesz uznać medianę za „ogólny rodzaj średniej” - po pierwsze, ostrożnie zdefiniuj swoją zwykłą średnią arytmetyczną w kategoriach statystyk porządkowych:

x¯=iwix(i),wi=1n.

Następnie, zastępując tę ​​zwykłą średnią statystyk zamówienia inną funkcją wagi, otrzymujemy pojęcie „średniej ogólnej”, która uwzględnia zamówienie.

W takim przypadku wiele potencjalnych miar centrum staje się „uogólnionymi rodzajami środków”. W przypadku mediany, dla nieparzystego , w ( n + 1 ) / 2 = 1 i wszystkie inne są równe 0, a dla parzystego n , w nnw(n+1)/2=1n .wn2=wn2+1=12

Podobnie, jeśli spojrzymy na oszacowanie M, oszacowania lokalizacji można również uznać za uogólnienie średniej arytmetycznej (gdzie dla średniej jest kwadratowe, ψ jest liniowe lub funkcja wagi jest płaska), a mediana należy również do tej klasy uogólnień. Jest to nieco inna generalizacja niż poprzednia.ρψ

Istnieje wiele innych sposobów rozszerzenia pojęcia „podła”, które mogą obejmować medianę.

Glen_b - Przywróć Monikę
źródło
To jest bardzo miłe. Ściśle związany z tą odpowiedzią, który jest omawiany w artykułach cytowanych w pytaniu: uporządkowana średnia ważona lub OWA
Silverfish
11

Jeśli myślisz o średniej jako punkcie minimalizującym funkcję straty kwadratowej SSE, wówczas mediana jest punktem minimalizującym liniową funkcję straty MAD, a trybem jest punkt minimalizujący funkcję straty 0-1. Nie wymaga transformacji.

Mediana jest więc przykładem środka Frécheta .

Mike Anderson
źródło
3
@Mike Anderson: Cóż, to pokazuje, że media są środkiem Frecheta (patrz artykuł na Wikipedii): en.wikipedia.org/wiki/Fr%C3%A9chet_mean
kjetil b halvorsen
@Kjetil Excellent! Fakt, że mediana jest przykładem środka Frécheta, jest dokładnie odpowiedzią na moje pytanie „czy mediana jest kiedykolwiek opisywana jako przykład jakiegoś innego szerszego pojęcia„ podła ”? I +1 dla Mike'a Andersona. Mam nadzieję, że ta informacja zostanie edytowana w odpowiedzi.
Silverfish,
2
I've added @Kjetil's comment to the answer so that it will show up in a site search for "Frechet mean". Thanks to both of you.
Silverfish
4

i=1nwixi/i=1nwi, where i=1nwi=1. Clearly the common or garden mean is the simplest special case with equal weights wi=1/n.

Letting the weights depend on the order of values in magnitude, from smallest to largest, points to various other special cases, notably the idea of a trimmed mean, which is known by other names too.

Aby uniknąć nadmiernego używania notacji, gdy nie jest ona potrzebna lub szczególnie pomocna, wyobraź sobie na przykład ignorowanie najmniejszych i największych wartości i przyjmowanie (równej ważonej) średniej z pozostałych. Albo wyobraź sobie, że ignorujesz dwa najmniejsze i dwa największe i bierzesz pod uwagę pozostałe; i tak dalej. Najbardziej energiczne przycinanie zignorowałoby wszystkie oprócz jednej lub dwóch wartości średnich w kolejności, w zależności od tego, czy liczba wartości była nieparzysta, czy parzysta, co oczywiście jest po prostu znaną medianą . Nic w idei przycinania nie zobowiązuje cię do ignorowania równych liczb w każdym ogonie próbki, ale powiedzenie więcej o asymetrycznym przycinaniu odciągnęłoby nas od głównej idei w tym wątku.

In short, means (unqualified) and medians are extreme limiting cases of the family of (symmetric) trimmed means. The overall idea is to allow compromises between one ideal of using all the information in the data and another ideal of protecting oneself from extreme data points, which may be unreliable outliers.

See the reference here for one fairly recent review.

Nick Cox
źródło
4

The question invites us to characterize the concept of "mean" in a sufficiently broad sense to encompass all the usual means--power means, Lp means, medians, trimmed means--but not so broadly that it becomes almost useless for data analysis. This reply discusses some of the axiomatic properties that any reasonably useful definition of "mean" should have.


Basic Axioms

A usefully broad definition of "mean" for the purpose of data analysis would be any sequence of well-defined, deterministic functions fn:AnA for AR and n=1,2, such that

(1) min(x)fn(x)max(x) for all x=(x1,x2,,xn)An (a mean lies between the extremes),

(2) fn is invariant under permutations of its arguments (means do not care about the order of the data), and

(3) each fn is nondecreasing in each of its arguments (as the numbers increase, their mean cannot decrease).

We must allow for A to be a proper subset of real numbers (such as all positive numbers) because plenty of means, such as geometric means, are defined only on such subsets.

We might also want to add that

(1') there exists at least some xA for which min(x)fn(x)max(x) (means are not extremes). (We cannot require that this always hold. For instance, the median of (0,0,,0,1) equals 0, which is the minimum.)

These properties seem to capture the idea behind a "mean" being some kind of "middle value" of a set of (unordered) data.

Consistency axioms

I am further tempted to stipulate the rather less obvious consistency criterion

(4.a) The range of fn+1(t,x1,x2,,xn) as t varies throughout the interval [min(x),max(x)] includes fn(x). In other words, it is always possible to leave the mean unchanged by adjoining an appropriate value t to a dataset. In conjunction with (3), it implies that adjoining extreme values to a dataset will pull the mean towards those extremes.

If we wish to apply the concept of mean to a distribution or "infinite population", then one way would be to obtain it in the limit of arbitrarily large random samples. Of course the limit might not always exist (it does not exist for the arithmetic mean when the distribution has no expectation, for instance). Therefore I do not want to impose any additional axioms to guarantee the existence of such limits, but the following seems natural and useful:

(4.b) Whenever A is bounded and xn is a sequence of samples from a distribution F supported on A, then the limit of fn(xn) almost surely exists. This prevents the mean from forever "bouncing around" within A even as sample sizes get larger and larger.

Along the same lines, we could further narrow the idea of a mean to insist that it become a better estimator of "location" as sample sizes increase:

(4.c) Whenever A is bounded, then the variance of the sampling distribution of fn(X(n)) for a random sample X(n)=(X1,X2,,Xn) of F is nondecreasing in n.

Continuity axiom

We might consider asking means to vary "nicely" with the data:

(5) fn is separately continuous in each argument (a small change in the data values should not induce a sudden jump in their mean).

This requirement might eliminate some strange generalizations, but it does not rule out any well-known mean. It will rule out some aggregation functions.

An invariance axiom

We can conceive of means as applying to either interval or ratio data (in Stevens' well-known sense). We cannot demand they be invariant under shifts of location (the geometric mean is not), but we can require

(6) fn(λx)=λfn(x) for all xAn and all λ>0 for which λxAn. This says only that we are free to compute fn using any units of measurement we like.

All the means mentioned in the question satisfy this axiom except for some aggregation functions.


Discussion

General aggregation functions f2, as described in the question, do not necessarily satisfy axioms (1'), (2), (3), (5), or (6). Whether they satisfy any consistency axioms may depend on how they are extended to n>2.

The usual sample median enjoys all these axiomatic properties.

We could augment the consistency axioms to include

(4.d) f2n(x;x)=fn(x) for all xAn.

This implies that when all elements of a dataset are repeated equally often, the mean does not change. This may be too strong, though: the Winsorized mean does not have this property (except asymptotically). The purpose of Winsorizing at the 100α% level is to provide resistance against changes in at least 100α% of the data at either extreme. For instance, the 10% Winsorized mean of (1,2,3,6) is the arithmetic mean of (2,2,3,3), equal to 2.5, but the 10% Winsorized mean of (1,1,2,2,3,3,6,6) is 3.5.

I do not know which of the consistency axioms (4.a), (4.b), or (4.c) would be most desirable or useful. They appear to be independent: I don't think any two of them imply the third.

whuber
źródło
(+1) I think (1'), "means are not extremes", is an interesting point. Many otherwise natural definitions of mean happen to include the minimum and maximum as special or limiting cases: this is true of power means, Lehmer means, Fréchet mean, Chisini mean and Stolarsky mean. Though it does seem a bit odd to refer to them as "average"!
Silverfish
Yes, limiting cases are unavoidable. But for finite datasets we might want to insist that neither the max nor the min qualify as "means."
whuber
On the other hand, not only is it true that "the usual sample median enjoys all these axiomatic properties", but so do the usual sample quantile (unless I've missed something). It also feels a bit odd to refer to e.g. the upper quartile as a "mean" (though I've seen it used as a measure of central tendency on very skewed data). If we accept all other quantiles, it no longer feels quite so perverse to admit minima and maxima. But I can certainly see it may be desirable to at least retain the right to exclude them.
Silverfish
1
I am not perturbed by the admission of quantiles into the pantheon of means. After all, for given families of distributions, certain non-median quantiles will coincide with arithmetic means, so you could be in trouble if you tried to eliminate this possibility axiomatically. (Consider a family of lognormal distributions of constant geometric SD, for instance.) If the arithmetic mean cannot qualify as a mean, all is lost!
whuber
1
I have considered that approach and rejected it, as explained in my answer: if you apply such a criterion for n>2, you eliminate the median as a form of mean!
whuber
2

I think the median can be considered a type of a generalization of the arithmetic mean. Specifically, the arithmetic mean and the median (among others) can be unified as special cases of the Chisini mean. If you are going to perform some operation over a set of values, the Chisini mean is a number that you can substitute for all of the original values in the set and still get the same result. For example, if you want to sum your values, replacing all the values with the arithmetic mean will yield the same sum. The idea is that a certain value is representative of the numbers in the set in the context of a certain operation over those numbers. (An interesting implication of this way of thinking is that a given value—the arithmetic mean—can only be considered representative under the assumption that you are doing certain things with those numbers.)

This is less obvious for the median (and I note that the median is not listed as one of the Chisini means on Wolfram or Wikipedia), but if you were to allow operations over ranks, the median could fit within the same idea.

gung - Reinstate Monica
źródło
This is a very interesting suggestion. Could you suggest a suitable operation, so that for a median M we would have f(M,M,...,M)=f(x1,x2,...,xn)?
Silverfish
That's a good question, @Silverfish, I've been thinking about that ;-). My thinking is more that, in your Q & the discussion in comments, the conceptual framework seems to be how to get the mean & how to get the data back from the mean; OTOH, my framing is what we use the mean for: viz as a compressed representation of the data w/ the minimum information loss.
gung - Reinstate Monica
I've added some citations to the question which show a wider range of conceptual frameworks, including this one. At the moment I can't see a better f than "take the median", which doesn't quite seem within the spirit of the piece!
Silverfish
@Silverfish, I grant that does seem like a somewhat problematic hole in my position.
gung - Reinstate Monica
While the insight from Chisini's set-up is that, for example, the arithmetic mean preserves the sum, while the geometric mean preserves the product, it's still true (just less interesting) that the arithmetic mean of (x¯,x¯,...,x¯) is also x¯ and so on. So I'm not convinced it's a fatal blow.
Silverfish
-1

The question is not well defined. If we agree on the common "street" definition of mean as the sum of n numbers divided by n then we have a stake in the ground. Further If we would look at measures of central tendency we could say both Mean and Median are generealization but not of each other. Part of my background is in non parametrics so I like the median and the robustness it provides, invariance to monotonic transformation and more. but each measure has it's place depending on objective.

Bob Clauss
źródło
2
Welcome to our site, Bob. I believe that if you read to the end of the question--especially the long penultimate paragraph--you will discover that it is precise and well-defined. (If not, it would be a good idea to explain what you mean by "not well defined.) Your comments don't really seem to address what is being asked.
whuber
1
I actually sympathise with Bob's feeling that the question is not terribly well-defined, in the sense that the concept of "mean" does not have a single definition, but I have tried my best to make things as clear as possible. I hope my most recent edit helps clarify things.
Silverfish
1
The reason I feel the question has some value other than mere terminology (what does mean mean anyway, and is there a definition we can stretch as far as to include the median?) is that it may be instructive to see the median as just one member of a family of generalizations of the mean; Nick Cox's example of the median as a limiting case of the trimmed mean is particularly nice - it ties in neatly with the "robustness" property you like. In the family of trimmed means, the "street" arithmetic mean and the median lie at opposite ends with a spectrum between them.
Silverfish