Dlaczego miary dyspersji są mniej intuicyjne niż centralność?

Wydaje się, że w naszym ludzkim rozumieniu jest coś, co stwarza trudności w intuicyjnym uchwyceniu idei wariancji. W wąskim znaczeniu odpowiedź jest natychmiastowa: podniesienie kwadratu odciąga nas od refleksyjnego zrozumienia. Ale czy to tylko wariancja powoduje problemy, czy też cała idea rozprzestrzeniania się w danych? Szukamy schronienia w zasięgulub po prostu określając minimum i maksimum, ale czy po prostu unikamy prawdziwych trudności? W środku (tryb lub mediana) znajdujemy centrum, podsumowanie ... uproszczenie; wariancja rozprzestrzenia rzeczy i sprawia, że ​​czują się niekomfortowo. Człowiek prymitywny z pewnością wykorzystałby ten środek w polowaniu na zwierzęta, triangulując do modlitwy, ale przypuszczam, że znacznie później poczuliśmy potrzebę oszacowania rozprzestrzeniania się rzeczy. W rzeczywistości termin wariancja został po raz pierwszy wprowadzony przez Ronalda Fishera w 1918 r. W artykule „Korelacja między krewnymi a przypuszczeniem dziedziczenia mendlowskiego”.

Większość osób śledzących tę wiadomość usłyszałaby historię niefortunnego wystąpienia Larry'ego Summersa o zdolnościach matematycznych według płci , które prawdopodobnie były związane z jego odejściem z Harvardu. Krótko mówiąc, zasugerował szerszą wariancję w rozkładzie kompetencji matematycznych wśród mężczyzn w porównaniu do kobiet, mimo że obie płcie cieszyły się tym samym środkiem. Niezależnie od stosowności lub implikacji politycznych wydaje się to uzasadnione w literaturze naukowej .

Co ważniejsze, być może zrozumienie takich kwestii, jak zmiana klimatu - proszę wybaczcie mi, że podniosłem tematy, które mogą prowadzić do zupełnie nieuzasadnionych dyskusji - przez ogół społeczeństwa może być wspomagane przez lepszą znajomość idei wariancji.

Problem ten się pogłębia, gdy próbujemy zrozumieć kowariancję, jak pokazano w tym poście , z doskonałą i kolorową odpowiedzią @whuber tutaj .

Kuszące może być odrzucenie tego pytania jako zbyt ogólnego, ale jasne jest, że omawiamy je pośrednio, tak jak w tym poście , w którym matematyka jest trywialna, ale koncepcja wciąż jest nieuchwytna, opierając się na wygodniejszej akceptacji zasięgu jako w przeciwieństwie do bardziej dopracowanej wariancji pomysłu .

W liście od Fishera do EBFord , odnoszącym się do kontrowersji dotyczących jego podejrzeń dotyczących eksperymentów mendlowskich, czytamy: „Teraz, kiedy dane zostały sfałszowane, wiem bardzo dobrze, jak ogólnie ludzie nie doceniają częstotliwości odchyleń szerokich szans , tak że tendencja do tego, by zawsze zbyt dobrze zgadzali się z oczekiwaniami ... odchylenia [w danych Mendla] są szokująco małe ”. Wielki RA Fisher tak bardzo podejrzewa małe różnice w małych próbkach, że pisze : „pozostaje możliwość, między innymi, że Mendel został oszukany przez jakiegoś asystenta, który zbyt dobrze wiedział, czego się spodziewać”.

I jest całkiem możliwe, że ta tendencja do zaniżania lub nieporozumień rozprzestrzenia się dzisiaj. Jeśli tak, to czy istnieje jakieś wytłumaczenie, dlaczego jesteśmy bardziej zadowoleni z koncepcji centralności niż z rozproszenia? Czy jest coś, co możemy zrobić, aby internalizować ten pomysł?

Niektóre koncepcje „widzimy” w mgnieniu oka, a następnie nie, ale je akceptujemy i przechodzimy dalej. Na przykład lub , ale tak naprawdę nie musimy nawet wiedzieć o tych tożsamościach, aby podejmować decyzje w naszym codziennym życiu. To samo nie dotyczy wariancji. Czy nie powinno to być bardziej intuicyjne?E = m c $\small e^{i\pi}+1=0$$\small E=mc^2$

Nassim Taleb stworzył fortunę, stosując swoje (no, naprawdę Benoita Mandelbrota ) postrzeganie błędnego zrozumienia wariancji do wykorzystywania czasów kryzysu, i starał się, aby pojęcie to było zrozumiałe dla mas z takimi zdaniami, jak: „wariancja wariancji jest epistemologicznie , miara braku wiedzy na temat braku wiedzy o środku "- tak, jest więcej kontekstu dla tego kęsa ... I na jego uznanie, uprościł to również dzięki pomysłowi Święto Dziękczynienia Turcji . Można argumentować, że kluczem do inwestowania jest zrozumienie wariancji (i kowariancji).

Dlaczego więc jest tak ślisko i jak temu zaradzić? Bez wzorów ... tylko intuicja lat radzenia sobie z niepewnością ... Nie znam odpowiedzi, ale nie jest to matematyka (niekoniecznie tak jest): na przykład zastanawiam się, czy idea kurtozy zakłóca wariancję. Na poniższym wykresie mamy dwa histogramy pokrywające się z praktycznie taką samą wariancją; jednak moją reakcją szarpnięcia kolanem jest to, że ten z najdłuższymi ogonami i najwyższym szczytem (wyższa kurtoza) jest bardziej „rozpostarty”:

Podzielam twoje odczucie, że wariancja jest nieco mniej intuicyjna. Co ważniejsze, wariancja jako miara jest zoptymalizowana dla niektórych rozkładów i ma mniejszą wartość dla rozkładów asymetrycznych. Średnia absolutna różnica od średniej nie jest moim zdaniem bardziej intuicyjna, ponieważ wymaga wybrania średniej jako miary tendencji centralnej. Wolę średnią różnicę Giniego - średnią bezwzględną różnicę nad wszystkimi parami obserwacji. Jest intuicyjny, solidny i wydajny. Jeśli chodzi o wydajność, jeżeli dane pochodzą z rozkładu Gaussa, średnia różnica Giniego z odpowiednim współczynnikiem przeskalowania zastosowanym do niego wynosi 0,98 równie wydajna jak odchylenie standardowe próbki. Istnieje skuteczna formuła obliczania średniej różnicy Giniego po sortowaniu danych. Kod R znajduje się poniżej.

w <- 4 * ((1:n) - (n - 1)/2)/n/(n - 1)
sum(w * sort(x - mean(x)))

Oto niektóre z moich myśli. Nie odnosi się do każdego kąta, z którego można spojrzeć na swoje pytanie, w rzeczywistości jest wiele rzeczy, których nie dotyczy (pytanie wydaje się nieco szerokie).

Dlaczego świeckim trudno jest zrozumieć matematyczne obliczenia wariancji?

Rozbieżność polega zasadniczo na tym, jak rozłożone są rzeczy. Jest to dość łatwe do zrozumienia, ale sposób, w jaki jest obliczany, może wydawać się laikowi sprzeczny z intuicją.

Problem polega na tym, że różnice od średniej są podniesione do kwadratu (a następnie uśrednione), a następnie zrootowane do uzyskania odchylenia standardowego. Możemy zrozumieć, dlaczego ta metoda jest konieczne - potęgowania jest, aby wartości dodatnie, a następnie są one zakorzenione kwadrat, aby uzyskać oryginalne jednostki. Jednak laik może być mylony z tym, dlaczego liczby są kwadratowe i pierwiastkowe. Wygląda na to, że się anuluje (nie robi), więc wydaje się bezcelowe / dziwne.

Bardziej intuicyjne jest dla nich ustalenie spreadu poprzez uśrednienie bezwzględnych różnic między średnią a każdym punktem (zwanym Średnim absolutnym odchyleniem). Ta metoda nie wymaga kwadratowania i rootowania, więc jest o wiele bardziej intuicyjna.

Zauważ, że fakt, że średnie bezwzględne odchylenie jest prostsze, nie oznacza, że ​​jest „lepszy”. Debata na temat tego, czy użyć wartości kwadratu, czy wartości bezwzględnej, trwa od stulecia, z udziałem wielu wybitnych statystyk, więc przypadkowa osoba taka jak ja nie może się tu po prostu pokazać i powiedzieć, że jedna jest lepsza. (Uśrednianie kwadratów w celu znalezienia wariancji jest oczywiście bardziej popularne)

W skrócie: Kwadrat w celu znalezienia wariancji wydaje się mniej intuicyjny dla laików, którzy uznaliby, że uśrednianie różnic bezwzględnych jest prostsze. Nie sądzę jednak, aby ludzie mieli problem ze zrozumieniem idei rozprzestrzeniania się

Oto moja opinia na twoje pytanie.

Zacznę od zakwestionowania wyżej wymienionej odpowiedzi, a następnie spróbuję wyrazić swoją opinię.

Pytanie do poprzedniej hipotezy:

Czy to naprawdę kwadraty sprawiają, że trudno jest zrozumieć miary dyspersji, takie jak Kwadratowe odchylenie średnie? Zgadzam się, że kwadrat utrudnia wprowadzanie złożoności matematycznej, ale jeśli odpowiedzią byłyby tylko kwadraty, średnie bezwzględne odchylenie byłoby równie łatwe do zrozumienia i mierników centralności.

Opinia:

Myślę, że tym, co utrudnia nam zrozumienie miar dyspersji, jest to, że sama dyspersja jest informacją dwuwymiarową. Próba podsumowania dwuwymiarowej informacji w jednej metryki oznacza częściową utratę informacji, co w konsekwencji powoduje zamieszanie.

Przykład:

Przykład, który może pomóc w wyjaśnieniu powyższej koncepcji, jest następujący. Zdobądźmy 2 różne zestawy danych:

1. Podąża za rozkładem Gaussa
2. Następuje nieznany i asymetryczny rozkład

Załóżmy również, że dyspersja pod względem odchylenia standardowego wynosi 1,0.

Mój umysł interpretuje rozproszenie zbioru 1 znacznie jaśniej niż rozproszenie zestawu 2. W tym konkretnym przypadku wyjaśniono powód mojego lepszego zrozumienia, wiedząc, że z góry dwuwymiarowy kształt rozkładu pozwala mi zrozumieć miarę rozkładu w warunki prawdopodobieństwa wokół scentralizowanej średniej Gaussa. Innymi słowy, rozkład Gaussa dał mi dwuwymiarową wskazówkę, której potrzebowałem, aby lepiej przetłumaczyć z miary dyspersji.

Wniosek:

Podsumowując, nie ma konkretnego sposobu na uchwycenie w jednym odchyleniu Zmierz wszystko, co jest w dwuwymiarowej informacji. To, co zwykle robię, aby zrozumieć dyspersję, nie patrząc bezpośrednio na samą dystrybucję, to połączenie wielu środków, które wyjaśniają pewien rozkład. Skonfigurują kontekst, w którym mój umysł będzie lepiej rozumiał samą miarę dyspersji. Gdybym mógł skorzystać z wykresów, z pewnością wykresy pudełkowe są naprawdę przydatne do wizualizacji.

Świetna dyskusja, która sprawiła, że ​​dużo się zastanowiłem. Z przyjemnością usłyszę Twoją opinię.

Myślę, że prostym powodem, dla którego ludzie mają trudniejszy czas ze zmiennością (niezależnie od tego, czy jest to wariancja, odchylenie standardowe, MAD, czy cokolwiek innego) jest to, że nie można tak naprawdę zrozumieć zmienności, dopóki nie zrozumie się idei centrum. Jest tak, ponieważ wszystkie miary zmienności są mierzone na podstawie odległości od centrum.

Pojęcia takie jak średnia i mediana są pojęciami równoległymi, możesz nauczyć się jednego z nich jako pierwszy, a niektórzy ludzie mogą lepiej zrozumieć jednego, a inni zrozumieją drugiego. Ale rozpiętość mierzona jest od środka (dla pewnej definicji środka), więc tak naprawdę nie może być najpierw zrozumiana.