Po co różnicować różnicę zamiast przyjmować wartość bezwzględną w odchyleniu standardowym?

W definicji odchylenia standardowego, dlaczego musimy wyrównać różnicę od średniej, aby uzyskać średnią (E) i wziąć pierwiastek kwadratowy z powrotem na końcu? Czy nie możemy po prostu wziąć zamiast tego wartości bezwzględnej różnicy i uzyskać oczekiwaną (średnią) z nich, i czy nie pokazałoby to również zmienności danych? Liczba będzie różna od metody kwadratowej (metoda wartości bezwzględnej będzie mniejsza), ale nadal powinna pokazywać rozkład danych. Czy ktoś wie, dlaczego przyjmujemy to kwadratowe podejście jako standard?

Definicja odchylenia standardowego:

$\sigma = \sqrt{E\left[\left(X - \mu\right)^2\right]}.$

Czy nie możemy po prostu wziąć zamiast tego wartości bezwzględnej i nadal być dobrym pomiarem?

$\sigma = E\left[|X - \mu|\right]$

Jeśli celem odchylenia standardowego jest podsumowanie rozproszenia symetrycznego zestawu danych (tj. Ogólnie, jak daleko jest każdy punkt odniesienia od średniej), potrzebujemy dobrej metody określania sposobu pomiaru tego rozproszenia.

Korzyści z kwadratu obejmują:

• Kwadrat zawsze daje wartość dodatnią, więc suma nie będzie wynosić zero.
• Kwadrat podkreśla większe różnice - cecha, która okazuje się zarówno dobra, jak i zła (pomyśl o odstających efektach).

Kwadrat ma jednak problem jako miara spreadu i polega na tym, że wszystkie jednostki są kwadratowe, podczas gdy możemy chcieć, aby spread był w tych samych jednostkach, co dane pierwotne (pomyśl o kwadratowych funtach, kwadratowych dolarach lub kwadratowych jabłkach) . Dlatego pierwiastek kwadratowy pozwala nam wrócić do oryginalnych jednostek.

Przypuszczam, że można powiedzieć, że różnica bezwzględna przypisuje jednakową wagę rozkładowi danych, a kwadratowanie podkreśla skrajności. Technicznie jednak, jak zauważyli inni, kwadratowanie znacznie ułatwia pracę z algebrą i oferuje właściwości, których nie robi metoda bezwzględna (na przykład wariancja jest równa oczekiwanej wartości kwadratu rozkładu minus kwadrat kwadratu średnia rozkładu)

Należy jednak zauważyć, że nie ma powodu, dla którego nie mógłbyś wziąć absolutnej różnicy, jeśli takie są twoje preferencje co do sposobu postrzegania „rozprzestrzeniania się” (tak, jak niektórzy ludzie postrzegają 5% jako magiczny prógwartości, kiedy w rzeczywistości zależy to od sytuacji). Rzeczywiście istnieje kilka konkurencyjnych metod pomiaru spreadu.$p$

Moim zdaniem, używam kwadratowych wartości, ponieważ lubię myśleć o tym, jak odnosi się to do Pitagorasa Twierdzenie Statystyki: … to pomaga mi również pamiętać, że podczas pracy z niezależnymi zmiennymi losowymi , dodają wariancje, odchylenia standardowe nie. Ale to tylko moje osobiste subiektywne preferencje, których używam głównie jako pomoc w zapamiętywaniu, możesz zignorować ten akapit.$c = \sqrt{a^2 + b^2}$

O wiele bardziej dogłębną analizę można przeczytać tutaj .

Kwadratowa różnica ma lepsze właściwości matematyczne; jest stale różnicowalny (miło, gdy chcesz go zminimalizować), jest wystarczającą statystyką dla rozkładu Gaussa i jest (wersją) normy L2, która jest przydatna do udowodnienia zbieżności i tak dalej.

Średnie odchylenie bezwzględne (sugerowana przez ciebie notacja wartości bezwzględnej) jest również stosowane jako miara dyspersji, ale nie jest tak „dobrze wychowane” jak błąd kwadratu.

Jednym ze sposobów myślenia o tym jest to, że odchylenie standardowe jest podobne do „odległości od średniej”.

Porównaj to z odległościami w przestrzeni euklidesowej - daje to prawdziwą odległość, gdzie to, co zasugerowałeś (co przy okazji jest absolutnym odchyleniem ), bardziej przypomina obliczanie odległości na Manhattanie .

Powodem , że możemy obliczyć odchylenie standardowe zamiast bezwzględnej błędu jest to, że jesteśmy zakładając błąd się rozkład normalny . To część modelu.

Załóżmy, że mierzysz bardzo małe długości za pomocą linijki, wówczas odchylenie standardowe jest złym miernikiem błędu, ponieważ wiesz, że nigdy nie zmierzysz przypadkowo długości ujemnej. Lepszym miernikiem byłoby dopasowanie rozkładu gamma do twoich pomiarów:

$\log(E(x)) - E(\log(x))$

Podobnie jak odchylenie standardowe, jest to również nieujemne i różnicowalne, ale jest to lepsza statystyka błędów dla tego problemu.

Odpowiedź, która mnie najbardziej usatysfakcjonowała, to to, że wypada naturalnie z uogólnienia próbki do n-wymiarowej przestrzeni euklidesowej. Z pewnością można dyskutować, czy należy to zrobić, ale w każdym razie:

Załóżmy, że twoje pomiarów są osiami w . Następnie twoje dane określają punkt w tej przestrzeni. Teraz możesz zauważyć, że wszystkie dane są do siebie bardzo podobne, więc możesz reprezentować je za pomocą pojedynczego parametru lokalizacji który jest ograniczony do linii określonej przez . Rzutowanie punktu danych na tę linię daje , a odległość od rzutowanego punktu do rzeczywistego punktu danych wynosi.X I R n x I x μ X i = μ μ = ˉ x μ 1 $n$$X_i$$\mathbb R^n$$x_i$$\bf x$$\mu$$X_i=\mu$$\hat\mu=\bar x$$\hat\mu\bf 1$$\sqrt{\frac{n-1} n}\hat\sigma=\|\bf x-\hat\mu\bf 1\|$

Dzięki takiemu podejściu otrzymujesz geometryczną interpretację korelacji, .$\hat\rho=\cos \angle(\vec{\bf\tilde x},\vec{\bf\tilde y})$

Wyrównanie różnicy ze średniej ma kilka powodów.

• Wariancja jest definiowana jako 2. moment odchylenia (RV tutaj jest ), a zatem kwadrat jako momenty są po prostu oczekiwaniami wyższych mocy zmiennej losowej.$(x-\mu)$

• Posiadanie kwadratu w przeciwieństwie do funkcji wartości bezwzględnej daje ładną funkcję ciągłą i różniczkowalną (wartość bezwzględna nie jest różniczkowalna przy 0) - co czyni ją naturalnym wyborem, szczególnie w kontekście szacowania i analizy regresji.

• Kwadratowa formuła naturalnie również wypada z parametrów rozkładu normalnego.

Jeszcze inny powód (oprócz doskonałych powyżej) pochodzi od samego Fishera, który wykazał, że odchylenie standardowe jest bardziej „wydajne” niż odchylenie bezwzględne. Tutaj efektywny ma związek z tym, o ile statystyki będą się zmieniać w zależności od różnych próbek z populacji. Jeśli twoja populacja jest normalnie rozłożona, odchylenie standardowe różnych próbek z tej populacji będzie średnio dawało ci wartości, które są do siebie bardzo podobne, podczas gdy odchylenie bezwzględne da ci liczby, które się nieco rozłożą. Oczywiście jest to w idealnych okolicznościach, ale ten powód przekonał wiele osób (wraz z czystą matematyką), więc większość ludzi pracowała ze standardowymi odchyleniami.

Aby ludzie wiedzieli, istnieje pytanie przepełnienia matematyki na ten sam temat.

Dlaczego-to-tak-fajne-do-kwadratowych-liczb-pod względem-znalezienia-odchylenia standardowego

Przesłanie „na wynos” jest takie, że zastosowanie pierwiastka kwadratowego wariancji prowadzi do łatwiejszej matematyki. Podobną odpowiedź udzielają Rich i Reed powyżej.

$\newcommand{\var}{\operatorname{var}}$ Warianty są addytywne: dla niezależnych zmiennych losowych , $X_1,\ldots,X_n$

$$\var(X_1+\cdots+X_n)=\var(X_1)+\cdots+\var(X_n).$$

Zauważ, co to umożliwia: Powiedzmy, że rzucam uczciwą monetą 900 razy. Jakie jest prawdopodobieństwo, że liczba głów, które dostanę, wynosi między 440 a 455 włącznie? Po prostu znajdź oczekiwaną liczbę głów ( ) i wariancję liczby głów ( ), a następnie znajdź prawdopodobieństwo z rozkładem normalnym (lub gaussowskim) z oczekiwaniem a odchylenie standardowe wynosi między a . Abraham de Moivre zrobił to z rzutami monet w XVIII wieku, pokazując tym samym po raz pierwszy, że krzywa w kształcie dzwonu jest coś warta.225 = 15 2 450 15 439,5 $450$$225=15^2$$450$$15$$439.5$$455.5$

Myślę, że kontrast między odchyleniami bezwzględnymi a odchyleniami do kwadratu staje się wyraźniejszy, gdy przejdziesz poza jedną zmienną i pomyślisz o regresji liniowej. Fajna dyskusja znajduje się na stronie http://en.wikipedia.org/wiki/Least_absolute_deviations , w szczególności sekcja „Kontrastowanie najmniejszych kwadratów z najmniejszymi odchyleniami absolutnymi”, która zawiera linki do niektórych ćwiczeń dla studentów za pomocą zgrabnego zestawu apletów na stronie http: // www .math.wpi.edu / Course_Materials / SAS / lablets / 7.3 / 73_choices.html .

Podsumowując, najmniejsze odchylenia bezwzględne są bardziej odporne na wartości odstające niż zwykłe najmniejsze kwadraty, ale mogą być niestabilne (niewielka zmiana nawet pojedynczego punktu odniesienia może dać dużą zmianę dopasowanej linii) i nie zawsze ma unikalne rozwiązanie - może istnieć cała gama dopasowanych linii. Również najmniejsze bezwzględne odchylenia wymagają iteracyjnych metod, podczas gdy zwykłe najmniejsze kwadraty mają proste rozwiązanie w formie zamkniętej, chociaż nie jest to już tak wielka sprawa, jak w czasach Gaussa i Legendre, oczywiście.

Jest wiele powodów; prawdopodobnie najważniejsze jest to, że działa dobrze jako parametr rozkładu normalnego.

Pod wieloma względami użycie odchylenia standardowego do podsumowania dyspersji przeskakuje do konkluzji. Można powiedzieć, że SD domyślnie zakłada rozkład symetryczny ze względu na równe traktowanie odległości poniżej średniej jako odległości powyżej średniej. SD jest zaskakująco trudna do interpretacji dla statystystów. Można argumentować, że średnia różnica Giniego ma szersze zastosowanie i jest znacznie bardziej zrozumiała. Nie wymaga od nikogo deklarowania wyboru miary tendencji centralnej, jak w przypadku średniej SD. Średnia różnica Giniego to średnia bezwzględna różnica między dowolnymi dwoma różnymi obserwacjami. Oprócz tego, że jest solidny i łatwy do interpretacji, okazuje się, że jest tak skuteczny jak SD, jeśli współczynnik rozkładu byłby Gaussa.

Oszacowanie standardowego odchylenia rozkładu wymaga wyboru odległości.
Można zastosować dowolną z następujących odległości:

$$d_n((X)_{i=1,\ldots,I},\mu)=\left(\sum | X-\mu|^n\right)^{1/n}$$

Zwykle używamy naturalnej odległości euklidesowej ( ), którą wszyscy używają w życiu codziennym. Proponowana odległość to ta, przy której . Obaj są dobrymi kandydatami, ale są inni.$n=2$$n=1$

Można też zdecydować się na użycie .$n=3$

Nie jestem pewien, czy spodoba ci się moja odpowiedź, moim argumentem w przeciwieństwie do innych nie jest wykazanie, że jest lepsze. Myślę, że jeśli chcesz oszacować standardowe odchylenie rozkładu, możesz absolutnie użyć innej odległości.$n=2$

To zależy od tego, o czym mówisz, kiedy mówisz „rozprzestrzenianie się danych”. Dla mnie może to oznaczać dwie rzeczy:

1. Szerokość rozkładu próbkowania
2. Dokładność danego oszacowania

W przypadku punktu 1) nie ma szczególnego powodu, aby używać odchylenia standardowego jako miary rozproszenia, z wyjątkiem sytuacji, gdy występuje normalny rozkład próbkowania. Miara jest bardziej odpowiednią miarą w przypadku rozkładu próbkowania Laplace'a . Domyślam się, że użyto tutaj odchylenia standardowego z powodu intuicji przeniesionej z punktu 2). Prawdopodobnie także ze względu na sukces modelowania metodą najmniejszych kwadratów, dla którego odchylenie standardowe jest właściwą miarą. Prawdopodobnie również dlatego, że obliczenie jest ogólnie łatwiejsze niż obliczenie dla większości rozkładów.$E(|X-\mu|)$$E(X^2)$$E(|X|)$

Teraz, w punkcie 2) istnieje bardzo dobry powód, aby użyć wariancji / odchylenia standardowego jako miary rozproszenia, w jednym szczególnym, ale bardzo powszechnym przypadku. Widać to w przybliżeniu Laplace'a do tyłu. Z danymi i wcześniejszymi informacjami napisz tylną wartość parametru jako:$D$$I$$\theta$

$$p(\theta\mid DI)=\frac{\exp\left(h(\theta)\right)}{\int \exp\left(h(t)\right)\,dt}\;\;\;\;\;\;h(\theta)\equiv\log[p(\theta\mid I)p(D\mid\theta I)]$$

Użyłem jako zmiennej zastępczej, aby wskazać, że mianownik nie zależy od . Jeśli tylny ma jedno dobrze zaokrąglone maksimum (tj. blisko „granicy”), możemy zwiększyć prawdopodobieństwo logarytmu o jego maksimum . Jeśli weźmiemy dwa pierwsze warunki ekspansji Taylora, otrzymujemy (używając liczby pierwszej do różnicowania):$t$$\theta$$\theta_\max$

$$h(\theta)\approx h(\theta_\max)+(\theta_\max-\theta)h'(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

Ale mamy tutaj, że ponieważ jest „dobrze zaokrąglonym” maksimum, , więc mamy:$\theta_\max$$h'(\theta_\max)=0$

$$h(\theta)\approx h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

Po podłączeniu tego przybliżenia otrzymamy:

$$p(\theta\mid DI)\approx\frac{\exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

$$=\frac{\exp\left(\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

Który, ale dla notacji, jest rozkładem normalnym, ze średnią równą i wariancją równą$E(\theta\mid DI)\approx\theta_\max$

$$V(\theta\mid DI)\approx \left[-h''(\theta_\max)\right]^{-1}$$

( jest zawsze dodatnie, ponieważ mamy dobrze zaokrąglone maksimum). Oznacza to więc, że w „regularnych problemach” (których jest większość) wariancja jest podstawową wielkością, która określa dokładność oszacowań dla . Tak więc w przypadku szacunków opartych na dużej ilości danych odchylenie standardowe ma sens teoretycznie - mówi w zasadzie wszystko, co musisz wiedzieć. Zasadniczo ten sam argument ma zastosowanie (przy wymaganych tych samych warunkach) w przypadku wielowymiarowym z jest macierzą Hesji. Wpisy diagonalne również tutaj są zasadniczo wariancjami.$-h''(\theta_\max)$$\theta$$h''(\theta)_{jk}=\frac{\partial h(\theta)}{\partial \theta_j \, \partial \theta_k}$

Częstotliwość stosujący metodę maksymalnego prawdopodobieństwa dojdzie do zasadniczo tego samego wniosku, ponieważ MLE ma tendencję do ważenia kombinacji danych, a dla dużych próbek stosuje się Twierdzenie o granicy centralnej i uzyskuje się ten sam wynik, jeśli weźmiemy ale z i : (zobacz, czy możesz zgadnąć, który preferuję paradygmat: P). Tak czy inaczej, w szacowaniu parametrów odchylenie standardowe jest ważną teoretyczną miarą rozproszenia.θ θ max p ( θ max ∣ θ ) ≈ N ( θ , [ - h ″ ( θ max ) ] - 1$p(\theta\mid I)=1$$\theta$$\theta_\max$

$$p(\theta_\max\mid\theta)\approx N\left(\theta,\left[-h''(\theta_\max)\right]^{-1}\right)$$

„Dlaczego wyrównać różnicę” zamiast „przyjmować wartość bezwzględną”? Aby odpowiedzieć bardzo dokładnie, istnieje literatura, która podaje powody, dla których została przyjęta, i argumenty uzasadniające, że większość z tych powodów nie istnieje. „Czy nie możemy po prostu przyjąć wartości bezwzględnej ...?”. Zdaję sobie sprawę z literatury, w której odpowiedź brzmi „tak”, że jest to robione i uważa się, że jest to korzystne.

Autor Gorard stwierdza, po pierwsze, że stosowanie kwadratów było wcześniej przyjęte ze względu na prostotę obliczeń, ale te pierwotne powody już nie istnieją. Po drugie, Gorard stwierdza, że ​​OLS został przyjęty, ponieważ Fisher stwierdził, że wyniki w próbkach analiz wykorzystujących OLS miały mniejsze odchylenia niż te, które wykorzystywały różnice bezwzględne (z grubsza stwierdzone). Wydaje się zatem, że OLS może przynieść korzyści w pewnych idealnych okolicznościach; jednak Gorard zauważa, że ​​istnieje pewien konsensus (i twierdzi, że Fisher się zgodził), że w rzeczywistych warunkach (niedokładny pomiar obserwacji, nierównomierny rozkład, badania populacji bez wnioskowania z próby) użycie kwadratów jest gorsze niż różnice bezwzględne.

Odpowiedź Gorarda na twoje pytanie „Czy nie możemy po prostu wziąć bezwzględnej wartości różnicy i uzyskać oczekiwaną (średnią) z nich?” jest tak. Kolejną zaletą jest to, że stosowanie różnic daje miary (miary błędów i zmienności) związane ze sposobem, w jaki doświadczamy tych pomysłów w życiu. Gorard mówi, że wyobraź sobie ludzi, którzy równo dzielą rachunek w restauracji, a niektórzy mogą intuicyjnie zauważyć, że ta metoda jest niesprawiedliwa. Nikt nie poprawi błędów; różnice są najważniejsze.

Wreszcie, używając różnic bezwzględnych, zauważa, traktuje każdą obserwację jednakowo, podczas gdy przez kwadraty kontrastu różnice dają obserwacje słabo większe niż obserwacje przewidywane, co jest jak wielokrotne uwzględnianie niektórych obserwacji w badaniu. Podsumowując, jego ogólnym założeniem jest to, że nie ma dziś wielu wygrywających powodów, aby używać kwadratów, a przeciwnie, stosowanie bezwzględnych różnic ma zalety.

Bibliografia:

• Gorard, S. (2005). Przegląd 90-letniej debaty: zalety średniego odchylenia , British Journal of Educational Studies, 53 , 4, s. 417–430.
• Gorard, S. (2013). Możliwe zalety średniej wielkości „efektu” odchylenia bezwzględnego , Aktualizacja badań społecznych , 65: 1.

Ponieważ kwadraty pozwalają na użycie wielu innych operacji matematycznych lub funkcji łatwiej niż wartości bezwzględne.

Przykład: kwadraty można z łatwością integrować, różnicować, wykorzystywać w funkcjach trygonometrycznych, logarytmicznych i innych.

Podczas dodawania zmiennych losowych dodawane są ich wariancje dla wszystkich rozkładów. Odchylenie (a zatem odchylenie standardowe) jest użyteczną miarą dla prawie wszystkich rozkładów i w żadnym wypadku nie ogranicza się do rozkładów gaussowskich (czyli „normalnych”). To sprzyja wykorzystywaniu go jako naszej miary błędu. Brak wyjątkowości stanowi poważny problem z bezwzględnymi różnicami, ponieważ często występuje nieskończona liczba „pasowań” o jednakowej mierze, a jednak wyraźnie „faworyt” jest najbardziej realistycznie preferowany. Również w dzisiejszych komputerach wydajność obliczeniowa ma znaczenie. Pracuję z dużymi zestawami danych, a czas procesora jest ważny. Jednak nie ma jednej absolutnej „najlepszej” miary reszt, jak wskazano w niektórych wcześniejszych odpowiedziach. Różne okoliczności czasem wymagają różnych środków.

Oczywiście można opisać rozproszenie rozkładu w jakikolwiek znaczący sposób (odchylenie bezwzględne, kwantyle itp.).

Dobrym faktem jest to, że wariancja jest drugim centralnym momentem, a każdy rozkład jest jednoznacznie opisany przez swoje momenty, jeśli istnieją. Innym ciekawym faktem jest to, że wariancja jest znacznie łatwiejsza do obliczenia matematycznego niż jakakolwiek porównywalna metryka. Innym faktem jest to, że wariancja jest jednym z dwóch parametrów rozkładu normalnego dla zwykłej parametryzacji, a rozkład normalny ma tylko 2 niezerowe momenty centralne, które są tymi dwoma bardzo parametrami. Nawet w przypadku niestandardowych dystrybucji pomocne może być myślenie w normalnych ramach.

Moim zdaniem odchylenie standardowe istnieje jako takie, że w aplikacjach regularnie pojawia się pierwiastek kwadratowy wariancji (na przykład w celu standaryzacji losowej zmiennej), co wymagało nazwy.

Innym i być może bardziej intuicyjnym podejściem jest myślenie o regresji liniowej vs. regresji mediany.

Załóżmy, że naszym modelem jest . Następnie znajdujemy b poprzez zminimalizowanie oczekiwanej kwadratowej wartości resztkowej, .$\mathbb{E}(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} (y - x b)^2$

Jeśli zamiast tego naszym modelem jest Mediana , wówczas nasze oszacowania parametrów znajdujemy, minimalizując bezwzględne resztki,.$(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} |y - x b|$

Innymi słowy, czy zastosować błąd bezwzględny czy kwadratowy zależy od tego, czy chcesz modelować wartość oczekiwaną, czy wartość mediany.

Jeśli na przykład rozkład wykazuje zniekształconą heteroscedastyczność, wówczas istnieje duża różnica w tym, jak nachylenie oczekiwanej wartości zmienia się w stosunku do w jaki sposób nachylenie jest dla mediany wartości .$y$$x$$y$

Koenker i Hallock mają dobry przykład na temat regresji kwantylowej, gdzie regresja mediana jest szczególnym przypadkiem: http://master272.com/finance/QR/QRJEP.pdf .

Domyślam się, że: Większość populacji (rozkładów) gromadzi się wokół średniej. Im większa jest wartość od średniej, tym jest ona rzadsza. Aby odpowiednio wyrazić, jak „poza linię” jest wartość, należy wziąć pod uwagę zarówno jej odległość od średniej, jak i jej (zwykle mówiąc) rzadkość występowania. Kwadrat różnicy od średniej robi to w porównaniu z wartościami, które mają mniejsze odchylenia. Po uśrednieniu wszystkich odchyleń, można podjąć pierwiastek kwadratowy, który przywróci jednostki do ich pierwotnych wymiarów.

Kwadrat potęguje większe odchylenia.

Jeśli twoja próbka ma wartości, które są na całej tabeli, to aby uwzględnić 68,2% w pierwszym odchyleniu standardowym, twoje odchylenie standardowe musi być nieco szersze. Jeśli twoje dane zwykle spadają wokół średniej, σ może być ciaśniejsze.

Niektórzy twierdzą, że ma to uprościć obliczenia. Zastosowanie dodatniego pierwiastka kwadratowego kwadratu rozwiązałoby to, aby argument nie był zmienny.

$|x| = \sqrt{x^{2}}$

Gdyby więc celem była prostota algebraiczna, wyglądałoby to tak:

$\sigma = \text{E}\left[\sqrt{(x-\mu)^{2}}\right]$ co daje takie same wyniki jak .$\text{E}\left[|x-\mu|\right]$

Oczywiście podniesienie kwadratu powoduje również zwiększenie błędów zewnętrznych (doh!).

Po co różnicować różnicę zamiast przyjmować wartość bezwzględną w odchyleniu standardowym?

Różnicę x obliczamy na podstawie średniej, ponieważ odległość euklidesowa, proporcjonalna do pierwiastka kwadratowego stopni swobody (liczba x, w miary populacji), jest najlepszą miarą dyspersji.

Obliczanie odległości

Jaka jest odległość od punktu 0 do punktu 5?

• $5-0 = 5$ ,
• $|0-5| = 5$ i
• $\sqrt{5^2} = 5$

Ok, to jest trywialne, ponieważ jest to jeden wymiar.

Co powiesz na odległość dla punktu w punkcie 0, 0 do punktu 3, 4?

Jeśli możemy przejść tylko w 1 wymiarze na raz (jak w blokach miejskich), po prostu dodajemy liczby. (Jest to czasami znane jako odległość Manhattanu).

Ale co z przejściem w dwóch wymiarach jednocześnie? Następnie (zgodnie z twierdzeniem pitagorejskim, którego wszyscy nauczyliśmy się w szkole średniej), kwadratujemy odległość w każdym wymiarze, sumujemy kwadraty, a następnie pobieramy pierwiastek kwadratowy, aby znaleźć odległość od początku do punktu.

$$\sqrt{3^2 + 4^2} = \sqrt{25} = 5$$

Co powiesz na odległość od punktu na 0, 0, 0 do punktu 1, 2, 2?

To tylko

$$\sqrt{1^2+2^2 + 2^2} = \sqrt9 = 3$$

ponieważ odległość dla pierwszych dwóch x stanowi podstawę do obliczenia całkowitej odległości z końcowym x.

$$\sqrt{\sqrt{x_1^2 + x_2^2}^2 + x_3^2} = \sqrt{x_1^2 + x_2^2 + x_3^2}$$

Możemy nadal rozszerzać zasadę kwadratu odległości każdego wymiaru, co uogólnia do tego, co nazywamy odległością euklidesową, dla pomiarów ortogonalnych w przestrzeni hiper-wymiarowej, takich jak:

$$distance = \sqrt{ \sum_{i=1}^n{x_i^2} }$$

a zatem suma kwadratów prostokątnych jest odległością do kwadratu:

$$distance^2 = \sum_{i=1}^n{x_i^2}$$

Co czyni pomiar prostopadłym (lub prostopadłym) do drugiego? Warunkiem jest brak związku między dwoma pomiarami. Chcielibyśmy, aby te pomiary były niezależne i indywidualnie rozmieszczone ( iid ).

Zmienność

Teraz przywołaj wzór na wariancję populacji (z której otrzymamy standardowe odchylenie):

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}$$

Jeśli już wycentrowaliśmy dane na 0, odejmując średnią, mamy:

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i)^2} {n}$$

Widzimy więc, że wariancja jest tylko kwadratową odległością podzieloną przez liczbę stopni swobody (liczbę wymiarów, w których zmienne mogą się zmieniać). Jest to również średni wkład do na pomiar. „Średnia kwadratowa wariancja” byłaby również odpowiednim terminem.$distance^2$

Odchylenie standardowe

Następnie mamy odchylenie standardowe, które jest tylko pierwiastkiem kwadratowym wariancji:

$$\sigma = \sqrt{\frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}}$$

Jest to równoważna odległość podzielona przez pierwiastek kwadratowy stopni swobody:

$$\sigma = \frac{\sqrt{\displaystyle\sum_{i=1}^{n}(x_i)^2}} {\sqrt{n}}$$

Średnie odchylenie bezwzględne

Mean Absolute Deviation (MAD), jest miarą dyspersji, która wykorzystuje odległość Manhattanu lub sumę wartości bezwzględnych różnic od średniej.

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i - \mu|} {n}$$

Ponownie, zakładając, że dane są wyśrodkowane (średnia odjęta), mamy odległość Manhattanu podzieloną przez liczbę pomiarów:

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i|} {n}$$

Dyskusja

• Średnie bezwzględne odchylenie jest około 0,8 razy (w rzeczywistości$\sqrt{2/\pi}$ ) wielkości odchylenia standardowego dla normalnie rozproszonego zestawu danych.
• Niezależnie od rozkładu średnie bezwzględne odchylenie jest mniejsze lub równe odchyleniu standardowemu. MAD rozumie rozproszenie zbioru danych o ekstremalnych wartościach w stosunku do odchylenia standardowego.
• Średnie odchylenie bezwzględne jest bardziej odporne na wartości odstające (tj. Wartości odstające nie mają tak wielkiego wpływu na statystyki, jak na odchylenie standardowe.
• Geometrycznie rzecz biorąc, jeśli pomiary nie są względem siebie ortogonalne (iid) - na przykład, jeśli byłyby dodatnio skorelowane, średnie odchylenie bezwzględne byłoby lepszą statystyką opisową niż odchylenie standardowe, które opiera się na odległości euklidesowej (chociaż jest to zwykle uważane za dobre ).

Ta tabela odzwierciedla powyższe informacje w bardziej zwięzły sposób:

$$\begin{array}{lll} & MAD & \sigma \\ \hline size & \le \sigma & \ge MAD \\ size, \sim N & .8 \times \sigma & 1.25 \times MAD \\ outliers & robust & influenced \\ not\ i.i.d. & robust & ok \end{array}$$

Komentarze:

Czy masz odniesienie do „średnie odchylenie bezwzględne jest około .8 razy większe niż odchylenie standardowe dla normalnie rozproszonego zestawu danych”? Symulacje, które prowadzę, pokazują, że jest to nieprawidłowe.

Oto 10 symulacji miliona próbek ze standardowego rozkładu normalnego:

>>> from numpy.random import standard_normal
>>> from numpy import mean, absolute
>>> for _ in range(10):
...     array = standard_normal(1_000_000)
...     print(numpy.std(array), mean(absolute(array - mean(array))))
... 
0.9999303226807994 0.7980634269273035
1.001126461808081 0.7985832977798981
0.9994247275533893 0.7980171649802613
0.9994142105335478 0.7972367136320848
1.0001188211817726 0.798021564315937
1.000442654481297 0.7981845236910842
1.0001537518728232 0.7975554993742403
1.0002838369191982 0.798143108250063
0.9999060114455384 0.797895284109523
1.0004871065680165 0.798726062813422

Wniosek

Wolimy kwadratowe różnice przy obliczaniu miary dyspersji, ponieważ możemy wykorzystać odległość euklidesową, co daje nam lepszą opisową statystykę dyspersji. Gdy istnieją bardziej względnie ekstremalne wartości, odległość euklidesowa uwzględnia to w statystyce, podczas gdy odległość Manhattanu nadaje każdemu pomiarowi jednakową wagę.