Obliczanie nowego odchylenia standardowego przy użyciu starego odchylenia standardowego po zmianie zestawu danych

Mam tablicę $n$ wartości rzeczywistych, co ma średnią $\mu_{old}$ i odchylenie standardowe $\sigma_{old}$ . Jeśli element tablicy $x_i$ zostanie zastąpiony innym elementem , wówczas nowa średnia będzie $x_j$

$\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n}$

Zaletą tego podejścia jest to, że wymaga ciągłego obliczania niezależnie od wartości . Czy istnieje jakieś podejście do obliczania przy użyciu podobnie jak obliczenia przy użyciu ? $n$ $\sigma_{new}$ $\sigma_{old}$ $\mu_{new}$ $\mu_{old}$

standard-deviation online użytkownik
źródło

Czy to zadanie domowe? Bardzo podobne zadanie zostało zadane w naszym kursie statystyki matematycznej ...

krlmlr

@ user946850: Nie, to nie zadanie domowe. Prowadzę pracę magisterską na temat algorytmu ewolucyjnego . Chcę użyć odchylenia standardowego jako miary różnorodności populacji. Po prostu szukam bardziej wydajnego rozwiązania.

użytkownik

SD jest pierwiastkiem kwadratowym wariancji, która jest tylko średnią kwadratową wartością (skorygowaną o wielokrotność kwadratowej średniej, którą już wiesz, jak zaktualizować). Dlatego te same metody, które zastosowano do obliczenia średniej bieżącej, można zastosować bez żadnych fundamentalnych zmian w celu obliczenia wariancji bieżącej. W rzeczywistości o wiele bardziej wyrafinowane statystyki można obliczyć w trybie online przy użyciu tych samych pomysłów: na przykład zobacz wątki na stats.stackexchange.com/questions/6920 i stats.stackexchange.com/questions/23481 .

whuber

@whuber: Zostało to wspomniane w artykule Wikipedii dotyczącym wariancji , ale także z uwagą na temat katastrofalnego anulowania (lub utraty znaczenia), które mogą wystąpić. Czy jest to przereklamowane, czy stanowi prawdziwy problem dla wariancji bieżącej?

krlmlr

To świetne pytanie. Jeśli gromadzisz wariancje naiwnie, bez uprzedniego ich centrowania, naprawdę możesz wpaść w kłopoty. Problem występuje, gdy liczby są ogromne, ale ich wariancja jest niewielka. Weźmy na przykład szereg dokładnych pomiarów prędkości światła wm / s, jak w 299792458.145, 299792457.883, 299792457.998, ...: ich wariancja, która wynosi około 0,01, jest tak mała w porównaniu do ich kwadratów, która wynosi około , nieostrożne obliczenia (nawet z podwójną precyzją) spowodują zerową wariancję: wszystkie znaczące cyfry znikną.

10^{17}

$10^{17}$

whuber

Odpowiedzi:

Część artykułu w Wikipedii „Algorytmy obliczania wariancji” pokazuje, jak obliczyć wariancję, jeśli do twoich obserwacji zostaną dodane elementy. (Przypomnij, że odchylenie standardowe jest pierwiastkiem kwadratowym wariancji.) Załóżmy, że dodajesz do tablicy, a następnie $x_{n+1}$

σ_{n e w}^{2} = σ_{o l d}^{2} + (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \sigma_{old}^2 + (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

EDYCJA : Powyższa formuła wydaje się nieprawidłowa, patrz komentarz.

Teraz zastąpienie elementu oznacza dodanie obserwacji i usunięcie kolejnego; oba można obliczyć za pomocą powyższego wzoru. Należy jednak pamiętać, że mogą wystąpić problemy ze stabilnością liczbową; cytowany artykuł proponuje również warianty stabilne numerycznie.

Aby wyprowadzić formułę samodzielnie, oblicz używając definicji wariancji próbki i podstawiając wzorem podanym w razie potrzeby. To daje ci na końcu, a zatem wzór na danym i $(n-1)(\sigma_{new}^2 - \sigma_{old}^2)$ $\mu_{new}$ $\sigma_{new}^2 - \sigma_{old}^2$ $\sigma_{new}$ $\sigma_{old}$ . W moim zapisie, zakładam wymienić element przez : $\mu_{old}$ $x_n$ $x_n'$

\begin{array}{rcl} σ^{2} & = & (n - 1)^{- 1} \sum_{k} (x_{k} - μ)^{2} \\ (n - 1) (σ_{n e w}^{2} - σ_{o l d}^{2}) & = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{n e w})^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{n e w})^{2} - (x_{n} - μ_{o l d})^{2}) \\ = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{n} - μ_{o l d})^{2}) \end{array}

$\begin{eqnarray*} \sigma^2 &=& (n-1)^{-1} \sum_k (x_k - \mu)^2 \\ (n-1)(\sigma_{new}^2 - \sigma_{old}^2) &=& \sum_{k=1}^{n-1} ((x_k - \mu_{new})^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{new})^2 - (x_n - \mu_{old})^2) \\ &=& \sum_{k=1}^{n-1} ((x_k - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_n - \mu_{old})^2) \\ \end{eqnarray*}\\$

w sumie przekształcić w coś zależnego od , ale będziesz musiał pracować równania nieco więcej czerpać schludny wynik. To powinno dać ci ogólny pomysł. $x_k$ $\mu_{old}$

krlmlr
źródło

pierwsza formuła, którą podałeś, nie wydaje się poprawna, cóż, oznacza to, że jeśli

jest mniejszy / większy niż od nowej i starej średniej, wariancja zawsze rośnie, co nie ma żadnego sensu. Może się zwiększać lub zmniejszać w zależności od dystrybucji.

x_{n + 1}

$x_{n+1}$

Emmet B

@EmmetB: Tak, masz rację - prawdopodobnie powinno to być

σ_{n e w}^{2} = \frac{n - 1}{n} σ_{o l d}^{2} + \frac{1}{n} (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \frac{n-1}{n} \sigma_{old}^2 + \frac{1}{n} (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$ Unfortunately, this renders void my whole discussion from there, but I'm leaving it for historic purposes. Feel free to edit, though.

krlmlr

Based on what i think i'm reading on the linked Wikipedia article you can maintain a "running" standard deviation:

real sum = 0;
int count = 0;
real S = 0;
real variance = 0;

real GetRunningStandardDeviation(ref sum, ref count, ref S, x)
{
   real oldMean;

   if (count >= 1)
   {
       real oldMean = sum / count;
       sum = sum + x;
       count = count + 1;
       real newMean = sum / count;

       S = S + (x-oldMean)*(x-newMean)
   }
   else
   {
       sum = x;
       count = 1;
       S = 0;         
   }

   //estimated Variance = (S / (k-1) )
   //estimated Standard Deviation = sqrt(variance)
   if (count > 1)
      return sqrt(S / (count-1) );
   else
      return 0;
}

Although in the article they don't maintain a separate running sum and count, but instead have the single mean. Since in thing i'm doing today i keep a count (for statistical purposes), it is more useful to calculate the means each time.

Ian Boyd
źródło

Given original $\bar x$ , $s$ , and $n$ , as well as the change of a given element $x_n$ to $x_n'$ , I believe your new standard deviation $s'$ will be the square root of

s^{2} + \frac{1}{n - 1} (2 n Δ \bar{x} (x_{n} - \bar{x}) + n (n - 1) (Δ \bar{x})^{2}),

$s^2 + \frac{1}{n-1}\left(2n\Delta \bar x(x_n-\bar x) +n(n-1)(\Delta \bar x)^2\right),$ where

Δ \bar{x} = {\bar{x}}^{'} - \bar{x}

$\Delta \bar x = \bar x' - \bar x$ , with

{\bar{x}}^{'}

$\bar x'$ denoting the new mean.

Maybe there is a snazzier way of writing it?

I checked this against a small test case and it seemed to work.

Whistling in the Dark
źródło

@john / whistling in the Dark: I liked your answer, it seems work properly in my small dataset. Is there any mathematical foundation/reference on it? Could you kindly help?

Alok Chowdhury

The question was all @Whistling in the Dark, I just cleaned it up for the site. You should pose a new question referencing the question and answer here. And also you should upvote this answer if you feel that way.

John