Obliczanie błędu standardowego po transformacji dziennika

19

Rozważ losowy zestaw liczb, które są zwykle dystrybuowane:

x <- rnorm(n=1000, mean=10)

Chcielibyśmy poznać średnią i błąd standardowy średniej, dlatego wykonujemy następujące czynności:

se <- function(x) { sd(x)/sqrt(length(x)) }
mean(x) # something near 10.0 units
se(x)   # something near 0.03 units

Świetny!

Załóżmy jednak, że niekoniecznie wiemy, że nasza pierwotna dystrybucja przebiega normalnie. Logujemy transformacje danych i wykonujemy te same standardowe obliczenia błędów.

z <- log(x, base=10)
mean(z) # something near 1 log units
se(z)   # something near 0.001 log units

Fajnie, ale teraz musimy dokonać transformacji wstecznej, aby uzyskać odpowiedź w jednostkach NIE w dziennikach.

10^mean(z) # something near 10.0 units
10^se(z)   # something near 1.00 units

Moje pytanie: Dlaczego w przypadku rozkładu normalnego błąd standardowy różni się w zależności od tego, czy został obliczony na podstawie samego rozkładu, czy też został przekształcony, obliczony i poddany transformacji wstecznej? Uwaga: środki wyszły tak samo, niezależnie od transformacji.

EDYCJA nr 1: Ostatecznie jestem zainteresowany obliczeniem średniej i przedziałów ufności dla danych normalnie rozłożonych, więc jeśli możesz podać jakieś wskazówki, jak obliczyć 95% CI na przekształconych danych, w tym jak przekształcić wstecz na ich jednostki macierzyste , Doceniłbym to!
EDYCJA KOŃCOWA nr 1

EDYCJA 2: Próbowałem użyć funkcji kwantylu, aby uzyskać 95% przedziały ufności:

quantile(x, probs = c(0.05, 0.95))     # around [8.3, 11.6]
10^quantile(z, probs = c(0.05, 0.95))  # around [8.3, 11.6]

Tak więc zbiega się to z tą samą odpowiedzią, co jest dobre. Jednak użycie tej metody nie zapewnia dokładnie tego samego interwału przy użyciu niestandardowych danych z „małymi” wielkościami próbek:

t <- rlnorm(10)
mean(t)                            # around 1.46 units
10^mean(log(t, base=10))           # around 0.92 units
quantile(t, probs = c(0.05, 0.95))                     # around [0.211, 4.79]
10^(quantile(log(t, base=10), probs = c(0.05, 0.95)))  # around [0.209, 4.28]

Którą metodę można uznać za „bardziej poprawną”. Zakładam, że ktoś wybrałby najbardziej zachowawczy szacunek?

Jako przykład, czy zgłosiłbyś ten wynik dla danych nienormalnych (t) jako mających średnią 0,92 jednostki z 95% przedziałem ufności wynoszącym [0,211, 4,79]?
KONIEC EDYCJI # 2

Dziękuję za Twój czas!

confidence-interval data-transformation descriptive-statistics zaskoczony
źródło

1

SE to SD podzielone przez pierwiastek kwadratowy z N. Nie tylko N.

Penguin_Knight

3

Dzięki! Naprawiłem ten problem. Pozostaje mi jednak problem.

zbity z tropu

12

Twój główny problem z początkowymi obliczeniami polega na tym, że nie ma dobrego powodu, dla którego powinien być podobny do . Na ogół jest zupełnie inaczej. $e^{\text{sd}(\log(Y))}$ $\text{sd}(Y)$

W niektórych sytuacjach można obliczyć przybliżone przybliżenie z poprzez rozszerzenie Taylora . $\text{sd}(Y)$ $\text{sd}(\log(Y))$

Var (g (X)) \approx {(g^{'} (μ_{X}))}^{2} σ_{X}^{2} .

$\text{Var}(g(X))\approx \left(g'(\mu_X)\right)^2\sigma^2_X\,.$

Jeśli uznamy za zmienną losową w skali logarytmicznej, tutaj $X$ $g(X)=\exp(X)$

Jeśli $\text{Var}(\exp(X))\approx \exp(\mu_X)^2\sigma_X^2$

następnie $\text{sd}(\exp(X))\approx \exp(\mu_X)\sigma_X$

Te pojęcia przenoszą się na rozkłady próbkowania.

Zwykle działa to dość dobrze, jeśli odchylenie standardowe jest naprawdę małe w porównaniu ze średnią, jak w twoim przykładzie.

> mean(y)
[1] 10
> sd(y)
[1] 0.03
> lm=mean(log(y))
> ls=sd(log(y))
> exp(lm)*ls
[1] 0.0300104

Jeśli chcesz przekształcić element CI dla parametru , działa to poprzez transformację punktów końcowych.

Jeśli próbujesz przekształcić z powrotem w celu uzyskania oszacowania punktu i interwału dla średniej na oryginalnej (niezalogowanej) skali, będziesz również chciał rozdzielić oszacowanie średniej (patrz powyższy link): , więc ( bardzo ) przybliżony duży przedział prób dla średniej może wynosić , gdzie są górną i dolną granicą przedziału skali logarytmicznej, a jest pewnym spójnym oszacowaniem . $E(\exp(X))\approx \exp(\mu_X)\cdot (1+\sigma_X^2/2)$ $(c.\exp(L),c.\exp(U))$ $L,U$ $c$ $1+\sigma_X^2/2$

Jeśli twoje dane są w przybliżeniu normalne w skali logów, możesz potraktować je jako problem tworzenia przedziału dla logarytmicznej średniej.

Glen_b - Przywróć Monikę
źródło

1

Dzięki Glen_b. Nigdy nie nauczyłem się tego w klasie statystyki.

zbity z tropu

2

Nie mam reputacji do komentowania, ale na wypadek, gdyby w tym poście wydarzyła się kolejna ciekawa dusza, od spojrzenia na link do rozszerzenia Taylora w Wikipedii, poprawne oszacowanie średniej powinno być W przeciwnym razie, jeśli , możesz nie docenić

\begin{array}{rcl} E [f (X)] & \approx & f (μ_{X}) + \frac{f^{''} (μ_{X})}{2} σ_{X}^{2} \\ = & \exp (μ_{X}) (1 + \frac{σ_{X}^{2}}{2}) \end{array}

$\begin{eqnarray*}\text{E}[f(X)] &\approx& f(\mu_X)+\frac{f^{\prime\prime}(\mu_X)}{2}\sigma_X^2\\ &=& \exp(\mu_X)\left(1 +\frac{\sigma_X^2}{2}\right) \end{eqnarray*}$

\exp (μ_{x}) ≫ σ_{X}^{2}

$\exp(\mu_x)\gg\sigma_X^2$

E [\exp (X)]

$\text{E}[\exp(X)]$

deasmhumnha

Dzięki @Dezmond. Tak, to jest poprawne. Dodam poprawkę do mojej odpowiedzi, ta część pod koniec jest dość zniekształcona.

Glen_b

0

Wygląda na to, że skutecznie potrzebujesz standardowego błędu geometrycznego, zbliżonego do średniej geometrycznej exp(mean(log(x))).

Chociaż może się wydawać rozsądne obliczenie tego jako:

exp(sd(log(x)/sqrt(n-1)))

Ty i inni już zauważyliście, że to nie jest poprawne z kilku powodów. Zamiast tego użyj:

exp(mean(log(x))) * (sd(log(x))/sqrt(n-1))

Jest to średnia geometryczna pomnożona przez błąd standardu logarytmicznego. Powinno to całkiem dobrze przybliżyć naturalny błąd standardowy.

Źródło: https://www.jstor.org/stable/pdf/2235723.pdf

dmp
źródło

Obliczanie błędu standardowego po transformacji dziennika

Odpowiedzi: