Co oznacza „normalizacja” i jak sprawdzić, czy próbka lub rozkład są znormalizowane?

18

Mam pytanie, w którym prosi się o sprawdzenie, czy rozkład jednolity ( ${\rm Uniform}(a,b)$ ) jest znormalizowany.

Po pierwsze, co to znaczy znormalizować dowolny rozkład?
I po drugie, jak przejść do sprawdzenia, czy rozkład jest znormalizowany?

Rozumiem, obliczając otrzymujemy znormalizowane dane , ale tutaj prosi się o sprawdzenie, czy rozkład jest znormalizowany, czy nie.

\frac{X - mean}{sd}

$\frac{X-\text{mean}}{\text{sd}}$

data-transformation terminology normalization standardization Ada
źródło

3

To, co oznacza znormalizowanie rozkładu, nie jest takie proste (i zwykle nie jest to normalizacja rozkładu, ale zmienna losowa). Na przykład, w przypadku jednolitego, niektórzy ludzie mogą oznaczać „liniowo przeskalowane tak, aby uzyskać standardowy mundur” (tj aby

i

) ... podczas gdy inna osoba może oznaczać „liniowo przeskalowane tak aby uzyskać średnią 0 i sd 1 ”. Jeśli chodzi o mundur, zwykle zakładam, że pierwszy, ale jak widać z odpowiedzi poniżej, inni ludzie mogą uznać to za coś innego. Najlepszą opcją jest poproszenie osoby posługującej się tym terminem, aby była mniej dwuznaczna.

a = 0

$a=0$

b = 1

$b=1$

Glen_b -Reinstate Monica

1

Bardziej konwencjonalne terminy są standaryzowane (w celu osiągnięcia średniej zero i SD jednego) i znormalizowane (w celu dostosowania zakresu do przedziału

lub zmiany skali normy wektorowej na

). Zatem ponowne ekspresji

jest standaryzacja podczas mnożenia gęstości

o stały

do

[0, 1]

$[0,1]$

1

$1$

X \to (X - mean) / S D

$X\to (X-\text{mean})/SD$

f

$f$

C

$C$

jestnormalizacją, ponieważ

jestnormą

dla

.

\int_{- \infty}^{\infty} C f (x) d x = 1

$\int_{-\infty}^\infty Cf(x)dx=1$

\int f (x) d x

$\int f(x)dx$

L^{1}

$L^1$

f

$f$

whuber

Zapytany również na math.SE.

Dilip Sarwate,

1

Proszę nie przesyłać pocztą , @Ada. To jest niezgodne z polityką SE. Jeśli opublikujesz pytanie na 1 stronie, a następnie uważasz, że powinieneś je zamieścić na innym, oflaguj swoje pytanie i poproś moderatorów o migrację.

gung - Przywróć Monikę

33

Niestety, terminy są używane w różny sposób w różnych polach przez różne osoby w tym samym polu itp., Więc nie jestem pewien, jak dobrze można na nie odpowiedzieć tutaj. Powinieneś upewnić się, że znasz definicję, której Twój instruktor / podręcznik używa do „znormalizowanego”. Oto jednak niektóre popularne definicje:

Wyśrodkowany: znormalizowanych:

X - m mi za n

$X-{\rm mean}$

znormalizowany:

\frac{X - oznaczać}{sd}

$\frac{X-\text{mean}}{\text{sd}}$

Normalizacjaw tym sensie przeskalowuje dane do interwału jednostkowego. Standaryzacjazamienia twoje dane w wyniki

, jak zauważa @Jeff. Acentrowaniesprawia, że średnia twoich danych wynosi

.

\frac{X - min (X)}{max (X) - min (X)}

$\frac{X-\min(X)}{\max(X)-\min(X)}$

z

$z$

0

$0$

Warto tutaj uznać, że wszystkie trzy są transformacjami liniowymi ; jako takie nie zmieniają kształtu twojej dystrybucji . Oznacza to, że czasami ludzie nazywają -score transformacji „normalizacji” i wierzą, ze względu stowarzyszenia -Wyniki z rozkładu normalnego, który to uczynił swoje dane rozkład normalny. To nie jest tak (jak zauważa @Jeff i jak można to stwierdzić, rysując swoje dane przed i po). Jeśli jesteś zainteresowany, możesz zmienić kształt swoich danych , na przykład za pomocą rodziny transformacji Box-Cox . $z$ $z$

Jeśli chodzi o sposób weryfikacji tych przekształceń, zależy to od tego, co dokładnie to oznacza. Jeśli chcą po prostu sprawdzić, czy kod działa poprawnie, możesz sprawdzić środki, SD, minimum i maksima.

gung - Przywróć Monikę
źródło

1

Widziałem znormalizowane używane do sugerowania znormalizowanego lub sugerowania dopasowania do standardowego rozkładu normalnego, tj.

, więc z trzech znormalizowanych jest najprawdopodobniej źle zrozumiany. Komentarz Ady dotyczący zastosowania stałej normalizującej do funkcji prawdopodobieństwa jest kolejną możliwą interpretacją.

Φ^{- 1} (F (X))

$\Phi^{-1}(F(X))$

Henry

4

Korzystając ze wzoru podanego dla każdego wyniku w próbie, konwertujesz je wszystkie na z-score .

$0$ $1$

Celem tego jest umieszczenie wszystkiego w jednostkach względem odchylenia standardowego próbki. Może to być przydatne do różnych celów, takich jak porównanie dwóch różnych zestawów danych, które zostały ocenione przy użyciu różnych jednostek (być może centymetrów i cali).

Ważne jest, aby nie mylić tego z pytaniem, czy rozkład jest normalny , tj. Czy jest zbliżony do rozkładu Gaussa .

Jeff
źródło

więc aby sprawdzić, czy rozkład Uniform został znormalizowany, czy równoważne byłoby powiedzenie E (X) = 0 i Var (X) = 1, gdzie X ~ Uniform (a, b)?

2

dane nie muszą nawet pochodzić z jednolitego rozkładu, mogą pochodzić z dowolnego rozkładu. jest to również prawdą tylko przy użyciu podanej formuły; dane mogą być znormalizowane w inny sposób niż za pomocą Z-score. na przykład, wyniki IQ są znormalizowane z wynikiem 100 i odchyleniem standardowym wynoszącym 15.

Jeff

1

Po konsultacji z TA zadano pytanie, czy

\int_{- \infty}^{\infty} fa (x) re x = 1

$\int_{-\infty}^{\infty}f(x)dx=1$

gdzie $f(x)$ w tym przypadku jest gęstością munduru (a, b).

Ada
źródło

2

Stosowaną terminologią jest to, że funkcja gęstości prawdopodobieństwa rozkładu jest znormalizowana. Ponieważ odzwierciedla to fakt aksjomatyczny, że całkowite prawdopodobieństwo musi być równe

1

$1$ , pytanie, czy jakakolwiek dystrybucja jest znormalizowana (w tym sensie) zawsze ma tę samą banalną odpowiedź: oczywiście.

whuber

Właśnie to jesteśmy proszeni o weryfikację. f (x) tak naprawdę nie musi być pdf i może to być dowolna funkcja nieujemna. Dla każdej nieujemnej funkcji, której powyższe nie spełnia, zawsze możemy pomnożyć przez stałą normalizującą

Ada

1

Nie zawsze. Na przykład pozwól

f (x) = e^{- x}

$f(x)=e^{-x}$ , funkcja nieujemna zdefiniowana na wszystkich liczbach rzeczywistych: nie ma stałej normalizującej. Ale kiedy powiedziano ci, tak jak w pytaniu, że „taki a taki jest plik PDF dla takiej a takiej dystrybucji”, nie ma nic do zweryfikowania: z definicji integruje się z jednością.

whuber

To prawda, że nie jest to żadna nieujemna funkcja, w której możemy sprawić, że spełnia powyższy warunek, nawet jeśli pomnożymy ją przez stałą normalizującą.

Ada,

Co oznacza „normalizacja” i jak sprawdzić, czy próbka lub rozkład są znormalizowane?

Odpowiedzi: