Intuicyjne rozumienie kowariancji, kowariancji krzyżowej, autokorelacji / korelacji krzyżowej i gęstości widma mocy

Obecnie studiuję do moich finałów w podstawowych statystykach dla mojego licencjata ECE.

Chociaż wydaje mi się, że mam matematykę głównie słabo, brakuje mi intuicyjnego zrozumienia, co tak naprawdę oznaczają liczby (preambuła: użyję raczej niechlujnego języka).

Wiem, że E [X] jest „średnią ważoną” wszystkich wyników X ważonych ich prawdopodobieństwem.

Opcja Var [X] podaje oczekiwaną wariancję z kwadratu E [X], więc mówi nam coś o „rozmyciu” rozkładu.

Inne właściwości znam formuły, ale brakuje im jakiejkolwiek intuicji. Czy ktoś ma dobre wyjaśnienia / zasoby, które mogą w tym pomóc?

Kowariancja , jak można się domyślić na podstawie nazwy, wskazuje na tendencję dwóch zmiennych do współzależności lub „przemieszczania się” razem. Jeśli cov ( , ), ma wartość dodatnią, a następnie większe wartości są związane z większymi wartościami oraz mniejsze wartości są powiązane z mniejszymi wartościami . Jeśli kowariancja jest ujemna, to odwrotnie: małe są powiązane z większymi i odwrotnie. Na przykład spodziewalibyśmy się wysokiej kowariancji między pensją a wieloletnim doświadczeniem, ale niskiej lub ujemnej kowariancji między wagą a maksymalną prędkością biegu.$X$$Y$$X$$Y$$X$$Y$$X$$Y$

Kowariancja jest zależna od skali (np. Otrzymasz inną kowariancję, jeśli waga jest mierzona w kilogramach lub funtach), a jednostki są trochę dziwne (w dwóch przykładach rok-dolar i kilogram-metr na sekundę), więc często znormalizujemy kowariancje dzieląc je przez aby uzyskać korelację . Korelacja jest bezjednostkowa i waha się od -1 do 1, co czyni ją przydatną miarą powiązań liniowych . (Ten bit liniowy jest bardzo ważnym zastrzeżeniem!)$\sigma_x \cdot \sigma_y$

Załóżmy teraz, że mamy szereg wartości, które są w jakiś sposób uporządkowane; są to często, ale nie zawsze, szeregi czasowe. Funkcja autokorelacji to korelacja między wartością w pozycji / czasie jest wartością w innych pozycjach ,$t$$(t-1)$$(t-2)$itp. Wysokie autokorelacje mogą wskazywać, że szereg zmienia się powoli lub, równoważnie, że wartość bieżąca jest przewidywalna na podstawie poprzednich wartości. Chociaż wariancja i kowariancja są skalarami (tj. Pojedynczymi wartościami), autokorelacja jest wektorem - otrzymujesz wartość autokorelacji dla każdego „opóźnienia” lub „przerwy”. Biały szum ma bardzo płaską funkcję autokorelacji, ponieważ jest losowy; naturalne obrazy zazwyczaj mają szeroką przestrzenną autokorelację, ponieważ pobliskie piksele często mają podobny kolor i jasność. Echo może mieć szczyt w pobliżu środka (ponieważ dźwięki są podobne do siebie), płaski obszar podczas ciszy, a następnie inny szczyt, który stanowi samo echo.

Korelacja krzyżowa porównuje dwie serie, przesuwając jedną z nich w stosunku do drugiej. Podobnie jak autokorelacja, tworzy wektor. Środek wektora jest tylko korelacja między i . Wcześniejszy wpis to korelacja między kopią przesuniętą nieznacznie w jedną stronę a Y; wejście po środku jest korelacja pomiędzy kopią przesunięty lekko w drugą stronę i . (Jeśli znasz konwolucję, jest to bardzo podobne). Jeśli i są (prawdopodobnie opóźnionymi) kopiami siebie, będą miały funkcję korelacji krzyżowej z pikiem gdzieś 1,0, z lokalizacją piku podaną przez opóźnienie.$X$$Y$$X$$X$$Y$$X$$Y$

Funkcje autokowariancji i kowariancji krzyżowej są podobne do ich odpowiedników korelacyjnych, ale nieskalowane; to ta sama różnica, co między kowariancją a korelacją.

Moc widmowa gęstość mówi, jak moc sygnału jest rozłożone na różnych częstotliwościach. PSD czystego tonu (tj. Fali sinusoidalnej) jest płaska, z wyjątkiem częstotliwości tonu; Naturalistyczne sygnały i dźwięki mają znacznie bardziej skomplikowane PSD z harmonicznymi, podtekstami, rezonansem itp. Jest to związane z innymi pojęciami, ponieważ transformata Fouriera funkcji autokorelacji jest PSD.