Co oznacza ortogonalny w kontekście statystyki?

60

W innych kontekstach ortogonalny oznacza „pod kątem prostym” lub „prostopadłym”.

Co oznacza ortogonalny w kontekście statystycznym?

Dziękuję za wszelkie wyjaśnienia.

descriptive-statistics pmgjones
źródło

2

Dzięki za pytanie. Zadałem bardziej ogólny: co jest tak powszechne we wszystkich przypadkach ortogonalności. Byłem również zainteresowany, aby dowiedzieć się, w jaki sposób niezależność statystyczna spełnia tę właściwość? physics.stackexchange.com/questions/67506

Val

5

Dziwi mnie, że żadna z odpowiedzi tutaj nie wspomina, że zwykle ma to znaczenie matematyczne w znaczeniu „algebry liniowej” tego słowa. Na przykład, gdy mówi się o „ortogonalnym zestawu zmiennych” zwykle oznacza, że do matrycy z zestawu zmiennych . Używany jest również „ortonormalny”.

X^{T} X = I

$X^{T}X=I$

X

$X$

prawdopodobieństwo prawdopodobieństwo

4

@prawdopodobność „Ortogonalny” ma znaczenie dla przestrzeni wektorowej o postaci kwadratowej : dwa wektory i są ortogonalne wtedy i tylko wtedy, gdy . „Ortogonalny” oznacza ponadto, że . Zatem „ortogonalne” i „ortonormalne” nie są synonimami ani nie są ograniczone do macierzy skończonych. ( Na przykład , i mogą być elementy przestrzeni Hilberta, takie jak przestrzeń o wartościach zespolonych o używane w klasycznych mechaniki kwantowej.)

Q

$Q$

v

$v$

w

$w$

Q (v, w) = 0

$Q(v,w)=0$

Q (v, v) = 1 = Q (w, w)

$Q(v,v)=1=Q(w,w)$

v

$v$

w

$w$

L^{2}

$L^2$

R^{3}

$\mathbb{R}^3$

whuber

Ten link może pomóc zrozumieć (nie) związek ortogonalności i korelacji. alecospapadopoulos.wordpress.com/2014/08/16/…

RBirkelbach

Rosnąca kolekcja różnych (ale poprawnych) odpowiedzi wskazuje, że jest to dobry wątek CW.

whuber

-16

Oznacza to, że [losowe zmienne X, Y] są od siebie „niezależne”. Niezależne zmienne losowe często uważa się za ustawione „pod kątem prostym” względem siebie, przy czym przez „kąty proste” rozumie się, że iloczyn wewnętrzny tych dwóch wynosi 0 (warunek równoważny z algebry liniowej).

Na przykład na płaszczyźnie XY mówi się, że oś X i Y są ortogonalne, ponieważ jeśli zmienia się wartość x danego punktu, powiedzmy, przechodząc od (2,3) do (5,3), jej wartość y pozostaje taka sama (3), i wzajemnie. Dlatego te dwie zmienne są „niezależne”.

Zobacz także wpisy Wikipedii dotyczące niezależności i ortogonalności

crazyjoe
źródło

24

Ponieważ istotne jest rozróżnienie między korelacją a brakiem zależności, utożsamianie ortogonalności z niezależnością nie jest dobrym rozwiązaniem.

whuber

Ponieważ ani OP, ani odpowiadający nie byli aktywni od ponad roku, prawdopodobnie warto to edytować, aby przynajmniej była to jasna odpowiedź. Próbowałem tego.

Assad Ebrahim

1

Jednym z typowych kontrprzykładów w statystykach jest PCA vs. ICA, przy czym PCA wymusza ortogonalność, a ICA maksymalizuje niezależność.

jona

5

Do moderatorów: Szkoda, że to dobre i bardzo popularne pytanie „utknęło” w odpowiedzi, że tak wielu uważa, że byłoby lepiej zdegradowanych (obecny wynik -4). Ponieważ zarówno OP, jak i odpowiadający nie byli aktywni od ponad roku, być może „zaakceptowany” czek może zostać usunięty, a pytanie pozostawione „otwarte”. Pełniejsze odpowiedzi poniżej mówią same za siebie.

Assad Ebrahim

1

@Assad mods nie może usunąć akceptacji OP. To jest prowincja PO.

Glen_b

33

Nie mogę skomentować, ponieważ nie mam wystarczającej liczby punktów, więc jestem zmuszony mówić w myślach jako odpowiedź, proszę wybacz mi. Z tego, co wiem, nie zgadzam się z wybraną odpowiedzią @crazyjoe, ponieważ ortogonalność jest zdefiniowana jako

mi [X Y^{⋆}] = 0

$E[XY^{\star}] = 0$

Więc:

Jeśli z symetrycznym pdf, są one zależne, ale ortogonalne. $Y=X^2$

Jeśli ale pdf zero dla wartości ujemnych, to są one zależne, ale nie ortogonalne. $Y=X^2$

Dlatego ortogonalność nie oznacza niezależności.

użytkownik497804
źródło

2

Jaka jest gwiazdka (gwiazda) w

?

Y^{*}

$Y^{*}$

mugen

2

@mugen, prawdopodobnie wskazuje na złożony koniugat.

A. Donda,

Uwaga dla siebie (i być może dla innych) - Uważam, że

(dla funkcji o wartościach rzeczywistych możemy pozbyć się sprzężonej liczby zespolonej (?)) Jest wewnętrznym iloczynem zmiennych losowych

i

, zdefiniowanych jako oczekiwanie produktu z ich pdf:

E [X Y]

$E[XY]$

X

$X$

Y

$Y$

⟨ X, Y ⟩ = E [X Y]

$\langle X,Y\rangle=E[XY]$

Antoni Parellada

21

Jeśli X i Y są niezależne, to są ortogonalne. Ale odwrotność nie jest prawdą, jak wskazał sprytny przykład user497804. Dokładne definicje znajdują się w

Ortogonalne: zmienne losowe o złożonej wartości i są nazywane ortogonalnymi, jeśli spełniają $C_1$ $C_2$ ${\rm cov}(C_1,C_2)=0$

(Pg 376, Prawdopodobieństwo i losowe procesy Geoffreya Grimmetta i Davida Stirzakera)

Niezależne: Zmienne losowe i są niezależne wtedy i tylko wtedy, gdy dla wszystkich $X$ $Y$ $F(x,y) = F_X(x)F_Y(y)$ $x,y \in \mathbb{R}$

co dla ciągłych zmiennych losowych jest równoważne wymaganiu, aby $f(x,y) = f_X(x)f_Y(y)$

(Strona 99, Prawdopodobieństwo i losowe procesy autorstwa Geoffreya Grimmetta i Davida Stirzakera)

Naresh
źródło

21

@Mien już udzielił odpowiedzi i, jak zauważył @whuber, ortogonalne oznacza nieskorelowane. Jednak naprawdę chciałbym, aby ludzie podali pewne referencje. Poniższe linki mogą być pomocne, ponieważ wyjaśniają one pojęcie korelacji z perspektywy geometrycznej.

Geometria wektorów (patrz str. 7)
Zmienne liniowo niezależne, ortogonalne i nieskorelowane
Graficzna reprezentacja dwuwymiarowej korelacji w przestrzeni wektorowej (może nie być dla ciebie wolna)

Bernd Weiss
źródło

1

Drugi link wyjaśnił wszystko, co chciałem wiedzieć. Dzięki! :)

Lenar Hoyt

Wartościach rzeczywistych zmiennych losowych Xi Ysą nieskorelowane wtedy i tylko wtedy, gdy koncentrujące zmienne X-E(X)i Y-E(Y)są prostopadłe. [ref]

knedlsepp

1

@Bernd Pierwsze dwa linki nie działają.

przytłoczony

@ overwhelmed Zgaduję, że jest to artykuł, na który wskazywał drugi link.

Josh O'Brien

8

Witryna internetowa NIST (zob. Poniżej) definiuje ortogonalne w następujący sposób: „Projekt eksperymentalny jest ortogonalny, jeśli wpływ dowolnego czynnika równoważy się (suma do zera) względem efektów innych czynników”.

W statystycznym deisgn rozumiem, że ortogonalny oznacza „brak współzależności” lub „brak aliasu”. Jest to ważne przy projektowaniu i analizowaniu eksperymentu, jeśli chcesz mieć pewność, że możesz wyraźnie zidentyfikować różne czynniki / zabiegi. Jeśli zaplanowany eksperyment nie jest ortogonalny, oznacza to, że nie będziesz w stanie całkowicie oddzielić efektów różnych zabiegów. Dlatego będziesz musiał przeprowadzić eksperyment kontrolny, aby zdekoncentrować efekt. Można to nazwać rozszerzonym projektem lub projektem porównawczym.

Niezależność wydaje się złym wyborem słów, ponieważ jest używana w wielu innych aspektach projektowania i analizy.

NIST Ref http://www.itl.nist.gov/div898/handbook/pri/section7/pri7.htm

Chris
źródło

3

+1 za wprowadzenie eksperymentalnego kontekstu projektowego. Słowo „ortogonalny” zasługuje na użycie tutaj, ponieważ w rzeczywistości jest dokładnie takie samo jak pojęcie matematyczne: wektory (kolumnowe) reprezentujące czynniki w eksperymencie, uważane za elementy przestrzeni euklidesowej, rzeczywiście będą ortogonalne (po prawej stronie) kąty, z iloczynem zerowej kropki) w układzie prostopadłym.

whuber

2

Najprawdopodobniej mają na myśli „niepowiązane”, jeśli mówią „ortogonalny”; jeśli dwa czynniki są ortogonalne (np. w analizie czynnikowej), nie są ze sobą powiązane, ich korelacja wynosi zero.

Mina
źródło

3

Współczynnik korelacji jest (lub jest naturalnie interpretowany jako) cosinus kąta. Jak myślisz, kiedy wynosi zero? :-) Nieskorelowane nie oznacza niepowiązane!

whuber

Nie twierdzę, że się mylisz, ale czy możesz podać mi przykład czegoś, co nie jest ze sobą powiązane i powiązane; lub odwrotnie? Nie jestem pewien, czy rozumiem różnicę.

Mien

I tak, wiem, że kąt ten wynosiłby 90 °. Kąt prosty jest ortogonalny.

Mien

5

X

$X$

{- 1, 0, 1}

$\{-1,0,1\}$

Y = X^{2}

$Y=X^2$

X

$X$

Y

$Y$

ρ_{X, Y} = 0

$\rho_{X,Y}=0$

Y

$Y$

X

$X$

Ach tak, dziękuję. Ale odwrotnie nie jest możliwe, prawda (jeśli nie ma trzeciej zmiennej lub czegoś podobnego)?

Mien

2

Według http://terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf , liniowa niezależność jest niezbędnym warunkiem ortogonalności lub nieskorelacji. Istnieją jednak dokładniejsze rozróżnienia, w szczególności ortogonalność nie jest nieskorelowana.

użytkownik45059
źródło

1

$(X,Y)$ $X\cdot Y=0$

do o v (X - mi [X], Y - mi [Y]) = mi [X \cdot Y] = mi [0] = 0 ⟹ do o r r (X - mi [X], Y - mi [Y]) = 0

$Cov(X-E[X],Y-E[Y]) = E[X\cdot Y]= E[0]=0\implies \\Corr(X-E[X],Y-E[Y])=0$

Diogo
źródło

1

W ekonometrii założenie ortogonalności oznacza, że oczekiwana wartość sumy wszystkich błędów wynosi 0. Wszystkie zmienne regresora są ortogonalne w stosunku do ich obecnych wartości błędów.

$E(x_{i}·ε_{i}) = 0$

Mówiąc prościej, oznacza to, że regresor jest „prostopadły” do terminu błędu.

Leopold W.
źródło

-2

Dwa lub więcej IV niezwiązanych (niezależnych) od siebie, ale oba mają wpływ na DV. Każdy IV osobno wnosi odrębną wartość do wyniku, podczas gdy oba lub wszystkie IV również przyczyniają się w sposób addytywny w przewidywaniu dochodu (ortogonalny = nie przecinający się wpływ IV na DV). IV są ze sobą nieskorelowane i zwykle ustawione pod kątem prostym * patrz schemat Venna.

Przykład: Zależność między motywacją a latami edukacji w zakresie dochodów.

IV = Lata edukacji IV = Motywacja DV = Dochód

https://onlinecourses.science.psu.edu/stat505/node/167

Poklepać
źródło

-2

Powiązane zmienne losowe oznaczają, że zmienne mówią, że X i Y mogą mieć dowolny związek; może być liniowy lub nieliniowy. Niezależność i właściwości ortogonalne są takie same, jeśli dwie zmienne są liniowo powiązane.

J Subramani
źródło

2

To utrwala błąd popełniony przez crazyjoe: ortogonalność nie implikuje niezależności, chyba że zmienne są normalnie rozkładane wspólnie.

whuber

Co oznacza ortogonalny w kontekście statystyki?

Odpowiedzi: