W jaki sposób liniowa analiza dyskryminacyjna zmniejsza wymiary?

18

Są słowa z „Elementów statystycznego uczenia się” na stronie 91:

Centroidy K w p-wymiarowej przestrzeni wejściowej obejmują co najwyżej podprzestrzeń wymiarową K-1, a jeśli p jest znacznie większy niż K, będzie to znaczny spadek wymiaru.

Mam dwa pytania:

  1. Dlaczego centroidy K w p-wymiarowej przestrzeni wejściowej obejmują co najwyżej podprzestrzeń wymiarową K-1?
  2. Jak zlokalizowane są centroidy K?

W książce nie ma wyjaśnienia i nie znalazłem odpowiedzi w powiązanych artykułach.

jerry_sjtu
źródło
3
W centroidy leżą w sposób najwyżej K - 1 wymiarowej afinicznej podprzestrzeni. Na przykład dwa punkty leżą na jednej linii, z 2 - 1 podprzestrzeni wymiarową. Jest to tylko definicja afinicznej podprzestrzeni i pewnej elementarnej algebry liniowej. KK121
deinst
Bardzo podobne pytanie: stats.stackexchange.com/q/169436/3277 .
ttnphns

Odpowiedzi:

16

min(k1,p) . Na przykład, przy k = 3 klasach w przestrzeni p = 2 wymiarowej, mogą istnieć co najwyżej 2 czynniki dyskryminujące, takie jak na poniższym wykresie. (Zauważ, że dyskryminatory niekoniecznie są ortogonalne jak osie narysowane w pierwotnej przestrzeni, chociaż jako zmienne są nieskorelowane). Centroidy klas znajdują się w podprzestrzeni dyskryminacyjnej zgodnie z ich prostopadłymi współrzędnymi na dyskryminatorach.

wprowadź opis zdjęcia tutaj

Algebra LDA w fazie ekstrakcji jest tutaj .

ttnphns
źródło
Niezły wykres, jakiego oprogramowania / pakietu użyłeś do jego utworzenia?
Michelle,
SPSS. Własne makro dla SPSS.
ttnphns
Czy to oznacza, że ​​nie zobaczysz dobrego rozdzielenia klas w LDA z, powiedzmy, trzema klasami z nakładaniem się, dopóki nie przeskalujesz osi? Mam na myśli, że prowadzę LDA, a moje klasy są oddzielne ... ale są na sobie nawzajem na każdej dyskryminującej osi z wyjątkiem pierwszej ... a ta jest ogromna.
donlan,
14

Chociaż „Elementy uczenia statystycznego” to genialna książka, wymaga ona stosunkowo wysokiego poziomu wiedzy, aby jak najlepiej ją wykorzystać. Istnieje wiele innych zasobów w Internecie, które pomogą Ci zrozumieć tematy w książce.

Weźmy bardzo prosty przykład liniowej analizy dyskryminacyjnej, w której chcesz zgrupować zestaw dwuwymiarowych punktów danych w grupy K = 2. Spadek wymiarów wyniesie tylko K-1 = 2-1 = 1. Jak wyjaśniono w @deinst, spadek wymiarów można wyjaśnić za pomocą geometrii elementarnej.

Dwie punkty w dowolnym wymiarze mogą być połączone linią, a linia jest jednowymiarowa. To jest przykład podprzestrzeni K-1 = 2-1 = 1 wymiarowej.

Teraz, w tym prostym przykładzie, zbiór punktów danych zostanie rozproszony w przestrzeni dwuwymiarowej. Punkty będą reprezentowane przez (x, y), więc na przykład możesz mieć punkty danych takie jak (1,2), (2,1), (9,10), (13,13). Teraz, stosując liniową analizę dyskryminacyjną do utworzenia dwóch grup A i B, punkty danych zostaną sklasyfikowane jako należące do grupy A lub grupy B, tak że pewne właściwości zostaną spełnione. Liniowa analiza dyskryminacyjna próbuje zmaksymalizować wariancję między grupami w porównaniu do wariancji w grupach.

Innymi słowy, grupy A i B będą daleko od siebie i będą zawierać punkty danych, które są blisko siebie. W tym prostym przykładzie jasne jest, że punkty zostaną zgrupowane w następujący sposób. Grupa A = {(1,2), (2,1)} i Grupa B = {(9,10), (13,13)}.

Teraz centroidy oblicza się jako centroidy grup punktów danych tzw

Centroid of group A = ((1+2)/2, (2+1)/2) = (1.5,1.5) 

Centroid of group B = ((9+13)/2, (10+13)/2) = (11,11.5)

Centroidy mają po prostu 2 punkty i obejmują 1-wymiarową linię, która łączy je razem.

Rycina 1

Można myśleć o liniowej analizie dyskryminacyjnej jako rzucie punktów danych na linii, tak aby dwie grupy punktów danych były jak najbardziej „rozdzielone”

Gdybyście mieli trzy grupy (i powiedzmy trójwymiarowe punkty danych), otrzymalibyście trzy centroidy, po prostu trzy punkty, a trzy punkty w przestrzeni 3D określają płaszczyznę dwuwymiarową. Ponownie reguła K-1 = 3-1 = 2 wymiary.

Sugeruję, abyś przeszukał sieć w poszukiwaniu zasobów, które pomogą wyjaśnić i rozwinąć proste wprowadzenie, które przedstawiłem; na przykład http://www.music.mcgill.ca/~ich/classes/mumt611_07/classifiers/lda_theory.pdf

martino
źródło
1
Witamy na naszej stronie, Martino!
whuber
dzięki @whuber, fajny wykres, nie miałem pod ręką żadnych takich narzędzi :(
martino
I tak nie sądziłem, że masz reputację, aby opublikować zdjęcie, Martino: dlatego stworzyłem je dla Ciebie. Ale teraz - lub wkrótce - będziesz miał wystarczającą liczbę przedstawicieli. Jeśli nic nie jest przydatne, możesz użyć darmowego oprogramowania z funkcjami rysowania geometrycznego, takimi jak R lub Geogebra . (
Przekonasz się,
Dlaczego głosowanie negatywne? Jeśli jest jakiś problem z odpowiedzią, pomocne byłoby wskazanie go - nie widzę żadnego
martino