Jakie są właściwe kroki przetwarzania wstępnego do przeprowadzenia analizy niezależnych składników?

Analiza niezależnych składników (ICA) służy do rozdzielenia liniowej mieszaniny statystycznie niezależnych i co najważniejsze nie Gaussowskich składników ^† na jej składniki. Standardowym modelem bezgłośnego ICA jest

x = A s

$\mathbf{x}=\mathbf{As}$

gdzie jest wektorem obserwacji lub danych, jest sygnałem źródłowym / składowymi oryginalnymi (niegaussowskimi), a jest wektorem transformacji, który określa liniowe mieszanie sygnałów składowych. Zazwyczaj i są nieznane. $\mathbf{x}$ $\mathbf{s}$ $\mathbf{A}$ $\mathbf{A}$ $\mathbf{s}$

Przetwarzanie wstępne

Istnieją dwie główne strategie wstępnego przetwarzania w ICA, a mianowicie centrowanie i wybielanie / kulkowanie. Głównymi przyczynami przetwarzania wstępnego są:

Uproszczenie algorytmów
Zmniejszenie wymiarów problemu
Zmniejszenie liczby parametrów do oszacowania.
Podkreślanie cech zestawu danych, których nie można łatwo wyjaśnić za pomocą średniej i kowariancji.

Od wprowadzenia G. Li i J. Zhanga, „Sphering i jego właściwości”, The Indian Journal of Statistics, t. 60, Seria A, część I, s. 119–133, 1998:

Wartości odstające, skupienia lub inne rodzaje grup, a także stężenia w pobliżu krzywych lub nie na powierzchniach to prawdopodobnie ważne cechy, które mogą zainteresować analityków danych. Zasadniczo nie można ich uzyskać poprzez zwykłą znajomość średniej próby i macierzy kowariancji. W tych okolicznościach pożądane jest oddzielenie informacji zawartych w macierzy średniej i kowariancji i zmusza nas do zbadania aspektów naszych zbiorów danych innych niż te dobrze rozumiane natury. Centrowanie i sferowanie to proste i intuicyjne podejście, które eliminuje informacje o średniej kowariancji i pomaga uwypuklić struktury wykraczające poza korelację liniową i kształty eliptyczne, dlatego często wykonuje się je przed eksploracją wyświetlania lub analiz zestawów danych

1. Centrowanie:

Centrowanie jest bardzo prostą operacją i po prostu odnosi się do odejmowania średniej . W praktyce używasz średniej próbki i tworzysz nowy wektor , gdzie jest średnią danych. Geometrycznie, odjęcie średniej jest odpowiednikiem tłumaczenia centrum współrzędnych do pochodzenia. Średnia może zawsze zostać ponownie dodana do wyniku końca (jest to możliwe, ponieważ mnożenie macierzy jest rozdzielne). $\mathbb{E}\{\mathbf{x}\}$ $\mathbf{x}_c=\mathbf{x}-\overline{\mathbf{x}}$ $\overline{\mathbf{x}}$

2. Wybielanie:

Wybielanie to przekształcenie, który przetwarza dane w taki sposób, że ma macierz kowariancji tożsamości, to znaczy, . Zwykle pracujesz z przykładową macierzą kowariancji, $\mathbb{E}\{\mathbf{x}_c\mathbf{x}_c^T\}=\mathbf{I}$

\hat{Σ} = C . x_{c} x_{c}^{T}

$\widehat{\mathbf{\Sigma}}=C.\mathbf{x}_c\mathbf{x}_c^T$

gdzie jest tylko moim leniwym symbolem zastępczym dla odpowiedniego współczynnika normalizacji (w zależności od wymiarów ). Nowy bielony wektor jest tworzony jako $C$ $\mathbf{x}$

x_{w} = {\hat{Σ}}^{- 1 / 2} x_{c}

$\mathbf{x}_w=\widehat{\mathbf{\Sigma}}^{-1/2}\mathbf{x}_c$

$\mathbf{I}$

s = RandomReal[{-1, 1}, {2000, 2}];
A = {{2, 3}, {4, 2}};
x = s.A;
whiteningMatrix = Inverse@CholeskyDecomposition[[email protected]/Length@x];
y = x.whiteningMatrix;
FullGraphics@GraphicsRow[
  ListPlot[#, AspectRatio -> 1, Frame -> True] & /@ {s, x, y}]

wprowadź opis zdjęcia tutaj

$\mathbf{s}$ $\mathbf{A}$

$\mathbf{x}_w=\mathbf{A}_w\mathbf{s}_w$ $\mathbf{A}_w$

\begin{aligned} E {x_{w} x_{w}^{T}} & = E {A_{w} s_{w} (A_{w} s_{w})^{T}} \\ = A_{w} E {s_{w} s_{w}^{T}} A_{w}^{T} \\ = A_{w} A_{w}^{T} = I \end{aligned}

$\begin{align} \mathbb{E}\{\mathbf{x}_w\mathbf{x}_w^T\}&=\mathbb{E}\{\mathbf{A}_w\mathbf{s}_w(\mathbf{A}_w\mathbf{s}_w)^T\}\\ &=\mathbf{A}_w\mathbb{E}\{\mathbf{s}_w\mathbf{s}_w^T\}\mathbf{A}_w^T\\ &=\mathbf{A}_w\mathbf{A}_w^T=\mathbf{I} \end{align}$

$\mathbf{s}_i$ $\mathbf{A}$

Jeśli po transformacji wartości własne są bliskie zeru, można je bezpiecznie odrzucić, ponieważ są one tylko szumem i utrudniają jedynie oszacowanie z powodu „przeuczenia”.

3. Inne przetwarzanie wstępne

Mogą istnieć inne etapy przetwarzania wstępnego związane z określonymi aplikacjami, których nie można udzielić w odpowiedzi. Na przykład widziałem kilka artykułów wykorzystujących dziennik szeregów czasowych i kilka innych, które filtrują szeregi czasowe. Mimo że może być odpowiedni do konkretnego zastosowania / warunków, wyniki nie są przenoszone na wszystkie pola.

^†_{Uważam, że można użyć ICA, jeśli co najmniej jeden ze składników jest gaussowski, chociaż nie mogę teraz znaleźć odniesienia do tego.}

Dlaczego nazywa się to „sferą”?

$n$ $n$ {-1,1}NormalDistribution[]

wprowadź opis zdjęcia tutaj

Pierwszy to gęstość stawu dla dwóch nieskorelowanych Gaussów, drugi w trakcie transformacji, a trzeci po wybieleniu. W praktyce widoczne są tylko kroki 2 i 3.

Lorem Ipsum
źródło

Wow, zajmie mi to trochę czasu, ale dziękuję za mało!

jonsca

Przepraszam, myślałem, że już to zaakceptowałem.

jonsca

Jakie są właściwe kroki przetwarzania wstępnego do przeprowadzenia analizy niezależnych składników?

Odpowiedzi:

Przetwarzanie wstępne

Dlaczego nazywa się to „sferą”?