Czy wybielanie jest zawsze dobre?

Częstym etapem wstępnego przetwarzania algorytmów uczenia maszynowego jest wybielanie danych.

Wydaje się, że zawsze dobrze jest wybielić, ponieważ dekoreluje dane, co ułatwia modelowanie.

Kiedy wybielanie nie jest zalecane?

Uwaga: mam na myśli dekorelację danych.

Wstępne wybielanie to uogólnienie normalizacji cech, które uniezależnia dane wejściowe, przekształcając je względem przekształconej macierzy kowariancji wejściowej. Nie rozumiem, dlaczego to może być coś złego.

Jednak szybkie wyszukiwanie ujawniło „Wykonalność wybielania danych w celu poprawy wydajności radaru pogodowego” ( pdf ), który brzmi:

W szczególności wybielanie działało dobrze w przypadku wykładniczej ACF (co jest zgodne z wynikami Monakowa), ale gorzej w przypadku metody Gaussa. Po eksperymentach numerycznych stwierdziliśmy, że przypadek Gaussa jest uwarunkowany numerycznie w tym sensie, że liczba warunków (stosunek wartości maksymalnej do minimalnej wartości własnej) jest wyjątkowo duża dla macierzy kowariancji Gaussa.

Nie jestem wystarczająco wykształcony, aby komentować to. Być może odpowiedź na twoje pytanie jest taka, że ​​wybielanie jest zawsze dobre, ale istnieją pewne błędy (np. Przy losowych danych nie zadziała dobrze, jeśli zostanie wykonane za pomocą funkcji autokorelacji Gaussa).

Po pierwsze, uważam, że dekorelacja i wybielanie to dwie osobne procedury.

${\bf \Sigma} = {\bf X}{\bf X}'$

$${\bf \Sigma}{\bf \Phi} = {\bf \Phi} {\bf \Lambda}$$

${\bf \Lambda}$

${\bf \Phi}$${\bf X}$${\bf \Phi}$

Możemy również zapisać przekątną kowariancję jako:

$${\bf \Phi}' {\bf \Sigma} {\bf \Phi} = {\bf \Lambda} \tag{1}$$

${\bf x}_i$

$${\bf x}_i^* = {\bf \Phi}' {\bf x}_i \tag{2}$$

${\bf \Lambda}$

$${\bf \Lambda}^{-1/2} {\bf \Lambda} {\bf \Lambda}^{-1/2} = {\bf I}$$

$(1)$

$${\bf \Lambda}^{-1/2} {\bf \Phi}' {\bf \Sigma} {\bf \Phi} {\bf \Lambda}^{-1/2} = {\bf I}$$

${\bf x}_i^*$${\bf x}_i^\dagger$

$${\bf x}_i^{\dagger} = {\bf \Lambda}^{-1/2} {\bf x}_i^* = {\bf \Lambda}^{-1/2}{\bf \Phi}'{\bf x}_i \tag 3$$

${\bf x}_i^\dagger$${\bf x}_i^\dagger$${\bf E}({\bf x}_i^\dagger {{\bf x}_i^\dagger}') = {\bf I}$

${\bf \Sigma}$

I wreszcie, istnieje powszechna „gotcha”, na którą ludzie powinni uważać. Należy uważać, aby obliczyć współczynniki skalowania na danych treningowych , a następnie użyć równań (2) i (3), aby zastosować te same współczynniki skalowania do danych testowych, w przeciwnym razie istnieje ryzyko przeregulowania (używałbyś informacje z zestawu testów w procesie szkolenia).

Źródło: http://courses.media.mit.edu/2010fall/mas622j/whiten.pdf

From http://cs231n.github.io/neural-networks-2/

Jedną ze słabości tej transformacji jest to, że może ona znacznie wyolbrzymić szum w danych, ponieważ rozciąga wszystkie wymiary (w tym nieistotne wymiary niewielkiej wariancji, które w większości są szumem), aby były jednakowej wielkości na wejściu. W praktyce można to złagodzić poprzez silniejsze wygładzenie ...

Niestety nie jestem wystarczająco wykształcony, aby komentować dalej.