Wybór funkcji za pomocą głębokiego uczenia się?

Chcę obliczyć ważność każdej funkcji wejściowej przy użyciu modelu głębokiego.

Ale znalazłem tylko jeden artykuł na temat wyboru funkcji za pomocą głębokiego uczenia się - głęboki wybór funkcji . Wstawiają warstwę węzłów połączonych bezpośrednio z każdą operacją przed pierwszą ukrytą warstwą.

Słyszałem, że do tego rodzaju pracy można również wykorzystać sieć głębokiej wiary (DBN). Ale myślę, że DBN zapewnia tylko abstrakcje (klastry) funkcji takich jak PCA, więc chociaż może skutecznie zmniejszyć wymiar, zastanawiam się, czy jeśli można obliczyć ważność (wagę) każdej cechy.

Czy można obliczyć ważność funkcji za pomocą DBN? Czy istnieją inne znane metody wyboru funkcji za pomocą głębokiego uczenia się?

Jednym z podejść, które można zastosować w prawie każdym modelu prognostycznym, jest najpierw wytrenowanie modelu i znalezienie jego dokładności, a następnie dla jednego wejścia dodać trochę hałasu i ponownie sprawdzić dokładność. Powtórz to dla każdego wejścia i obserwuj, jak hałas pogarsza prognozy. Jeśli dane wejściowe są ważne, dodatkowa niepewność związana z hałasem będzie szkodliwa.

Pamiętaj, aby ustawić wariancję hałasu tak, aby była proporcjonalna do wariancji danych wejściowych.

Oczywiście szum jest przypadkowy i nie chcesz, aby jeden sygnał wejściowy wydawał się nieistotny z powodu losowych efektów. Jeśli masz kilka przykładów treningu, rozważ wielokrotne obliczanie zmiany dokładności dla każdego przykładu treningu z dodawanym za każdym razem nowym hałasem.

W odpowiedzi na komentarze:

Tę analizę można również wykonać przez całkowite usunięcie zmiennej, ale ma to pewne wady w porównaniu do dodawania szumu.

• Załóżmy, że jedno z twoich danych wejściowych jest stałe, działa jak termin uprzedzenia, więc ma pewną rolę do odegrania w przewidywaniu, ale nie dodaje żadnych informacji. Jeśli całkowicie usuniesz te dane wejściowe, przewidywanie stałoby się mniej dokładne, ponieważ perceptrony mają niewłaściwe odchylenie. To sprawia, że ​​dane wejściowe wyglądają, jakby były ważne dla przewidywania, nawet jeśli nie dodają żadnych informacji. Dodanie hałasu nie spowoduje tego problemu. Ten pierwszy punkt nie stanowi problemu, jeśli ujednoliciłeś wszystkie dane wejściowe tak, aby miały zero.

• Jeśli dwa dane wejściowe są skorelowane, informacje o jednym wejściu dają informacje o drugim. Model może być dobrze wyszkolony, jeśli użyjesz tylko jednego ze skorelowanych danych wejściowych, aby analiza wykazała, że ​​jedno dane wejściowe nie są pomocne. Jeśli właśnie usunąłeś jedno z danych wejściowych, to podobnie jak pierwszy punkt dokładność prognozy znacznie by się zmniejszyła, co wskazuje, że jest to ważne. Jednak dodanie hałasu nie spowoduje tego problemu.

Może sprawdź ten artykuł: https://arxiv.org/pdf/1712.08645.pdf

Używają dropout do oceniania funkcji.

... W tej pracy wykorzystujemy koncepcję rezygnacji na wejściowej warstwie obiektów i optymalizujemy odpowiadający jej współczynnik rezygnacji. Ponieważ każda cecha jest usuwana stochastycznie, nasza metoda daje podobny efekt do łączenia elementów (Ho, 1995) i udaje mu się uszeregować skorelowane cechy lepiej niż inne metody bez workowania, takie jak LASSO. Porównujemy naszą metodę do Random Forest (RF), LASSO, ElasticNet, Marginal ranking i kilku technik w celu uzyskania znaczenia w DNN, takich jak Deep Feature Selection i różne heurystyki ...

Obejrzyj ten post: https://medium.com/@a.mirzaei69/how-to-use-deep-learning-for-feature-selection-python-keras-24a68bef1e33

oraz ten dokument: https://arxiv.org/pdf/1903.07045.pdf

Prezentują ładny schemat stosowania głębokich modeli do wyboru funkcji.