Uczę się o wyborze funkcji. Rozumiem, dlaczego byłoby to ważne i przydatne do budowania modeli. Ale skupmy się na nadzorowanych zadaniach uczenia się (klasyfikacji). Dlaczego wybór funkcji jest ważny dla zadań klasyfikacji?
Widzę dużo literatury na temat wyboru funkcji i jej zastosowania do nadzorowanego uczenia się, ale to mnie zastanawia. Wybór funkcji polega na określeniu, które funkcje należy wyrzucić. Intuicyjnie odrzucenie niektórych funkcji wydaje się samobójcze: odrzuca informacje. Wygląda na to, że przekazywanie informacji nie powinno pomóc.
I nawet jeśli usunięcie niektórych funkcji pomaga, jeśli wyrzucamy niektóre funkcje, a następnie wprowadzamy resztę do nadzorowanego algorytmu uczenia się, dlaczego musimy to zrobić sami, zamiast pozwolić algorytmowi nadzorowanego uczenia się sobie z tym poradzić? Jeśli jakaś funkcja nie jest pomocna, czyż żaden przyzwoity algorytm uczenia nadzorowanego nie powinien domyślnie tego odkryć i nauczyć się modelu, który nie korzysta z tej funkcji?
Tak intuicyjnie spodziewałbym się, że wybór funkcji byłby bezcelowym ćwiczeniem, które nigdy nie pomaga, a czasem może zranić. Ale fakt, że jest tak szeroko stosowany i opisywany, powoduje, że podejrzewam, że moja intuicja jest wadliwa. Czy ktoś może podać jakąkolwiek intuicję, dlaczego wybór funkcji jest przydatny i ważny podczas uczenia nadzorowanego? Dlaczego poprawia wydajność uczenia maszynowego? Czy to zależy od używanego klasyfikatora?