Jak szybko wybrać ważne zmienne z bardzo dużego zestawu danych?

Mam zestaw danych z około 2000 zmiennymi binarnymi / 200 000 wierszy i próbuję przewidzieć pojedynczą zmienną zależną binarnie. Moim głównym celem na tym etapie nie jest uzyskanie dokładności prognoz, ale raczej określenie, które z tych zmiennych są ważnymi predyktorami. Chciałbym zmniejszyć liczbę zmiennych w moim ostatecznym modelu do około 100.

Czy istnieje względnie szybki sposób uzyskania najważniejszych zmiennych? Wydaje się, że randomForest zajmuje dużo czasu.

Nie muszę używać wszystkich 200 000 obserwacji, więc próbkowanie jest opcją na stole.

Możesz zacząć od prostego filtra Univariate i użyć weryfikacji krzyżowej, aby zdecydować, które zmienne zachować. sbfFunkcja w caretpakiecie dla R jest naprawdę przydatna. Możesz przeczytać więcej na ten temat tutaj , od strony 19.

Brzmi to jak odpowiedni problem dla lasso i przyjaciół, którzy dokonują skurczu i wyboru zmiennych. Elementy uczenia statystycznego opisują lasso i elastyczną sieć do regresji, a co bardziej istotne dla tego problemu, regresję logistyczną.

Autorzy książki udostępnili wydajną implementację lasso i elastycznej siatki jako pakiet R o nazwie glmnet . Wcześniej używałem tego pakietu do analizy danych binarnych z macierzami danych zawierającymi około 250 000 wierszy, choć nieco mniej kolumn, ale w rzeczywistości przeprowadzam regresję wszystkich kolumn względem wszystkich innych kolumn. Jeśli macierz danych jest również rzadka, implementacja również może z tego skorzystać i uważam, że metoda może faktycznie działać dla pełnego zestawu danych PO. Oto kilka komentarzy na temat lasso:

• Lasso dokonuje selekcji zmiennych za pomocą nierównomiernej funkcji kary ( -norm), co ogólnie skutkuje oszacowaniem parametrów, przy czym niektóre parametry są dokładnie równe 0. Ile szacowanych parametrów niezerowych i ile niezerowe parametry są zmniejszane, jest określane przez parametr strojenia. Wydajność implementacji w glmnet zależy w dużej mierze od faktu, że za dużą karę tylko kilka parametrów różni się od 0.$\ell_1$
• Wyboru parametru dostrajającego często dokonuje się przez walidację krzyżową, ale nawet bez etapu walidacji krzyżowej metoda może być w stanie zapewnić dobrą sekwencję wybranych zmiennych indeksowanych przez parametr kary.
• Minusem w przypadku wyboru zmiennych jest to, że lasso może być niestabilny w wyborze zmiennych, w szczególności jeśli są one nieco skorelowane. Bardziej elastyczna kara netto została wymyślona w celu poprawy tej niestabilności, ale nie rozwiązuje ona całkowicie problemu. Adaptacyjne lasso to kolejny pomysł na ulepszenie wyboru zmiennych dla lasso.
• Wybór stabilności jest ogólną metodą sugerowaną przez Meinshausena i Bühlmanna w celu osiągnięcia większej stabilności wybranych zmiennych za pomocą metod takich jak lasso. Wymaga szeregu dopasowań do podpróbek zestawu danych i jako taki jest o wiele bardziej wymagający obliczeniowo.
• Rozsądnym sposobem myślenia o lasso jest metoda generowania jednowymiarowego zestawu „dobrych” modeli, od modelu z jedną zmienną do modelu bardziej złożonego (niekoniecznie zawierającego wszystkie zmienne) sparametryzowanego parametrem kary. Przeciwnie, filtry jednowymiarowe wytwarzają wybór lub porządek tylko dobrych modeli z jedną zmienną.

W Pythonie istnieje implementacja scikit-learn takich metod, jak lasso i elastyczna sieć.

Możesz wykonać regresję logistyczną / test asocjacji chi-kwadrat dla każdej zmiennej i zachować tylko te, które mają wartość p mniejszą niż pewna wartość, powiedzmy .2.