Testy historyczne lub weryfikacja krzyżowa, gdy proces budowania modelu był interaktywny

Mam kilka modeli predykcyjnych, których wydajność chciałbym przetestować ponownie (tj. Zabrać mój zestaw danych, „przewinąć” go do poprzedniego momentu i zobaczyć, jak ten model działałby prospektywnie).

Problem polega na tym, że niektóre z moich modeli zostały zbudowane w procesie interaktywnym. Na przykład, zgodnie z zaleceniami Strategii modelowania regresji Franka Harrella , w jednym modelu użyłem ograniczonych sześciennych splajnów, aby obsłużyć możliwe nieliniowe powiązania między cechami a odpowiedzią. Przydzieliłem stopnie swobody każdego splajnu w oparciu o połączenie wiedzy dziedzinowej i jednowymiarowych miar siły asocjacji. Ale stopnie swobody, na które chcę pozwolić mojemu modelowi, oczywiście zależą od wielkości zestawu danych, który różni się dramatycznie podczas testowania wstecznego. Jeśli nie chcę ręcznie wybierać stopni swobody osobno dla każdego testu, w którym model jest testowany, jakie są inne opcje?

Dla innego przykładu, obecnie pracuję nad wykrywaniem wartości odstających poprzez znajdowanie punktów o dużej dźwigni. Gdybym był szczęśliwy, mogąc to zrobić ręcznie, po prostu spojrzałbym na każdy punkt danych o dużej dźwigni, sprawdzał poczytalność, czy dane są czyste, i albo je odfiltrowałem, albo wyczyściłem ręcznie. Ale zależy to od wiedzy z zakresu domen, więc nie wiem, jak zautomatyzować ten proces.

Byłbym wdzięczny za porady i rozwiązania zarówno (a) dotyczące ogólnego problemu automatyzacji interaktywnych części procesu budowania modelu, lub (b) szczegółowe porady dotyczące tych dwóch przypadków. Dzięki!

Do Twojej wiadomości, może to być bardziej odpowiednie dla SE.DataScience, ale na razie odpowiem tutaj.

Wydaje mi się, że możesz być w sytuacji, w której nie będziesz miał innego wyjścia, jak napisać skrypt, który zaimplementuje twoje rozwiązania. Nigdy nie pracowałem z splajnami, moja wiedza na ich temat jest ściśle teoretyczna, więc proszę o wyrozumiałość i daj mi znać, jeśli czegoś nie widzę.

Ogólnie rzecz biorąc, wydaje się, że masz kilka różnych przedmiotów, które musisz rozwiązać, aby to zaimplementować.

1.) Określanie parametrów modelu w sposób dynamiczny. Wcześniej wspomniałeś, że używałeś kombinacji wiedzy o domenach i mierników jednowymiarowych. To wydaje mi się czymś, z czym powinieneś sobie poradzić heurystycznie. Na początku będziesz musiał uzgodnić zestaw zasad, które Twój program wdroży. To może, ale nie musi być trywialne zadanie, ponieważ będziesz musiał przemyśleć, jakie są potencjalne implikacje tych reguł. Może to wymagać ponownej wizyty na każdym etapie procesu i skatalogowania nie tylko decyzji, ale także ich uzasadnienia.

2.) Właściwie wdrażam twój program. Aby Twoje testy wydajności były odpowiednio dynamiczne oraz łatwe w utrzymaniu i modyfikacji w przyszłości, musisz pomyśleć o tym, jak je ustrukturyzować. Prawdopodobnie będziesz chciał użyć pętli do szacowania wydajności modelu głównego, najlepiej o długości definiowanej przez użytkownika, aby umożliwić większą elastyczność w przyszłości. Prawdopodobnie zechcesz także napisać osobne funkcje dla każdej akcji, którą program ma wykonać, ponieważ ułatwi to testowanie funkcjonalności oraz utrzymanie i modyfikację programu w przyszłości. Będziesz potrzebował co najmniej funkcji do wyboru zestawu danych (tj. Tylko okresów, które „minęły” w momencie testowania wstecznego), czyszczenia i sprawdzania poprawności (o czym naprawdę będziesz musiał pomyśleć,

Twoje pytanie dotyczące wykrywania i obsługi wartości odstających również podlega tym dwóm problemom. Zacznę wdrażać, pisząc mniejsze pętle w głównej pętli programu, które będą dalej „czyścić” i modyfikować model, dopóki nie osiągniesz punktu, w którym byłbyś zadowolony to (które znowu będziesz musiał zdefiniować).

Jeśli to brzmi jak duże zadanie, to dlatego, że tak jest; ludzie napisali całe biblioteki oprogramowania (czasem bardzo lukratywnie), aby wykonać tego rodzaju zadanie. Poza tym trudno jest udzielić bardziej szczegółowych porad, nie wiedząc więcej o swoich procesach, strukturze danych i języku programowania, w którym do tej pory wykonywałeś swoją pracę.

Jeśli którykolwiek z tych elementów jest dla ciebie przydatny i chciałbyś, abym rozwinął którykolwiek z nich, skomentuj, daj mi znać, a chętnie to zrobię.

Zamiast próbować dowiedzieć się, jak zautomatyzować wysiłki związane z ręcznym dostrajaniem modelu, omijałbym ten problem razem, patrząc na osoby uczące się o mniejszej wariancji, które wymagają znacznie mniejszego dostrajania, nawet jeśli wiąże się to ze zwiększonym obciążeniem modelu. Chcesz mieć zaufanie do swoich wyników weryfikacji historycznej, co w dużej mierze sprowadza się do niskiej wariancji próbkowania w twoich prognozach, a wprowadzenie procesu automatycznego dostrajania u ucznia, który już ma wariancję próbkowania, działa wbrew temu celowi. Może się wydawać, że ogon macha tu psem, ale wszystko, co wymaga dużo starannego strojenia (manualnego lub automatycznego), nie jest doskonałym kandydatem do naprawdę uczciwego środowiska testowania wstecznego IMO.