Mamy zestaw próbek biologicznych, których uzyskanie było dość drogie. Przekazujemy te próbki przez serię testów w celu wygenerowania danych, które są wykorzystywane do budowy modelu predykcyjnego. W tym celu podzieliliśmy próbki na zestawy szkoleniowe (70%) i testowe (30%). Z powodzeniem...
Wspaniały pakiet libsvm zawiera interfejs Pythona i plik „easy.py”, który automatycznie wyszukuje parametry uczenia się (koszt i gamma), które maksymalizują dokładność klasyfikatora. W obrębie danego zestawu parametrów uczenia się kandydata dokładność jest operacjonalizowana przez krzyżową...
Mój kolega i ja dopasowujemy zakres liniowych i nieliniowych modeli efektu mieszanego w R. Jesteśmy proszeni o przeprowadzenie weryfikacji krzyżowej dopasowanych modeli, aby można było zweryfikować, czy zaobserwowane efekty są względnie ogólne. Zwykle jest to trywialne zadanie, ale w naszym...
Mam pytanie dotyczące wyboru modelu i wydajności modelu w regresji logistycznej. Mam trzy modele oparte na trzech różnych hipotezach. Pierwsze dwa modele (nazwijmy je z i x) mają tylko jedną zmienną objaśniającą w każdym modelu, a trzeci (nazwijmy to w) jest bardziej skomplikowany. Używam AIC do...
Załóżmy, że mam jedną próbkę częstotliwości 4 możliwych zdarzeń: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 i mam spodziewane prawdopodobieństwo wystąpienia moich zdarzeń: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Dzięki sumie obserwowanych częstotliwości moich czterech zdarzeń (18) mogę obliczyć oczekiwane...
To może być głupie pytanie, ale przy generowaniu modelu z karetką i używaniu czegoś podobnego LOOCVlub (nawet bardziej do LGOCVrzeczy ) , jaka jest korzyść z dzielenia danych na zestawy pociągów i testów, jeśli jest to zasadniczo etap weryfikacji krzyżowej w każdym razie? Przeczytałem niektóre...
Zdaję sobie sprawę, że w modelu drzew przypominających są 3 parametry dostrajania, tj liczba drzew (liczba iteracji) parametr skurczu liczba podziałów (wielkość każdego drzewa składowego) Moje pytanie brzmi: jak dla każdego parametru dostrajania znaleźć optymalną wartość? I jaką...
Pracuję nad weryfikacją krzyżową prognoz moich danych z 200 podmiotami i 1000 zmiennymi. Interesuje mnie regresja grzbietu, ponieważ liczba zmiennych (chcę użyć) jest większa niż liczba próbek. Więc chcę użyć estymatorów skurczu. Oto przykładowe dane: #random population of 200 subjects with 1000...
W Random Forest każde drzewo jest uprawiane równolegle na unikalnej próbce danych doładowania. Ponieważ oczekuje się, że każda próbka przypominająca zawiera około 63% unikalnych obserwacji, pozostawia to około 37% obserwacji, które można wykorzystać do testowania drzewa. Teraz wydaje się, że w...
Mam kilka modeli predykcyjnych, których wydajność chciałbym przetestować ponownie (tj. Zabrać mój zestaw danych, „przewinąć” go do poprzedniego momentu i zobaczyć, jak ten model działałby prospektywnie). Problem polega na tym, że niektóre z moich modeli zostały zbudowane w procesie interaktywnym....
Używając k-krotnie CV do wyboru spośród modeli regresji, zwykle obliczam błąd CV osobno dla każdego modelu, wraz z jego standardowym błędem SE, i wybieram najprostszy model w obrębie 1 SE modelu o najniższym błędzie CV (1 standardowa reguła błędu, patrz na przykład tutaj ). Jednak niedawno...
Przeczytałem klasyfikatory algebraiczne: ogólne podejście do szybkiej walidacji krzyżowej, szkolenia online i szkolenia równoległego i byłem zaskoczony wydajnością algorytmów pochodnych. Wydaje się jednak, że poza Naive Bayes (i GBM) nie ma wielu algorytmów dostosowanych do frameworka. Czy są...
Moje pytanie: czy powinienem zrobić CV nawet dla stosunkowo dużego zbioru danych? Mam stosunkowo duży zestaw danych i zastosuję algorytm uczenia maszynowego do tego zestawu danych. Ponieważ mój komputer nie jest szybki, CV (i wyszukiwanie siatki) zajmuje czasem zbyt dużo czasu. W szczególności...
W The Elements of Statistics Learning znalazłem następujące stwierdzenie: Istnieje jedna kwalifikacja: wstępne pomiary bez nadzoru można wykonać przed pominięciem próbek. Na przykład, moglibyśmy wybrać 1000 predyktorów o największej wariancji we wszystkich 50 próbkach przed rozpoczęciem...
Przykłady: w opisie stanowiska mam zdanie: „Starszy inżynier Java w Wielkiej Brytanii”. Chcę użyć modelu głębokiego uczenia się, aby przewidzieć go jako 2 kategorie: English i IT jobs. Jeśli użyję tradycyjnego modelu klasyfikacji, może on przewidzieć tylko 1 etykietę z softmaxfunkcją na ostatniej...
Niedawno obejrzałem tę rozmowę Erica J. Ma i sprawdziłem jego wpis na blogu , w którym cytuje Radforda Neala, że modele bayesowskie nie pasują (ale mogą się przewyższać ), a podczas ich używania nie potrzebujemy zestawów testowych do ich weryfikacji (dla wydaje mi się, że cytaty mówią raczej o...
W głębokim nauczaniu François Cholleta w Pythonie napisano: W rezultacie dostrajanie konfiguracji modelu w oparciu o jego wydajność w zestawie sprawdzania poprawności może szybko doprowadzić do nadmiernego dopasowania do zestawu sprawdzania poprawności, nawet jeśli Twój model nigdy nie jest...
Wdrażam weryfikację krzyżową i obliczanie wskaźników błędów, takich jak RMSE, , MAE, MSE itp.R2R2R^2 Czy RMSE i MAE mogą mieć tę samą