Przeprowadziłem 10-krotną weryfikację krzyżową różnych algorytmów klasyfikacji binarnej, z tym samym zestawem danych, i otrzymałem uśrednione wyniki Mikro- i Makro. Należy wspomnieć, że był to problem klasyfikacji wielu marek. W moim przypadku prawdziwe negatywy i prawdziwe pozytywy są ważone...
Uwaga: przypadek to n >> p Czytam Elementy uczenia statystycznego i jest wiele wzmianek o „właściwym” sposobie przeprowadzania walidacji krzyżowej (np. Strona 60, strona 245). W szczególności moje pytanie brzmi: jak ocenić ostateczny model (bez osobnego zestawu testowego) za pomocą k-fold CV...
Czytałem o walidacji k-fold i chcę się upewnić, że rozumiem, jak to działa. Wiem, że w przypadku metody wstrzymania dane są podzielone na trzy zestawy, a zestaw testowy jest używany tylko na samym końcu do oceny wydajności modelu, podczas gdy zestaw sprawdzania poprawności służy do dostrajania...
Rozumiem, że nawet przy przestrzeganiu odpowiednich procedur walidacji krzyżowej i wyboru modelu, nadmierne dopasowanie nastąpi, jeśli ktoś będzie szukał wystarczająco modelu , chyba że nałoży ograniczenia na złożoność modelu, okres. Co więcej, często ludzie próbują nauczyć się kar za złożoność...
Chciałbym wiedzieć, czy są jakieś / jakieś zalety stosowania próbkowania warstwowego zamiast próbkowania losowego, podczas dzielenia oryginalnego zestawu danych na zestaw szkoleniowy i testowy do klasyfikacji. Ponadto, czy próbkowanie warstwowe wprowadza więcej uprzedzeń do klasyfikatora niż...
Używam libsvm w trybie C-SVC z wielomianowym jądrem stopnia 2 i muszę trenować wiele SVM. Każdy zestaw treningowy ma 10 funkcji i 5000 wektorów. Podczas treningu otrzymuję to ostrzeżenie dla większości maszyn SVM, które trenuję: WARNING: reaching max number of iterations optimization finished,...
Precyzja jest zdefiniowana jako: p = true positives / (true positives + false positives) Czy jest to prawidłowe, że, jak true positivesi false positivespodejście 0, precyzja zbliża 1? To samo pytanie do przypomnienia: r = true positives / (true positives + false negatives) Obecnie wdrażam...
Dwa powszechne podejścia do wybierania zmiennych skorelowanych to testy istotności i walidacja krzyżowa. Jaki problem każdy z nich próbuje rozwiązać i kiedy wolałbym jeden od
Jestem zdezorientowany, jak podzielić dane na k-krotnie krzyżową weryfikację uczenia się w zespole. Zakładając, że mam kompletny system uczenia się do klasyfikacji. Moja pierwsza warstwa zawiera modele klasyfikacji, np. Svm, drzewa decyzyjne. Moja druga warstwa zawiera model głosowania, który...
Testuję różne klasyfikatory na zbiorze danych, w którym jest 5 klas, a każda instancja może należeć do jednej lub więcej z tych klas, więc w szczególności używam klasyfikatorów wieloznakowych scikit-learn sklearn.multiclass.OneVsRestClassifier. Teraz chcę przeprowadzić weryfikację krzyżową za...
Poświęciłem dużo czasu na opracowanie metod i oprogramowania do walidacji modeli predykcyjnych w tradycyjnej dziedzinie statystyki częstokroć. Wprowadzając w życie więcej pomysłów bayesowskich i nauczając, dostrzegam kilka kluczowych różnic do przyjęcia. Po pierwsze, bayesowskie modelowanie...
Czy caretpakiet R sprawdza poprawność krzyżową dla obu modeli alphai lambdadla glmnetmodelu? Uruchamianie tego kodu eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x...
Biorąc pod uwagę model hierarchiczny , chcę, aby dwuetapowy proces pasował do modelu. Najpierw napraw garść hiperparametrów θ , a następnie wykonaj wnioskowanie bayesowskie na pozostałych parametrach ϕ . Do ustalenia hiperparametrów rozważam dwie opcje.p ( x | ϕ , θ...
Wiem, że przeprowadzanie strojenia hiperparametrów poza walidacją krzyżową może prowadzić do stronniczo wysokich oszacowań zewnętrznej ważności, ponieważ zestaw danych używany do mierzenia wydajności jest taki sam, jak użyty do dostrojenia funkcji. Zastanawiam się, jak poważny jest to problem ....
Mam zestaw danych zawierający 140000 przykładów i 30 funkcji, dla których uczę kilku klasyfikatorów do klasyfikacji binarnej (SVM, regresja logistyczna, losowy las itp.) W wielu przypadkach dostrajanie hiperparametrów w całym zbiorze danych przy użyciu wyszukiwania siatkowego lub losowego jest...
Dopasowuję Bayesian HLM w JAGS przy użyciu k-krotnej walidacji krzyżowej (k = 5). Chciałbym wiedzieć, czy szacunki parametru są stabilne we wszystkich fałdach. Jak najlepiej to zrobić?ββ\beta Jednym z pomysłów jest znalezienie różnic w tylnej stronie i sprawdzenie, czy 0 jest w 95% CI różnicy....
Czy regularyzacja może być pomocna, jeśli jesteśmy zainteresowani jedynie szacunkiem (i interpretacją) parametrów modelu, a nie prognozowaniem lub prognozowaniem? Widzę, jak regularyzacja / walidacja krzyżowa jest niezwykle przydatna, jeśli Twoim celem jest dobre prognozowanie nowych danych. Ale...
W podręcznikach i wykładach na YouTubie wiele się nauczyłem o modelach iteracyjnych, takich jak zwiększanie, ale nigdy nie widziałem nic na temat określania przedziału prognoz. Krzyżową walidację stosuje się w następujących przypadkach: Wybór modelu : Wypróbuj różne modele i wybierz ten, który...
Wiem, że aby uzyskać dostęp do wyników klasyfikatora, muszę podzielić dane na zestaw szkoleniowy / testowy. Ale czytając to : Podczas oceny różnych ustawień („hiperparametrów”) dla estymatorów, takich jak ustawienie C, które należy ręcznie ustawić dla SVM, nadal istnieje ryzyko przeregulowania...
Natknąłem się na ten wątek, patrząc na różnice między ładowaniem początkowym a weryfikacją krzyżową - przy okazji, świetna odpowiedź i referencje. Zastanawiam się teraz, czy gdybym powtórzył 10-krotne CV, aby obliczyć dokładność klasyfikatora, ile razy n powinienem to powtórzyć? Czy n zależy od...