W klasyfikacji tekstowej mam zestaw szkoleniowy z około 800 próbkami i zestaw testowy z około 150 próbkami. Zestaw testowy nigdy nie był używany i czeka na użycie do końca. Używam całego zestawu 800 próbek treningowych, z 10-krotnym sprawdzaniem poprawności podczas strojenia i poprawiania...
Rozumiem, że przy weryfikacji krzyżowej i wyborze modelu staramy się rozwiązać dwie rzeczy: P1 . Oszacuj oczekiwaną stratę w populacji podczas treningu z naszą próbą P2 . Zmierz i zgłoś naszą niepewność dotyczącą tego oszacowania (wariancja, przedziały ufności, stronniczość itp.) Standardową...
W pytaniu w innym miejscu na tej stronie, w kilku odpowiedziach wspomniano, że AIC jest równoważny walidacji krzyżowej z pominięciem jednego (LOO) i że BIC jest równoważny krzyżowej walidacji K-krotnie. Czy istnieje sposób empirycznego zademonstrowania tego w R, aby techniki zastosowane w LOO i...
W dyskusji: jak wygenerować krzywą roc do klasyfikacji binarnej , myślę, że zamieszanie polegało na tym, że „klasyfikator binarny” (który jest dowolnym klasyfikatorem, który oddziela 2 klasy) był dla Yang tak zwany „dyskretny klasyfikator” (który produkuje wyjścia dyskretne 0/1 jak SVM), a nie...
W niektórych wykładach i samouczkach , które widziałem, sugerują podzielenie danych na trzy części: szkolenie, walidacja i test. Nie jest jednak jasne, w jaki sposób należy używać zestawu danych testowych, ani w jaki sposób to podejście jest lepsze niż weryfikacja krzyżowa całego zestawu...
Mam trochę danych i chcę zbudować model (powiedzmy model regresji liniowej) z tych danych. W następnym kroku chcę zastosować weryfikację krzyżową Leave-One-Out (LOOCV) na modelu, aby zobaczyć, jak dobrze sobie radzi. Jeśli dobrze zrozumiałem LOOCV, buduję nowy model dla każdej z moich próbek...
Przeprowadzam zagnieżdżoną weryfikację krzyżową. Czytałem, że krzyżowa walidacja z pominięciem jednego może być stronnicza (nie pamiętam dlaczego). Czy lepiej jest używać 10-krotnej walidacji krzyżowej czy pomijanej walidacji krzyżowej oprócz dłuższego czasu wykonywania dla krzyżowej walidacji...
Jaka jest najbardziej odpowiednia metoda próbkowania do oceny wydajności klasyfikatora na określonym zbiorze danych i porównania go z innymi klasyfikatorami? Cross-validation wydaje się być standardową praktyką, ale przeczytałem, że metody takie jak bootstrap .632 są lepszym wyborem. W...
Szukam odniesienia do artykułu, w którym wprowadzono k-krotną walidację krzyżową (zamiast po prostu dobrego odniesienia akademickiego do tematu). Być może jest zbyt daleko w przeszłość, aby jednoznacznie zidentyfikować pierwszy artykuł, więc wszystkie wczesne artykuły, w których zastosowano ten...
Rozumiem, jaką rolę odgrywa lambda w regresji sieci elastycznej. Rozumiem, dlaczego należy wybrać lambda.min, wartość lambda, która minimalizuje błąd zwalidowany krzyżowo. Moje pytanie brzmi: gdzie w literaturze statystycznej zaleca się stosowanie lambda.1se, czyli takiej wartości lambda, która...
Znalazłem potencjalnie sprzeczne definicje dla statystyki walidacji krzyżowej (CV) i statystyki uogólnionej walidacji krzyżowej (GCV) związanej z modelem liniowym (z normalnym, homoscedastycznym wektorem błędu \ boldsymbol \ varepsilon ).εY=Xβ+εY=Xβ+εY = X\boldsymbol\beta +...
Interesuje mnie wybór modelu w ustawieniach szeregów czasowych. Dla konkretności załóżmy, że chcę wybrać model ARMA z puli modeli ARMA o różnych rzędach opóźnień. Ostatecznym celem jest prognozowanie . Wyboru modelu można dokonać za pomocą krzyżowa walidacja, stosowanie kryteriów informacyjnych...
W swoim artykule Linear Model Selection by Cross-Validation Jun Shao pokazuje, że w przypadku problemu selekcji zmiennych w wielowymiarowej regresji liniowej metoda walidacji krzyżowej z pominięciem jednego elementu (LOOCV) jest „asymptotycznie niespójna”. W prostym języku angielskim ma tendencję...
Dziś rano obudziłem się zastanawiając (może to wynikać z faktu, że ostatniej nocy nie spałem dużo): skoro walidacja krzyżowa wydaje się być kamieniem węgielnym właściwego prognozowania szeregów czasowych, jakie modele powinienem „normalnie” „weryfikacja krzyżowa względem? Wymyśliłem kilka...
Przeczytałem wiele artykułów naukowych na temat klasyfikacji sentymentów i pokrewnych tematów. Większość z nich stosuje 10-krotną walidację krzyżową do szkolenia i testowania klasyfikatorów. Oznacza to, że nie przeprowadza się osobnych testów / weryfikacji. Dlaczego? Jakie są zalety / wady tego...
Wprowadzenie: Mam zestaw danych z klasycznym „dużym problemem p, małym n”. Liczba dostępnych próbek n = 150, a liczba możliwych predyktorów p = 400. Wynik jest zmienną ciągłą. Chcę znaleźć najważniejsze „deskryptory”, tj. Te, które są najlepszymi kandydatami do wyjaśnienia wyniku i pomocy w...
Próbując wybrać spośród różnych modeli lub liczby funkcji do uwzględnienia, powiedzmy przewidywanie, że mogę wymyślić dwa podejścia. Podziel dane na zestawy szkoleniowe i testowe. Jeszcze lepiej, użyj ładowania początkowego lub krzyżowej weryfikacji K-fold. Trenuj na zestawie treningowym za...
Mam historyczne dane o sprzedaży z piekarni (codziennie, ponad 3 lata). Teraz chcę zbudować model do przewidywania przyszłej sprzedaży (przy użyciu funkcji takich jak dzień tygodnia, zmienne pogodowe itp.). Jak podzielić zestaw danych w celu dopasowania i oceny modeli? Czy musi to być...
Wykonuję regresję logistyczną elastycznej sieci dla zestawu danych opieki zdrowotnej, używając glmnetpakietu w R, wybierając wartości lambda na siatce od 0 do 1. Mój skrócony kod znajduje się poniżej:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){...
Jak zwykle porównywane są (liniowe) modele efektów mieszanych? Wiem, że można zastosować testy współczynnika prawdopodobieństwa, ale to nie działa, jeśli jeden model nie jest „podzbiorem” drugiego, prawda? Czy oszacowanie modeli df jest zawsze proste? Szacowana liczba stałych efektów + liczba...