Jestem całkiem nowy w losowych lasach. W przeszłości zawsze porównywałem dokładność dopasowania vs test z dopasowaniem vs pociągiem, aby wykryć przeregulowanie. Ale właśnie przeczytałem tutaj, że: „W losowych lasach nie ma potrzeby weryfikacji krzyżowej ani oddzielnego zestawu testowego, aby...
Czy istnieje technika modelowania, taka jak LOESS, która pozwala na zero, jedną lub więcej nieciągłości, w których czas nieciągłości nie jest znany apriori? Jeśli istnieje technika, czy istnieje implementacja w języku
Kiedy jesteś tym, który wykonuje tę pracę, mając świadomość tego, co robisz, masz poczucie, że nadmiernie dopasowujesz się do modelu. Po pierwsze, możesz śledzić trend lub pogorszenie w skorygowanym kwadracie R. modelu. Można również śledzić podobne pogorszenie wartości p współczynników regresji...
Próbuję odtworzyć istniejący algorytm prognozowania, przekazany przez emerytowanego badacza. Pierwszym krokiem jest dopasowanie niektórych obserwowanych danych do rozkładu Weibulla, aby uzyskać kształt i skalę, które zostaną wykorzystane do przewidywania przyszłych wartości. Używam do tego R. Oto...
Mam następujące dane i chciałbym dopasować do niego model ujemnego wzrostu wykładniczego: Days <- c( 1,5,12,16,22,27,36,43) Emissions <- c( 936.76, 1458.68, 1787.23, 1840.04, 1928.97, 1963.63, 1965.37, 1985.71) plot(Days, Emissions) fit <- nls(Emissions ~ a* (1-exp(-b*Days)), start =...
Czytałem, że test Kołmogorowa-Smirnowa nie powinien być stosowany do testowania dobroci dopasowania rozkładu, którego parametry zostały oszacowane na podstawie próbki. Czy sensowne jest podzielenie mojej próbki na dwie części i wykorzystanie pierwszej połowy do oszacowania parametrów, a drugiej do...
Czy istnieją udokumentowane algorytmy rozdzielające sekcje danego zestawu danych na różne krzywe najlepszego dopasowania? Na przykład większość ludzi patrząc na ten wykres danych z łatwością podzieliłby go na 3 części: odcinek sinusoidalny, odcinek liniowy i odwrotny odcinek wykładniczy. W...
Moje główne pytanie dotyczy prób zrozumienia, w jaki sposób k-krotna walidacja krzyżowa pasuje w kontekście posiadania zestawów szkoleniowych / walidacyjnych / testowych (jeśli w ogóle pasuje w takim kontekście). Zwykle ludzie mówią o podziale danych na zestaw treningowy, walidacyjny i testowy -...
Słyszałem wcześniej następujące wyrażenie: „Optymalizacja jest źródłem wszelkiego zła w statystykach”. Na przykład najlepsza odpowiedź w tym wątku zawiera to stwierdzenie w związku z niebezpieczeństwem zbyt agresywnej optymalizacji podczas wyboru modelu. Moje pierwsze pytanie brzmi: czy ten...
Powiedzmy, że mamy wejściowe (predyktor) i wyjściowe (odpowiedź) punkty danych A, B, C, D, E i chcemy dopasować linię przez te punkty. Jest to prosty problem do zilustrowania pytania, ale można go również rozszerzyć na większe wymiary. Opis problemu Bieżące najlepsze dopasowanie lub hipoteza...
Wydaje się, że istnieją sprzeczne porady na temat tego, jak radzić sobie z porównywaniem błędu pociągu z błędem testu, szczególnie gdy istnieje między nimi różnica. Wydaje mi się, że istnieją dwie szkoły myślenia, które wydają mi się sprzeczne. Chcę zrozumieć, jak pogodzić te dwie rzeczy (lub...
Tak, mam losowy proces generowania log-normalnie rozprowadzane zmiennych losowych . Oto odpowiednia funkcja gęstości prawdopodobieństwa:XXX Chciałem oszacować rozkład kilku chwil pierwotnego rozkładu, powiedzmy pierwszy moment: średnią arytmetyczną. Aby to zrobić, narysowałem 100 losowych...
Jestem stosunkowo nowy w statystyce i byłbym wdzięczny za pomoc w lepszym zrozumieniu tego. W mojej dziedzinie znajduje się powszechnie stosowany model formularza: P.t= Po( Vt)αPt=Po(Vt)αP_t = P_o(V_t)^\alpha Kiedy ludzie dopasowują model do danych, zwykle linearyzują go i dopasowują do...
Powiedzmy, że mam problem z wyborem modelu i próbuję użyć AIC lub BIC do oceny modeli. Jest to proste w przypadku modeli, które mają pewną liczbę parametrów o wartościach rzeczywistych.kkk Co jednak, jeśli jeden z naszych modeli (na przykład model Mallowsa ) ma permutację plus niektóre parametry o...
W książce Bishopa o uczeniu maszynowym omawia problem dopasowania krzywej funkcji wielomianu do zestawu punktów danych. Niech M będzie rzędem dopasowanego wielomianu. Tak to stwierdza Widzimy, że wraz ze wzrostem M wielkość współczynników zwykle rośnie. W szczególności dla wielomianu M = 9...
Moim zdaniem skorelowane dane wejściowe muszą prowadzić do nadmiernego dopasowania w sieciach neuronowych, ponieważ sieć uczy się korelacji, np. Szumu w danych. Czy to jest
Modeluję 15000 tweetów do prognozowania nastrojów za pomocą jednowarstwowej LSTM ze 128 ukrytymi jednostkami za pomocą reprezentacji podobnej do word2vec o 80 wymiarach. Dostaję dokładność zniżania (38% losowo = 20%) po 1 epoce. Więcej treningów powoduje, że dokładność walidacji zaczyna spadać, gdy...
Mam model przewidywania trajektorii (x w funkcji czasu) z kilkoma parametrami. W tej chwili obliczam błąd średniej kwadratowej (RMSE) między przewidywaną trajektorią a eksperymentalnie zarejestrowaną trajektorią. Obecnie minimalizuję tę różnicę (RMSE), używając simplex (fminsearch w Matlabie)....
W książce Bishopa PRML mówi, że nadmierne dopasowanie jest problemem związanym z oszacowaniem maksymalnej wiarygodności (MLE), a Bayesian może tego uniknąć. Ale myślę, że nadmierne dopasowanie to problem bardziej związany z wyborem modelu, a nie z metodą stosowaną do oszacowania parametrów. To...
W R (2.15.2) dopasowałem raz ARIMA (3,1,3) na szeregu czasowym i raz ARMA (3,3) na raz zróżnicowanym szeregu czasowym. Dopasowane parametry różnią się, co przypisałem metodzie dopasowania w ARIMA. Ponadto dopasowanie ARIMA (3,0,3) do tych samych danych co ARMA (3,3) nie da identycznych parametrów,...