Wybór modelu to problem polegający na ocenie, który model z jakiegoś zestawu działa najlepiej. Popularne metody obejmują kryteria , AIC i BIC, zestawy testów i walidację krzyżową. W pewnym stopniu wybór funkcji jest podproblemem wyboru modelu. R 2) R2)
Czy istnieje standardowa i akceptowana metoda wyboru liczby warstw i liczby węzłów w każdej warstwie w sieci neuronowej z przekazywaniem? Interesują mnie zautomatyzowane sposoby budowania sieci
AIC i BIC są metodami oceny dopasowania modelu karanymi za liczbę oszacowanych parametrów. Jak rozumiem, BIC karze modele bardziej za wolne parametry niż AIC. Czy poza preferencjami opartymi na rygorystycznych kryteriach istnieją jeszcze inne powody, by preferować AIC zamiast BIC lub...
Wyobraź sobie standardowy scenariusz uczenia maszynowego: Masz do czynienia z dużym, wielowymiarowym zestawem danych i rozumiesz go dość niewyraźnie. To, co musisz zrobić, to przewidzieć jakąś zmienną na podstawie tego, co masz. Jak zwykle czyścisz dane, przeglądasz statystyki opisowe,...
Chciałbym zaimplementować algorytm automatycznego wyboru modelu. Zastanawiam się nad regresją stopniową, ale wszystko się uda (musi to być jednak regresja liniowa). Mój problem polega na tym, że nie jestem w stanie znaleźć metodologii ani implementacji typu open source (budzę się w java)....
Zastanawiam się, jak wybrać model predykcyjny po przeprowadzeniu krzyżowej weryfikacji K-fold. Może to być niezręcznie sformułowane, więc pozwól mi wyjaśnić bardziej szczegółowo: za każdym razem, gdy uruchamiam K-krotnie weryfikację krzyżową, używam K podzbiorów danych treningowych i kończę na K...
Czy po sprawdzeniu krzyżowym zawsze dobrze jest trenować z pełnym zestawem danych ? Innymi słowy, czy można trenować ze wszystkimi próbkami w moim zbiorze danych i nie jest w stanie sprawdzić, czy to dopasowanie pasuje do siebie ? Kilka podstaw problemu: Powiedzmy, że mam rodzinę modeli...
Wyrażenie p- hacking (także: „pogłębianie danych” , „szpiegowanie” lub „łowienie”) odnosi się do różnego rodzaju błędów statystycznych, w których wyniki stają się sztucznie statystycznie istotne. Istnieje wiele sposobów na uzyskanie „bardziej znaczącego” wyniku, w tym między innymi: analizowanie...
Jak wykorzystać zagnieżdżoną weryfikację krzyżową do wyboru modelu ? Z tego, co czytam online, zagnieżdżone CV działa w następujący sposób: Istnieje wewnętrzna pętla CV, w której możemy przeprowadzić wyszukiwanie siatki (np. Uruchomienie K-fold dla każdego dostępnego modelu, np. Kombinacja...
Przy rozwiązywaniu problemów biznesowych z wykorzystaniem danych często zdarza się, że co najmniej jedno kluczowe założenie, że klasyczne statystyki poniżej szpilek są nieprawidłowe. Przez większość czasu nikt nie zadaje sobie trudu, aby sprawdzić te założenia, więc tak naprawdę nigdy nie...
Mam zestaw danych z około 30 zmiennymi niezależnymi i chciałbym zbudować uogólniony model liniowy (GLM) w celu zbadania zależności między nimi a zmienną zależną. Wiem, że metoda, której nauczono mnie w tej sytuacji, stopniowa regresja, jest obecnie uważana za grzech statystyczny . Jakie...
To pytanie zostało zadane w CV kilka lat temu, wydaje się, że warto je przesłać w świetle 1) lepszej technologii obliczeniowej rzędu wielkości (np. Obliczenia równoległe, HPC itp.) I 2) nowszych technik, np. [3]. Po pierwsze, jakiś kontekst. Załóżmy, że celem nie jest testowanie hipotez, nie...
Gdy próbujesz dopasować modele do dużego zestawu danych, powszechną wskazówką jest podzielenie danych na trzy części: szkolenie, sprawdzanie poprawności i testowanie zestawu danych. Wynika to z faktu, że modele zwykle mają trzy „poziomy” parametrów: pierwszy „parametr” to klasa modelu (np. SVM,...
tło Prowadzę badania kliniczne w medycynie i odbyłem kilka kursów statystycznych. Nigdy nie publikowałem pracy z wykorzystaniem regresji liniowej / logistycznej i chciałbym prawidłowo dokonywać wyboru zmiennych. Interpretowalność jest ważna, więc nie ma wymyślnych technik uczenia maszynowego....
Na str. 34 ze swojego PRNN Brian Ripley komentuje, że „AIC został nazwany przez Akaike (1974) jako„ Kryterium informacyjne ”, chociaż wydaje się, że powszechnie uważa się, że A oznacza Akaike”. Rzeczywiście, wprowadzając statystyki AIC, Akaike (1974, s. 719) wyjaśnia to "IC stands for information...
W artykule zatytułowanym „WYBÓR WŚRÓD OGÓLNYCH MODELI LINIOWYCH STOSOWANYCH DO DANYCH MEDYCZNYCH” autorzy piszą: W uogólnionym modelu liniowym średnia jest przekształcana przez funkcję link, zamiast przekształcać samą odpowiedź. Dwie metody transformacji mogą prowadzić do zupełnie różnych...
Obliczyłem AIC i AICc, aby porównać dwa ogólne liniowe modele mieszane; Wartości AIC są dodatnie, a model 1 ma niższy AIC niż model 2. Jednak wartości AICc są ujemne (model 1 wciąż jest <model 2). Czy można używać i porównywać ujemne wartości
Czy są jakieś badania empiryczne uzasadniające stosowanie jednej standardowej reguły błędu na korzyść parsimony? Oczywiście zależy to od procesu generowania danych, ale wszystko, co analizuje duży zbiór zbiorów danych, byłoby bardzo interesujące. „Jedna standardowa reguła błędu” jest stosowana...
Korzystając z walidacji krzyżowej w celu dokonania wyboru modelu (np. Strojenia hiperparametrów) i oceny wydajności najlepszego modelu, należy zastosować zagnieżdżoną walidację krzyżową . Pętla zewnętrzna służy do oceny wydajności modelu, a pętla wewnętrzna służy do wyboru najlepszego modelu; model...
Obecnie pracuję nad zbudowaniem modelu przy użyciu wielokrotnej regresji liniowej. Po manipulowaniu moim modelem nie jestem pewien, jak najlepiej określić, które zmienne zachować, a które usunąć. Mój model zaczął się od 10 predyktorów dla DV. Przy zastosowaniu wszystkich 10 predyktorów cztery...
W CrossValidated znajduje się wiele wątków na temat wyboru modelu i weryfikacji krzyżowej. Tu jest kilka: Walidacja wewnętrzna i zewnętrzna oraz wybór modelu @ DikranMarsupial w górę odpowiedzi do wyboru funkcji i walidacji krzyżowej Jednak odpowiedzi na te wątki są dość ogólne i głównie...