PRZEDMOWA: Nie dbam o zalety zastosowania odcięcia lub nie, ani o to, jak należy wybrać odcięcie. Moje pytanie jest czysto matematyczne i wynika z ciekawości. Regresja logistyczna modeluje prawdopodobieństwo warunkowe tylne klasy A w porównaniu z klasą B i pasuje do hiperpłaszczyzny, w której...
Czy ktoś wie, czy opisano poniżej (i tak czy inaczej), czy brzmi to jak wiarygodna metoda uczenia się modelu predykcyjnego z bardzo niezrównoważoną zmienną docelową? Często w aplikacjach CRM do eksploracji danych będziemy szukać modelu, w którym zdarzenie pozytywne (sukces) jest bardzo rzadkie w...
W zeszły weekend czytałem podręczniki modeli liniowych Faraway z R (1. edycja). Faraway miał rozdział zatytułowany „Strategia statystyczna i niepewność modelu”. Opisał (strona 158), że sztucznie wygenerowany niektóre dane przy użyciu bardzo skomplikowany model, a następnie poprosił swoich uczniów...
Jestem zainteresowany wykorzystaniem regresji kwantylowej dla niektórych moich modeli, ale chciałbym uzyskać wyjaśnienia na temat tego, co mogę osiągnąć przy użyciu tej metodologii. Rozumiem mogę uzyskać bardziej solidną analizę IV / DV relacji , zwłaszcza w obliczu skrajnych i...
Załóżmy, że mam podział 80/20 między obserwacjami modelowania / walidacji. Dopasowałem model do zestawu danych modelowania i czuję się dobrze z błędem, który widzę w zestawie danych sprawdzania poprawności. Przed wdrożeniem mojego modelu do oceny przyszłych obserwacji, czy właściwe jest połączenie...
Wykonuję regresję przy użyciu Losowych lasów do przewidywania cen na podstawie kilku atrybutów. Kod jest napisany w Pythonie przy użyciu Scikit-learn. Jak zdecydować, czy należy przekształcić zmienne za pomocą exp/ logprzed użyciem, aby dopasować je do modelu regresji? Czy jest to konieczne, gdy...
Słowo „skurcz” jest często rzucane w niektórych kręgach. Ale co to jest skurcz, wydaje się, że nie ma jasnej definicji. Jeśli mam szereg czasowy (lub jakąkolwiek kolekcję obserwacji jakiegoś procesu), jakie są różne sposoby pomiaru pewnego rodzaju skurczu empirycznego w szeregu? Jakie są rodzaje...
Mam na myśli pytanie i odpowiedzi: Jak porównać (prawdopodobieństwo) zdolność predykcyjną modeli opracowanych na podstawie regresji logistycznej? autor: @Clark Chong oraz odpowiedzi / komentarze @Frank Harrell. oraz na pytanie Stopnie swobody w teście Hosmer-Lemeshowχ2χ2\chi^2 i w komentarzach....
Podczas korzystania z naturalnych (tj. Ograniczonych) splajnów sześciennych, tworzone funkcje podstawowe są wysoce współliniowe, a po zastosowaniu w regresji wydają się generować bardzo wysokie statystyki VIF (współczynnik inflacji wariancji), sygnalizując wielokoliniowość. Czy rozważając przypadek...
Modeluję wydarzenie z dwoma wynikami, a i b. Stworzyłem model, który ocenia prawdopodobieństwo wystąpienia albo a lub b (tj. Model obliczy, że a nastąpi z 40% szansą, a b z 60% szansą). Mam duży zapis wyników prób z oszacowaniami z modelu. Chciałbym określić ilościowo, jak dokładny model...
Próbuję dopasować prosty model prawa mocy do zestawu danych, który jest następujący: mydf: rev weeks 17906.4 1 5303.72 2 2700.58 3 1696.77 4 947.53 5 362.03 6 Celem jest przepuszczenie linii energetycznej i wykorzystanie jej do przewidywania revwartości na przyszłe tygodnie. Kilka badań...
Tło: Istnieje kilka świetnych pytań / odpowiedzi na temat kalibracji modeli, które przewidują prawdopodobieństwo wystąpienia wyniku. Na przykład Wynik Briera i jego rozkład na rozdzielczość, niepewność i wiarygodność . Wykresy kalibracyjne i regresja izotoniczna . Metody te często wymagają...
Mam 2 ogólne / bardziej teoretyczne pytanie. 1) Jestem ciekawy, jak maszyny SVM radzą sobie ze zmiennymi interakcjami podczas budowania modeli predykcyjnych. Na przykład, jeśli mam dwie funkcje f1 i f2, a cel zależy od f1, f2 i powiedzmy f1 * f2 (lub jakąś funkcję h (f1, f2)), czy SVM pasuje (nie...
W koniugacie Bayesa z analizą bayesowską Kevina Murphy'ego rozkładu Gaussa pisze, że tylna dystrybucja predykcyjna jest p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta gdzie to dane, na których model jest dopasowany, a to dane...
Załóżmy, że buduję model predykcyjny, w którym próbuję przewidzieć wiele zdarzeń (na przykład zarówno rzut kości, jak i rzut monetą). Większość znanych mi algorytmów działa tylko z jednym celem, więc zastanawiam się, czy istnieje standardowe podejście do tego rodzaju rzeczy. Widzę dwie możliwe...
Próba obliczenia liczby odwiedzin na podstawie danych demograficznych i usług. Dane są bardzo wypaczone. Histogramy: wykresy qq (po lewej jest log): m <- lm(d$Visits~d$Age+d$Gender+city+service) m <- lm(log(d$Visits)~d$Age+d$Gender+city+service) cityi servicesą zmiennymi...
Inżynieria cech jest często ważnym elementem uczenia maszynowego (została wykorzystana bardzo często, aby wygrać Puchar KDD w 2010 r .). Uważam jednak, że większość technik inżynierii cech również zniszczyć jakiekolwiek intuicyjne znaczenie podstawowych funkcji lub są bardzo specyficzne dla...
Uwaga: to pytanie jest repost, ponieważ moje poprzednie pytanie musiało zostać usunięte ze względów prawnych. Porównując PROC MIXED z SAS z funkcją lmez nlmepakietu w R, natknąłem się na pewne dość mylące różnice. Mówiąc dokładniej, stopnie swobody w różnych testach różnią się między PROC MIXEDi...
Obecnie pracuję nad budowaniem modelu predykcyjnego dla wyniku binarnego na zbiorze danych z ~ 300 zmiennymi i 800 obserwacjami. Dużo przeczytałem na tej stronie o problemach związanych z regresją krokową i dlaczego jej nie używać. Czytałem o regresji LASSO i jej możliwościach wyboru funkcji i...
Szukam modelu między cenami energii a pogodą. Mam cenę MWatt kupioną między krajami Europy i wiele wartości pogodowych (pliki Grib). Co godzinę przez okres 5 lat (2011-2015). Cena za dzień To jest dziennie przez jeden rok. Mam to na godziny przez 5 lat. Przykład pogody 3Dscatterplot, w...