Otrzymałem model regresji logistycznej (via train) dla odpowiedzi binarnej i uzyskałem macierz dezorientacji logistycznej przez confusionMatrixin caret. Daje mi to macierz dezorientacji modelu logistycznego, choć nie jestem pewien, jakiego progu używa się do jej uzyskania. Jak uzyskać macierz...
Która funkcja kosztu jest lepsza dla losowego drzewa leśnego: indeks Gini lub entropia? Próbuję wdrożyć losowy las w
Wczorajsze pytanie Określ dokładność modelu, który szacuje prawdopodobieństwo zdarzenia, zainteresowało mnie do oceny prawdopodobieństwa. Wynik Briera jest średnią kwadratową miarą błędu. Czy analogiczna średnia miara błędu bezwzględnego masz też imię?1N.∑i = 1N.( p r e di c t i O Nja- r e fe r...
Załóżmy, że buduję model predykcyjny, w którym próbuję przewidzieć wiele zdarzeń (na przykład zarówno rzut kości, jak i rzut monetą). Większość znanych mi algorytmów działa tylko z jednym celem, więc zastanawiam się, czy istnieje standardowe podejście do tego rodzaju rzeczy. Widzę dwie możliwe...
Próbuję klasyfikować wiadomości do różnych kategorii za pomocą SVM. Przygotowałem listę pożądanych słów / symboli z zestawu szkoleniowego. Dla każdego wektora, który reprezentuje komunikat, ustawiam odpowiedni wiersz, 1jeśli słowo jest obecne: „ciało” to: [mary, mała, jagnięca, gwiazda,...
Na kursie uczenia maszynowego Stanforda Andrew Ng wspomniał o stosowaniu ML w IT. Jakiś czas później, kiedy dostałem DDoS o średniej wielkości (około 20 tys. Botów) na naszej stronie, postanowiłem z nim walczyć za pomocą prostego klasyfikatora sieci neuronowej. Napisałem ten skrypt Pythona w około...
Jaki jest związek między liniową analizą dyskryminacyjną a regułą Bayesa? Rozumiem, że LDA stosuje się w klasyfikacji, próbując zminimalizować stosunek wariancji wewnątrz grupy i między wariancją grupy, ale nie wiem, w jaki sposób stosuje się w niej zasadę
W ostatnim konkursie Kaggle (ręcznie) zdefiniowałem 10 dodatkowych funkcji dla mojego zestawu treningowego, które następnie zostaną wykorzystane do wyszkolenia losowego klasyfikatora lasów. Postanowiłem uruchomić PCA w zestawie danych z nowymi funkcjami, aby zobaczyć, jak się ze sobą porównują....
Uruchomiłem maszynę SVM dla danego zestawu danych i poczyniłem następującą obserwację: Jeśli zmienię liczbę funkcji budowania klasyfikatora, liczba wynikowych wektorów pomocniczych również zostanie zmieniona. Chciałbym wiedzieć, jak wyjaśnić tego rodzaju
Mam więc macierz o wymiarach około 60 x 1000. Patrzę na nią jako na 60 obiektów z 1000 cechami; 60 obiektów jest pogrupowanych w 3 klasy (a, b, c). 20 obiektów w każdej klasie i znamy prawdziwą klasyfikację. Chciałbym przeprowadzić nadzorowaną naukę na tym zestawie 60 przykładów szkoleniowych....
Próbuję uzyskać intuicję, dlaczego zwiększenie liczby funkcji może obniżyć wydajność. Obecnie używam klasyfikatora LDA, który sprawdza się lepiej w przypadku niektórych funkcji, ale gorzej, gdy patrzy się na więcej funkcji. Moja dokładność klasyfikacji jest przeprowadzana przy użyciu...
W dwóch popularnych bibliotekach identyfikacji języka, Compact Language Detector 2 dla C ++ i wykrywaczu języka dla java, oba wykorzystały (oparte na znakach) n-gramach do wyodrębnienia funkcji tekstowych. Dlaczego nie używa się worka słów (pojedyncze słowo / słownik) i jakie są zalety i wady worka...
Prototypuję własny model słów Naive Bayes i miałem pytanie dotyczące obliczania prawdopodobieństw cech. Powiedzmy, że mam dwie klasy, po prostu używam spamu i nie-spamu, ponieważ wszyscy tego używają. Weźmy jako przykład słowo „viagra”. W moim zestawie szkoleniowym jest 10 e-maili, 5 spamu i 5...
Próbuję rozwiązać zadanie zwane wykrywaniem pieszych i trenuję binarny clasifer na dwóch kategoriach pozytywnych - ludzie, negatywne - tło. Mam zestaw danych: liczba wyników dodatnich = 3752 liczba ujemna = 3800 Używam train \ test split 80 \ 20% i RandomForestClassifier z scikit-learn z...
Mam problem z 6 klasami. Buduję klasyfikator wieloklasowy w następujący sposób: dla każdej klasy mam jeden klasyfikator regresji logistycznej, używając One vs. All, co oznacza, że mam 6 różnych klasyfikatorów. Mogę zgłosić macierz nieporozumień dla każdego z moich klasyfikatorów. Chciałbym...
Muszę uzyskać jak najdokładniejszą wartość jasności głównie stabilnego źródła światła, biorąc pod uwagę dwanaście wartości jasności próbki. Czujnik jest niedoskonały, a światło może czasami „migotać” jaśniej lub ciemniej, co można zignorować, stąd moja potrzeba wykrycia wartości odstających...
Chcę wdrożyć Adaboost przy użyciu decyzji Stump. Czy poprawne jest podejmowanie tylu decyzji, ile funkcji naszego zestawu danych w każdej iteracji Adaboost? Na przykład, jeśli mam zestaw danych z 24 funkcjami, czy powinienem mieć 24 klasyfikatory kikutów decyzyjnych w każdej iteracji? A może...
Wykonuję binarne zadanie klasyfikacyjne, w którym prawdopodobieństwo wyniku jest dość niskie (około 3%). Próbuję zdecydować, czy przeprowadzić optymalizację na podstawie AUC, czy utraty logów. O ile rozumiem, AUC maksymalizuje zdolność modelu do rozróżnienia między klasami, podczas gdy utrata...
Rozumiem więc, że kiedy trenujesz HMM do klasyfikacji, standardowe podejście to: Rozdziel swoje zestawy danych na zestawy danych dla każdej klasy Wytrenuj jeden HMM na klasę Na zestawie testowym porównaj prawdopodobieństwo każdego modelu w celu sklasyfikowania każdego okna Ale jak mam trenować...
Mam bardzo duży zestaw danych i brakuje około 5% wartości losowych. Te zmienne są ze sobą skorelowane. Poniższy przykładowy zestaw danych R jest tylko zabawkowym przykładem z fałszywymi skorelowanymi danymi. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace =...