Właściwa reguła punktacji jest regułą, która jest maksymalizowana przez „prawdziwy” model i nie pozwala na „zabezpieczanie” lub granie w system (celowe zgłaszanie różnych wyników, jak to jest prawdziwe przekonanie modelu o poprawie wyniku). Wynik Briera jest prawidłowy, dokładność (proporcja...
Mam wątpliwości co do tego, który miernik wydajności zastosować, obszar pod krzywą ROC (TPR jako funkcja FPR) lub obszar pod krzywą precyzja-przywołanie (precyzja jako funkcja przywołania). Moje dane są niezrównoważone, tzn. Liczba negatywnych wystąpień jest znacznie większa niż...
Planuję użyć powtarzanej (10 razy) stratyfikacji 10-krotnej krzyżowej walidacji na około 10 000 przypadków przy użyciu algorytmu uczenia maszynowego. Za każdym razem powtórzenie zostanie wykonane z innym losowym ziarnem. W tym procesie tworzę 10 przypadków oszacowań prawdopodobieństwa dla każdego...
Załóżmy, że zbudowałem model predykcyjny dla wystąpienia określonej choroby w jednym zestawie danych (zestaw danych budowania modelu) i teraz chcę sprawdzić, jak dobrze model działa w nowym zestawie danych (zestaw danych sprawdzania poprawności). Dla modelu zbudowanego z regresją logistyczną...
Studiuję kurs uczenia maszynowego, a slajdy z wykładami zawierają informacje, które uważam za sprzeczne z zalecaną książką. Problem jest następujący: istnieją trzy klasyfikatory: klasyfikator A zapewniający lepszą wydajność w dolnym zakresie progów, klasyfikator B zapewniający lepszą wydajność w...
Jakie są zalety krzywych ROC? Na przykład klasyfikuję niektóre obrazy, co jest problemem klasyfikacji binarnej. Wyodrębniłem około 500 obiektów i zastosowałem algorytm wyboru cech, aby wybrać zestaw cech, a następnie zastosowałem SVM do klasyfikacji. W takim przypadku jak mogę uzyskać krzywą ROC?...
Eksperymentuję z algorytmem maszyny do zwiększania gradientu za pośrednictwem caretpakietu w R. Korzystając z małego zestawu danych o przyjęciach na studia, uruchomiłem następujący kod: library(caret) ### Load admissions dataset. ### mydata <-
Dlaczego obszar pod krzywą ROC to prawdopodobieństwo, że klasyfikator uszereguje losowo wybraną „pozytywną” instancję (na podstawie uzyskanych prognoz) wyższą niż przypadkowo wybrana „pozytywna” instancja (z oryginalnej pozytywnej klasy)? W jaki sposób można udowodnić matematycznie to stwierdzenie...
Próbuję zrozumieć, jak obliczyć optymalny punkt odcięcia dla krzywej ROC (wartość, przy której czułość i swoistość są zmaksymalizowane). Korzystam z zestawu danych aSAHz pakietu pROC. outcomeZmienna może być wyjaśnione przez dwóch niezależnych zmiennych: s100ba ndka. Korzystając ze składni...
Mam zestaw testowy 100 przypadków i dwa klasyfikatory. Wygenerowałem prognozy i obliczyłem AUC ROC, czułość i swoistość dla obu klasyfikatorów. Pytanie 1: Jak obliczyć wartość p, aby sprawdzić, czy jedna jest znacznie lepsza od drugiej pod względem wszystkich wyników (AOC ROC, czułość,...
Zastosowałem regresję logistyczną do moich danych na SAS i oto krzywa ROC i tabela klasyfikacji. Czuję się dobrze z liczbami w tabeli klasyfikacji, ale nie jestem pewien, co pokazuje krzywa ROC i obszar pod nią. Wszelkie wyjaśnienia byłyby bardzo mile
W uczeniu maszynowym możemy wykorzystać obszar pod krzywą ROC (często skracany AUC lub AUROC), aby podsumować, jak dobrze system może rozróżniać dwie kategorie. W teorii wykrywania sygnału często stosuje się (wskaźnik czułości) do podobnego celu. Oba są ściśle ze sobą powiązane i uważam, że są...
kiedyś tworzyliśmy krzywą GINI za pomocą wzrostu utworzonego za pomocą procentu dobrego i złego do modelowania karty wyników. Ale to, co badałem, to, że krzywa ROC jest tworzona przy użyciu macierzy konfuzji z Specyficznością (1- True Negative) jako osią x i czułością (true Positive) jako osią...
Natrafiam na współczynnik kości dla podobieństwa objętości ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) i dokładności ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Wydaje mi się, że te dwa środki są takie same. jakieś
Pracowałem nad modelem logistycznym i mam trudności z oceną wyników. Mój model to dwumianowy logit. Moje zmienne objaśniające to: zmienna kategorialna z 15 poziomami, zmienna dychotomiczna i 2 zmienne ciągłe. Mój N jest duży> 8000. Staram się modelować decyzję firm o inwestowaniu. Zmienna...
Otrzymałem model regresji logistycznej (via train) dla odpowiedzi binarnej i uzyskałem macierz dezorientacji logistycznej przez confusionMatrixin caret. Daje mi to macierz dezorientacji modelu logistycznego, choć nie jestem pewien, jakiego progu używa się do jej uzyskania. Jak uzyskać macierz...
Zwykle nie możemy narysować krzywej ROC dla dyskretnych klasyfikatorów, takich jak drzewa decyzyjne. Czy mam rację? Czy jest jakiś sposób na narysowanie krzywej ROC dla
Jednym z powszechnych mierników używanych do porównywania dwóch lub więcej modeli klasyfikacji jest wykorzystanie obszaru pod krzywą ROC (AUC) jako sposób na pośrednią ocenę ich wydajności. W takim przypadku model z większym AUC jest zwykle interpretowany jako działający lepiej niż model z...
Zwykle w regresji logistycznej dopasowujemy model i uzyskujemy prognozy dotyczące zestawu treningowego. Następnie weryfikujemy krzyżowo te prognozy treningowe (coś takiego jak tutaj ) i decydujemy o optymalnej wartości progowej na podstawie czegoś takiego jak krzywa ROC. Dlaczego nie uwzględnimy...
Trudno mi znaleźć sposób na obliczenie wartości p dla obszaru pod charakterystyką operatora odbiornika (ROC). Mam zmienną ciągłą i wynik testu diagnostycznego. Chcę sprawdzić, czy AUROC jest statystycznie istotny. Znalazłem wiele pakietów zajmujących się krzywymi ROC: pROC, ROCR, caTools,...