utrata zawiasów a zalety i wady logistyczne strat

14

Utratę zawiasu można zdefiniować za pomocą a utratę logu można zdefiniować jako log ( 1 + exp ( - y i w T x i ) )max(0,1-yjawT.xja)log(1+exp⁡(-yjawT.xja))

Mam następujące pytania:

  1. Czy są jakieś wady utraty zawiasu (np. Wrażliwe na wartości odstające, jak wspomniano w http://www.unc.edu/~yfliu/papers/rsvm.pdf )?

  2. Jakie są różnice, zalety, wady jednego w porównaniu do drugiego?

machine-learning svm loss-functions computer-vision użytkownik570593
źródło

Odpowiedzi:

22

Minimalizacja strat logarytmicznych prowadzi do dobrze zachowanych wyników probabilistycznych.

Utrata zawiasu prowadzi do pewnej (nie gwarantowanej) rzadkości na podwójnym, ale nie pomaga w oszacowaniu prawdopodobieństwa. Zamiast tego karze błędne klasyfikacje (dlatego tak przydatne jest ustalanie marginesów): zmniejszenie utraty zawiasów wiąże się ze zmniejszeniem błędnych klasyfikacji marginesów.

Podsumowując:

  • Strata logarytmiczna prowadzi do lepszego oszacowania prawdopodobieństwa kosztem dokładności

  • Utrata zawiasów prowadzi do lepszej dokładności i pewnej rzadkości kosztem znacznie mniejszej wrażliwości dotyczącej prawdopodobieństw

Firebug
źródło
1
+1. Minimalizacja straty logistycznej odpowiada maksymalnemu prawdopodobieństwu dwumianowemu. Minimalizowanie strat z błędu kwadratu odpowiada maksymalizacji prawdopodobieństwa Gaussa (to tylko regresja OLS; w przypadku klasyfikacji 2-klasowej faktycznie odpowiada LDA). Czy wiesz, czy minimalizacja utraty zawiasów odpowiada maksymalizacji innego prawdopodobieństwa? Czy istnieje jakiś model probabilistyczny odpowiadający utracie zawiasów?
ameba mówi Przywróć Monikę
1
@amoeba To interesujące pytanie, ale maszyny SVM z natury nie są oparte na modelowaniu statystycznym. Powiedziawszy to, sprawdź tę odpowiedź przez Glen_b. Cały wątek dotyczy tego, ale zamiast tego zawias niewrażliwy na epsilon.
Firebug
4

@Firebug miał dobrą odpowiedź (+1). W rzeczywistości miałem podobne pytanie tutaj.

Jakie są skutki wyboru różnych funkcji strat w klasyfikacji do przybliżonej straty 0-1

Chcę tylko dodać więcej o kolejnej wielkiej przewadze straty logistycznej: interpretacji probabilistycznej. Przykład można znaleźć tutaj

W szczególności regresja logistyczna jest klasycznym modelem w literaturze statystycznej. (Zobacz, Co oznacza nazwa „regresja logistyczna”? Dla nazewnictwa.) Istnieje wiele ważnych koncepcji związanych z utratą logistyki, takich jak maksymalizacja oszacowania prawdopodobieństwa logarytmicznego, testy współczynnika wiarygodności, a także założenia dotyczące dwumianu. Oto kilka powiązanych dyskusji.

Test współczynnika wiarygodności w R.

Dlaczego regresja logistyczna nie jest nazywana klasyfikacją logistyczną?

Czy istnieje założenie regresji logistycznej?

Różnica między modelami logit i probit

Haitao Du
źródło
1

Ponieważ @ hxd1011 dodał zaletę entropii krzyżowej, dodam jedną jego wadę.

Błąd entropii krzyżowej jest jedną z wielu miar odległości między rozkładami prawdopodobieństwa, ale jedną z jego wad jest to, że rozkłady o długich ogonach mogą być źle modelowane ze zbyt dużą wagą przypisywaną nieoczekiwanym zdarzeniom.

Aerin
źródło