Drzewo decyzyjne a KNN

W jakich przypadkach lepiej jest użyć drzewa decyzyjnego, a innych - KNN?

Po co używać jednego z nich w niektórych przypadkach? A drugi w różnych przypadkach? (Patrząc na jego funkcjonalność, a nie na algorytm)

Czy ktoś ma jakieś wyjaśnienia lub odniesienia na ten temat?

Służą do różnych celów.

KNN nie jest nadzorowany, drzewo decyzyjne (DT) nadzorowane. ( KNN nadzoruje uczenie się, podczas gdy K-środki nie są nadzorowane, myślę, że ta odpowiedź powoduje pewne zamieszanie. ) KNN jest używany do grupowania, DT do klasyfikacji. ( Oba są używane do klasyfikacji. )

KNN określa sąsiedztwa, dlatego musi istnieć wskaźnik odległości. Oznacza to, że wszystkie funkcje muszą być numeryczne. Na metryki odległości mogą wpływać różne skale między atrybutami, a także przestrzeń wielowymiarowa.

Z kolei DT przewiduje klasę dla danego wektora wejściowego. Atrybuty mogą być liczbowe lub nominalne.

Jeśli więc chcesz znaleźć podobne przykłady, możesz użyć KNN. Jeśli chcesz sklasyfikować przykłady, możesz użyć ID.

Klasyfikatory takie jak Drzewo decyzyjne, Bayesian, propagacja wsteczna, maszyna wektorów wsparcia należą do kategorii „chętnych uczniów” , ponieważ najpierw budują model klasyfikacji na zbiorze danych szkoleniowych, zanim są w stanie faktycznie sklasyfikować [niewidzialną] obserwację z zestawu danych testowych . Wyuczony model jest teraz „chętny” (głodny czytania) do klasyfikowania wcześniej niewidzianych obserwacji, stąd nazwa.

Klasyfikator oparty na KNN nie buduje jednak żadnego modelu klasyfikacji. Uczy się bezpośrednio z instancji treningowych (obserwacji). Zaczyna przetwarzać dane dopiero po otrzymaniu obserwacji testowej w celu sklasyfikowania. Zatem KNN należy do kategorii podejść „Leniwy uczeń” .

Na podstawie powyższych fundamentalnych różnic możemy wyciągnąć następujące wnioski:

1. Ponieważ KNN wykonuje uczenie na miejscu, wymaga częstych przeszukiwania baz danych, dlatego może być kosztownie obliczone. Klasyfikator drzewa decyzyjnego nie wymaga takich wyszukiwań, ponieważ ma gotowy model klasyfikacji w pamięci.

2. Ponieważ KNN wykonuje uczenie oparte na instancjach, dobrze dostrojony K może modelować złożone przestrzenie decyzyjne o arbitralnie skomplikowanych granicach decyzyjnych, które nie są łatwo modelowane przez innych „chętnych” uczniów, takich jak Drzewa decyzyjne.

3. „Chętni” uczniowie pracują partiami, modelując jednocześnie jedną grupę obserwacji treningowych. Dlatego nie nadają się do nauki przyrostowej. Ale KNN w naturalny sposób wspiera nauczanie przyrostowe (strumienie danych), ponieważ jest uczniem opartym na instancjach.

4. Ponadto, klasyfikator KNN podaje poziomy błędów testowych bliższe wskaźnikom klas bayesowskich (złoty standard). Jak podano w ISLR :

Współczynnik błędu Bayesa jest analogiczny do błędu nieredukowalnego

Z uczenia maszynowego Pythona Sebastiana Raschki :

Główną zaletą takiego podejścia opartego na pamięci [KNN] jest to, że klasyfikator natychmiast dostosowuje się, gdy zbieramy nowe dane treningowe. Minusem jest jednak to, że złożoność obliczeniowa klasyfikacji nowych próbek rośnie liniowo wraz z liczbą próbek w zbiorze danych szkoleniowych w najgorszym przypadku - chyba że zestaw danych ma bardzo niewiele wymiarów (cech) i algorytm został wdrożony przy użyciu wydajnych danych struktury takie jak drzewa KD. JH Friedman, JL Bentley i RA Finkel. Algorytm znajdowania najlepszych dopasowań w logarytmicznym oczekiwanym czasie. Transakcje ACM na oprogramowaniu matematycznym (TOMS), 3 (3): 209–226, 1977. Ponadto nie możemy odrzucić próbek szkoleniowych, ponieważ nie wymaga to żadnego etapu szkoleniowego. Dlatego przestrzeń dyskowa może stać się wyzwaniem, jeśli pracujemy z dużymi zestawami danych.

Drzewo decyzyjne może jednak szybko sklasyfikować nowe przykłady. Właśnie przeprowadzasz serię porównań boolowskich.

Dodałbym, że drzewa decyzyjne mogą być używane zarówno do zadań klasyfikacji, jak i regresji. Z drugiej strony DT przewiduje, że klasa w przyjętej odpowiedzi byłaby bardziej szczegółowa, opisując drzewa klasyfikacji, które technicznie są podtypem ogólnej koncepcji DT. Jedno odniesienie (ignorowanie dolnych warstw omawiających konkretne implementacje):
Stąd: http://www.simafore.com/blog/bid/62482/2-main-differences-between-classification-and-regression-trees