Studiuję drzewa klasyfikacji i regresji, a jedną z miar podziału lokalizacji jest wynik GINI. Teraz jestem przyzwyczajony do określania najlepszego podziału lokalizacji, gdy logarytm stosunku prawdopodobieństwa tych samych danych między dwiema dystrybucjami wynosi zero, co oznacza, że...
Po przeprowadzeniu analizy głównego składnika (PCA) chcę rzutować nowy wektor na przestrzeń PCA (tzn. Znaleźć jego współrzędne w układzie współrzędnych PCA). Mam obliczony PCA w języku R użyciu prcomp. Teraz powinienem być w stanie pomnożyć mój wektor przez macierz obrotu PCA. Czy główne elementy...
Mam zestaw danych składa się z 5 funkcji: A, B, C, D, E. Wszystkie są wartości liczbowe. Zamiast tworzyć klastrowanie oparte na gęstości, chcę skupić dane w sposób podobny do drzewa decyzyjnego. Mam na myśli takie podejście: Algorytm może dzielić dane na X początkowych klastrów w oparciu o cechę...
Nie jestem ekspertem od losowego lasu, ale doskonale rozumiem, że kluczowym problemem z losowym lasem jest (losowe) generowanie drzew. Czy możesz mi wyjaśnić, w jaki sposób generowane są drzewa? (tj. Jaka jest używana dystrybucja do generowania drzew?) Z góry dziękuję !...
Jaka jest definicja „przestrzeni obiektów”? Na przykład czytając o SVM, czytam o „mapowaniu do przestrzeni funkcji”. Czytając o KOSZYKU, czytam o „partycjonowaniu w przestrzeń funkcji”. Rozumiem, co się dzieje, szczególnie w przypadku CART, ale myślę, że brakuje mi definicji. Czy istnieje ogólna...
Kikut decyzyjny jest drzewem decyzyjnym z tylko jednym podziałem. Można go również zapisać jako funkcję fragmentaryczną. Załóżmy na przykład, że jest wektorem, a jest pierwszym składnikiem , w ustawieniach regresji, niektóre kikuty decyzyjne mogą byćxxx
Szukam prac lub tekstów, które porównują i omawiają (empirycznie lub teoretycznie): Pobudzanie i drzewa decyzyjne algorytmy takie jak lasy losowe lub adaboost i GentleBoost stosowane do drzew decyzyjnych. z Metody głębokiego uczenia, takie jak Ograniczone Maszyny Boltzmanna , Hierarchiczna...
Do regresji wykorzystywane są losowe lasy. Jednak z tego, co rozumiem, przypisują średnią wartość docelową na każdym liściu. Ponieważ w każdym drzewie jest tylko ograniczona liczba liści, istnieją tylko określone wartości, które cel może uzyskać z naszego modelu regresji. Czy zatem nie jest to...
Random Forests (RFs) to konkurencyjna metoda modelowania / wyszukiwania danych. Model RF ma jedno wyjście - zmienną wyjściową / predykcyjną. Naiwnym podejściem do modelowania wielu wyjść za pomocą RF byłoby skonstruowanie RF dla każdej zmiennej wyjściowej. Mamy więc N niezależnych modeli i tam,...
Istnieje wiele postów na blogach, filmów na YouTube itp. O pomysłach spakowania lub ulepszenia drzew. Z mojego ogólnego zrozumienia wynika, że pseudo kod dla każdego z nich to: Parcianka: Weź N losowych próbek x% próbek i y% funkcji Dopasuj swój model (np. Drzewo decyzyjne) do każdego z...
Jaki jest wymiar VC drzewa decyzyjnego z podziałem k na dwa wymiary? Powiedzmy, że modelem jest CART, a jedyne dozwolone podziały są równoległe do osi. Tak więc dla jednego podziału możemy zamówić 3 punkty w trójkącie, a następnie dla dowolnego oznaczenia punktów możemy uzyskać doskonałą prognozę...
W procedurze rpart () do tworzenia modeli CART określasz parametr złożoności, do którego chcesz przyciąć drzewo. Widziałem dwie różne rekomendacje dotyczące wyboru parametru złożoności: Wybierz parametr złożoności związany z minimalnym możliwym błędem walidowanym krzyżowo. Ta metoda jest zalecana...
Minęło trochę czasu, odkąd spojrzałem na dzielenie drzew. Ostatnim razem, gdy robiłem takie rzeczy, lubię imprezę w R (stworzoną przez Hothorn). Idea wnioskowania warunkowego za pomocą próbkowania ma dla mnie sens. Ale rpart również miał apelację. W obecnej aplikacji (nie mogę podać szczegółów,...
Właściwie piszę implementację Losowych Lasów, ale uważam, że pytanie dotyczy drzew decyzyjnych (niezależnych od RF). Zatem kontekst polega na tym, że tworzę węzeł w drzewie decyzyjnym, a zmienne predykcyjne i docelowe są ciągłe. Węzeł ma podzielony próg podziału danych na dwa zestawy i tworzę nową...
Załóżmy, że mamy dwóch drzew regresji (drzewie i drzewa B) odwzorowanych wejściowe do wyjścia y ∈ R . Niech Y = F A ( x ) w drzewie i F B ( x ) na drzewa B. Każde drzewo wykorzystuje dzieli binarnej hiperplaszczyzn jako funkcji oddzielających.x ∈ Rrex∈Rrex \in \mathbb{R}^dy^∈ Ry^∈R\hat{y} \in...
pytania Czy to zależy od tego, czy drzewo jest płytkie czy głębokie? Czy możemy to powiedzieć niezależnie od głębokości / poziomów drzewa? Dlaczego odchylenie jest niskie, a wariancja wysoka? Proszę wyjaśnić intuicyjnie i
Pracuję nad miarą ważności funkcji Gini dla losowego lasu. Dlatego muszę obliczyć spadek zanieczyszczenia węzła Gini. Oto sposób, w jaki to robię, co prowadzi do konfliktu z definicją, co sugeruje, że gdzieś się mylę ... :) W przypadku drzewa binarnego i biorąc pod uwagę prawdopodobieństwa lewych...
Czy ktoś może wyjaśnić matematykę związaną z klasyfikacją w CART? Chcę zrozumieć, jak przebiegają dwa główne etapy. Na przykład przeszkoliłem klasyfikator CART na zestawie danych i użyłem testowego zestawu danych, aby oznaczyć jego predykcyjne działanie, ale: Jak wybiera się początkowy korzeń...
Mój kolega z mojego biura powiedział mi dzisiaj: „Modele drzew nie są dobre, ponieważ przyłapują ich ekstremalne obserwacje”. Wyszukiwanie tutaj zaowocowało tym wątkiem, który zasadniczo obsługuje roszczenie. Co prowadzi mnie do pytania - w jakiej sytuacji model CART może być solidny i jak to...
Wersja skrócona: szukam pakietu R, który może budować drzewa decyzyjne, podczas gdy każdy liść w drzewie decyzyjnym jest pełnym modelem regresji liniowej. AFAIK, biblioteka rparttworzy drzewa decyzyjne, w których zmienna zależna jest stała w każdym liściu. Czy istnieje inna biblioteka (lub...