Czy kikut decyzji jest modelem liniowym?

Kikut decyzyjny jest drzewem decyzyjnym z tylko jednym podziałem. Można go również zapisać jako funkcję fragmentaryczną.

Załóżmy na przykład, że jest wektorem, a jest pierwszym składnikiem , w ustawieniach regresji, niektóre kikuty decyzyjne mogą być $x$ $x_1$ $x$

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Ale czy to model liniowy? gdzie można zapisać jako ? To pytanie może zabrzmieć dziwnie, ponieważ jak wspomniano w odpowiedziach i komentarzach, jeśli wykreślimy funkcję kawałkową, nie jest to linia. Proszę zobaczyć następną sekcję, dlaczego zadaję to pytanie. $f(x)=\beta^T x$

EDYTOWAĆ:

Powodem, dla którego zadaję to pytanie, jest regresja logistyczna (uogólniony) model liniowy, a granica decyzji jest linią, także dla pnia decyzji. Uwaga, mamy również pytanie: dlaczego regresja logistyczna jest modelem liniowym? . Z drugiej strony nie wydaje się prawdą, że kikut decyzyjny jest modelem liniowym.

Innym powodem, dla którego zadałem to pytanie, jest to pytanie: czy podczas wzmacniania, jeśli podstawowy uczeń jest modelem liniowym, czy ostateczny model jest tylko prostym modelem liniowym? gdzie, jeśli użyjemy modelu liniowego jako podstawowego ucznia, nie otrzymamy nic więcej niż regresja liniowa. Ale jeśli wybieramy podstawowego ucznia jako kikut decyzyjny, otrzymujemy bardzo interesujący model.

Oto jeden przykład zwiększenia kikuta decyzyjnego przy regresji z 2 funkcjami i 1 ciągłą reakcją.

machine-learning cart linear boosting Haitao Du
źródło

Dlaczego uważasz, że jest liniowy?

Tim

@ hxd1011 ważne jest, aby odróżnić granicę decyzji od funkcji decyzyjnej tutaj

shadowtalker

Mógłbym to nazwać wielomianem 1000-go rzędu ze wszystkimi rzędami od 1 do 1000 równymi zero. Mógłbym to nazwać modelem zerowego rzędu (aka stałej) i bardziej zwięźle komunikowałoby kluczowe funkcje. Klasyczne drzewo jest częściowo stałe. Trywialne drzewo, pień, to pojedynczy podział w przestrzeni, w której model z jednej strony jest stały, a drugi jest inną stałą. Nie jest globalnie stały, ale nie jest też poli1. Biblioteka „kubistyczna” w R pasuje do rzeczywistych modeli liniowych (poli1) zamiast modeli stałych. Możesz tego spróbować.

EngrStudent - Przywróć Monikę

Jeśli narysujesz linię na płaszczyźnie (powiedzmy y = 0) i weźmiesz jakąkolwiek funkcję , wtedy będzie mieć linie konturowe, które są rzeczywistymi liniami (równolegle do osi ), ale nie będzie to funkcja liniowa.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

Matthew Drury

To dziwne pytanie. Czy potrafisz wykreślić funkcję z przykładu (co jest równe 3 dla x <2 i 5 dla x> 2)? Spójrz na to - czy to linia prosta? Jeśli nie jest to linia prosta, to nie jest to funkcja liniowa.

ameba mówi Przywróć Monikę

Odpowiedzi:

Nie, chyba że dane zostaną przekształcone.

Jest to model liniowy, jeśli transformujesz za pomocą funkcji wskaźnika: $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Następnie $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Edycja: zostało to wspomniane w komentarzach, ale chcę to również podkreślić. Każda funkcja, która dzieli dane na dwie części, może zostać przekształcona w model liniowy tej postaci, z przecięciem i pojedynczym wejściem (wskaźnik, po której „stronie” partycji znajduje się punkt danych). Ważne jest, aby wziąć pod uwagę różnicę między funkcją decyzyjną a granicą decyzyjną .

Shadowtalker
źródło

„transformacja” jest trudna, myślę, że sieć neuronowa (MLP) jest nieliniowa, ale po transformacji jest liniowa.

Haitao Du

Jest to model liniowy parametrów. I jest afiniczny liniowy w manekinie .

x^{'}

$x'$

Michael M

@MichaelM jak to jest liniowe w parametrach? Zakładam, że przez „parametry” masz na myśli wybór

x \leq 2

$x \leq 2$

shadowtalker

@ hxd1011 odpowiedź brzmi „nie, chyba że transformujesz dane”

shadowtalker,

Sugeruję, abyś zmienił swoją odpowiedź, dodając „nie, chyba że przekształcisz dane” (z ostatniego komentarza). Obecnie twoje początkowe słowa to „To model liniowy” i ludzie mogą się pomylić.

ameba mówi Przywróć Monikę

Odpowiedzi na twoje pytania:

Kikut decyzyjny nie jest modelem liniowym.
Granicą decyzyjną może być linia, nawet jeśli model nie jest liniowy. Regresja logistyczna jest przykładem.
Model wzmocniony nie musi być tym samym modelem, co podstawowy uczeń. Jeśli się nad tym zastanowić, to przykład wzmocnienia oraz pytanie, z którym się łączycie, dowodzi, że kikut decyzyjny nie jest modelem liniowym.

Flądrarz
źródło

Ta odpowiedź jest bardziej szczegółowa, niż jest potrzebna do odpowiedzi na pytanie. Mam nadzieję sprowokować komentarze prawdziwych ekspertów.

Kiedyś byłem na sali sądowej i sędzia zapytał (z dobrego powodu w kontekście), czy nazywamy ogonem psa nogę, czy to znaczy, że pies ma 5 nóg? Czym jest model liniowy?

W kontekście statystyki ekspert powiedział mi, że model liniowy oznacza model statystyczny zbudowany z zestawu funkcji w postaci z ważnym ograniczeniem, że terminy błędów są niezależne i zwykle rozprowadzane. Przy tej definicji nie można powiedzieć, czy model jest liniowy, ponieważ nie podałeś żadnych informacji na temat terminu błędu. Jeśli upuści się ograniczenie terminu błędu, wówczas jest ono tautologicznie liniowe w funkcji, którą dajesz, lub w funkcji, którą daje ssdecontrol. Jednak naiwnie, w kontekście tego pytania, może to być niezadowalające. W tym sensie każdą funkcję można uznać za podstawę liniowej. Jest tak, ponieważ dowolną przestrzeń funkcji można przekształcić w wektorową przestrzeń funkcji. $f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$

Jeśli pytasz z nosa, to jest matematycznie, jeśli twoja funkcja jest liniowa, to odpowiedź brzmi nie. Funkcja liniowa to taka, której wykres jest linią prostą, podczas gdy wyraźnie twoja funkcja nie ma tej właściwości. W odpowiedzi na pytanie, które stawiasz na końcu, można znaleźć , aby , a następnie nie. $\beta$ $f(x) = \beta^{T} x$

Każda funkcja klasy, którą podajesz, spełniałaby wartość dla dowolnych (rzeczywistych) liczb i . Zauważ, że spełnia funkcji , a , tak, , jak to jest wymagane, jeśli funkcja była postaci . Zauważ, że klasa, którą proponujesz dla funkcji liniowych, jest podklasą tego, co zwykle nazywa się funkcjami liniowymi. $f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

meh
źródło

Liniowość nie ma nic wspólnego z terminami błędów. Ma to związek z tym, że składa się z liniowej kombinacji parametrów . To reprezentuje linię prostą w przestrzeni 2D (ale bardziej ogólnie reprezentuje płaszczyznę).

shadowtalker

@ssdecontrol - Mogę tylko powiedzieć, że prawdopodobieństwo doktoratu. (oraz student Kołmogorowa) nalegał, że termin „model liniowy”, stosowany w statystyce, zawiera stwierdzenie o błędzie. Tak naprawdę jestem bardzo zainteresowany tym, jak powszechny może być ten widok. Liniowy ma wiele znaczeń. Na przykład, jeśli ktoś ma równanie w przestrzeni N , to można powiedzieć, że jest liniowy, jeśli zestaw zer jest hiperpłaszczyzną. Oczywiście oznaczałoby to, że moglibyśmy napisać . Jednak funkcja byłaby liniowa tj. .

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$

⟺ a_{0} = 0

$\iff a_0 = 0$

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$

Meh

jeśli tak upiera się, to jego opinia, a nie jakiś twardy fakt. O ile mi wiadomo, nie ma ścisłej przyjętej definicji „modelu liniowego”, ani też nie ma takiej potrzeby. Dla mnie fakt, że występuje błąd, zmienia model z „modelu liniowego” na „statystyczny model liniowy”. Nie widzę nic z natury liniowego w jej terminach, ani nie widzę nic z natury statystycznego w modelach liniowych.

shadowtalker

IMO nalega na obecność terminu błędu po prostu pomija to, co powiedzmy, a inżynier lub fizyk może uznać za „model liniowy” deterministycznego procesu fizycznego.

shadowtalker