Wymiar VC modeli regresji

W serii wykładów Uczenie się z danych profesor wspomina, że wymiar VC mierzy złożoność modelu na podstawie tego, ile punktów dany model może rozbić. Działa to więc doskonale w przypadku modeli klasyfikacji, w których można by powiedzieć z N punktów, jeśli klasyfikator jest w stanie skutecznie rozbić punkty k, miarą wymiaru VC byłaby K. Jednak nie było dla mnie jasne, jak mierzy się wymiar VC dla modeli regresji ?

regression machine-learning vc-dimension karthikbharadwaj
źródło

Zobacz cs.stackexchange.com/questions/11548/... ncbi.nlm.nih.gov/pubmed/18252610

kjetil b halvorsen

Odpowiedzi:

Z elementów uczenia statystycznego , str. 238:

Do tej pory omawialiśmy wymiar VC tylko funkcji wskaźnikowych, ale można go rozszerzyć na funkcje o wartościach rzeczywistych. Wymiar VC klasy funkcji o wartościach rzeczywistych jest zdefiniowany jako wymiar VC klasy wskaźnika , gdzie przyjmuje wartości z zakresu g. ${g(x, \alpha)}$ ${\mathbb{1}(g(x, \alpha) − \beta > 0)}$ $\beta$

Lub (nieco) bardziej intuicyjnie, aby znaleźć wymiar VC klasy funkcji o wartościach rzeczywistych, można znaleźć wymiar VC klasy funkcji wskaźnika, który można utworzyć przez próg tej klasy funkcji o wartościach rzeczywistych.

Sean Easter
źródło

Daje to jednak wymiar VC dla wskaźników progowych, a przy wartości nominalnej nie widzę, w jaki sposób uzyskanie granic PAC dla wskaźników progowych wiele mówi o wydajności funkcji regresji. Być może możesz wymyślić argument, w którym binarnie wyszukujesz wartość regresowaną (dla ograniczonych domen wyjściowych).

VF1,

@ VF1 Prawda. Jak interpretować wymiar VC funkcji regresji, można zadać dobre, osobne pytanie.

Sean Easter

Zadałbym osobne pytanie, ale uważam, że odpowiedź brzmi: „nie używaj VC dim do regresji”, ponieważ Rademacher pozwoliłby ci zrobić tyle samo w przypadku arbitralnych strat.

VF1

@ VF1 Z zainteresowaniem przeczytałbym odpowiedź, która brzmi tak! Chodzi mi o to, aby zasugerować, że normą CV jest ograniczenie pytań do jednego pytania na post oraz że OP nie dotknął interpretacji ani celu.

Sean Easter

Zobacz rozdział 5.2 Statystycznego uczenia się (Vapnik), aby uzyskać informacje na temat sztuczki progowej przy użyciu miar Lebesgue-Stieltjes. AFAIK to jedyne i ostateczne odniesienie. Powinieneś już wiedzieć, gdzie znaleźć książkę (i inni z Vapnika, wszyscy są superlatywni).

memeplex
źródło

Byłoby pomocne, gdybyś mógł streścić argument, a nie tylko podać odniesienie.

mdewey,