Jakie są rzeczywiste przykłady „nieparametrycznych modeli statystycznych”?

12

Czytam tutaj artykuł z Wikipedii na temat modeli statystycznych i jestem nieco zaniepokojony znaczeniem „nieparametrycznych modeli statystycznych”, a konkretnie:

Model statystyczny jest nieparametryczny, jeśli zestaw parametrów ma nieskończony wymiar. Model statystyczny jest semiparametryczny, jeśli ma zarówno parametry skończone, jak i nieskończenie wymiarowe. Formalnie, jeśli jest wymiarem a jest liczbą próbek, zarówno modele półparametryczne, jak i nieparametryczne mają wartość jako . Jeśli jako , wówczas model jest półparametryczny; w przeciwnym razie model jest nieparametryczny. $\Theta$ $d$ $\Theta$ $n$ $d \rightarrow \infty$ $n \rightarrow \infty$ $d/n \rightarrow 0$ $n \rightarrow \infty$

Rozumiem, że jeśli wymiar (rozumiem to dosłownie liczbę parametrów) modelu jest skończony, to jest to model parametryczny.

Dla mnie nie ma sensu to, w jaki sposób możemy stworzyć model statystyczny, który ma nieskończoną liczbę parametrów, tak że możemy go nazwać „nieparametrycznym”. Co więcej, nawet jeśli tak było, dlaczego „nie”, skoro w rzeczywistości istnieje nieskończona liczba wymiarów? Wreszcie, skoro przychodzę do tego z podstaw uczenia maszynowego, czy jest jakaś różnica między tym „nieparametrycznym modelem statystycznym” a powiedzmy „nieparametrycznymi modelami uczenia maszynowego”? Wreszcie, jakie mogą być konkretne przykłady takich „nieparametrycznych nieskończonych modeli wymiarowych”?

nonparametric model Creatron
źródło

3

Korzystając z innej strony Wiki ( en.wikipedia.org/wiki/… ): „Modele nieparametryczne różnią się od modeli parametrycznych tym, że struktura modelu nie jest określona a priori, lecz jest określana na podstawie danych. Termin „nieparametryczny” nie oznacza, że w takich modelach całkowicie brakuje parametrów, ale że liczba i charakter parametrów są elastyczne i nie są z góry ustalone ”. więc nieparametryczny nie ma nieskończonej liczby parametrów, ale nieznaną liczbę parametrów.

Riff

Mam wątpliwości. W modelach nieparametrycznych z góry definiujemy strukturę modelu. Na przykład w drzewach decyzyjnych (który jest modelem nieparametrycznym) definiujemy parametr max_depth. Jak zatem powiedzieć, że ten parametr jest rzeczywiście wyuczony / określony na podstawie samych danych, a nie przez nas wcześniej ustalony?

Amarpreet Singh,

5

Jak odpowiedział Johnnyboycurtis, metody nieparametryczne to te, które nie zakładają rozkładu populacji ani wielkości próby w celu wygenerowania modelu.

Model k-NN jest przykładem modelu nieparametrycznego, ponieważ nie uwzględnia on żadnych założeń do opracowania modelu. Naiwne Bayesa lub K-średnie jest przykładem parametrycznym, ponieważ zakłada rozkład do tworzenia modelu.

Na przykład, K-oznacza zakłada, że do opracowania modelu Wszystkie klastry są sferyczne (iid Gaussa). Wszystkie osie mają taki sam rozkład, a tym samym wariancję. Wszystkie klastry mają równe rozmiary.

Jeśli chodzi o k-NN, wykorzystuje on kompletny zestaw treningowy do przewidywania. Oblicza najbliższych sąsiadów z punktu testowego do prognozowania. Zakłada brak dystrybucji do tworzenia modelu.

Po więcej informacji:

prashanth
źródło

Czy możesz to rozwinąć? Dlaczego KNN jest przykładem nieparametrycznego i dlaczego K-średnich może być? To te szczegóły, których szukam, zwłaszcza przykłady metod nieparametrycznych i dlaczego / jak nie mają założeń dotyczących rozkładu populacji. Dzięki!

Creatron,

@Creatron Zmodyfikowałem odpowiedź, aby uzyskać więcej wyjaśnień.

prashanth

3

Myślę, że brakuje ci kilku punktów. Po pierwsze i najważniejsze

Metodę statystyczną nazywa się nieparametryczną, jeżeli nie zakłada ona rozkładu populacji ani wielkości próby.

Oto prosty (zastosowany) samouczek dotyczący niektórych modeli nieparametrycznych: http://www.r-tutor.com/elementary-statistics/non-parametric-methods

Badacz może zdecydować się na zastosowanie modelu niepolarnego w porównaniu z modelem parametrycznym, powiedzmy, regresja nieparamtryczna vs regresja liniowa, ponieważ dane naruszają założenia przyjęte przez model parametryczny. Ponieważ pochodzisz z ML, założę się, że nigdy nie nauczyłeś się typowych założeń modelu regresji liniowej. Oto odniesienie: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

Naruszenie założeń może wypaczyć szacunki parametrów i ostatecznie zwiększyć ryzyko nieprawidłowych wniosków. Model nieparametryczny jest bardziej odporny na wartości odstające, relacje nieliniowe i nie zależy od wielu założeń dotyczących rozkładu populacji, a zatem może zapewnić więcej godnych zaufania wyników podczas próby wyciągania wniosków lub prognoz.

Aby uzyskać krótki samouczek na temat regresji nieparametrycznej, polecam te slajdy: http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf

Jon
źródło

Dzięki za linki, przejrzę je. Jedną rzeczą jest to, w jaki sposób mamy łączyć to z „nieskończoną liczbą parametrów”, które składają się na model „nieparametryczny”? Dzięki

Creatron

Nie ma wzmianki o tej „nieskończonej liczbie parametrów”, więc nie mogę komentować. Nigdy nie widziałem takiego odniesienia do tematu nieparametrycznego modelu statystycznego, więc musiałbym zobaczyć odniesienie, zanim będę mógł udzielić odpowiedzi / interpretacji. Na razie martwiłbym się założeniami dotyczącymi konkretnych modeli w porównaniu z całą dziedziną.

Jon

Artykuł w Wikipedii cytowany w moim pytaniu odnosi się do nieskończonej wymiarowości. Dosłownie: „Model statystyczny jest nieparametryczny, jeśli zestaw parametrów jest nieskończenie wymiarowy”. Co to znaczy? Mam na myśli to.

Creatron,

Wiem. Ale Wikipedia nie przytacza cytatu tego stwierdzenia. Nie mogę ufać czemuś bez odniesienia.

Jon

3

Obecnie biorę udział w kursie uczenia maszynowego, w którym stosujemy następującą definicję modeli nieparametrycznych: „Modele nieparametryczne stają się coraz bardziej skomplikowane wraz z rozmiarem danych”.

Model parametryczny

Aby zobaczyć, co to znaczy, spójrzmy na regresję liniową, model parametryczny: tam staramy się przewidzieć funkcję sparametryzowaną w : w jest niezależne od liczby obserwacji lub rozmiar twoich danych. $w \in ℝ ^d$

f (x) = w^{T} x

$f(x) = w^Tx$

Modele nieparametryczne

Zamiast tego regresja jądra próbuje przewidzieć następującą funkcję: gdzie mamy punktów danych, to wagi i to funkcja jądra. Tutaj liczba parametrów jest zależna od liczby punktów danych .

f (x) = \sum_{i = 1}^{n} α_{i} k (x_{i}, x)

$f(x) = \sum_{i=1}^n \alpha_i k(x_i, x)$

n

$n$

α_{i}

$\alpha_i$

k (x_{i}, x)

$k(x_i, x)$

α_{i}

$\alpha_i$

n

$n$

To samo dotyczy jądra perceptronu:

f (x) = s i g n (\sum_{i = 1}^{n} α_{i} y_{i} k (x_{i}, x)))

$f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x)))$

Wróćmy do twojej definicji i powiedzmy, że d to liczba . Jeśli pozwolimy to . Właśnie tego wymaga definicja wikipedii. $\alpha_i$ $n \to \infty$ $d \to \infty$

Wziąłem funkcję regresji jądra z moich slajdów i funkcję perceptronu z jądra z wikipedii: https://en.wikipedia.org/wiki/Kernel_method

sop_se
źródło

Jakie są rzeczywiste przykłady „nieparametrycznych modeli statystycznych”?

Odpowiedzi:

Model parametryczny

Modele nieparametryczne