Natknąłem się na proste pytanie o porównanie modeli elastycznych (tj. Splajnów) z modelami nieelastycznymi (np. Regresja liniowa) w różnych scenariuszach. Pytanie brzmi:
Ogólnie rzecz biorąc, czy oczekujemy, że działanie elastycznej metody uczenia statystycznego będzie lepsze lub gorsze niż metody nieelastycznej, gdy:
- Liczba predyktorów jest niezwykle duża, a liczba obserwacji jest niewielka?
- Wariacja składników błędu, tj. , jest wyjątkowo wysoka?
Myślę, że dla (1), gdy jest małe, modele nieelastyczne są lepsze (nie jestem pewien). W przypadku (2) nie wiem, który model jest (względnie) lepszy.
machine-learning
model
mały chłopiec
źródło
źródło
Odpowiedzi:
W tych 2 sytuacjach porównawczy model elastyczności i elastyczności zależy również od:
Jeśli relacja jest zbliżona do liniowej i nie ogranicza się elastyczności, wówczas model liniowy powinien dawać lepszy błąd testowy w obu przypadkach, ponieważ model elastyczny może się w obu przypadkach przeregulować.
Możesz na to spojrzeć w ten sposób:
Jeśli jednak prawdziwa relacja jest bardzo nieliniowa, trudno powiedzieć, kto wygra (obie przegrają :)).
Jeśli dostroisz / ograniczysz stopień elastyczności i zrobisz to we właściwy sposób (powiedzmy przez krzyżową weryfikację), wówczas model elastyczny powinien wygrać we wszystkich przypadkach.
źródło
Oczywiście zależy to od podstawowych danych, które należy zawsze zbadać, aby poznać niektóre z jego cech przed próbą dopasowania modelu, ale nauczyłem się ogólnych zasad:
źródło
Cóż, w drugiej części uważam, że bardziej elastyczny model będzie się mocno dopasowywał do modelu, a dane treningowe zawierają wysoki poziom hałasu, więc model elastyczny będzie również próbował nauczyć się tego hałasu i spowoduje więcej błędów testowych. Znam źródło tego pytania, ponieważ czytam również tę samą książkę :)
źródło
W pierwszej części oczekiwałbym, że nieelastyczny model będzie działał lepiej przy ograniczonej liczbie obserwacji. Gdy n jest bardzo małe, oba modele (zarówno elastyczny, jak i nieelastyczny) nie dają wystarczająco dobrych prognoz. Jednak elastyczny model miałby tendencję do przewyższania danych i działałby gorzej, jeśli chodzi o nowy zestaw testowy.
Idealnie byłoby zebrać więcej obserwacji, aby poprawić dopasowanie, ale jeśli tak nie jest, to użyłbym modelu nieelastycznego, próbując zminimalizować błąd testowy za pomocą nowego zestawu testowego.
źródło
źródło
Dla każdej części od (a) do (d) wskazać, czy lub ii. jest poprawny i wyjaśnij swoją odpowiedź. Ogólnie rzecz biorąc, czy oczekujemy, że działanie elastycznej metody uczenia statystycznego będzie lepsze lub gorsze niż metody nieelastycznej, gdy:
Wielkość próby n jest bardzo duża, a liczba predyktorów p jest niewielka?
Liczba predyktorów p jest niezwykle duża, a liczba obserwacji n jest niewielka?
Związek między predyktorami a odpowiedzią jest wysoce nieliniowy?
Wariacja składników błędu, tj. Σ2 = Var (ε), jest wyjątkowo wysoka?
Zabrano stąd .
źródło