Algorytmy uczenia maszynowego oparte na „strukturalnej minimalizacji ryzyka”?

Które algorytmy uczenia maszynowego (oprócz SVM) stosują zasadę strukturalnego minimalizowania ryzyka ?

Strukturalna zasada minimalizacji ryzyka jest zasadą, która jest przynajmniej częściowo „stosowana” we wszystkich metodach uczenia maszynowego, ponieważ często należy brać pod uwagę nadmierne dopasowanie: zmniejszenie złożoności modelu jest (podobno i w praktyce) dobrym sposobem ograniczenia nadmierne dopasowanie.

• SVM wyraźnie mają parametr złożoności (wymiar przestrzeni cech , a nawet funkcji jądra) i jest to konieczne, ponieważ zwiększenie złożoności jest częścią algorytmu uczenia się.

• Sieci neuronowe mają również łatwy wskaźnik ich złożoności (liczby „komórek”) i są częścią powiązanego algorytmu uczenia się.

• Bez tej zasady wnioskowanie gramatyczne byłoby zarówno głupie, jak i gramatyka idealna to lista wszystkich możliwych słów, więc każdy nietrywialny algorytm przynajmniej uznaje tę zasadę.

• Drzewa decyzyjne mają własne pojęcie entropii .

• Klastry można po prostu policzyć lub w pewnym sensie „zastosować” zasadę wewnętrznie lub mieć określoną liczbę klastrów, w którym to przypadku stosuje się tę zasadę na wyższym poziomie.

Szczerze mówiąc, tak naprawdę nie wiem o tym, co dzieje się w programowaniu genetycznym, ale nie mają oni wewnętrznego pojęcia złożoności.

Nie znam się dobrze na programowaniu logiki indukcyjnej, ale wydaje się, że nie dostosowuje się zbyt dobrze do tej zasady.