Uczenie maszynowe a identyfikacja systemu?

Czy ktoś mógłby mi wyjaśnić różnice i podobieństwa między uczeniem maszynowym a identyfikacją systemu? Czy to tylko dwie nazwy tego samego? Na tej stronie mówią:

Społeczności uczenia maszynowego i identyfikacji systemów mają do czynienia z podobnymi problemami, gdy trzeba zbudować model na podstawie ograniczonych lub hałaśliwych obserwacji.

Przeczytałem również wczesne rozdziały słynnej książki Pattern Recognition and Machine Learning autorstwa Christophera M. Bishopa. Do tej pory doszedłem do wniosku, że problem, który próbuje rozwiązać identyfikacja systemu, jest podzbiorem tego, co próbuje rozwiązać uczenie maszynowe.

Identyfikacja systemu to nauka konstruowania modeli dynamicznych na podstawie zaobserwowanych danych. Istnieją dwa główne podejścia: Identyfikacja błędu prognozowania (PEI) i identyfikacja podprzestrzeni (SID). Obaj dostarczają tak zwany model parametryczny, czyli model o stałej strukturze. Zwykle zdarza się, że użytkownik wybiera strukturę systemu bazowego (szczególnie w metodach PEI) lub przynajmniej kolejność systemu (w obu metodach). Mimo że nie jest to konieczne, poszukiwany jest system niskiego rzędu (to znaczy liczba współczynników bazowych jest stosunkowo niewielka), ponieważ często jest on wykorzystywany do celów kontrolnych, dlatego musimy go maksymalnie uprościć, aby uniknąć problemy obliczeniowe itp. Model ten może być wykorzystany do prognozowania przyszłego zachowania systemu przy pewnych danych wejściowych.

Z drugiej strony, uczenie maszynowe (ML) ma dwie główne gałęzie, algorytmy klasyfikacji i regresji. Te ostatnie są również wykorzystywane do celów prognozowania. Dwa najbardziej znane podejścia w uczeniu maszynowym to Support Vector Machines (SVM) i procesy Gaussa (GP). Główną różnicą w przypadku technik identyfikacji systemu jest to, że techniki ML dostarczają model nieparametryczny. To ostatnie oznacza, że ​​prognoza dla nowego wejścia jest podana jako funkcja punktów danych wykorzystywanych do „szkolenia” (uczenia się, identyfikacji) modelu. Dlatego, jeśli użyjemy N = 1000 punktów danych do treningu, wówczas prognoza byłaby wyrażona jako funkcja tych punktów danych. Metody ML są bardziej elastyczne, ponieważ nie wymagają wyboru struktury od użytkownika, ale napotykają inne ograniczenia (np

Do niedawna ML i techniki identyfikacji systemu rozwijały się niezależnie. Ale w ostatnich latach podjęto wielki wysiłek, aby ustanowić wspólną płaszczyznę (np. Patrz artykuł „Cztery spotkania z identyfikacją systemu” z Ljung)

Kontekst: SysID i kontroluje faceta, który dostał się do ML.

Myślę, że odpowiedź user110686 dobrze wyjaśnia niektóre różnice. SysID z konieczności dotyczy modeli dynamicznych z danych wejściowych / wyjściowych, podczas gdy ML obejmuje szerszą klasę problemów. Ale największą różnicą, jaką widzę, jest związek z (a) pamięcią (liczbą parametrów); (b) końcowe zastosowanie modelu „wyuczonego”. Identyfikacja systemu jest w dużej mierze podejściem przetwarzania sygnałów, biorąc pod uwagę reprezentacje w dziedzinie częstotliwości, analizę czasowo-częstotliwościową itp. Niektórzy ludzie ML nazywają to „inżynierią cech”.

(pamięć:SysID stał się widoczny na długo przed pojawieniem się ML jako dziedziny badań. Stąd statystyki i przetwarzanie sygnałów były podstawową podstawą teoretycznych podstaw, a obliczenia były przerażające. Dlatego ludzie pracowali z bardzo prostą klasą modeli (kompromis Bias-Wariancja) o bardzo niewielu parametrach. Mówimy co najwyżej 30–40 parametrów i głównie modele liniowe, nawet w przypadkach, gdy ludzie wyraźnie wiedzą, że problem jest nieliniowy. Jednak teraz obliczenia są bardzo tanie, ale SysID jeszcze nie wyszedł z powłoki. Ludzie powinni zacząć zdawać sobie sprawę, że mamy teraz znacznie lepsze czujniki, mogą z łatwością oszacować 1000 parametrów za pomocą bardzo bogatych zestawów modeli. Niektórzy badacze próbowali wykorzystać sieci neuronowe dla SysID, ale wielu niechętnie przyjmuje je jako „główny nurt”, ponieważ nie ma wielu teoretycznych gwarancji.

(b) Ostateczne zastosowanie wyuczonego modelu: Teraz jest to jedna rzecz, którą SysID uzyskał bardzo poprawnie, ale wiele algorytmów ML nie wychwytuje. Ważne jest, aby zdawać sobie sprawę, że dla aplikacji docelowych koniecznie budujesz modele, które można skutecznie wykorzystać do optymalizacji online.Modele te zostaną wykorzystane do propagowania wszelkich podjętych decyzji dotyczących kontroli, a gdy zostanie to ustawione jako optymalny problem kontroli, modele staną się ograniczeniami. Tak więc przy użyciu niezwykle skomplikowanej struktury modelu znacznie utrudnia to optymalizację online. Należy również pamiętać, że te decyzje online są podejmowane w skali sekund lub mniejszej. Alternatywą jest bezpośrednie poznanie funkcji wartości w sposób niezgodny z polityką w celu uzyskania optymalnej kontroli. Jest to w zasadzie nauka wzmacniająca i myślę, że istnieje dobra synergia między SysID i RL.

Chciałbym dodać, że istnieją również nieparametryczne podejścia do identyfikacji systemu. Szczegółowe informacje można znaleźć w przyborniku SysId MATLAB lub w książce Ljunga. Podejścia nieparametryczne są często stosowane do pierwszej identyfikacji klasy modeli do późniejszych badań parametrycznych. Ważne jest również oddzielenie problemu szacowania od problemu sterowania (pomyśl o pętli OODA). Przy identyfikacji systemu często celem jest po prostu scharakteryzowanie systemu bez żadnych konkretnych sygnałów sterujących typu, który zostanie zaprojektowany później (ale nie zawsze jest to możliwe). Wreszcie, myślę, że pomocne jest uświadomienie sobie, że system jest z matematycznego punktu widzenia operatorem, który odwzorowuje przestrzeń funkcji na przestrzeń funkcji. Dlatego równania różniczkowe są często rodzajami zidentyfikowanych rzeczy i te funkcje mapują się na funkcje. Funkcje w SysID są często ciągłymi funkcjami czasu, czyli sygnałami ciągłego czasu. (Ale mogą być również czasem dyskretnym.) Zatem SysID nie próbuje jedynie mapować liczb rzeczywistych (lub wektorów) na liczby rzeczywiste (lub wektory); dąży do zidentyfikowania najlepszego operatora (LTI, LTV, nieliniowy itp.), który mapuje sygnały wejściowe na sygnały wyjściowe.

Uczenie maszynowe: modelowanie modelu statycznego i dynamicznego, Identyfikacja systemu: koncentracja na modelu dynamicznym lub procesie dynamicznym