Kiedy przedstawiam studentom koncepcje, często fajnie jest powiedzieć im, skąd pochodzi terminologia (na przykład „regresja” to termin o ciekawym pochodzeniu). Nie byłem w stanie podnieść historii / tła terminu „regularyzacja” w statystycznym / uczeniu maszynowym.
Jakie jest zatem pochodzenie terminu regularyzacja ?
terminology
regularization
history
tikhonov-regularization
Matthew Drury
źródło
źródło
Odpowiedzi:
Podobnie jak wkład Matthew Gunna , nie jest to tak naprawdę odpowiedź, ale bardziej prawdopodobny kandydat.
Po raz pierwszy usłyszałem o „regularyzacji” w kontekście regularyzacji Tichonowa , a zwłaszcza w kontekście (liniowych) odwrotnych problemów w geofizyce. Co ciekawe, chociaż myślałem, że to prawdopodobnie ze względu na mój obszar studiów (tj. Zobacz moją nazwę użytkownika), najwyraźniej Tichonow faktycznie wykonał większość swojej pracy w tym obszarze!
Moje przeczucie jest to, że nowoczesne podejście „uregulowanie” prawdopodobnie nie pochodzą z pracy za Tichonow. Opierając się na tych spekulacjach, mój wkład tutaj składa się z dwóch części.
Pierwsza część ma charakter (fotelowy) historyczny (oparty na percepcji papierowych tytułów i moich wcześniejszych uprzedzeniach!). O ile w artykule z 1963 r. „ Rozwiązanie nieprawidłowo sformułowanych problemów i metoda regularyzacji” wydaje się być pierwszym użyciem terminu „regularyzacja”, nie byłbym zbyt pewien, czy to prawda. Odniesienie to jest cytowane w Wikipedii jako
sprawiając wrażenie, że sam Tichonow napisał pierwotnie przynajmniej część tego dzieła w języku rosyjskim, więc wyrażenie „regularyzacja” mogło zostać wymyślone przez późniejszego tłumacza. [AKTUALIZACJA: Nie, „регуляризации” = regularyzacja , patrz komentarz Cagdasa Ozgenc.] Ponadto praca ta wydaje się być częścią ciągłej linii badań prowadzonych przez Tichonowa przez znacznie dłuższy czas . Na przykład papier
pokazuje, że był zaangażowany w ten sam ogólny temat co najmniej 20 lat wcześniej. Jednak ta oś czasu sugeruje, że prawdopodobnie prace nad odwrotnymi problemami rozpoczęły się znacznie bliżej 1963 r. Niż 1943 r.
[ AKTUALIZACJA: To tłumaczenie artykułu z 1943 r. Pokazuje, że terminologia „ regularność ” została tutaj użyta w odniesieniu do „stabilności odwrotnego problemu (lub ciągłości odwrotnego odwzorowania)” .]
Drugą częścią mojego wkładu jest hipoteza, jak pierwotnie zamierzano w tym kontekście „regularyzacji”. Dość często „regularny” jest używany jako synonim „gładkiego”, szczególnie w opisie krzywej i / lub geometrii powierzchni. W większości zastosowań geofizyki pożądanym rozwiązaniem jest pewne oszacowanie siatkowe pola rozproszonego przestrzennie , a regularyzację Tichonowa stosuje się w celu nałożenia wcześniejszej gładkości .
(Macierz Tichonowa będzie zazwyczaj dyskretnym operatorem pochodnej przestrzennej , podobnym do macierzy PDE, w porównaniu do macierzy tożsamości regresji grzbietu. Jest tak, ponieważ w przypadku tych siatek / modeli do przodu przestrzeń zerowa macierzy modelu do przodu zwykle zawiera rzeczy takie jak „tryby szachownicy”, które będą zanieczyszczać wyniki, chyba że zostaną ukarane; podobnie jak to ).
Podsumowanie
źródło
To po części odpowiedź, po części długi komentarz. Niekompletna lista kandydatów:
Tichonow, Andriej. „Rozwiązanie nieprawidłowo sformułowanych problemów i metoda regularyzacji”. Radziecka matematyka. Dokl .. Vol. 5. 1963. Tichonow znany jest z regularyzacji Tichonowa (znanej również jako regresja grzbietu).
W fizyce istnieje koncepcja regularyzacji, która sięga przynajmniej lat 40. XX wieku, ale nie widzę żadnego związku z regularyzacją Tichonowa? (Nie jestem fizykiem.)
Teksty inżynieryjne mówią o regularyzacji rzeki (w celu poprawy nawigacji) sięgającej przynajmniej lat osiemdziesiątych XIX wieku.
Przeszukując http://books.google.com , nie widzę powszechnego użycia terminu „regularyzacja” aż do lat 70. XX wieku, kiedy zaczyna pojawiać się od nowa w kontekście książek z matematyki i fizyki.
źródło
Mówiąc najprościej, termin przetrwał naturalną ewolucję terminów naukowych, ponieważ oddaje główny cel techniki: od szeregu rozwiązań do źle postawionego problemu wybiera rozwiązania, które są regularne , to znaczy
( definicja darmowego słownika )
Jest to również używane we wspólnym języku na przykład do projektowania gładkiej powierzchni w stolarstwie. Podobnie rozwiązania problemu regresji będą wyglądać bardziej regularnie, jeśli regułą jest zminimalizowanie całkowitej zmienności (TV) niepłynnych bitów zrekonstruowanego sygnału (mierzonej na przykład całkowitą energią gradientu).
źródło