Geneza terminu „regularyzacja”

27

Kiedy przedstawiam studentom koncepcje, często fajnie jest powiedzieć im, skąd pochodzi terminologia (na przykład „regresja” to termin o ciekawym pochodzeniu). Nie byłem w stanie podnieść historii / tła terminu „regularyzacja” w statystycznym / uczeniu maszynowym.

Jakie jest zatem pochodzenie terminu regularyzacja ?

Matthew Drury
źródło
1
Domyślam się, że regresja wraca do Galton. Steve Stigler powiedział, że ilekroć ktoś twierdzi, że jest pierwszym, okaże się, że się myli. Wiele osób uważa, że ​​Efron jako pierwszy wymyślił pojęcie bootstrap w kontekście statystyki. Simon twierdził jednak, że używał go na początku lat sześćdziesiątych. Istnieje wiele różnych zastosowań regularyzacji w matematyce i statystyce. W Wikipedia: en.wikipedia.org/wk/Regularization_(mathematics) .
Michael R. Chernick,
Tyle metod, tyle możliwych nowinek.
Michael R. Chernick,
3
@MichaelChernick Wolę termin Tukeya na bootstrap, „Strzelbę”, ponieważ zdmuchnie ci głowę z każdego problemu, z wyjątkiem tego, że musisz złożyć części z powrotem :)
AdamO,
6
Wiem, że termin ten był powszechnie używany od 1980 roku. Tichonow, Arsenin 1977 napisał tekst „Rozwiązanie źle postawionych problemów”, który opisuje metodę uzyskiwania wygładzonych rozwiązań nadmiernie określonych równań liniowych, których wynik później uznano za równoważny regresji Ridge'a (patrz Girard 1991). Myślę, że Tichonow użył nazwy „Metoda regularyzacji”. Myślę też, że Hastie wyodrębniła „regularyzację” w sposób odzwierciedlający jej współczesne użycie.
AdamO,
5
Terminy takie jak „regularyzacja sekwencji” istnieją w matematyce od dłuższego czasu (z pewnością od lat dwudziestych XX wieku), co ma znaczenie dość ściśle związane z regularyzacją źle postawionych problemów. Podejrzewam, że użycie tego słowa w matematyce wynikałoby z jego użycia w inżynierii (na przykład „regularyzacja przepływu”).
Glen_b

Odpowiedzi:

18

Podobnie jak wkład Matthew Gunna , nie jest to tak naprawdę odpowiedź, ale bardziej prawdopodobny kandydat.

Po raz pierwszy usłyszałem o „regularyzacji” w kontekście regularyzacji Tichonowa , a zwłaszcza w kontekście (liniowych) odwrotnych problemów w geofizyce. Co ciekawe, chociaż myślałem, że to prawdopodobnie ze względu na mój obszar studiów (tj. Zobacz moją nazwę użytkownika), najwyraźniej Tichonow faktycznie wykonał większość swojej pracy w tym obszarze!

Moje przeczucie jest to, że nowoczesne podejście „uregulowanie” prawdopodobnie nie pochodzą z pracy za Tichonow. Opierając się na tych spekulacjach, mój wkład tutaj składa się z dwóch części.

Pierwsza część ma charakter (fotelowy) historyczny (oparty na percepcji papierowych tytułów i moich wcześniejszych uprzedzeniach!). O ile w artykule z 1963 r. „ Rozwiązanie nieprawidłowo sformułowanych problemów i metoda regularyzacji” wydaje się być pierwszym użyciem terminu „regularyzacja”, nie byłbym zbyt pewien, czy to prawda. Odniesienie to jest cytowane w Wikipedii jako

Tikhonov, AN (1963). „О решении некорректно поставленных задач и методе регуляризации”. Doklady Akademii Nauk SSSR. 151: 501–504. Przetłumaczone na „Rozwiązanie nieprawidłowo sformułowanych problemów i metody regularyzacji”. Matematyka radziecka. 4: 1035–1038.

sprawiając wrażenie, że sam Tichonow napisał pierwotnie przynajmniej część tego dzieła w języku rosyjskim, więc wyrażenie „regularyzacja” mogło zostać wymyślone przez późniejszego tłumacza. [AKTUALIZACJA: Nie, „регуляризации” = regularyzacja , patrz komentarz Cagdasa Ozgenc.] Ponadto praca ta wydaje się być częścią ciągłej linii badań prowadzonych przez Tichonowa przez znacznie dłuższy czas . Na przykład papier

Tichonow, Andrey Nikolayevich (1943). „Об устойчивости обратных задач” [O stabilności odwrotnych problemów]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.

pokazuje, że był zaangażowany w ten sam ogólny temat co najmniej 20 lat wcześniej. Jednak ta oś czasu sugeruje, że prawdopodobnie prace nad odwrotnymi problemami rozpoczęły się znacznie bliżej 1963 r. Niż 1943 r.

[ AKTUALIZACJA: To tłumaczenie artykułu z 1943 r. Pokazuje, że terminologia „ regularność ” została tutaj użyta w odniesieniu do „stabilności odwrotnego problemu (lub ciągłości odwrotnego odwzorowania)” .]

Drugą częścią mojego wkładu jest hipoteza, jak pierwotnie zamierzano w tym kontekście „regularyzacji”. Dość często „regularny” jest używany jako synonim „gładkiego”, szczególnie w opisie krzywej i / lub geometrii powierzchni. W większości zastosowań geofizyki pożądanym rozwiązaniem jest pewne oszacowanie siatkowe pola rozproszonego przestrzennie , a regularyzację Tichonowa stosuje się w celu nałożenia wcześniejszej gładkości .

(Macierz Tichonowa będzie zazwyczaj dyskretnym operatorem pochodnej przestrzennej , podobnym do macierzy PDE, w porównaniu do macierzy tożsamości regresji grzbietu. Jest tak, ponieważ w przypadku tych siatek / modeli do przodu przestrzeń zerowa macierzy modelu do przodu zwykle zawiera rzeczy takie jak „tryby szachownicy”, które będą zanieczyszczać wyniki, chyba że zostaną ukarane; podobnie jak to ).

Aktualizacja: te problemy zostały zilustrowane w mojej odpowiedzi tutaj .


Podsumowanie

  1. Głosowałem także na Tichonowa jako pomysłodawcę (prawdopodobnie około 1963 r.)
  2. Pierwotnymi zastosowaniami mogły być odwrotne modelowanie geofizyczne, więc termin „regularyzacja” może odnosić się do uczynienia uzyskanych map * bardziej płynnymi, tj. „Regularnymi”.

u[x]=F[θ]θ=F1[u]

GeoMatt22
źródło
10
Artykuł z 1963 r. Zawiera „regularyzację” w rosyjskiej wersji tytułu. O ile ktoś nie przetłumaczył na angielski, a Tichonow przełożył tytuł z powrotem na jego fonetyczną treść, jest on na oryginale. „O rehsnenii nikorrektna postavlennih zadach i metodi regularizatsii”
Cagdas Ozgenc
14

To po części odpowiedź, po części długi komentarz. Niekompletna lista kandydatów:

  1. Tichonow, Andriej. „Rozwiązanie nieprawidłowo sformułowanych problemów i metoda regularyzacji”. Radziecka matematyka. Dokl .. Vol. 5. 1963. Tichonow znany jest z regularyzacji Tichonowa (znanej również jako regresja grzbietu).

  2. W fizyce istnieje koncepcja regularyzacji, która sięga przynajmniej lat 40. XX wieku, ale nie widzę żadnego związku z regularyzacją Tichonowa? (Nie jestem fizykiem.)

  3. Teksty inżynieryjne mówią o regularyzacji rzeki (w celu poprawy nawigacji) sięgającej przynajmniej lat osiemdziesiątych XIX wieku.

Przeszukując http://books.google.com , nie widzę powszechnego użycia terminu „regularyzacja” aż do lat 70. XX wieku, kiedy zaczyna pojawiać się od nowa w kontekście książek z matematyki i fizyki.

Matthew Gunn
źródło
5
1. jest zdecydowanie kandydatem. Nie sądzę jednak, aby 2. lub 3. odpowiadały matematycznej koncepcji regularyzacji, której szuka PO. Wikipedia zgadza się, że stworzyli „regularyzację (matematykę)” i „regularyzację (fizykę)” osobne artykuły.
Gordon Smyth,
3

Mówiąc najprościej, termin przetrwał naturalną ewolucję terminów naukowych, ponieważ oddaje główny cel techniki: od szeregu rozwiązań do źle postawionego problemu wybiera rozwiązania, które są regularne , to znaczy

zgodnie z zasadą

( definicja darmowego słownika )

Jest to również używane we wspólnym języku na przykład do projektowania gładkiej powierzchni w stolarstwie. Podobnie rozwiązania problemu regresji będą wyglądać bardziej regularnie, jeśli regułą jest zminimalizowanie całkowitej zmienności (TV) niepłynnych bitów zrekonstruowanego sygnału (mierzonej na przykład całkowitą energią gradientu).

0

meduz
źródło