Co oznacza „rozwiązanie zamknięte”?

82

Dość często spotykam się z terminem „rozwiązanie w formie zamkniętej”. Co oznacza rozwiązanie w formie zamkniętej? W jaki sposób można ustalić, czy istnieje rozwiązanie bliskie dla danego problemu? Przeszukując online znalazłem pewne informacje, ale nic w kontekście opracowania statystycznego lub probabilistycznego modelu / rozwiązania.

Bardzo dobrze rozumiem regresję, więc jeśli ktokolwiek może wyjaśnić tę koncepcję w odniesieniu do regresji lub dopasowania modelu, będzie łatwo ją wykorzystać. :)

regression machine-learning probability terminology stochastic-processes arjsgh21
źródło

4

To pytanie wydaje się od pewnego czasu magnesem dla odpowiedzi niskiej jakości; Pomyślałem, że może powinien być na razie chroniony.

Glen_b

37

„Mówi się, że równanie jest rozwiązaniem w formie zamkniętej, jeśli rozwiązuje dany problem pod względem funkcji i operacji matematycznych z danego ogólnie przyjętego zestawu. Na przykład nieskończona suma zasadniczo nie byłaby uważana za formę zamkniętą. wybór, co nazwać formą zamkniętą, a co nie, jest raczej arbitralny, ponieważ nową funkcję „formy zamkniętej” można po prostu zdefiniować w kategoriach nieskończonej sumy ”. --Wolfram Alpha

i

„W matematyce wyrażenie jest wyrażeniem zamkniętym, jeśli można je wyrazić analitycznie w kategoriach skończonej liczby pewnych„ dobrze znanych ”funkcji. Zazwyczaj te dobrze znane funkcje są zdefiniowane jako funkcje elementarne - stałe, jedna zmienna x, elementarne operacje arytmetyczne (+ - × ÷), n-te pierwiastki, wykładnik i logarytm (które w ten sposób obejmują także funkcje trygonometryczne i odwrotne funkcje trygonometryczne). Często mówi się, że problemy można rozwiązać, jeśli można je rozwiązać w kategoriach wyrażenia w formie zamkniętej. ” - Wikipedia

Przykładem rozwiązania w postaci zamkniętej w regresji liniowej byłoby równanie najmniejszych kwadratów

\hat{β} = (X^{T.} X)^{- 1} X^{T.} y

$\hat\beta=(X^TX)^{-1}X^Ty$

źródło

Biorąc pod uwagę, że wszystkie scenariusze regresji można traktować jako problem rozwiązywania układu równań, kiedy nie byłoby rozwiązania w formie zamkniętej? Źle postawiony lub rzadki problem będzie wymagał przybliżonego rozwiązania, więc czy przypadek, w którym rozwiązanie w formie zamkniętej nie istnieje? Co powiesz na to, kiedy używa się sprzężonego spadku gradientu z regularyzacją?

arjsgh21

Uważam, że ta dyskusja jest pomocna - link

arjsgh21,

@ arjsgh21, czy nadal potrzebujesz dodatkowych wyjaśnień na temat tego, co oznacza być zamkniętym rozwiązaniem? Ponieważ wydaje się, że twoje nowe pytanie dotyczy tego, kiedy istnieją rozwiązania zamknięte (lub nie) w problemach regresji, co jest zupełnie nowym tematem i moim zdaniem powinno być zadawane jako nowe pytanie.

Dzięki BabakP. Myślę, że rozumiem teraz, w odniesieniu do regresji, a także w inny sposób.

arjsgh21

1

Myli mnie, dlaczego CrossValidated jest jedynym „forum wymiany stosów”, które konsekwentnie wspiera zaciemniające, ale poprawne odpowiedzi w stosunku do odpowiedzi, które zapewniają zrozumienie. Najlepsza odpowiedź na obecne uprawy to @ Luca i jest niedoceniana. To prawda, że zapewnia tylko link, ale świetny link, który jest łatwy do zrozumienia. Ta nadmiernie erudycyjna odpowiedź pomaga rozwiązać problem osobom, które już znają odpowiedź. :(

Mike Williamson,

17

Większość procedur szacowania wymaga znalezienia parametrów, które minimalizują (lub maksymalizują) niektóre funkcje celu. Na przykład dzięki OLS minimalizujemy sumę kwadratów reszt. Dzięki oszacowaniu maksymalnego prawdopodobieństwa maksymalizujemy funkcję logarytmu wiarygodności. Różnica jest trywialna: minimalizację można przekształcić w maksymalizację przy użyciu negatywu funkcji celu.

Czasami ten problem można rozwiązać algebraicznie, tworząc rozwiązanie w formie zamkniętej. Dzięki OLS rozwiązujesz system warunków pierwszego zamówienia i otrzymujesz znaną formułę (choć prawdopodobnie potrzebujesz komputera, aby ocenić odpowiedź). W innych przypadkach nie jest to matematycznie możliwe i trzeba wyszukiwać wartości parametrów za pomocą komputera. W tym przypadku komputer i algorytm odgrywają większą rolę. Nieliniowe najmniejsze kwadraty to jeden przykład. Nie dostajesz wyraźnej formuły; otrzymujesz tylko przepis, który musisz wdrożyć na komputerze. Przepis można rozpocząć od wstępnego odgadnięcia, jakie mogą być parametry i jak mogą się różnić. Następnie wypróbujesz różne kombinacje parametrów i zobaczysz, który z nich daje najniższą / najwyższą wartość funkcji celu. Jest to podejście brutalnej siły i zajmuje dużo czasu. Na przykład, $10^5$

Lub możesz zacząć od zgadywania i dopracować to zgadywanie w pewnym kierunku, dopóki ulepszenia funkcji celu nie będą mniejsze niż pewna wartość. Są to zwykle nazywane metodami gradientowymi (chociaż istnieją inne, które nie używają gradientu do wybrania kierunku, w którym należy podążać, takie jak algorytmy genetyczne i symulowane wyżarzanie). Niektóre problemy, takie jak ta, gwarantują szybkie znalezienie właściwej odpowiedzi (kwadratowe funkcje celu). Inni nie dają takiej gwarancji. Możesz się martwić, że utknąłeś w lokalnym, a nie globalnym, optymalnym, więc wypróbuj szereg wstępnych domysłów. Może się okazać, że bardzo różne parametry dają tę samą wartość funkcji celu, więc nie wiesz, który zestaw wybrać.

E [y] = \exp {α}

$\begin{equation} E[y]=\exp\{\alpha\} \end{equation}$

Q_{N} (α) = - \frac{1}{2 N} \sum_{i}^{N} {(y_{i} - \exp {α})}^{2}

$\begin{equation} Q_N(\alpha)=-\frac{1}{2N} \sum_i^N \left( y_i - \exp\{\alpha\} \right)^2 \end{equation}$

$\alpha^* = \ln \bar y$ $\ln (\bar y + k)$

Dimitriy V. Masterov
źródło

Czy w ostatnim zdaniu pośrednio utożsamiłeś „analityczny” z „formą zamkniętą”?

whuber

2

Pomyślałem wtedy synonim: mathworld.wolfram.com/Analytic.html

Dimitriy V.

Czy widziałeś komentarze ujednoznaczniające na końcu tej strony MathWorld? Problem polega na tym, że w obecnym kontekście „analityczny” można rozsądnie rozumieć na kilka różnych sposobów. Również „analityczny” i „analityczny” nie oznaczają dokładnie tego samego (podobnie jak „historyczny” i „historyczny” mają różne znaczenia).

whuber

Nie wiem, czy istnieje różnica między „rozwiązaniem analitycznym”, „rozwiązaniem analitycznym” i „formą zamkniętą”. MathWorld nie ma osobnego hasła analitycznego i definiuje analityczne rozwiązanie problemu jako takie, które można zapisać w „zamkniętej formie” pod względem znanych funkcji, stałych itp. MW twierdzi, że analityczne i analityczne są wariantami . Różnica między historią a historią jest słuszna, ale nie podążam za tym, co ma to wspólnego z tym przypadkiem. Jeśli się mylę, popraw mnie.

Dimitriy V. Masterov

2

W wielu kontekstach matematycznych „analityczny” jest precyzyjnym terminem sztuki stosowanym do dowolnej funkcji wyrażanej lokalnie jako szereg mocy o dodatnim promieniu zbieżności, podczas gdy „analityczny” znacznie szerzej wiąże się z rozkładem na podstawowe części. Jak wskazują cytaty BabakP, „forma zamknięta” nabiera znaczenia tylko w pewnym kontekście ogólnie przyjętych procedur łączenia wartości (zwykle przyjmowanych jako elementarne, ale nie transcendentalne).

whuber

13

Myślę, że ta strona internetowa zapewnia prostą intuicję, której fragment to:

Rozwiązanie w formie zamkniętej (lub wyrażenie w postaci zamkniętej) to dowolna formuła, którą można ocenić w skończonej liczbie standardowych operacji. ... Rozwiązaniem numerycznym jest każde przybliżenie, które można ocenić w skończonej liczbie standardowych operacji. Rozwiązania w postaci zamkniętej i rozwiązania numeryczne są podobne, ponieważ oba można ocenić za pomocą skończonej liczby standardowych operacji. Różnią się tym, że rozwiązanie w formie zamkniętej jest dokładne, podczas gdy rozwiązanie numeryczne jest tylko przybliżone.

Luca Bertinetto
źródło

2

Podając tylko link, jest to zdecydowanie najbardziej pomocna odpowiedź.

Mike Williamson,

2

Włączenie cytatu z linku przez Wayne'a zdecydowanie poprawiło odpowiedź.

Glen_b

2

Co więcej, link Lucy jest teraz martwy.

Naramsim,

-2

Szukasz świeckich terminów lub bolesnego języka, który rygorystycznie określa znaczenie? Założę, że takie same warunki można znaleźć wszędzie. Powiedzmy, że chciałeś rozwiązania postaci zamkniętej pierwiastka kwadratowego z 8. Rozwiązanie postaci zamkniętej wynosi 2 * (2) ^ 1/2 lub dwa razy pierwiastek kwadratowy z dwóch. Jest to przeciwieństwo rozwiązania w postaci nie zamkniętej 2.8284. (zobacz pierwiastek kwadratowy z wikipedii z 2, aby zobaczyć, ale z dokładnością do 69 miejsc po przecinku, z dokładnością do 1/10 000) Jeden jest absolutnie zdefiniowany matematycznie, podczas gdy drugi nie jest. Rozwiązanie formularza zamkniętego zapewnia dokładną odpowiedź, a rozwiązanie, które nie jest formularzem zamkniętym, jest przybliżeniem, ale można uzyskać rozwiązanie formularza zamkniętego tak blisko, jak rozwiązanie formularza zamkniętego, jak chcesz. Brzmi to intuicyjnie, ale jeśli potrzebujesz bardziej dokładnego, po prostu przeprowadź trochę więcej obliczeń.

Sernik
źródło

3

Jest to niezwykłe użycie terminu „forma zamknięta”. Czy możesz podać referencje?

whuber

1

Nie jestem pewien, czy uda mi się zapewnić poziom dokumentacji pomocniczej wystarczający do wygrania debaty na ten temat bez większej ilości pracy niż jestem gotów przedstawić, ale proszę bardzo. Zajrzyj na Wikipedię, aby znaleźć formaty zamknięte. W dwóch ostatnich sekcjach opisano, w jaki sposób rozwiązania w postaci zamkniętej nie są koniecznie konieczne, ponieważ obliczenia numeryczne można zwykle z powodzeniem zastosować do uzyskania rozwiązania, aw następnej sekcji opisano, w jaki sposób niektóre programy matematyczne próbują generować rozwiązania w postaci zamkniętej na podstawie wartości liczbowych. Rozwiązania w formie zamkniętej są precyzyjne (brak miejsca)

Cheesepipe 24.09.2013

5

Wikipedia jest w porządku jako odniesienie. W tym przypadku wygląda na to, że możliwe było połączenie „wyrażenia zamkniętego formularza” z „zamkniętym numerem formularza”. Nie mają na myśli tych samych rzeczy.

whuber

-2

Forma zamknięta = forma zamknięta (funkcjonalna)

Zamknięty oznacza, że nic więcej nie może wejść do środka; to znaczy brak alternatywy => tylko jedno rozwiązanie => tylko jedna funkcja, która może ustalić związek między wynikiem a predyktorami.

Vivek Astvansh
źródło

3

Jest to również niezwykłe użycie tego terminu. Czy mógłbyś podać kilka przykładów jego wykorzystania w tym kontekście? Jestem najbardziej zaskoczony, ponieważ często słyszy się formę zamkniętą / brak formy zamkniętej w odniesieniu do całek, które tak naprawdę nie mają wyniku ani predyktorów.

Matt Krause,

Co oznacza „rozwiązanie zamknięte”?

Odpowiedzi: