Referencje na temat optymalizacji numerycznej dla statystyk

9

Szukam solidnego odniesienia (lub odniesień) do technik optymalizacji numerycznej skierowanych do statystyków, to znaczy, że zastosowałby te metody do niektórych standardowych problemów wnioskowania (np. MAP / MLE we wspólnych modelach). Rzeczy takie jak opadanie gradientu (proste i stochastyczne), EM i jego wydzielenia / uogólnienia, symulowane wyżarzanie itp.

Mam nadzieję, że będzie zawierał kilka praktycznych uwag na temat wdrażania (tak często brakuje dokumentów). Nie musi być całkowicie jednoznaczny, ale powinien przynajmniej zapewnić solidną bibliografię.

Kilka pobieżnych poszukiwań ujawniło kilka tekstów: Analiza numeryczna dla statystów autorstwa Kena Lange i Numeryczne metody statystyki autorstwa Johna Monahana. Recenzje każdego wydają się mieszane (i rzadkie). Z tych dwóch artykułów spis treści sugeruje, że drugie wydanie książki Lange jest najbliższe temu, o co mi chodzi.

estimation references optimization JMS
źródło
Powiązany wątek: Podręczniki dotyczące optymalizacji statystyk i analizy danych .
Richard Hardy

Odpowiedzi:

5

Statystyka obliczeniowa Jamesa Gentle'a (2009).

Algebra Matrix Jamesa Gentle'a: teoria, obliczenia i zastosowania w statystyce (2007) , zwłaszcza pod koniec książki, początek też jest świetny, ale nie jest to dokładnie to, czego szukasz.

Christopher M. Bishop's Pattern Recognition (2006).

Hastie et al .'s Elementy uczenia statystycznego: eksploracja danych, wnioskowanie i przewidywanie (2009).

Czy szukasz czegoś tak niskiego poziomu jak tekst, który odpowie na pytanie, takie jak: „Dlaczego bardziej wydajne jest przechowywanie macierzy i tablic wyższych wymiarów jako macierzy 1-D i jak mogę je indeksować w zwykłym M (0, 1, 3, ...) sposób? ” lub coś w stylu „Jakie są popularne techniki optymalizacji standardowych algorytmów, takich jak opadanie gradientu, EM itp.?”?

Większość tekstów na temat uczenia maszynowego zapewni dogłębną dyskusję na temat poszukiwanego tematu.

Phillip Cloud
źródło
Drugi (jakie są niektóre popularne techniki ...). Większość tekstów przedstawia model, a następnie opisuje sposób wnioskowania. Szukam czegoś odwrotnego, gdzie nacisk kładzie się na sposoby dopasowania modelu, a następnie porównywanie ich w aplikacjach, jeśli ma to sens. Istnieje kilka tego rodzaju książek dla MCMC, w których porównują różne samplery i opisują, gdzie są przydatne oraz niektóre z pułapek (np. Gamerman i Lopes).
JMS
Dziękujemy również za dotychczasowe referencje. Książka Hastie i in. Jest właściwie bardzo bliska. Minęło trochę czasu, odkąd mam to z półki; dzięki za podpowiedź :)
JMS
5

Książka Nocedal and Wrights

http://users.eecs.northwestern.edu/~nocedal/book/

jest dobrym punktem odniesienia dla optymalizacji w ogóle, a wiele rzeczy w ich książce jest interesujących dla statystyk. Jest też cały rozdział o nieliniowych najmniejszych kwadratach.

NRH
źródło
3

Optymalizacja , Kenneth Lange (Springer, 2004), zrecenzowana w JASA przez Russella Steele. Jest to dobry podręcznik z algebrą Matrix dla Gentle'a na kurs wprowadzający na temat rachunku matematycznego i optymalizacji, taki jak ten Jana de Leeuw (kursy / 202B).

chl
źródło
@chi Ta książka wygląda fantastycznie! Chociaż zgadzam się z recenzentem, że istnieją pewne wyraźne nieobecności (symulowane wyżarzanie i różne stochastyczne smaki EM). Coś dziwnego, ponieważ jest to w ich serii statystyk, ale c'est la vie
JMS
Czy znasz też algebrę macierzy Harville'a? Byłbym ciekawy, jak to się ma do Gentle. Uważam Harville za dobre odniesienie, ale bardzo gęste. Właśnie z książki TOC książki Gentle podoba mi się, że cała część 2 poświęcona jest „wybranym aplikacjom”
JMS
@JMS Nie. Mam tylko podręcznik Gentla. (Ponieważ w zasadzie używam tylko umiarkowanych podręczników matematycznych, z wyjątkiem tego, który uważam za bardzo przydatny do analizy danych na wielu odmianach.) Część 2 dotyczy aplikacji (sekcja 9), a część 3 dotyczy problemów z oprogramowaniem. Strona domowa to mason.gmu.edu/~jgentle/books/matbk
chl
Tak, patrząc na to bardziej, wydaje się, że ma więcej od zastosowanej strony. Książka Harville'a jest bardzo odporna na twierdzenia, ale koncentruje się na wynikach ważnych w statystyce; Myślę, że prawdopodobnie dobrze się uzupełniają pomimo nakładającego się materiału.
JMS
1

Jako dodatek do nich możesz znaleźć Magnusa, JR i H. Neudeckera (2007). Rachunek macierzowy z zastosowaniami w statystyce i ekonometrii, 3. edycja przydatna, choć ciężka. Opracowuje pełne traktowanie nieskończenie małych operacji za pomocą macierzy, a następnie stosuje je do szeregu typowych zadań statystycznych, takich jak optymalizacja, MLE i nieliniowe najmniejsze kwadraty. Jeśli pod koniec dnia dojdziesz do wniosku, że algorytmy macierzowe są stabilne wstecz, niezbędne będzie dobre zrozumienie rachunku macierzowego. Osobiście wykorzystałem narzędzia rachunku macierzowego do uzyskania wyników asymptotycznych w statystyce przestrzennej i wielowymiarowych modelach parametrycznych.

StasK
źródło