Zastanawiam się, dlaczego traktujemy dopasowywanie GLMS tak, jakby były jakimś specjalnym problemem optymalizacji. Czy oni są? Wydaje mi się, że są one po prostu maksymalne prawdopodobieństwo i że zanotujemy prawdopodobieństwo, a następnie ... zwiększamy je! Dlaczego więc używamy punktacji Fishera zamiast niezliczonej liczby schematów optymalizacji opracowanych w stosowanej literaturze matematycznej?
generalized-linear-model
optimization
fisher-scoring
Andrew Robinson
źródło
źródło
Odpowiedzi:
Punktacja Fishera jest tylko wersją metody Newtona, którą akurat identyfikuje się z GLM, nie ma w tym nic specjalnego, poza faktem, że matryca informacji Fishera jest dość łatwa do znalezienia dla zmiennych losowych w rodzinie wykładniczej. Łączy się również z wieloma innymi materiałami matematycznymi, które zwykle pojawiają się w tym samym czasie, i daje miłą geometryczną intuicję na temat tego, co dokładnie oznacza informacja Fishera.
Nie ma absolutnie żadnego powodu, dla którego mogę myśleć o tym, aby nie używać innego optymalizatora, jeśli wolisz, poza tym, że możesz go kodować ręcznie, zamiast używać wcześniej istniejącego pakietu. Podejrzewam, że jakikolwiek silny nacisk na punktację Fishera jest połączeniem (w kolejności malejącej wagi) pedagogiki, łatwości wyprowadzania, historycznego nastawienia i zespołu „nie wymyślonego tutaj”.
źródło
Jest to historyczne i pragmatyczne; GLM-y Neldera i Wedderburn, jako zestaw modeli, w których można znaleźć MLE za pomocą oceny Fishera (tj. Iteracyjnie ReWeighted Least Squares). Algorytm pojawił się przed modelami, przynajmniej w ogólnym przypadku.
Warto również pamiętać, że IWLS był tym, co mieli na początku lat 70., więc GLM były ważną klasą modeli, o których warto wiedzieć. Fakt, że można w wiarygodny sposób zmaksymalizować prawdopodobieństwa GLM przy użyciu algorytmów typu Newtona (zazwyczaj mają one unikalne MLE), oznaczał również, że programy takie jak GLIM mogą być używane przez osoby bez umiejętności optymalizacji numerycznej.
źródło