Pytanie ogólne Załóżmy, że mamy przesyłane dane , , ... \ sim f (x \, | \, \ boldsymbol {\ theta}) . Chcemy rekurencyjnie obliczyć oszacowanie maksymalnego prawdopodobieństwa \ boldsymbol {\ theta} . To znaczy, po obliczeniu \ hat {\ boldsymbol {\ theta}} _ {n-1} = \ underset {\ boldsymbol {\...
Jeffrey Wooldridge w swojej ekonometrycznej analizie przekrojów i danych panelowych (strona 357) mówi, że empiryczny Hesjan „nie ma gwarancji, że będzie pozytywnie określony, a nawet dodatni półfinałowy, dla konkretnej próbki, z którą pracujemy”. Wydaje mi się to niewłaściwe, ponieważ (oprócz...
Wydaje się, że istnieje wiele zamieszania w porównaniu używania glmnetwewnątrz w caretcelu znalezienia optymalnej lambdy i korzystania cv.glmnetz tego samego zadania. Zadano wiele pytań, np .: Model klasyfikacji train.glmnet vs. cv.glmnet? Jaki jest właściwy sposób używania glmnet z...
θ^θ^\hat\thetaθ∗θ∗\theta^*nnn∥θ^−θ∗∥‖θ^−θ∗‖\lVert\hat\theta-\theta^*\rVertO(1/n−−√)O(1/n)O(1/\sqrt n)∥Eθ^−θ∗∥‖Eθ^−θ∗‖\lVert \mathbb E\hat\theta - \theta^*\rVert∥Eθ^−θ^∥‖Eθ^−θ^‖\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/n−−√)O(1/n)O(1/\sqrt{n}) Interesują mnie modele, które mają odchylenie,...
Zastanawiam się, czy oszacowanie maksymalnego prawdopodobieństwa kiedykolwiek użyte w statystykach. Uczymy się jego koncepcji, ale zastanawiam się, kiedy jest faktycznie używana. Jeśli przyjmiemy rozkład danych, znajdziemy dwa parametry, jeden dla średniej i jeden dla wariancji, ale czy...
W pierwszym rozdziale książki Geometria algebraiczna i statystyczna teoria uczenia się, która mówi o zbieżności oszacowań w różnych przestrzeniach funkcjonalnych, wspomina, że oszacowanie Bayesa odpowiada topologii rozkładu Schwartza, podczas gdy oszacowanie maksymalnego prawdopodobieństwa...
To pytanie dotyczy oszacowania ograniczonego maksymalnego prawdopodobieństwa (REML) w określonej wersji modelu liniowego, a mianowicie: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), gdzie X(α)X(α)X(\alpha) jest macierzą (...
MLE = oszacowanie maksymalnego prawdopodobieństwa MAP = Maksimum a posteriori MLE jest intuicyjny / naiwny, ponieważ zaczyna się od prawdopodobieństwa obserwacji danego parametru (tj. Funkcji prawdopodobieństwa) i próbuje znaleźć parametr najlepiej zgodny z obserwacją . Ale nie bierze pod uwagę...
Próbuję zrozumieć regresję logistyczną Firtha (metodę obsługi idealnego / pełnego lub quasi-pełnego rozdzielenia w regresji logistycznej), aby móc wyjaśnić to innym w uproszczony sposób. Czy ktoś ma ogólne wyjaśnienie, jakie modyfikacje wprowadza szacunek Firth w MLE? Przeczytałem, najlepiej jak...
Przesłanka: to może być głupie pytanie. Znam tylko stwierdzenia o właściwościach asymptotycznych MLE, ale nigdy nie badałem dowodów. Gdybym to zrobił, może nie zadawałbym tych pytań, a może zdałbym sobie sprawę, że te pytania nie mają sensu ... więc spokojnie. Często widziałem stwierdzenia, które...
Niedawno przejrzałem kilka starych artykułów Nancy Reid, Barndorff-Nielsen, Richarda Coxa i, tak, małego Ronalda Fishera, na temat koncepcji „wnioskowania warunkowego” w paradygmacie częstokroć, co wydaje się oznaczać, że wnioski są oparte tylko na „odpowiedni podzbiór” przestrzeni próbki, a nie...
Zasadniczo wydaje się, że metoda momentów polega jedynie na dopasowaniu obserwowanej średniej próbki lub wariancji do momentów teoretycznych w celu uzyskania oszacowań parametrów. Rozumiem, że jest to często to samo co MLE dla rodzin wykładniczych. Jednak trudno jest znaleźć jasną definicję metody...
Powiedzmy, że mam problem z wyborem modelu i próbuję użyć AIC lub BIC do oceny modeli. Jest to proste w przypadku modeli, które mają pewną liczbę parametrów o wartościach rzeczywistych.kkk Co jednak, jeśli jeden z naszych modeli (na przykład model Mallowsa ) ma permutację plus niektóre parametry o...
Po wycentrowaniu można przyjąć , że dwa pomiary x i −x są niezależnymi obserwacjami z rozkładu Cauchy'ego z funkcją gęstości prawdopodobieństwa: 1f(x:θ)=f(x:θ)=f(x :\theta) = ,-∞<x<∞1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞<x<∞,−∞<x<∞, -∞ < x < ∞ Pokaż, że...
Widzę w różnych miejscach wspomniane, że ANOVA dokonuje oszacowania za pomocą metody momentów. Twierdzenie to wprawia mnie w zakłopotanie, ponieważ chociaż nie znam metody momentów, rozumiem, że jest to coś innego niż metoda największego prawdopodobieństwa i nie jest ona równoważna; z drugiej...
Wykonując regresję, jeśli zastosujemy definicję z: Jaka jest różnica między częściowym prawdopodobieństwem, prawdopodobieństwem profilu i prawdopodobieństwem krańcowym? że, maksymalne prawdopodobieństwo Znajdź β i θ, które maksymalizuje L (β, θ | dane). Chociaż, Krańcowa Prawdopodobieństwo...
Mam model przewidywania trajektorii (x w funkcji czasu) z kilkoma parametrami. W tej chwili obliczam błąd średniej kwadratowej (RMSE) między przewidywaną trajektorią a eksperymentalnie zarejestrowaną trajektorią. Obecnie minimalizuję tę różnicę (RMSE), używając simplex (fminsearch w Matlabie)....
To pytanie jest inspirowane długą dyskusją w komentarzach tutaj: W jaki sposób regresja liniowa wykorzystuje rozkład normalny? W zwykłym modelu regresji liniowej, dla uproszczenia, zapisanym tutaj tylko z jednym predyktorem: gdzie są znanymi stałymi, a są zerowymi średnimi niezależnymi błędami....
To pytanie jest motywowane tym . Poszukałem dwóch źródeł i oto, co znalazłem. A. van der Vaart, Statystyki asymptotyczne: Rzadko jest możliwe jednoznaczne obliczenie prawdopodobieństwa profilu, ale jego liczbowa ocena jest często wykonalna. Wówczas prawdopodobieństwo profilu może służyć do...
Biorąc pod uwagę zestaw danych z wynikami binarnymi i pewną macierzą predykcyjną , standardowy model regresji logistycznej szacuje współczynniki które maksymalizują prawdopodobieństwo dwumianowe. Gdy ma pełną pozycję, jest unikalny; gdy nie ma doskonałej separacji, jest...