Poprawa minimalnego estymatora

9

Załóżmy, że mam pozytywne parametry oszacować i odpowiadające im pakietów szacunki produkowane przez estymatorów , tj. , i tak dalej.nμ1,μ2,...,μnnμ1^,μ2^,...,μn^E[μ1^]=μ1E[μ2^]=μ2

Chciałbym oszacować podstawie dostępnych szacunków. Najwyraźniej naiwny estymator jest tendencyjnie niższy niż min(μ1,μ2,...,μn)min(μ1^,μ2^,...,μn^)

E[min(μ1^,μ2^,...,μn^)]min(μ1,μ2,...,μn)

Załóżmy, że mam pod ręką macierz kowariancji odpowiednich estymatorów . Czy można uzyskać obiektywne (lub mniej stronnicze) oszacowanie minimum przy użyciu podanych oszacowań i macierzy kowariancji?Cov(μ1^,μ2^,...,μn^)=Σ

Cagdas Ozgenc
źródło
Czy chcesz zastosować Bayesowskie podejście MCMC, czy potrzebujesz formuły zamkniętej?
Martin Modrák,
Ale proste podejście do próbkowania jest OK? (także, nie potrzebujesz ściśle priorów do analizy bayesowskiej, ale to inna historia)
Martin Modrák
@ MartinModrák Nie mam doświadczenia w podejściu do próbkowania. Jeśli wykonuję bayesian, zwykle robię proste rzeczy sprzężone. Ale jeśli uważasz, że to jest właściwa droga, pójdę naprzód i nauczę się.
Cagdas Ozgenc
Co jeszcze wiesz o tych szacunkach? Czy znasz wyrażenia? Czy znasz rozkład danych wykorzystanych do oszacowania tych parametrów?
wij
@wij W razie potrzeby mogę spróbować oszacować inne momenty estymatorów. Nie mam analitycznego wyrażenia dla rozkładu estymatorów. Rozwiązanie nie powinno (jako moje wymaganie) zależeć od samego rozpowszechniania danych.
Cagdas Ozgenc

Odpowiedzi:

4

Nie mam jednoznacznej odpowiedzi na temat istnienia obiektywnego estymatora. Jednak pod względem błędu oszacowania oszacowanie jest z natury trudnym problemem.min(μ1,,μn)

Na przykład niech i . Niech będzie wielkością docelową, a jest oszacowaniem . Jeśli użyjemy estymatora „naiwnego” gdzie , zatem błąd oszacowania jest ograniczony przez do stałej. (Zauważ, że błąd oszacowania dla każdego wynosi ). Oczywiście, jeśliY1,,YNN(μ,σ2I)μ=(μ1,,μn)θ=miniμiθ^θθ^=mini(Y¯i)Yi¯=1Nj=1NYi,jL2

E[θ^θ]2σ2lognN
μiσ2Nμisą daleko od siebie i jest bardzo mała, błąd oszacowania należy zredukować do . Jednakże, w najgorszym przypadku, nie ma szacunek działa lepiej niż naiwnego estymatora. Możesz dokładnie pokazać, że gdzie infimum przejmuje wszystkie możliwe estiamte na podstawie próbki a supremum przejmuje wszystkie możliwe konfiguracje .σσ2Nθ
infθ^supμ1,,μnE[θ^θ]2σ2lognN
θY1,,YNμi

Dlatego naiwny estymator jest minimalny od optymalnego do stałego i nie ma lepszego oszacowania w tym sensie.θ

JaeHyeok Shin
źródło
Dostarczone dodatkowe informacje wcale nie pomagają? Jakie dodatkowe statystyki mogą być pomocne?
Cagdas Ozgenc
Przepraszam, że wprowadziłem w błąd. Nie miałem na myśli, że dodatkowe informacje (kowariancja) nie są pomocne. Chciałem tylko wskazać, że oszacowanie minimum kilku średnich populacji jest trudne z natury. Informacje o kowariancji powinny być pomocne. Na przykład w przypadku Normalnym, jeśli mamy idealne korelacje dla wszystkich możliwych par, oznacza to, że losowe obserwacje pochodzą z innej średniej + wspólnego składnika szumowego. W tym przypadku naiwny estymator (minimum średnich próbek) jest bezstronny.
JaeHyeok Shin
3

EDYCJA: Poniższe odpowiedzi odpowiadają na inne pytanie niż zadane - jest tak sformułowane, jakby był uważany za losowy, ale nie działa, gdy jest uważany za stały, co prawdopodobnie miało na myśli OP. Jeśli jest naprawione, nie mam lepszej odpowiedzi niżμμμmin(μ^1,...,μ^n)


Jeśli weźmiemy pod uwagę tylko szacunki średniej i kowariancji, możemy traktować jako pojedynczą próbkę z wielowymiarowego rozkładu normalnego. Prostym sposobem uzyskania oszacowania minimum jest następnie narysowanie dużej liczby próbek z , obliczenie minimum każdej próbki, a następnie wzięcie średniej z tych minimów.(μ1,...,μn)MVN(μ^,Σ)

Powyższą procedurę i jej ograniczenia można zrozumieć w kategoriach bayesowskich - biorąc pod uwagę zapis z Wikipedii na MVN , jeśli jest znaną kowariancją estymatorów i mamy jedną obserwację, wspólny rozkład tylny to w którym i wynikać ze stanu, w których przed obserwując żadnych danych bierzemy przed ). Ponieważ prawdopodobnie nie chcesz stawiać priorów na , możemy przyjąć limit jako , co powoduje płaskie wcześniejsze, a tylne staje sięΣμMVN(μ^+mλ01+m,1n+mΣ)λ0mμMVN(λ0,m1Σμm0μMVN(μ^,Σ). Jednak biorąc pod uwagę płaskie wcześniejsze, domyślnie przyjmujemy założenie, że elementy różnią (jeśli wszystkie liczby rzeczywiste są jednakowo prawdopodobne, uzyskanie podobnych wartości jest bardzo mało prawdopodobne).μ

A szybkie symulacji pokazuje, że oszacowanie tej procedury nieco przeszacowanie , gdy elementy znacznie się różnią oraz docenia , gdy elementy są do siebie podobne. Można argumentować, że bez wcześniejszej wiedzy jest to prawidłowe zachowanie. Jeśli zechcesz podać przynajmniej niektóre wcześniejsze informacje (np. ), wyniki mogą stać się nieco lepsze dla twojego przypadku użycia.min(μ)μmin(μ)m=0.1

Jeśli chcesz założyć więcej struktur, możesz być w stanie wybrać lepszą dystrybucję niż normalna wielowarstwowa. Również sensowne może być użycie Stan lub innego próbnika MCMC w celu dopasowania szacunków w pierwszej kolejności. zestaw próbek które odzwierciedlają niepewność samych estymatorów, w tym ich strukturę kowariancji (być może bogatszą niż to, co może zapewnić MVN). Jeszcze raz możesz obliczyć minimum dla każdej próbki, aby uzyskać rozkład tylny w stosunku do minimów i wziąć średnią tego rozkładu, jeśli potrzebujesz oszacowania punktowego.μ(μ1,...,μn)

Martin Modrák
źródło
Zauważ, że nie próbuję oszacować minimum N losowych zmiennych. Próbuję oszacować minimum N parametrów. Wydaje się, że twoja sugestia to oszacowanie dla podczas gdy potrzebuję oszacowania dlaE[min(μ1^,μ2^,...,μn^)]min(μ1,μ2,...,μn)
Cagdas Ozgenc
Próbowałem edytować odpowiedź, aby wyjaśnić uzasadnienie, mam nadzieję, że to pomaga.
Martin Modrák,
Tak więc ta metoda próbkowania daje lepsze wyniki w porównaniu z prostym estymatorem , który działa również, gdy są daleko od siebie i nie docenia, kiedy są blisko. Aby było użyteczne, powinno działać, gdy są blisko. min(μ1^,μ2^,...,μn^)μi
Cagdas Ozgenc
Zauważ też, że wszystkie są liczbami dodatnimi, więc tak naprawdę nie potrzebujesz ujemnej części prawdziwej linii. μi
Cagdas Ozgenc
1
Masz rację, że ignoruję znaki i nie widzę prostego sposobu na ich dostosowanie. Również zaproponowany przeze mnie estymator działa lepiej, gdy jest uważany za losowy, ale jest gorszy niż dla ustalonego . Nie sądzę, żebym mógł to uratować i nie jestem pewien, co jest najlepszym rozwiązaniem - jestem skłonny spróbować usunąć odpowiedź, ponieważ tak naprawdę nie odpowiada na pytanie, ale (mam nadzieję) odpowiedź zawiera również pewne pomysły, które może być komuś przydatny. μmin(μ^)μ
Martin Modrák,