Najlepszy sposób oceny metod szacowania PDF

Chciałbym przetestować niektóre z moich pomysłów, które moim zdaniem są lepsze niż cokolwiek, co widziałem. Mogę się mylić, ale chciałbym przetestować swoje pomysły i rozwiać moje wątpliwości bardziej pewnymi spostrzeżeniami.

To, o czym myślałem, to:

1. Analitycznie zdefiniuj zestaw rozkładów. Niektóre z nich są łatwe, takie jak Gaussa, mundur lub Tophat. Ale niektóre z nich muszą być trudne i wymagające, takie jak dystrybucja Simpsonów.
2. Zaimplementuj oprogramowanie oparte na tych analitycznych rozkładach i użyj ich do wygenerowania niektórych próbek.
3. Ponieważ rozkłady są zdefiniowane analitycznie, już - z definicji - znam ich prawdziwe pliki PDF. To jest świetne.
4. Następnie przetestuję następujące metody oceny PDF na powyższych próbkach:
   • Istniejące metody szacowania plików PDF (takie jak KDE z różnymi jądrami i przepustowością).
   • Mój własny pomysł, który moim zdaniem warto spróbować.
5. Następnie zmierzę błąd szacunków w stosunku do prawdziwych plików PDF.
6. Wtedy lepiej będę wiedział, która z metod oceny PDF jest dobra.

Moje pytania to:

• P1: Czy są jakieś ulepszenia w stosunku do mojego planu powyżej?
• P2: Trudno mi analitycznie zdefiniować wiele prawdziwych plików PDF. Czy istnieje już obszerna lista wielu analitycznie zdefiniowanych prawdziwych plików PDF o różnych trudnościach (w tym bardzo trudnych), które mogę tutaj ponownie wykorzystać?

A2: Możesz przetestować swoje metody w 1D na następującym zestawie testów .

• A1. Brzmi dla mnie jak rozsądny plan. Wystarczy wspomnieć o kilku punktach. Będziesz chciał przetestować przy użyciu różnych wskaźników błędów ($L^p$, Rozbieżność KL itp.), Ponieważ metody będą działać różnie w zależności od funkcji utraty. Będziesz także chciał przetestować inną liczbę próbek. Wreszcie, wiele metod szacowania gęstości działa notorycznie źle w pobliżu nieciągłości / granic, więc pamiętaj o dołączeniu obciętych plików pdf do swojego zestawu.

• A2 Czy interesują Cię tylko pliki PDF 1-D, czy planujesz przetestować przypadek wielowymiarowy? Jeśli chodzi o pakiet porównawczy plików pdf, w przeszłości zadałem nieco powiązane pytanie w celu przetestowania algorytmów MCMC , ale nie znalazłem niczego takiego jak dobrze ustalony zestaw plików pdf.

Jeśli masz dużo czasu i zasobów obliczeniowych, możesz rozważyć przeprowadzenie pewnego rodzaju kontradyktoryjnego pomysłu:

• Zdefiniuj bardzo elastyczną parametryczną rodzinę plików pdf (np. Dużą mieszaninę wielu znanych plików pdf) i poruszaj się po przestrzeni parametrów mieszaniny za pomocą niekonwencjonalnej globalnej metody optymalizacji (*), aby zminimalizować wydajność twojej metody i zmaksymalizować wykonanie jakiejś innej najnowocześniejszej metody szacowania gęstości (i ewentualnie odwrotnie). Będzie to mocny test siły / słabości twojej metody.

Wreszcie wymóg bycia lepszym niż wszystkie inne metody to zbyt wysoki pręt; w pracy musi obowiązywać zasada braku darmowego lunchu (każdy algorytm ma pewne wcześniejsze założenia, takie jak gładkość, skala długości itp.). Aby twoja metoda była cennym wkładem, musisz tylko wykazać, że istnieją reżimy / domeny o ogólnym znaczeniu, w których twój algorytm działa lepiej (powyższy test przeciwny może pomóc ci znaleźć / zdefiniować taką domenę).

(*) Ponieważ wskaźnik wydajności jest stochastyczny (będziesz go oceniać za pomocą próbkowania Monte Carlo), możesz również sprawdzić tę odpowiedź na temat optymalizacji głośnych, kosztownych funkcji obiektywnych.

P1: Czy są jakieś ulepszenia w stosunku do mojego planu powyżej?

To zależy. Resztki rozkładu mieszanin często wynikają z robienia głupich rzeczy, takich jak określenie niepotrzebnego rozkładu mieszanin jako modelu danych na początek. Tak więc, moje własne doświadczenie sugeruje, aby przynajmniej określić tyle parametrów rozkładu mieszanki na wyjściu, ile jest w modelu. Co więcej, wyniki wyjściowe PDF mieszanki są inne niż pliki PDF w modelu. Domyślne wyszukiwanie Mathematica obejmuje rozkłady mieszanin z dwoma terminami i można je podać jako większą liczbę.

Q2: Czy istnieje już obszerna lista wielu analitycznie zdefiniowanych prawdziwych plików PDF o różnych trudnościach (w tym bardzo trudnych), które mogę tutaj ponownie wykorzystać?

Oto lista z procedury FindDistribution Mathematica :

Możliwe ciągłe dystrybucje dla TargetFunctions są: BetaDistribution, Rozkład Cauchy'ego, ChiDistribution, ChiSquareDistribution, ExponentialDistribution, ExtremeValueDistribution, FrechetDistribution, rozkład gamma, GumbelDistribution, HalfNormalDistribution, InverseGaussianDistribution, LaplaceDistribution, LevyDistribution, LogisticDistribution, LogNormalDistribution, MaxwellDistribution, NormalDistribution, Rozkład Pareto, Rozkład Rayleigha, StudentTDistribution, UniformDistribution, Rozkład Weibulla , HistogramDistribution.

Możliwe dyskretne dystrybucje dla funkcji TargetFunkcje to: BenfordDistribution, BinomialDistribution, BorelTannerDistribution, DiscreteUniformDistribution, GeometricDistribution, LogSeriesDistribution, NegativeBinomialDistribution, PascalDistribution, PoissonDistribution, WaringYuleDistribution, ZipfDistribution Hist.

Kryterium informacji wewnętrznej wykorzystuje kryterium informacji bayesowskiej wraz z priorytetami w stosunku do funkcji docelowych.