Zmienić modelowanie procesu za pomocą rozkładu Poissona, aby zastosować ujemny rozkład dwumianowy?

$\newcommand{\P}{\mathbb{P}}$ Mamy procesu losowego, które mogą, albo nie, może wystąpić wiele razy w zadanym okresie czasu . Mamy plik danych z wcześniej istniejącego modelu tego procesu, który zapewnia prawdopodobieństwo wystąpienia wielu zdarzeń w okresie 0 \ leq t <T . Ten istniejący model jest stary i musimy przeprowadzać bieżące kontrole danych kanału w celu wykrycia błędów szacunkowych. Stary model generujący źródło danych (który zapewnia prawdopodobieństwo wystąpienia n zdarzeń w pozostałym czasie t ) ma w przybliżeniu rozkład Poissona.$T$$0 \leq t < T$$n$$t$

Aby więc sprawdzić anomalie / błędy, niech $t$ będzie czasem pozostałym, a $X_t$ będzie całkowitą liczbą zdarzeń, które wystąpią w pozostałym czasie $t$ . Stary model zakłada oszacowania $\P(X_t \leq c)$ . Zatem przy naszym założeniu $X_t\sim \operatorname{Poisson}(\lambda_{t})$ mamy:

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ Aby uzyskać naszą częstotliwość zdarzeń $\lambda_t$ z danych wyjściowych starego modelu (obserwacje $y_{t}$ ), używamy podejścia do przestrzeni stanów i modelujemy relację stanu jako: $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Filtrujemy obserwacje ze starego modelu, używając modelu przestrzeni [rozpadu stałej prędkości] do ewolucji \ lambda_t w$\lambda_t$ celu uzyskania stanu filtrowanego $E(\lambda_t|Y_t)$ i oznaczamy anomalię / błąd w szacowanej częstotliwości zdarzeń z dane kanału, jeśli $E(\lambda_t|Y_t) < y_t$ .

To podejście działa fantastycznie dobrze przy wykrywaniu błędów w szacowanych liczbach zdarzeń w pełnym okresie $T$ , ale nie tak dobrze, jeśli chcemy zrobić to samo dla innego okresu $0 \leq t < \sigma$ gdzie $\sigma < \frac{2}{3} T$ . Aby obejść ten problem, zdecydowaliśmy, że chcemy teraz przełączyć się na stosowanie ujemnego rozkładu dwumianowego, więc przyjmujemy teraz $X_t\sim NB(r, p)$ i mamy:

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ gdzie parametr $\lambda$ został zastąpiony przez $r$ i $p$. Powinno to być łatwe do wdrożenia, ale mam pewne trudności z interpretacją, dlatego mam pytania, w których chciałbym pomóc:

1. Czy możemy jedynie ustawić $p = \lambda$ w ujemnym rozkładzie dwumianowym? Jeśli nie, dlaczego nie?

2. Zakładając, że możemy ustawić $p = f(\lambda)$ gdzie $f$ jest jakąś funkcją, w jaki sposób możemy poprawnie ustawić $r$ (czy musimy dopasować $r$ używając wcześniejszych zestawów danych)?

3. Czy $r$ zależy od liczby zdarzeń, których spodziewamy się podczas danego procesu?

---

Dodatek do wyodrębniania oszacowań dla $r$ (i $p$ ):

Zdaję sobie sprawę, że jeśli w rzeczywistości miał ten problem odwrócone, i mieliśmy liczby zdarzeń dla każdego procesu, możemy przyjąć maksymalny estymator prawdopodobieństwa dla i . Oczywiście maksymalny estymator prawdopodobieństwa istnieje tylko dla próbek, dla których wariancja próbki jest większa niż średnia próbki, ale gdyby tak było, moglibyśmy ustawić funkcję prawdopodobieństwa dla niezależnych identycznie rozmieszczonych obserwacji as: z którego możemy zapisać funkcję logarytmu wiarygodności jako: p N k 1 , k 2 , … , k N L ( r , p ) = N ∏ i = 1 P ( k i ; r , p ) , l ( r , p ) = N ∑ i = 1 ln ( Γ ( k i + r ) ) - N = $r$$p$$N$$k_1, k_2, \ldots, k_{N}$

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ Aby znaleźć maksimum, bierzemy pochodne cząstkowe w odniesieniu do i i ustawiamy je na zero: Ustawienie i ustawienie znajdujemy: $r$$p$∂rl(r,p)=∂pl(r,p)= $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$ $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ To równanie nie może być rozwiązane dla rw postaci zamkniętej przy użyciu Newtona lub nawet EM. W tej sytuacji tak jednak nie jest. Chociaż moglibyśmy użyć danych z przeszłości, aby uzyskać statyczne wartości i tak naprawdę nie ma to żadnego zastosowania w naszym procesie, musimy dostosować te parametry w czasie, tak jak to zrobiliśmy za pomocą Poissona. $r$$p$

Ujemny rozkład dwumianowy jest bardzo podobny do dwumianowego modelu prawdopodobieństwa. ma zastosowanie, gdy spełnione są następujące założenia (warunki) 1) Każdy eksperyment jest przeprowadzany w tych samych warunkach, aż do osiągnięcia określonej liczby sukcesów, powiedzmy C, 2) Wynik każdego eksperymentu można zaklasyfikować do jednej z dwóch kategorii , sukces lub porażka 3) Prawdopodobieństwo P sukcesu jest takie samo dla każdego eksperymentu 40 Każdy eksperyment jest niezależny od pozostałych. Pierwszy warunek jest jedynym kluczowym czynnikiem odróżniającym dwumianowy od ujemnego dwumianowego

Rozkład Poissona może być rozsądnym przybliżeniem dwumianu w pewnych warunkach, takich jak 1) Prawdopodobieństwo sukcesu dla każdej próby jest bardzo małe. P -> 0 2) np = m (powiedzmy) jest drobna Reguła najczęściej stosowana przez statystyków jest taka, że ​​poissona jest dobrym przybliżeniem dwumianu, gdy n jest równe lub większe niż 20, a p jest równe lub mniejsze niż 5 %