Czy mamy problem z „litością przychylną”?

Wiem, może to zabrzmieć nie na temat, ale wysłuchaj mnie.

W Stack Overflow i tutaj otrzymujemy głosy na posty, wszystko to jest przechowywane w formie tabelarycznej.

Na przykład:

post id identyfikator wyborcy typ głosowania datetime
------- -------- --------- --------
10 1 2 2000-1-1 10:00:01 
11 3 3 2000-1-1 10:00:01 
10 5 2 2000-1-1 10:00:01

... i tak dalej. Głosowanie typu 2 to głosowanie pozytywne, głosowanie typu 3 to głosowanie negatywne. Możesz przesłać anonimową wersję tych danych na stronie http://data.stackexchange.com

Istnieje przekonanie, że jeśli post osiągnie wynik -1 lub niższy, bardziej prawdopodobne jest, że zostanie on oceniony. Może to być po prostu uprzedzenie potwierdzające lub może być zakorzenione.

Jak przeanalizowalibyśmy te dane, aby potwierdzić lub zaprzeczyć tej hipotezie? Jak zmierzylibyśmy efekt tego błędu?

time-series hypothesis-testing data-mining markov-process censoring Sam Saffron
źródło

czy możemy uzyskać przykład zapytania? Nie wszyscy są dobrze zorientowani w pisaniu instrukcji SQL. Posiadanie przykładowych danych może zachęcić ludzi do zabawy. +1 za pytanie.

mpiktas

Głosy @Jeff są anonimowe, można uzyskać tylko częściowe informacje ze zrzutu danych, obejmuje wszystkie przejścia, chociaż tutaj jest szybki przykład danych. Stackexchange.com/stackoverflow/q/101738 pełne anonimowe dane są dostępne w publicznym zrzutu danych

Sam Saffron,

Dlaczego po prostu głosujesz? W jaki sposób prawdopodobieństwo głosowania w górę lub w dół wokół każdej konkretnej wartości byłoby z pewnością interesujące?

Bob Durrant

@ Bob, na pewno się zgodzili

Sam Saffron

Widziałem inne rodzaje stron zaciemniających głosy (tj. Dodających hałas przed ich wyświetleniem), a czasem nawet całkowicie ukrywających się w górę i w dół głosów na krótki czas, aby uniknąć różnych form bandwagonningu, litości głosów i innych „społecznych” elementy głosowania.

Glen_b

Odpowiedzi:

Możesz użyć modelu wielostanowiskowego lub łańcucha Markowa (pakiet MSM w R jest jednym ze sposobów, aby je dopasować). Następnie możesz sprawdzić, czy prawdopodobieństwo przejścia od -1 do 0 jest większe niż od 0 do 1, 1 do 2 itd. Możesz także spojrzeć na średni czas w -1 w porównaniu do innych, aby sprawdzić, czy jest on krótszy .

Greg Snow
źródło

+1 świetna referencja. W Journal of Statistics Software znajduje się artykuł na temat pakietu msm. Model wydaje się idealnie dopasowany do tego rodzaju zadań.

mpiktas

Pomysł na model łańcuchowy Markowa wygląda dobrze, ale średni czas przy -1 nie da całej historii. Jest możliwe (i prawdopodobne - źle myślę), że bardziej prawdopodobne jest, że zostaniesz oceniony jako -1 niż gdzie indziej.

Bob Durrant

Wydaje mi się, że to, co można najpierw zrobić, to zgrupować trajektorie głosowania - te, które otrzymują (prawie) tylko w górę / w dół (bardzo popularne / bardzo złe pytania) i te, które są bardziej kontrowersyjne. Następnie możesz wykonać łańcuchy Markowa na trzech klasach.

Jonas

Przeprowadzić eksperyment. Każdego dnia losowo oceniaj połowę nowych postów o określonej godzinie.

charles.y.zheng
źródło

Fajnie, powinniśmy zaobserwować znaczny wzrost odznak „krytycznych” i prawdopodobnie spadek motywacji dla nowych użytkowników :-) Lepiej zacząć od użytkowników o wysokiej liczbie powtórzeń, w tym przypadku (ryzyko ryzyka eksperymentu!)

chl

Właściwie moglibyśmy zrobić to lepiej ... używając testów AB, mogliśmy wybrać, aby wyświetlić połowę głosowanego pytania -1 na stronie jako 0, a połowę jako -1 ... i sprawdzić, czy któraś z grup jest bardziej prawdopodobna pozytywnie! Pomysłowy.

Sam Saffron,

Idea eksperymentu kontroluje jakość postów, ale (1) osoby, które zostały obniżone, powinny wcześniej zgodzić się na udział w eksperymencie, oraz (2) po krótkim czasie, obniżki powinny zostać usunięte.

zbicyclist,

+1 (i +1 do wszystkich komentarzy tutaj): kontrolowany, odwracalny eksperyment, przekazany z wyprzedzeniem wszystkim użytkownikom, których może to dotyczyć i przeprowadzony za ich zgodą, jest jednym z najsilniejszych sposobów na uzyskanie tych informacji.

whuber

Podsumowanie mojej odpowiedzi. Lubię modelowanie łańcucha Markowa, ale brakuje mu aspektu „czasowego”. Z drugiej strony, skupienie się na aspekcie czasowym (np. Średni czas przy ) pomija aspekt „przejścia”. Chciałbym przejść do następującego ogólnego modelowania (które przy odpowiednim założeniu może prowadzić do [procesu Markowa] [1]). Poza tym za tym problemem kryje się wiele „cenzurowanych” statystyk (co z pewnością jest klasycznym problemem niezawodności oprogramowania?). Ostatnie równanie mojej odpowiedzi daje oszacowanie maksymalnego prawdopodobieństwa intensywności głosowania (w górę z „+” i dow z „-”) dla danego stanu głosowania. Jak widać z równania, jest to związek pośredni z przypadkiem, gdy szacujesz jedynie prawdopodobieństwo przejścia i przypadkiem, gdy mierzysz tylko czas spędzony w danym stanie. Mam nadzieję, że to pomoże. $-1$

Modelowanie ogólne (w celu ponownego sformułowania pytania i założeń). Niech i będą zmiennymi losowymi modelującymi odpowiednio daty głosowania i powiązany znak głosowania (+1 za głosowanie, -1 za głosowanie negatywne). Proces głosowania jest prosty $(VD_i)_{i\geq 1}$ $(S_{i})_{i\geq 1}$

Y_{t} = Y_{t}^{+} - Y_{t}^{-}

$Y_{t}=Y^+_t-Y^-_t$ gdzie

Y_{t}^{+} = \sum_{i = 0}^{\infty} 1_{V D_{i} \leq t, S_{i} = 1} and Y_{t}^{-} = \sum_{i = 0}^{\infty} 1_{V D_{i} \leq t, S_{i} = - 1}

$Y^+_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=1} \;\text{ and } \;Y^-_t=\sum_{i=0}^{\infty}1_{VD_i\leq t,S_i=-1}$

Ważna jest tutaj intencja -jump gdzie może być lub a jest dobrą filtracją, w przypadku rodzajów, bez innej wiedzy byłoby to : . $\epsilon$

λ_{t}^{ϵ} = lim_{d t \to 0} \frac{1}{d t} P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | F_{t})

$\lambda^{\epsilon}_t=\lim_{dt\rightarrow 0} \frac{1}{dt} P(Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1|\mathcal{F}_t)$

ϵ

$\epsilon$

-

$-$

+

$+$

F_{t}

$\mathcal{F}_t$

F_{t} = σ (Y_{t}^{+}, Y_{t}^{-}, V D_{1}, \dots, V D_{Y_{t}^{+} + Y_{t}^{-}}, S_{1}, \dots, S_{Y_{t}^{+} + Y_{t}^{-}})

$\mathcal{F}_t=\sigma \left (Y^+_t,Y^-_t,VD_1,\dots,VD_{Y^+_t+Y^-_t},S_{1},\dots,S_{Y^+_t+Y^-_t} \right )$

ale zgodnie z twoim pytaniem, domyślnie zakładasz, że Oznacza to, że dla istnieje sekwencja deterministyczna taki, że .

P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | F_{t}) = P (Y_{t + d t}^{ϵ} - Y_{t}^{ϵ} = 1 | Y_{t})

$P \left ( Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1 | \mathcal{F}_t \right )= P \left (Y^{\epsilon}_{t+dt}-Y^{\epsilon}_t=1| Y_t \right )$

ϵ = +, -

$\epsilon=+,-$

(μ_{i}^{ϵ})_{i \in Z}

$(\mu^{\epsilon}_i)_{i\in \mathbb{Z}}$

λ_{t}^{ϵ} = μ_{Y_{t}}^{ϵ}

$\lambda^{\epsilon}_t=\mu^{\epsilon}_{Y_t}$

W ramach tego formalizmu można przekształcić pytanie w następujący sposób: „prawdopodobne jest, że ” (lub przynajmniej różnica jest większa niż podany próg). $\mu^{+}_{-1} -\mu^{+}_{0}>0$

Przy takim założeniu łatwo jest wykazać, że jest [jednorodnym procesem markowa] [3] na z generatorem podanym przez $Y_t$ $\mathbb{Z}$ $Q$

\forall i, j \in Z Q_{i, i + 1} = μ_{i}^{+} Q_{i, i - 1} = μ_{i}^{-} Q_{i i} = 1 - (μ_{i}^{+} + μ_{i}^{-}) Q_{i j} = 0 if | i - j | > 1

$\forall i,j \in \mathbb{Z}\;\;\; Q_{i,i+1}=\mu^{+}_{i}\;\; Q_{i,i-1}=\mu^{-}_{i}\;\; Q_{ii}=1-(\mu^{+}_{i}+\mu^{-}_{i}) \;\; Q_{ij}=0 \text{ if } |i-j|>1$

Odpowiedź na pytanie (poprzez zaproponowanie oszacowania maksymalnego prawdopodobieństwa dla problemu statystycznego) Na podstawie tej przeformułowania rozwiązanie problemu odbywa się poprzez oszacowanie i zbudowanie testu na podstawie jego wartości. Naprawmy i zapomnijmy indeks bez utraty ogólności. Oszacowania (i ) można dokonać przed obserwacją $(\mu^{+}_i)$ $i$ $\mu^+$ $\mu^-$

$(T^{1},\eta^1),\dots,(T^{p},\eta^p)$ gdzie są długościami w tych Okresu w stanie (tj. kolejne czasy z ) i wynosi jeśli pytanie zostało poddane głosowaniu, jeśli zostało poddane głosowaniu, a jeśli był to ostatni stan obserwacji. $T^j$ $j^{th}$ $p$ $i$ $Y_t=i$ $\eta^j$ $+1$ $-1$ $0$

Jeśli zapomnisz przypadek z ostatnim stanem obserwacji, wspomniane pary otrzymają rozkład zależny od i : jest on dystrybuowany jako (gdzie Exp jest losową odmianą rozkładu wykładniczego, a wynosi + lub -1 w zależności od tego, kto zrealizuje maksimum). Następnie możesz użyć następującego prostego lematu (dowód jest prosty): $\mu_i^+$ $\mu_i^-$ $(\min(Exp(\mu_i^+),Exp(\mu_i^-)),\eta)$ $\eta$

Lemma Jeśli i , to i . $X_+\leadsto Exp(\mu_+)$ $X_{-} \leadsto Exp(\mu_{-})$ $T=\min(X_+,X_-)\leadsto Exp(\mu_++\mu_-)$ $P(X_+1<X_-)=\frac{\mu_+}{\mu_++\mu_-}$

Oznacza to, że gęstość o jest dane przez: gdzie dla jest funkcją gęstości wykładniczej zmiennej losowej z parametrem . Z tego wyrażenia łatwo jest uzyskać estymator maksymalnego prawdopodobieństwa dla i : $f(t,\epsilon)$ $(T,\eta)$

f (t, ϵ) = g_{μ_{+} + μ_{-}} (\frac{1 (ϵ = + 1) * μ_{+} + 1 (ϵ = - 1) * μ_{-}}{μ_{+} + μ_{-}})

$f(t,\epsilon)=g_{\mu_++\mu_-}\left ( \frac{1(\epsilon=+1)*\mu_++1(\epsilon=-1)*\mu_-}{\mu_++\mu_-}\right )$

g_{a}

$g_a$

a > 0

$a>0$

a

$a$

μ_{+}

$\mu_+$

μ_{-}

$\mu_-$

({\hat{μ}}_{+}, {\hat{μ}}_{-}) = a r g m i n \ln (μ_{-} + μ_{+}) ((μ_{-} + μ_{+}) \sum_{i = 1}^{p} T^{i} + p) - p_{-} \ln (μ_{-}) - p_{+} \ln (μ_{+})

$(\hat{\mu}_+,\hat{\mu}_-)=argmin \ln (\mu_-+\mu_+)\left ( (\mu_-+\mu_+)\sum_{i=1}^p T^i+p\right )- p_-\ln\left (\mu_-\right ) -p_+ \ln \left (\mu_+\right )$ gdzieoraz.

p_{-} = | i : δ_{i} = - 1 |

$p_-=|{i:\delta_i=-1}|$

p_{+} = | i : δ_{i} = + 1 |

$p_+=|{i:\delta_i=+1}|$

Komentarze do bardziej zaawansowanych podejść

Jeśli chcesz wziąć pod uwagę przypadki, w których jest ostatnim zaobserwowanym stanem (z pewnością mądrzejszym, ponieważ kiedy przechodzisz przez , często jest to twój ostatni wynik ...), musisz nieco zmodyfikować rozumowanie. Odpowiednia cenzura jest względnie klasyczna ... $i$ $-1$

Możliwe inne podejście może obejmować

Intensywność maleje z czasem
Mając intensywność, która maleje wraz z czasem spędzonym od ostatniego głosowania (wolę ten. W tym przypadku istnieje klasyczny sposób modelowania zmniejszania się gęstości ...
Możesz założyć, że jest płynną funkcją $\mu_i^+$ $i$
.... możesz zaproponować inne pomysły!

Robin Girard
źródło