Z zawodu jestem projektantem oprogramowania i pracuję nad projektem dla klienta i chciałbym upewnić się, że moja analiza jest statystycznie wiarygodna.
Zastanów się, co następuje: Mamy n reklam (n <10) i chcemy po prostu wiedzieć, która reklama jest najskuteczniejsza. Nasz serwer reklam losowo wyświetli jedną z tych reklam. Sukces polega na tym, że użytkownik kliknie reklamę - nasz serwer to śledzi.
Biorąc pod uwagę: Przedział ufności: 95%
Pytanie: Jaka jest szacunkowa wielkość próby? (Ile wszystkich reklam musimy wyświetlać), Dlaczego? (pamiętaj, że jestem manekinem)
Dzięki
anova
sample-size
t-test
rule-of-thumb
Jonathan
źródło
źródło
Odpowiedzi:
Test, który prawdopodobnie chcesz, to dokładny test Fishera . Niestety, biorąc pod uwagę prawdopodobny bardzo niski współczynnik klikalności i niewielki oczekiwany rozmiar efektu, będziesz potrzebować ogromnego N, aby osiągnąć pożądany przedział ufności. Powiedzmy, że „prawdziwy” współczynnik klikalności Twojej najlepszej reklamy wynosi 0,11, a Twój drugi najlepszy wynik to .1. Ponadto załóżmy, że chcesz, aby prawdopodobieństwo, że niewłaściwie nie odrzucisz hipotezy zerowej (że nie ma różnicy między dwiema reklamami), będzie mniejsze niż 0,20. Jeśli tak jest, będziesz potrzebować N rzędu 10.000.
Jak sugerował komentator, prawdopodobnie nie powinno Cię obchodzić dziesięcioprocentowa różnica w skuteczności reklam. W przypadku różnic grubszych niezbędny rozmiar próbek zmniejsza się szybko.
źródło