Jestem inżynierem oprogramowania, który chce zbudować narzędzie do testowania A / B. Nie mam solidnych statystyk, ale przez ostatnie kilka dni sporo czytałem.
Postępuję zgodnie z opisaną tutaj metodologią i streszczę odpowiednie punkty poniżej.
Narzędzie pozwoli projektantom i ekspertom domeny skonfigurować witrynę internetową w celu podziału ruchu otrzymanego pod określonym adresem URL na dwa lub więcej adresów URL. Na przykład ruch przychodzący na http://example.com/hello1 można podzielić na http://example.com/hello1 i http://example.com/hello2 . Ruch zostałby podzielony równomiernie między docelowe adresy URL, a wydajność procesów marketingowych w każdym z docelowych adresów URL zostanie porównana.
W tym eksperymencie wielkość próbki N
będzie odpowiadać odwiedzającym. Test mierzy „konwersje”, termin opisujący, kiedy użytkownik zobowiązuje się do określonego działania w procesie marketingowym. Konwersje są wyrażane w procentach i pożądany jest wyższy współczynnik konwersji. To sprawia, że test jest porównaniem niezależnych proporcji. Narzędzie musi być łatwe do zastosowania w celu uzyskania testów z bezpiecznymi wynikami. N
Ważne jest wybranie odpowiedniej wartości .
W powiązanym artykule powyżej zastosowano analizę mocy w dwóch niezależnych proporcjach N
. Ta metoda wymaga wcześniejszej znajomości współczynnika konwersji kontroli, a także określenia docelowej pożądanej poprawy konwersji. Określa również poziom istotności na poziomie 95% i moc statystyczną na poziomie 80%.
Pytania:
- Czy to metoda określania
N
dźwięku? Jeśli tak, jaki jest najbezpieczniejszy sposób ustalenia współczynnika konwersji kontroli przed rozpoczęciem testu? - Czy istnieją rozsądne sposoby ustalenia
N
, które nie wymagają wcześniejszej znajomości współczynników konwersji kontroli? - Czy metodyka w powiązanym artykule brzmi dobrze? Jeśli nie, czy są dostępne i łatwo przyswajalne metody, do których możesz mnie powiązać?
IMHO, o ile to możliwe, poczta idzie w dobrym kierunku. Jednak:
Proponowana metoda domyślnie przyjmuje dwa założenia: bazowy współczynnik konwersji i oczekiwaną wielkość zmiany. Wielkość próby zależy w dużej mierze od tego, jak dobrze spełniasz te założenia. Zalecam, aby obliczyć wymagane wielkości próbek dla kilku kombinacji p1 i p2, które Twoim zdaniem są realistyczne. To daje poczucie, jak wiarygodne jest obliczanie wielkości próby.
Jeśli więc rzeczywisty współczynnik konwersji wynosi 9% zamiast 10%, potrzebujesz kolejnych 2000 przypadków dla każdego scenariusza, aby wykryć 10% więcej niż wyjściowy współczynnik konwersji nowego formularza.
Po zakończeniu testu można obliczyć przedziały ufności dla proporcji na podstawie rzeczywistych obserwacji.
sig.level
źródło
Zamiast obliczania nakładających się interwałów obliczasz wynik Z. Jest to algorytmicznie łatwiejsze do wdrożenia, a otrzymasz biblioteki statystyczne, które pomogą.
Spójrz: https://onlinecourses.science.psu.edu/stat200/node/53
źródło