Jak obliczyć margines błędu w wyniku NPS (Net Promoter Score)?

Pozwolę Wikipedii wyjaśnić, w jaki sposób obliczany jest NPS :

Wynik promotora netto uzyskuje się, zadając klientom jedno pytanie w skali od 0 do 10, gdzie 10 jest „bardzo prawdopodobne”, a 0 „wcale nie prawdopodobne”: „Jak prawdopodobne jest, że poleciłbyś naszą firmę przyjaciel czy kolega? ” Na podstawie ich odpowiedzi klienci dzielą się na jedną z trzech grup: promotorów (ocena 9–10), pasywnych (ocena 7–8) i krytyków (ocena 0–6). Procent krytyków jest następnie odejmowany od procentu promotorów, aby uzyskać wynik promotora netto (NPS). NPS może być tak niski jak -100 (każdy jest krytykujący) lub tak wysoki jak +100 (każdy jest promotorem).

Badanie przeprowadzamy okresowo od kilku lat. Za każdym razem otrzymujemy kilkaset odpowiedzi. Wynikowy wynik zmieniał się o 20-30 punktów w czasie. Próbuję dowiedzieć się, które ruchy punktów są znaczące, jeśli w ogóle.

Jeśli okaże się to po prostu zbyt trudne, jestem również zainteresowany próbą ustalenia marginesu błędu w podstawach obliczeń. Jaki jest margines błędu dla każdego „segmentu” (promotor, pasywny, przeciwnik)? Może nawet, jaki jest margines błędu, jeśli popatrzę tylko na średnią wyników, redukując dane do jednej liczby na przebieg badania? Czy to mnie gdzieś zaprowadzi?

Wszelkie pomysły tutaj są pomocne. Z wyjątkiem „nie używaj NPS”. Ta decyzja nie jest w stanie mnie zmienić!

hypothesis-testing statistical-significance standard-error multinomial nps Dan Dunn
źródło

Odpowiedzi:

Załóżmy, że populacja, z której zakładamy, że pobierasz próbki losowo, zawiera proporcje promotorów, pasywnych i przeciwników, przy czym . Aby modelować NPS, wyobraź sobie, że wypełniasz dużą czapkę ogromną liczbą biletów (po jednym dla każdego członka twojej populacji) oznaczonych dla promotorów, dla pasywnych i dla krytykujących, w podanych proporcjach, a następnie narysuj z nich losowo. Próbka NPS jest średnią wartość na bilety, które zostały sporządzone. Prawda NPS jest obliczana jako średnia wartość wszystkich biletów w kapeluszu: jest $p_1$ $p_0$ $p_{-1}$ $p_1+p_0+p_{-1}=1$ $+1$ $0$ $-1$ $n$ oczekiwana wartość (lub oczekiwanie ) kapelusza.

Dobrym estymatorem prawdziwego NPS jest przykładowy NPS. Przykładowy NPS ma również oczekiwania. Można to uznać za średnią wszystkich możliwych próbek NPS. Oczekiwanie to jest równe prawdziwemu NPS. Błąd standardowy z KSE próbek jest miarą ile Przykładowe NPS męska zazwyczaj różnią się między jednym a drugim losowej próbie. Na szczęście nie musimy obliczać wszystkich możliwych próbek, aby znaleźć SE: można go znaleźć po prostu obliczając standardowe odchylenie biletów w kapeluszu i dzieląc przez . (Można dokonać niewielkiej korekty, gdy próbka stanowi znaczną część populacji, ale nie jest to prawdopodobnie potrzebne w tym przypadku). $\sqrt{n}$

Weźmy na przykład populację promotorów, pasywnych, a 1/6 przeciwników. Prawdziwy NPS to $p_1=1/2$ $p_0=1/3$ $p_{-1}=1/6$

NPS = 1 \times 1 / 2) + 0 \times 1 / 3) + - 1 \times 1 / 6 = 1 / 3)

$\mbox{NPS} = 1\times 1/2 + 0\times 1/3 + -1\times 1/6 = 1/3.$

Wariancji jest zatem

\begin{aligned} Var (NPS) & = (1 - NPS)^{2)} \times p_{1} + (0 - NPS)^{2)} \times p_{0} + (- 1 - NPS)^{2)} \times p_{- 1} \\ = (1 - 1 / 3))^{2)} \times 1 / 2) + (0 - 1 / 3))^{2)} \times 1 / 3) + (- 1 - 1 / 3))^{2)} \times 1 / 6 \\ = 5 / 9 \end{aligned}

$\eqalign{ \mbox{Var(NPS)} &= (1-\mbox{NPS})^2\times p_1 + (0-\mbox{NPS})^2\times p_0 + (-1-\mbox{NPS})^2\times p_{-1}\\ &=(1-1/3)^2\times 1/2 + (0-1/3)^2\times 1/3 + (-1-1/3)^2\times 1/6 \\ &= 5/9. }$

Odchylenie standardowe jest pierwiastkiem kwadratowym z tego, o równym $0.75.$

Dlatego w próbce, powiedzmy, , można oczekiwać NPS około % ze standardowym błędem około %. $324$ $1/3 = 33$ $0.75/\sqrt{324}=$ $4.1$

W rzeczywistości nie znasz odchylenia standardowego biletów w kapeluszu, więc szacujesz go, stosując zamiast tego odchylenie standardowe próbki. Po podzieleniu przez pierwiastek kwadratowy z wielkości próbki, szacuje błąd standardowy NPS: oszacowanie to margines błędu (MoE).

Pod warunkiem, że zaobserwujesz znaczną liczbę każdego rodzaju klienta (zwykle zrobi to około 5 lub więcej każdego z nich), rozkład próbki NPS będzie zbliżony do Normalnego. Oznacza to, że można interpretować MoE w zwykły sposób. W szczególności około 2/3 czasu, gdy przykładowy NPS będzie znajdować się w obrębie jednego MoE prawdziwego NPS, a około 19/20 czasu (95%) przykładowy NPS będzie znajdować się w dwóch MoE prawdziwego NPS. W tym przykładzie, gdyby margines błędu rzeczywiście wynosił 4,1%, mielibyśmy 95% pewności, że wynik badania (przykładowy NPS) mieści się w granicach 8,2% populacji NPS.

Każda ankieta będzie miała własny margines błędu. Aby porównać dwa takie wyniki, należy wziąć pod uwagę możliwość wystąpienia błędu w każdym z nich. Gdy rozmiary ankiet są w przybliżeniu takie same, błąd standardowy różnicy można znaleźć w twierdzeniu Pitagorasa: weź pierwiastek kwadratowy z sumy ich kwadratów. Na przykład, jeśli w jednym roku wskaźnik błędu wynosi 4,1%, a w innym roku wskaźnik wynosi 3,5%, to z grubsza oblicz margines błędu wokół = 5,4% dla różnicy w tych dwóch wynikach. W takim przypadku można stwierdzić z 95% pewnością, że NPS populacji zmienił się z jednej ankiety do drugiej, pod warunkiem, że różnica w dwóch wynikach ankiety wynosi 10,8% lub więcej. $\sqrt{3.5^2+4.1^2}$

Porównując wiele wyników ankiety w czasie, mogą pomóc bardziej zaawansowane metody, ponieważ musisz poradzić sobie z wieloma oddzielnymi marginesami błędu. Kiedy marginesy błędu są całkiem podobne, prymitywną zasadą jest uznanie zmiany trzech lub więcej MG za „znaczące”. W tym przykładzie, jeśli wskaźnik obrotu waha się wokół 4%, wówczas zmiana o około 12% lub większa w okresie kilku ankiet powinna zwrócić twoją uwagę, a mniejsze zmiany mogą być ważnie odrzucone jako błąd ankiety. Niezależnie od tego, podana tutaj analiza i praktyczne reguły zazwyczaj zapewniają dobry początek, gdy zastanowimy się, co mogą oznaczać różnice między ankietami.

Należy pamiętać, że nie można obliczyć marginesu błędu na podstawie samego zaobserwowanego NPS: zależy to od obserwowanej liczby każdego z trzech rodzajów respondentów. Na przykład, jeśli prawie wszyscy są „pasywni”, NPS w badaniu będzie bliski z niewielkim marginesem błędu. Jeśli populacja jest równomiernie spolaryzowana między promotorami i krytykami, NPS w badaniu nadal będzie bliski ale będzie miał największy możliwy margines błędu (równy w próbie osób). $0$ $0$ $1/\sqrt{n}$ $n$

Whuber
źródło

To była fantastyczna odpowiedź. Bardzo to doceniam.

Dan Dunn

Czy „margines błędu” nie jest często interpretowany jako 95% przedział ufności dla statystyki sporządzonej z próbki? tj. około 1,96 błędu standardowego próbkowania (lub odchylenia standardowego) tej statystyki. Margines błędu jest używany jako synonim „odchylenia standardowego statystyki” lub „błędu standardowego”.

Peter Ellis

Dzięki @whuber. Staram się nigdy nie kłócić o terminologię, o ile jest ona jasno zdefiniowana (zasada Humpty'ego Dumpty'ego) i myślę, że koń postąpił zgodnie w tej sprawie. Jedynym dowodem, jaki posiadam, jest odpowiedź na moje pytanie na stronie stats.stackexchange.com/questions/21139/... , która prawidłowo zauważa, że margines błędu jest często (nie powszechnie) podawany jako procent wartości szacunkowej.

Peter Ellis,

@Charles, myślę, że whuber dokonuje podstawowej wariancji dyskretnej zmiennej losowej. Zobacz stat.yale.edu/Courses/1997-98/101/rvmnvar.htm

B_Miner

Wyrażenie wariancji można uprościć do .

V a r = p_{1} + p_{- 1} - N P S^{2}

$Var = p_1 + p_{-1} - NPS^2$

Stephen McAteer

Możesz także użyć estymatora wariancji dla zmiennych ciągłych. Właściwie wolałbym to niż estymator wariancji dla losowej zmiennej dyskretnej, ponieważ istnieje dobrze znana poprawka do obliczania wariancji próbki: https://en.wikipedia.org/wiki/Niezależna_estymacja_standardu_deviation Jak zauważyli inni, rozwiązanie Whubersa opiera się na formułach populacji. Ponieważ jednak przeprowadzasz ankietę, jestem pewien, że narysowałeś próbkę, dlatego zaleciłbym użycie obiektywnego estymatora (dzielenie sumy kwadratów przez n-1, a nie tylko przez n). Oczywiście w przypadku dużych wielkości próby różnica między estymatorem stronniczym i obiektywnym praktycznie nie istnieje.

Polecam również zastosować procedurę testu t, jeśli masz średnie próbki, zamiast podejścia z-score: https://en.wikipedia.org/wiki/Student 's_t-test

@ whuber: skoro inni też o to pytają: jak obliczyć obiektywny estymator próby dla wariancji / sd dla twojego podejścia losowych zmiennych dyskretnych? Próbowałem to znaleźć na własną rękę, ale nie udało mi się. Dzięki.

deschen
źródło

Możesz potencjalnie wykorzystać bootstrap, aby uprościć swoje obliczenia. W R kod będzie wyglądał następująco:

library(bootstrap)

NPS=function(x){
  if(sum(!x%%1==0)>0){stop("Non-integers found in the scores.")}
  if(sum(x>10|x<0)>0){stop("Scores not on scale of 0 to 10.")}
  sum(ifelse(x<7,-1,ifelse(x>8,1,0)))/length(x)*100
}

NPSconfInt=function(x,confidence=.9,iterations=10000){
  quantile(bootstrap(x,iterations,NPS)$thetastar,c((1-confidence)/2, 1-(1-confidence)/2))
}


npsData=c(1,5,6,8,9,7,0,10,7,8,
          6,5,7,8,2,8,10,9,8,7,0,10)    # Supply NPS data
hist(npsData,breaks=11)                 # Histogram of NPS responses

NPS(npsData)            # Calculate NPS (evaluates to -14)
NPSconfInt(npsData,.7)  # 70% confidence interval (evaluates to approx. -32 to 5)

k-zar
źródło

Czy możesz rozwinąć swoją odpowiedź, wyjaśniając na początku, jakie jest podejście - wystarczająco szczegółowo, aby ktoś, kto w ogóle nie rozumie twojego kodu R, mógł nadal podążać za tym, co próbujesz powiedzieć - i mam nadzieję, że mógł próbujesz wdrożyć go w swoim ulubionym języku?

Glen_b