Jak interpretować p-wartości 0 lub 1?

9

Przeprowadziłem analizę ANOVA, na przykład stwierdzając interakcję między płcią a klasą, niż chcę wiedzieć, w których klasach różnią się chłopcy i dziewczęta, ale w wielu przypadkach znajduję (skorygowane) wartości p wynoszące 0 i 1. Jak / dlaczego to możliwe? Nie wydaje się właściwe ...

as.factor(gender)                     1     16    16.2    2.6377  0.104396    
as.factor(grade)                      7  50077  7153.9 1165.4184 < 2.2e-16 ***
as.factor(gender):as.factor(grade)    7    132    18.9    3.0795  0.003056 ** 
Residuals                          7747  47555     6.1                        
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1   1 

  Tukey multiple comparisons of means
    95% family-wise confidence level

Fit: aov(formula = rating ~ as.factor(gender) * as.factor(grade), data = users_c[users_c$grade %in% 1:8, ])

$`as.factor(gender)`
           diff        lwr        upr     p adj
m-f -0.09135851 -0.2016276 0.01891058 0.1043964

$`as.factor(grade)`
         diff        lwr       upr     p adj
2-1 0.3823566 -0.5454435  1.310157 0.9169296
3-1 1.9796023  1.1649854  2.794219 0.0000000
4-1 3.9558543  3.1534606  4.758248 0.0000000
5-1 5.7843111  4.9829529  6.585669 0.0000000
6-1 7.0752044  6.2708610  7.879548 0.0000000
7-1 8.4868609  7.6776332  9.296089 0.0000000
8-1 9.3867231  8.5626511 10.210795 0.0000000
3-2 1.5972457  1.0395026  2.154989 0.0000000
4-2 3.5734976  3.0337642  4.113231 0.0000000
5-2 5.4019544  4.8637616  5.940147 0.0000000
6-2 6.6928478  6.1502200  7.235476 0.0000000
7-2 8.1045042  7.5546625  8.654346 0.0000000
8-2 9.0043665  8.4329024  9.575831 0.0000000
4-3 1.9762520  1.6694948  2.283009 0.0000000
5-3 3.8047088  3.5006705  4.108747 0.0000000
6-3 5.0956021  4.7837806  5.407424 0.0000000
7-3 6.5072586  6.1830461  6.831471 0.0000000
8-3 7.4071208  7.0474558  7.766786 0.0000000
5-4 1.8284568  1.5588754  2.098038 0.0000000
6-4 3.1193501  2.8410202  3.397680 0.0000000
7-4 4.5310066  4.2388618  4.823151 0.0000000
8-4 5.4308688  5.0998193  5.761918 0.0000000
6-5 1.2908933  1.0155630  1.566224 0.0000000
7-5 2.7025498  2.4132612  2.991838 0.0000000
8-5 3.6024120  3.2738803  3.930944 0.0000000
7-6 1.4116565  1.1141985  1.709114 0.0000000
8-6 2.3115187  1.9757711  2.647266 0.0000000
8-7 0.8998622  0.5525763  1.247148 0.0000000

$`as.factor(gender):as.factor(grade)`
                diff         lwr        upr     p adj
m:1-f:1  0.005917865 -1.77842639  1.7902621 1.0000000
f:2-f:1  0.318074165 -1.28953805  1.9256864 0.9999988
m:2-f:1  0.442924925 -1.11597060  2.0018205 0.9998619
f:3-f:1  1.769000750  0.35262166  3.1853798 0.0020136
m:3-f:1  2.174229216  0.76569156  3.5827669 0.0000147
f:4-f:1  3.738998543  2.34268666  5.1353104 0.0000000
m:4-f:1  4.163719997  2.77146170  5.5559783 0.0000000
f:5-f:1  5.769586591  4.37599400  7.1631792 0.0000000
m:5-f:1  5.816721075  4.42497532  7.2084668 0.0000000
f:6-f:1  7.169439003  5.77317769  8.5657003 0.0000000
m:6-f:1  7.000924045  5.60308216  8.3987659 0.0000000
f:7-f:1  8.330142924  6.92683436  9.7334515 0.0000000
m:7-f:1  8.674488370  7.26930678 10.0796700 0.0000000
f:8-f:1  9.535307293  8.11198164 10.9586329 0.0000000
m:8-f:1  9.251081088  7.82191240 10.6802498 0.0000000
f:2-m:1  0.312156300 -1.12690148  1.7512141 0.9999959
m:2-m:1  0.437007060 -0.94741539  1.8214295 0.9995001
f:3-m:1  1.763082885  0.54136279  2.9848030 0.0000892
m:3-m:1  2.168311350  0.95569081  3.3809319 0.0000001
f:4-m:1  3.733080678  2.53468294  4.9314784 0.0000000
m:4-m:1  4.157802132  2.96412989  5.3514744 0.0000000
f:5-m:1  5.763668726  4.56844048  6.9588970 0.0000000
m:5-m:1  5.810803210  4.61772882  7.0038776 0.0000000
f:6-m:1  7.163521138  5.96518233  8.3618599 0.0000000
m:6-m:1  6.995006180  5.79482611  8.1951862 0.0000000
f:7-m:1  8.324225059  7.11768240  9.5307677 0.0000000
m:7-m:1  8.668570505  7.45984987  9.8772911 0.0000000
f:8-m:1  9.529389428  8.29962271 10.7591561 0.0000000
m:8-m:1  9.245163223  8.00863850 10.4816879 0.0000000
m:2-f:2  0.124850760 -1.02282435  1.2725259 1.0000000
f:3-f:2  1.450926585  0.50586965  2.3959835 0.0000172
m:3-f:2  1.856155050  0.92289131  2.7894188 0.0000000
f:4-f:2  3.420924378  2.50621691  4.3356318 0.0000000
m:4-f:2  3.845645832  2.93713824  4.7541534 0.0000000
f:5-f:2  5.451512425  4.54096139  6.3620635 0.0000000
m:5-f:2  5.498646910  4.59092496  6.4063689 0.0000000
f:6-f:2  6.851364838  5.93673457  7.7659951 0.0000000
m:6-f:2  6.682849880  5.76580854  7.5998912 0.0000000
f:7-f:2  8.012068759  7.08671595  8.9374216 0.0000000
m:7-f:2  8.356414205  7.42822339  9.2846050 0.0000000
f:8-f:2  9.217233128  8.26179669 10.1726696 0.0000000
m:8-f:2  8.933006923  7.96888762  9.8971262 0.0000000
f:3-m:2  1.326075825  0.46649985  2.1856518 0.0000150
m:3-m:2  1.731304290  0.88471145  2.5778971 0.0000000
f:4-m:2  3.296073618  2.46998162  4.1221656 0.0000000
m:4-m:2  3.720795071  2.90157332  4.5400168 0.0000000
f:5-m:2  5.326661665  4.50517434  6.1481490 0.0000000
m:5-m:2  5.373796150  4.55544575  6.1921465 0.0000000
f:6-m:2  6.726514078  5.90050756  7.5525206 0.0000000
m:6-m:2  6.557999120  5.72932364  7.3866746 0.0000000
f:7-m:2  7.887217999  7.04935402  8.7250820 0.0000000
m:7-m:2  8.231563445  7.39056617  9.0725607 0.0000000
f:8-m:2  9.092382368  8.22140761  9.9633571 0.0000000
m:8-m:2  8.808156163  7.92766524  9.6886471 0.0000000
m:3-f:3  0.405228465 -0.13578346  0.9462404 0.4221367
f:4-f:3  1.969997793  1.46166478  2.4783308 0.0000000
m:4-f:3  2.394719246  1.89762897  2.8918095 0.0000000
f:5-f:3  4.000585840  3.49977062  4.5014011 0.0000000
m:5-f:3  4.047720325  3.55206739  4.5433733 0.0000000
f:6-f:3  5.400438253  4.89224417  5.9086323 0.0000000
m:6-f:3  5.231923295  4.71940255  5.7444440 0.0000000
f:7-f:3  6.561142174  6.03389412  7.0883902 0.0000000
m:7-f:3  6.905487620  6.37327442  7.4377008 0.0000000
f:8-f:3  7.766306543  7.18788499  8.3447281 0.0000000
m:8-f:3  7.482080337  6.88942637  8.0747343 0.0000000
f:4-m:3  1.564769328  1.07871270  2.0508260 0.0000000
m:4-m:3  1.989490781  1.51520464  2.4637769 0.0000000
f:5-m:3  3.595357375  3.11716862  4.0735461 0.0000000
m:5-m:3  3.642491860  3.16971239  4.1152713 0.0000000
f:6-m:3  4.995209787  4.50929846  5.4811211 0.0000000
m:6-m:3  4.826694830  4.33626022  5.3171294 0.0000000
f:7-m:3  6.155913709  5.65010831  6.6617191 0.0000000
m:7-m:3  6.500259155  5.98928021  7.0112381 0.0000000
f:8-m:3  7.361078078  6.80213257  7.9200236 0.0000000
m:8-m:3  7.076851872  6.50319055  7.6505132 0.0000000
m:4-f:4  0.424721453 -0.01192015  0.8613631 0.0668946
f:5-f:4  2.030588047  1.58971048  2.4714656 0.0000000
m:5-f:4  2.077722532  1.64271796  2.5127271 0.0000000
f:6-f:4  3.430440460  2.98119847  3.8796825 0.0000000
m:6-f:4  3.261925502  2.80779484  3.7160562 0.0000000
f:7-f:4  4.591144381  4.12045589  5.0618329 0.0000000
m:7-f:4  4.935489827  4.45924616  5.4117335 0.0000000
f:8-f:4  5.796308750  5.26892973  6.3236878 0.0000000
m:8-f:4  5.512082545  4.96913148  6.0550336 0.0000000
f:5-m:4  1.605866594  1.17800058  2.0337326 0.0000000
m:5-m:4  1.653001078  1.23118920  2.0748130 0.0000000
f:6-m:4  3.005719006  2.56923916  3.4421989 0.0000000
m:6-m:4  2.837204048  2.39569420  3.2787139 0.0000000
f:7-m:4  4.166422928  3.70789927  4.6249466 0.0000000
m:7-m:4  4.510768373  4.04654394  4.9749928 0.0000000
f:8-m:4  5.371587296  4.85503631  5.8881383 0.0000000
m:8-m:4  5.087361091  4.55492128  5.6198009 0.0000000
m:5-f:5  0.047134485 -0.37906079  0.4733298 1.0000000
f:6-f:5  1.399852412  0.95913504  1.8405698 0.0000000
m:6-f:5  1.231337454  0.78563790  1.6770370 0.0000000
f:7-f:5  2.560556334  2.09799705  3.0231156 0.0000000
m:7-f:5  2.904901779  2.43669086  3.3731127 0.0000000
f:8-f:5  3.765720703  3.24558412  4.2858573 0.0000000
m:8-f:5  3.481494497  2.94557538  4.0174136 0.0000000
f:6-m:5  1.352717928  0.91787572  1.7875601 0.0000000
m:6-m:5  1.184202970  0.74431204  1.6240939 0.0000000
f:7-m:5  2.513421849  2.05645683  2.9703869 0.0000000
m:7-m:5  2.857767295  2.39508230  3.3204523 0.0000000
f:8-m:5  3.718586218  3.20341827  4.2337542 0.0000000
m:8-m:5  3.434360013  2.90326187  3.9654582 0.0000000
m:6-f:6 -0.168514958 -0.62249009  0.2854602 0.9968060
f:7-f:6  1.160703921  0.69016548  1.6312424 0.0000000
m:7-f:6  1.505049367  1.02895400  1.9811447 0.0000000
f:8-f:6  2.365868290  1.83862318  2.8931134 0.0000000
m:8-f:6  2.081642085  1.53882109  2.6244631 0.0000000
f:7-m:6  1.329218879  0.85401081  1.8044269 0.0000000
m:7-m:6  1.673564325  1.19285330  2.1542753 0.0000000
f:8-m:6  2.534383248  2.00296656  3.0657999 0.0000000
m:8-m:6  2.250157043  1.70328327  2.7970308 0.0000000
m:7-f:7  0.344345446 -0.15203755  0.8407284 0.5648416
f:8-f:7  1.205164369  0.65953016  1.7507986 0.0000000
m:8-f:7  0.920938164  0.36023867  1.4816377 0.0000022
f:8-m:7  0.860818923  0.31038540  1.4112524 0.0000101
m:8-m:7  0.576592718  0.01122178  1.1419637 0.0401330
m:8-f:8 -0.284226205 -0.89329509  0.3248427 0.9688007

źródło
7747 resztkowych stopni swobody to dużo; czy jest możliwe, że Twój zestaw danych ma wiele odpowiedzi na osobę? W takim przypadku możesz albo zwinąć odpowiedzi każdej osoby do średniej (automatycznie zrobione przez ezANOVA z pakietu ez), albo użyć czegoś w rodzaju modeli efektów mieszanych, które pozwalają ci uwzględnić powtarzające się pomiary (sprawdź ezMixed z pakiet ez).
Mike Lawrence,
Chciałem powiedzieć „lub użyć czegoś mocniejszego, jak modele z efektami mieszanymi”. Ponadto w najnowszej wersji kodu ezMixed (który umożliwia wydajną ewaluację możliwych nieliniowych efektów zmiennych ciągłych, takich jak grad, nie wspominając o wizualizacji za pośrednictwem ezPlot2), pobierz i uruchom tę funkcję ezDev po podłączeniu do Internetu: raw.github .com / mike-lawrence / ez / master / R / ezDev.R
Mike Lawrence

Odpowiedzi:

15

Wszystkie wartości 0 i 1 oznaczają, że są one bardzo bardzo zbliżone do 0 lub 1. Jeśli przyjrzysz się uważnie, zobaczysz, że gdy skorygowane p wynosi 1, to efekt jest prawie 0, a gdy skorygowane p wynosi 0, bliższe ograniczenie efektu jest bardzo daleko. Dlatego nie ma nic „złego” per se. Teraz spójrz na to, ile masz znaczących cyfr. Liczba 1 lub 0 oznacza po prostu, że jest ona bliższa tej wartości, niż może być reprezentowana przez liczbę z tyloma cyframi. Zgłoś coś w rodzaju <0,0001 lub> 0,9999.

Jan
źródło
+1 - To tylko arbitralne progi zaokrąglania. I jeden z powodów, dla których naprawdę nie znoszę * raportowania istotności.
Fomite
3
Przy tak dużej wielkości próbki nie jest zaskakujące znalezienie naprawdę małych wartości p. Myślę, że rodzi to pytanie o praktyczne i statystyczne znaczenie tutaj i byłbym bardziej zainteresowany przedziałami ufności niż wartościami p.
Glen
@John, czy masz na myśli sugerowanie, że wystąpiłby problem ze zgłoszeniem wartości p jako 1,00 lub 1 000? Nie widziałbym w tym nic złego.
mark999
Glen, zgadzam się ...
John
mark999, powinieneś zgłosić je w ten sposób. Jedyną kwestią, którą z tym bym miał, jest to, że takie liczby są zwykle interpretowane jako specjalne. Wszyscy wiemy, że każda wartość byłaby wartością szacunkową, ale 1,0 i 0,0 mogą być uważane za specjalne lub mylące dla nowicjuszy statystycznych, tak jak dla tego pytającego. Zamieszanie, które wywołało to pytanie, dotyczyłoby czytelników raportu.
Jan