Czy można pominąć dane z badań, ponieważ nie są one istotne?

9

Zetknąłem się z tym zdaniem podczas czytania artykułu na sciencemag.org .

Ostatecznie uwzględniono odpowiedzi zaledwie 7600 badaczy z 12 krajów, ponieważ pozostałe dane nie zostały uznane za istotne statystycznie.

Czy to właściwy sposób prowadzenia badań? Pominąć wyniki, ponieważ nie zostały one uznane za istotne statystycznie?

powyżej
źródło
Czytelnik zauważa, że ​​raport jest dostępny na stronie eurodoc.net/index.php?s=file_download&id=122 i odsyła nas konkretnie do str. 104-5 pełnego raportu (ale nie wiem, gdzie jest dostępny).
whuber
1
To jest link do pełnego raportu.
Aaron opuścił stos przepełnienia
@Aaron Thanks. Z jakiegoś powodu moja pierwsza próba przyniosła tylko 6-stronicowe streszczenie, ale teraz link działa dobrze.
whuber

Odpowiedzi:

6

W raporcie cytowanym w komentarzu Whubera napisano na stronie 104 [str. 114 w pdf]:

W badaniu udało się aktywować udział około 8900 doktorantów z ponad 30 krajów ...

Następnie na stronach 104–105 jest napisane:

Podczas przeprowadzania procedur czyszczenia danych zespół ekspertów Eurodoc postanowił przeprowadzić analizę testu mocy. W oparciu o założenie wypełnionych kwestionariuszy, które doprowadzą do rozkładu wielu norm, zastosowano test mocy do oszacowania przedziału ufności. Dokonano tego, aby przetestować dokładność danych. Zdecydowano zaakceptować maksymalnie 6% poziom błędu przy 95% przedziale ufności. Utrata 16% wielkości próby doprowadziła do próby 12 krajów uczestniczących z 7600 uczestnikami.

Nie jest więc do końca jasne, dlaczego 16% straty w próbie, ale założenie niekompletnych odpowiedzi jest prawdopodobnie prawidłowe. (I możesz zobaczyć, dlaczego reporter był zdezorientowany.)

Karl
źródło
5
Akapit ze stron 104-105 mówi sam za siebie w dokumentowaniu bzdur.
Frank Harrell,
13

To zdanie w rzeczywistości nie ma sensu i jest wyraźnie błędne.

Dane nie mogą być istotne statystycznie ani nieistotne. W tych kategoriach można mówić tylko o relacjach między danymi, produktem testów statystycznych.

Jeśli pytanie brzmi: czy możemy usunąć dane z naszych analiz, ponieważ włączenie tych danych oznacza, że ​​nie możemy odrzucić hipotezy zerowej? Odpowiedź brzmi - oczywiście, mam nadzieję! - nie . Przytoczona przez Ciebie wiadomość to reportaż, a nie artykuł naukowy. Gdyby to był artykuł, który został poddany recenzji, nigdy by się nie dostał.

Prawdopodobnie dane nie zostały uwzględnione, ponieważ istnieją istotne powody, aby nie uwzględniać tych danych. Prawdopodobnie, jak sugerują inni, wykluczone dane były niekompletne lub zebrane przy użyciu różnych lub nieporównywalnych metod.

Benjamin Mako Hill
źródło
Mam nadzieję... ;) .
FairMiles,
7

Nie.

Podejrzewam, że reporter chciał powiedzieć, że inne osoby zostały pominięte, ponieważ ankiety były niekompletne lub wewnętrznie niespójne.

Harvey Motulsky
źródło
1
tak również podejrzewałem, ale zdanie to jest bardzo mylące ...
powyżej
2

Nie, ale reporterzy mogą całkowicie bezsensownie używać technicznego żargonu.

Jan
źródło