Przegląd statystyki w artykułach

43

Dla niektórych z nas papiery sędziowskie są częścią pracy. Uważając, że sędziując dokumenty dotyczące metodologii statystycznej, porady z innych dziedzin są dość przydatne, tj. Informatyka i matematyka .

To pytanie dotyczy przeglądu częściej stosowanych prac statystycznych. Rozumiem przez to, że artykuł jest przekazywany do czasopisma niestatystycznego / matematycznego, a statystyka jest tylko wspomniana w sekcji „metody”.

Niektóre szczególne pytania:

  1. Ile wysiłku powinniśmy włożyć w zrozumienie obszaru zastosowania?
  2. Ile czasu powinienem poświęcić na raport?
  3. Jak bardzo jesteś wybredny, patrząc na liczby / tabele.
  4. Jak radzisz sobie z niedostępnością danych.
  5. Czy próbujesz ponownie uruchomić zastosowaną analizę?
  6. Jaka jest maksymalna liczba artykułów, które recenzowałbyś w ciągu roku?

Masz jakieś pytania? Edytuj lub dodaj komentarz.

Edytować

Przechodzę do tego pytania jako statystyczny przegląd artykułu biologicznego, ale interesuje mnie przegląd statystyczny każdej dyscypliny niematematycznej.


Nie jestem pewien, czy to powinien być CW. Z jednej strony jest nieco otwarty, ale z drugiej widzę, że akceptuję odpowiedź. Ponadto odpowiedzi będą prawdopodobnie dość długie.

csgillespie
źródło

Odpowiedzi:

21

Nie jestem pewien, do której dziedziny nauki się odnosisz (jestem pewien, że odpowiedź byłaby naprawdę inna, jeśli na przykład zajmowałbyś się biologią kontra fizyką ...)

W każdym razie, jako biolog, odpowiem z „biologicznego” punktu widzenia:

Ile wysiłku powinniśmy włożyć w zrozumienie obszaru zastosowania?

Staram się przynajmniej czytać poprzednie artykuły tych samych autorów i szukam kilku recenzji na ten temat, jeśli nie jestem zbytnio zaznajomiony z tym tematem. Jest to szczególnie prawdziwe, gdy mam do czynienia z nowymi technikami, których nie znam, ponieważ muszę zrozumieć, czy wykonali wszystkie odpowiednie kontrole itp.

Ile czasu powinienem poświęcić na raport?

Tyle, ile potrzeba (OK, głupia odpowiedź, wiem!: P) Ogólnie rzecz biorąc, nie chciałbym, aby ktoś przeglądał mój artykuł, aby wykonywał przybliżoną pracę tylko dlatego, że on / ona ma inne rzeczy do zrobienia, więc staram się nie robić tego sam .

Jak bardzo jesteś wybredny, patrząc na liczby / tabele.

Dość wybredna. Liczby są pierwszą rzeczą, na którą patrzysz podczas przeglądania papieru. Muszą być spójne (np. Właściwe tytuły na osiach, poprawna legenda itp.). Czasami zasugerowałem użycie innego rodzaju wykresu, aby pokazać dane, kiedy myślałem, że ten nie był najlepszy. Dzieje się tak często w biologii, która jest zdominowana przez wykres typu „barplot +/- SEM”. Jestem również dość wybredna w dziale „materiały i metody”: idealna analiza statystyczna z natury niewłaściwego modelu biologicznego jest całkowicie bezużyteczna.

Jak radzisz sobie z niedostępnością danych.

Chyba po prostu wierzysz autorom. W wielu przypadkach w biologii niewiele można zrobić, szczególnie w przypadku obrazowania lub zachowania zwierząt i tym podobnych. Chyba że chcesz, aby ludzie publikowali mnóstwo zdjęć, filmów itp. (Których najprawdopodobniej i tak byś nie przejrzał), ale może to być bardzo niepraktyczne. Jeśli uważasz, że dane są naprawdę niezbędne, poproś autorów o podanie ich jako danych uzupełniających / danych liczbowych.

Czy próbujesz ponownie uruchomić zastosowaną analizę?

Tylko jeśli mam poważne wątpliwości co do wniosków wyciągniętych przez autorów. W biologii często występuje różnica między tym, co jest (lub nie) „statystycznie istotne” a tym, co jest „biologicznie istotne”. Wolę cieńszą analizę statystyczną z dobrym uzasadnieniem biologicznym niż na odwrót. Ale znowu, w bardzo mało prawdopodobnym przypadku, gdybym miał przejrzeć artykuł z biotechnologii (och, byłoby fajnie !!!) Prawdopodobnie zwróciłbym znacznie większą uwagę na statystyki niż tamtejszą biologię.

Nico
źródło
6
Udzieliłbym prawie tej samej odpowiedzi, ale tutaj też jest i jest dobrze powiedziane. Pozwolę sobie dodać tylko dwie rzeczy oparte na doświadczeniu. Po pierwsze, stwierdziłem, że prawie zawsze warto ponownie uruchomić każdą analizę, jaką mogę: służy sprawdzeniu mojego zrozumienia i, częściej niż można się tego spodziewać, ujawnia błędy w samym dokumencie. Po drugie, niezbędne jest zlokalizowanie kluczowych odniesień i znalezienie własnych odniesień poprzez wyszukiwanie w Internecie fraz w dokumencie. Znaczna liczba ostatnio napisanych artykułów to (auto-) plagiaty lub łyse próby wyciągnięcia kolejnego papieru ze starej pracy.
whuber
Dodałem dodatkowe pytanie. Jeśli to nie jest zbyt kłopotliwe, czy zaktualizowałbyś swoją odpowiedź?
csgillespie,
1
@csgillespie: Wydaje mi się, że jestem zbyt wcześnie w mojej karierze, aby na to odpowiedzieć, ponieważ prawdopodobnie nie jestem proszony o przejrzenie tylu artykułów, ile osób z większym doświadczeniem niż ja. Myślę, że odpowiedź @whuber ma wiele sensu.
nico,
16

Odpowiada to na nowe pytanie nr 6: „Jaka jest maksymalna liczba artykułów, które recenzowałbyś w ciągu roku?” Odpowiadam jako członek kilku redakcji. Odwiecznym problemem jest znalezienie wystarczającej liczby recenzentów. W zależności od czasopisma każdy przesłany artykuł wymaga od jednego do trzech recenzentów, zwykle trzech. Jeśli czasopismo ma współczynnik akceptacji %, wówczas średnia liczba recenzji na zaakceptowany artykuł wynosi oczywiście około . Na przykład , jeśli wskaźnik akceptacji wynosi 33%, redaktorzy muszą uzyskać dziewięć recenzji dla każdego opublikowanego artykułu. Jeśli jako autor traktujesz to poważnie, powinieneś spróbować dostarczyć dziewięć recenzji (lub jakakolwiek ich liczba w przypadku czasopism docelowych) dla każdego opublikowanego artykułu!3 / ( x / 100 )x3/(x/100)

Zostałem poruszony, aby napisać to ze względu na silną równoległość z głosowaniem na tej stronie: aby zdobyć reputację , inni ludzie muszą głosować za kombinacją twoich odpowiedzi i twoich pytań. Tak więc, jeśli ciągniesz swoją wagę, sprawdzenie profilu powinno pokazywać co najmniej pozytywnych ocen. Tak jest w przypadku wielu, ale na pewno nie wszystkich najbardziej aktywnych członków tej witryny. Coś do przemyślenia ... Pamiętaj, aby głosować!r / 10 r / 5 r / 10rr/10r/5 r/10

Whuber
źródło
1
@chl wszystkich ludzi tutaj, powinieneś być najmniej zaniepokojony wystarczającym głosowaniem!
whuber
1
@chl: ustawiasz wysoki pasek pod każdym względem! :) Być może naszym pierwszym projektem polystats powinno być skonfigurowanie skryptów do obsługi i aktualizacji takich wykresów: meta.stats.stackexchange.com/questions/314/…
ars
11

Mój POV przeglądałby artykuł z psychologii lub prognozował jego zalety statystyczne. Przeważnie poprę bardzo dobre uwagi Nica.

Ile wysiłku powinniśmy włożyć w zrozumienie obszaru zastosowania?

Właściwie to całkiem sporo. Nie ufałbym sobie, że skomentuję coś więcej niż najbardziej podstawowe problemy statystyczne bez zrozumienia tego obszaru. Na szczęście w wielu gałęziach psychologii często nie jest to bardzo trudne.

Ile czasu powinienem poświęcić na raport?

Wyjdę na kończynę i podam konkretny czas: spędzę cokolwiek od dwóch do ośmiu godzin na przeglądzie, czasem więcej. Jeśli stwierdzę, że spędzam więcej niż jeden dzień na papierze, prawdopodobnie oznacza to, że naprawdę nie mam kwalifikacji, aby to zrozumieć, dlatego polecę dziennikowi znaleźć kogoś innego (i spróbuję zasugerować kilka osób).

Jak bardzo jesteś wybredny, patrząc na liczby / tabele.

Rzeczywiście bardzo wybredny. Liczby będą tym, co ludzie zapamiętają z pracy, a co skończy się na prezentacjach wykładowych bez większego kontekstu, więc naprawdę trzeba to zrobić dobrze.

Jak radzisz sobie z niedostępnością danych.

W psychologii dane zwykle nie są udostępniane - mierzenie 50 osób za pomocą MRI jest bardzo drogie, a autorzy będą chcieli wykorzystać te dane do dalszych prac, więc rozumiem ich niechęć do podania danych. Więc każdy, kto udostępnia swoje dane, otrzymuje dużą premię w mojej książce, ale nieudostępnianie jest zrozumiałe.

W prognozowaniu wiele zestawów danych jest publicznie dostępnych. W takim przypadku zwykle polecam autorom udostępnienie ich kodu (i zrobić to sam).

Czy próbujesz ponownie uruchomić zastosowaną analizę?

Bez danych można się z tego tylko nauczyć. Będę się bawił symulowanymi danymi, jeśli coś będzie bardzo zaskakujące w wynikach pracy; w przeciwnym razie często można odróżnić odpowiednie od niewłaściwych metod bez danych (po zrozumieniu obszaru, patrz wyżej).

Jaka jest maksymalna liczba artykułów, które recenzowałbyś w ciągu roku?

Naprawdę niewiele jest do dodania do powyższego punktu Whubera - zakładając, że każdy artykuł ze średnio n współautorami, których ja (współ-) przesyłam, otrzymuje 3 recenzje, naprawdę należy dążyć do przeglądu co najmniej 3 / ( n + 1 ) prac dla każdego własnego zgłoszenia (liczenie zgłoszeń zamiast własnych dokumentów, które mogą zostać odrzucone i przesłane ponownie). Oczywiście liczba zgłoszeń, a także liczba współautorów różnią się znacznie w zależności od dyscypliny.

S. Kolassa - Przywróć Monikę
źródło
Dodałem dodatkowe pytanie. Jeśli to nie jest zbyt kłopotliwe, czy zaktualizowałbyś swoją odpowiedź?
csgillespie,
1
Co ciekawe, większość badaczy genetyki jest zachęcana lub zadowolona (zależy od przeglądu) do udostępniania danych. Przypominam również @csgillepsie ładną odpowiedź na temat powtarzalnych badań , stats.stackexchange.com/questions/1980/…
chl
@chl: tak, udostępnianie danych w dużej mierze zależy od dyscypliny, i chciałbym zobaczyć więcej tego w psychologii „głównego nurtu” - po prostu nie mogę sobie przypomnieć, że widziałem choćby jeden egzemplarz artykułu psychologicznego, który faktycznie rozdał dane.
S. Kolassa - Przywróć Monikę