Zaktualizowano poniżej
Wszyscy znamy kluczowe znaczenie wzajemnej oceny. Jest to główna forma kontroli jakości i informacji zwrotnej na temat badań. Jednak dla początkującego badacza (takiego jak ja) może to być czasem mylący system / proces.
W związku z tym istnieje kilka traktatów na temat naukowego procesu sędziowania, które zawierają wskazówki. Dwa (bardzo różne) przykłady z informatyki - ten artykuł Parberry z 1994 roku i nowszy Cormode - oferują świetne porady (choć ten drugi może być nieco psotny).
W tym miejscu chciałbym uzyskać szersze porady od bardziej doświadczonych członków tej społeczności na temat procesu przeglądu, ze szczególnym uwzględnieniem specyfiki teoretycznej informatyki.
- Jakie są główne kryteria określania znaczenia wyników pracy? Jak ocenić, czy referat powinien zostać przyjęty na konferencję / czasopismo? Czy ważne jest sprawdzenie poprawności?
- Jakie są główne elementy raportu sędziego i które części są najważniejsze? Czy zawsze konieczne jest zalecenie (nie) akceptacji? Co wchodzi w skład raportu, a co wyłącznie do redaktora?
- Czym różni się ocena na konferencje od oceny w czasopismach? Czym różnią się raporty z konferencji od raportów w czasopismach? (Jak, u licha, oceniam moje „zaufanie” do mojej rekomendacji?) Czy wersja czasopisma powinna znacząco różnić się od dokumentu konferencyjnego?
- Co jeśli nie rozumiem tego artykułu? ...dowód? (Czy to moja wina czy ich wina?)
- Co z błędami typograficznymi / gramatycznymi? Co jeśli jest ich dużo?
- Ile czasu powinienem poświęcić na raport?
- Ile raportów rocznie mam napisać? Kiedy można odrzucić prośbę do sędziego?
Oczywiście, wszelkie inne istotne pytania i odpowiedzi na ten temat są zachęcane, ponieważ jest to CW.
To pytanie jest inspirowane (skradzionym) podobnym postem na MathOverflow .
Aktualizacja 15/02/2011:
Nadal jestem bardzo zainteresowany uzyskaniem większego wkładu w to pytanie, szczególnie w odniesieniu do przeglądu dokumentów konferencyjnych i członkostwa w komitecie programowym. (Te dwie role same w sobie są różnymi bestiami i obie bardzo nie przypominają bycia sędzią dla artykułu w czasopiśmie, IMO.) To prawda, członkostwo w komitecie programowym jest rzadsze niż sędziowanie lub recenzowanie (i nie było to jeszcze moim przywilejem), ale jest odpowiedzialność, którą ostatecznie musi wziąć każdy badacz w dziedzinie informatyki teoretycznej.
Czas. Ile czasu powinienem spędzić jako członek komitetu lub recenzent konferencji? Biorąc pod uwagę prawdopodobieństwo, że uda mi się załatwić dziesięć, a może znacznie więcej w ciągu kilku tygodni, jak mogę uniknąć upływu czasu? Jakie są najważniejsze rzeczy do spędzenia czasu?
Pewność siebie. Co się stanie, jeśli artykuł będzie zbyt daleko od mojej specjalizacji? Jakie czynniki powinny wpłynąć na nominację / poproszenie kogoś innego o sprawdzenie zgłoszenia? Jeśli nie jest to zbyt dalekie od mojej specjalizacji i zdecyduję się na jej przejrzenie, kiedy dopuszczalne jest przyznanie oceny ufności 1?
Kryteria Istnieją krytyczne różnice między czasopismami a konferencjami. Niektóre bardzo ważne artykuły nie są publikowane w czasopismach. Niektóre bardzo ważne artykuły nie pojawiały się wcześniej na konferencjach. Jakie są najbardziej znaczące różnice w kryteriach oceny prac w tych warunkach?
Rekomendacje Z natury mniej jest rekomendacji dla autorów artykułu konferencyjnego, głównie ze względu na ograniczenia przestrzenne i czasowe. Zazwyczaj jest tylko jedna runda recenzji. Inną kwestią jest to, że moje sprawozdanie staje się publiczne dla całej silnej komisji. Jaki zakres sugestii / dyrektyw mogę zaoferować?
Tak jak poprzednio, jeśli uważasz, że przegapiłem zadawanie konkretnych pytań, daj mi znać lub edytuj bezpośrednio. W końcu to CW.
Te nowe myśli są częściowo motywowane przez przeczytanie artykułu, o którym Suresh wspomniał na swoim blogu .
Odpowiedzi:
Czy, zgodnie z Twoją najlepszą wiedzą, artykuł wnosi znaczący, dobrze zaprezentowany i prawidłowy wkład w najnowszy stan wiedzy? Jeśli artykuł nie spełnia któregokolwiek z trzech kryteriów, można go odrzucić tylko z tego powodu, niezależnie od pozostałych dwóch.
Oto, co moim zdaniem powinien zawierać raport. Wszystko powinno być widoczne dla autora, z wyjątkiem możliwych poważnych oskarżeń o niewłaściwe postępowanie.
za. Krótkie streszczenie artykułu, aby pomóc redaktorowi ocenić jakość wyników oraz przekonać zarówno autora, jak i redaktora, że rzeczywiście przeczytałeś i zrozumiałeś artykuł. Umieść wynik w większym kontekście. Dołącz historię wcześniejszych wersji, nawet jeśli autorzy dołączą ją do zgłoszenia. Bądź pełen szacunku, ale brutalnie szczery.
b. Omówienie mocnych i słabych stron artykułu, pod względem poprawności, nowości, jasności, ważności, ogólności, potencjalnego wpływu, elegancji, głębi technicznej, odporności itp. Jeśli podejrzewasz nieetyczne zachowanie (plagiat, równoległe składanie, gotowane dane) opisz swoje podejrzenia. Bądź pełen szacunku, ale brutalnie szczery.
do. Rekomendacja dla redaktora dotycząca dalszych działań - zaakceptuj, zaakceptuj z niewielką zmianą, poproś o drugą rundę recenzji lub odrzuć wprost. Pamiętaj, że wydajesz zalecenie, a nie decyzję; jeśli nie możesz się zdecydować, po prostu to powiedz. Bądź pełen szacunku, ale brutalnie szczery.
re. Bardziej szczegółowe informacje zwrotne dla autora - bardziej szczegółowe uzasadnienie Twojej rekomendacji, prośby o wyjaśnienia w ostatecznej wersji, brakujące odniesienia, błędy w dowodach, uproszczenia, uogólnienia, literówki itp. Bądź pełen szacunku, ale brutalnie szczery.
Raporty z konferencji powinny być krótsze; komitety programowe mają jednocześnie do rozważenia setki dokumentów. To, czy powinna istnieć różnica między artykułami konferencyjnymi a czasopismami, zależy od czasopisma (i pośrednio do społeczności). Większość teoretycznych czasopism informatycznych nie nalega na znaczącą różnicę; wersje konferencji teoretycznej i czasopisma są dość często identyczne. W razie wątpliwości zapytaj redaktora!
Jeśli nadal nie rozumiesz tego artykułu po wysiłku w dobrej wierze, to z winy autora lub ewentualnie redaktora, ale na pewno nie twoja. Głównym obowiązkiem autora jest skuteczne przekazywanie wyników publiczności, a dobry redaktor wyśle Ci artykuł do sędziowania tylko wtedy, gdy uzna, że jesteś dobrym reprezentantem docelowej publiczności. Ale musicie podjąć wysiłek w dobrej wierze; nie oczekuj, że natychmiast wszystko zrozumiesz (cokolwiek?) od pierwszego czytania.
Jeśli jest dużo błędów, nawet nie czytaj gazety; po prostu zalecam odrzucenie ze względu na to, że praca nie jest profesjonalnie napisana. W przeciwnym razie, jeśli naprawdę chcesz być dokładny, dołącz reprezentatywną listę błędów gramatycznych, ortograficznych i interpunkcyjnych, ale nie powalaj się na znalezienie każdego ostatniego błędu. Bądź pełen szacunku, ale brutalnie szczery.
Spodziewaj się spędzenia około godziny na stronie, głównie na internalizację wyników i technik pracy. Bądź mile zaskoczony, gdy tak naprawdę nie trwa to długo. (Jeśli zajmuje to znacznie mniej czasu, albo papier jest albo wyjątkowo elegancki i dobrze napisany, znasz obszar bardzo dobrze, albo papier jest technicznie płytki. Nie myl tych trzech możliwości.)
Powinieneś napisać co najmniej tyle raportów arbitrów, ile inni piszą dla Ciebie. Jeśli zajmuje to więcej czasu niż pisanie własnych prac, nie spędzasz wystarczająco dużo czasu na swoich pracach.
źródło
Wiele zależy od konferencji / dziennika, ponieważ każda społeczność opracowała swój własny styl, więc wiedza na temat konferencji / dziennika z pewnością trochę pomoże.
Kryteria: Nowość / oryginalność, oczekiwany wpływ, poprawność / trafność, ekstensywność (jak dużo problemu jest badane? + Twierdzenia? + Wdrożenie? + Wyniki eksperymentalne?), Jakość prezentacji. Kryteria akceptacji czasopism są znacznie wyższe niż w przypadku konferencji. W przypadku konferencji dajesz wynik na podstawie poprzednich kryteriów. Sprawdzanie poprawności w jak największym stopniu jest bardzo ważne, szczególnie w przypadku artykułów w czasopismach.
Raport sędziowski zawiera co najmniej 4 główne elementy: streszczenie artykułu i jego wkład; wskazuje na przyjęcie artykułu; wskazuje na papier; główne uwagi, w tym kwestie wymagające poruszenia; drobne komentarze (literówki itp.). Zawsze powinieneś dawać znak akceptacji lub odrzucenia lub wymagany stopień weryfikacji. Komentarze do redaktora mogą obejmować: krótką, być może tępą ocenę pracy; wszelkie wątpliwości; szczegóły dotyczące możliwego plagiatu lub równoległego złożenia pracy; ...
Recenzje czasopism są zwykle obszerniejsze i mogą zawierać wiele rzeczy, które autorzy mogą zrobić, aby doprowadzić swój artykuł do akceptowalnego stanu, takich jak „wdrożenie i ocena tych pomysłów”. Twoja pewność siebie powinna opierać się na tym, jak czujesz się pewnie. Ogólnie rzecz biorąc, będzie to miało doświadczenie, więc zacznij być konserwatywny. Jest poza twoim zasięgiem, nawet jeśli rozumiesz gazetę, bycie konserwatystą jest również dobrym pomysłem - trudno jest ocenić oryginalność papieru poza twoim polem. Niektóre czasopisma twierdzą, że zgłoszenia do czasopism muszą zawierać znaczną ilość nowych materiałów w porównaniu do wersji konferencyjnej. 30% to liczba, którą słyszałem.
To może się różnić. Czasami będzie to twoja wina, a czasem ich. Wykorzystaj swój osąd. Może poproś kolegę, aby spojrzał na gazetę. Jeśli całkowicie tego nie rozumiesz i nie jest to spowodowane złym formatowaniem, być może skontaktuj się z krzesłem PC i wyjaśnij, że tak jest. W każdym razie powinno to znaleźć odzwierciedlenie w twoim wyniku ufności. Jeśli pracy nie można zrozumieć z powodu złego pisania lub języka lub z powodu przedwczesnego przesłania, należy to napisać w raporcie.
Kiedy byłem młodszy, zgłaszałem każdą literówkę i błąd gramatyczny. Teraz po prostu nie mam czasu. Zgłaszanie niektórych jest zawsze pomocne: wybierz najpoważniejsze. Zalecamy również sprawdzenie papieru (przez native speakera). W przypadku artykułów w czasopismach bądź bardziej dokładny. Jeśli ma o wiele za dużo błędów, nie powinno być przesyłane do dziennika, który sam w sobie jest powodem odrzucenia (IMHO).
Maksymalnie jeden dzień na artykuł konferencyjny, w tym czas na czytanie. W przypadku artykułów w czasopismach, szczególnie długich, uważne czytanie może zająć cały tydzień.
Oczekiwana ilość może wynosić od 5 do 30. Jako młodszy badacz dostaniesz kilka na trening. W miarę przechodzenia przez kolejne stopnie, będziesz coraz bardziej oceniany, gdy zostaniesz członkiem komputera. Następnie, w miarę postępów, będziesz mieć armię doktorantów, którzy dokonają oceny za Ciebie. Ponad 30 w ciągu roku jest dość uciążliwe.
Jak powiedziałem powyżej, powiedziałbym, że należy odrzucić prośbę o sędziowanie, gdy (1) nie czujesz, że masz wystarczającą wiedzę specjalistyczną, aby dokonać dobrej oceny, lub (2) masz zbyt wiele recenzji (lub innych) zobowiązania w tej chwili. Za dobrą formę uważa się również zasugerowanie pewnej liczby alternatywnych recenzentów w przypadku odmowy.
źródło
Podaję tutaj moje 2 centy i dodaję siódmy punkt:
Moje odpowiedzi
Oczywiście kryteria nie są takie same dla konferencji i czasopism. Dla obu poprawność jest prawdopodobnie najważniejszym kryterium. Następnie moim drugim kryterium jest nowość wyników konferencji, podczas gdy jest to wpływ wyników dla czasopism. Na konferencji ważne jest również, aby ocenić, czy artykuł jest interesujący dla publiczności, ale jest to wezwanie do oceny, które może być wykonane przez krzesła komputerowe, a nie recenzentów.
Przede wszystkim, z wyjątkiem sytuacji, gdy podejrzewasz oszustwo lub złą praktykę i nie masz pewności (powinieneś porozmawiać wyłącznie z redaktorem), moim zdaniem powinieneś powiedzieć wszystko autorom. Myślę, że ważne jest, aby być uczciwym wobec autorów, a tym samym zawsze dawać zalecenia. W raporcie powinieneś opisać temat, wyniki (aby autorzy mogli zobaczyć, że rozumiesz artykuł), a następnie powinieneś ocenić zalety wyników (nowość w stosunku do stanu techniki, głębi technicznej, poprawności, przejrzystości) i wskaż każdy problem. Na koniec powinieneś dać swoją rekomendację, być może z radą dla autorów (np. „Myślę, że ten wynik jest fajny, ale bardziej nadaje się na konferencję A niż do tej”). W bardzo niewielu przypadkach otrzymasz dokumenty, które nie zasługują nawet na przesłanie,
Sądzę, że z wyjątkiem zaproszenia do czasopisma na specjalne wydanie związane z referatem konferencyjnym powinna istnieć znacząca różnica.
dwa przypadki: nie jest to zrozumiałe (ich wina), więc możesz odrzucić artykuł z tego powodu lub nie jesteś dobrym recenzentem tego artykułu. Kiedy to się dzieje, wiesz, co to jest, jeśli nie, to jesteś w drugim przypadku!
Nie jestem rodzimym językiem angielskim, więc w mojej odpowiedzi jest błąd. Ale myślę, że nie jest to powód do odrzucenia pracy (z wyjątkiem niektórych skrajnych przypadków).
Potrzebny czas. Może trwać od 1 godziny (zły papier w warsztacie) do kilku dni (bardzo zaangażowany papier w jednym z najlepszych dzienników).
Osobiście spodziewam się zrobić 3 raporty na każdy przesłany artykuł (i tak, to dużo, w rzeczywistości recenzowanie prawdopodobnie jednego z moich najbardziej czasochłonnych zadań - może przed nauczaniem).
źródło