Czy istnieje standardowy system oceny publikacji czasopism naukowych?

Słyszałem, że niektóre czasopisma są oceniane wyżej niż inne. Czy to prawda? A jeśli tak, jakie są kryteria oceny wartości jednego czasopisma recenzowanego przez inny? Jak mogę sprawdzić jego ocenę? Czy moja publikacja będzie mniej „warta”, jeśli zostanie zaakceptowana w mniej renomowanym czasopiśmie niż, powiedzmy, SIAM Review?

Jakie czynniki decydują o tym, gdzie opublikuję artykuł?

• Czy ludzie, których chcę przeczytać ten artykuł, zobaczą go? Jeśli śledzę pracę innej grupy (być może, aby pokazać inny punkt widzenia, czasami aby pokazać ulepszenia algorytmiczne lub rozwiązać problemy z poprzednim artykułem), chcę przesłać artykuł do tego samego czasopisma, nawet jeśli jest problem z czynnikiem wpływu.

Jako młody naukowiec zajmujący się obliczeniami, który wciąż znajduje się w fazie rozwoju kariery, chciałbym stwierdzić, że pytanie to ma jeszcze jeden, a może nawet bardziej krytyczny aspekt. . . .

• Czy osoby, które mogą mnie ocenić, zobaczą ten artykuł?Często rozmawiałem z rówieśnikami z dziedziny nauk obliczeniowych o potrzebie posiadania „domowej murawy”: nauka obliczeniowa jest dziedziną wysoce interdyscyplinarną. Niestety, tak naprawdę nie możemy być uważani za naukowców zajmujących się obliczeniami, jeśli przyjdzie czas, aby wziąć pod uwagę stanowisko stałe. W przypadku braku pracy w dziale nauk obliczeniowych, będziemy musieli ubiegać się o stanowisko w istniejącym dziale, co zwykle oznacza, że ​​naszymi „rówieśnikami” będą inni inżynierowie, naukowcy i matematycy - z których wielu tak naprawdę nie ma silnego doświadczenie w naukach obliczeniowych. Oznacza to, że nawet jeśli chcesz iść w kierunku nawożenia, nadal musisz skoncentrować się na swoich publikacjach w czasopismach dla swojej dyscypliny. Jest to wyzwanie, z którym wielu naszych rówieśników niekoniecznie musi się zmierzyć, i jest to dodatkowa komplikacja w naszym życiu. Ale musimy o tym pamiętać przed rozpoczęciem pracy!

• Ile mam teraz konkurencji? Im bardziej zatłoczone jest pole, tym ważniejsze jest wczesne uzyskanie wyników. Chociaż wspaniale jest próbować chodzić do Natury lub Nauki przy każdym papierze z twojej grupy (zakładając, że nie jesteś w czystej matematyce lub coś podobnego), bycie pierwszym poza bramą w „gorącym” polu ma znacznie większe znaczenie niż publikowanie w „najlepszym” czasopiśmie w terenie.

• Jak ważny jest ten papier? Artykuł, który przedstawia wiele prac, które dostarczają wiele nowych danych, ale niewiele w przełomowym świetle, prawdopodobnie nie zasługuje na pójście do dziennika na najwyższym poziomie. Prawdopodobnie lepiej poszukać renomowanego czasopisma. Jeśli jednak naprawdę znalazłeś coś dużego, strzelaj wysoko, o ile nie martwisz się o czas, który wpływa na wielkie czasopisma. (Na przykład opublikowanie listów z przeglądu fizycznego może potrwać dłużej niż w jednej z innych serii przeglądu fizycznego , które są porównywalnej ilości.)

Po uwzględnieniu wszystkich tych elementów zacznę się martwić takimi kwestiami, jak współczynnik wpływu , ale tylko jako luźny środek kontroli jakości. Różnice wynoszące 10–20% są w zasadzie bez znaczenia, ale wartość 1,0 w porównaniu do 2,0 lub 2,0 w ​​porównaniu do 3,0 reprezentuje mierzalny poziom różnicy między czasopismami.

W idealnym świecie przy wyborze miejsca, w którym należy złożyć manuskrypt, należy wziąć pod uwagę tylko jedną rzecz:

który czytelnik czasopisma obejmuje najszerszą publiczność, która byłaby zainteresowana tą pracą?

W praktyce bierzesz pod uwagę także inne czynniki, być może najbardziej znaczące

Jak publikowanie w tym czasopiśmie pomoże mojej karierze?

Każdy, kto dobrze rozumie twoją pracę, oceni ją na podstawie jej rzeczywistego znaczenia , ale ci, którzy są zbyt daleko, mogą użyć jakości czasopisma jako wskaźnika jakości twojego papieru.

Jak określa się jakość czasopisma? Doświadczeni specjaliści mają własne opinie oparte na doświadczeniach z każdym czasopismem i czytanych artykułach. W niektórych dziedzinach, takich jak matematyka, tę ekspertyzę można zsyntetyzować tylko rozmawiając z wieloma ekspertami. W innych dziedzinach, takich jak informatyka, zostało to wyraźnie skodyfikowane w wielopoziomowym systemie rankingowym .

Najbardziej powszechnie dostępnym wskaźnikiem jakości czasopisma jest tak zwany współczynnik wpływu . Niebezpieczeństwo posiadania jednej, powszechnie używanej metryki do czegokolwiek polega na tym, że może być ona zmanipulowana lub niewłaściwie zastosowana , lub może po prostu nie być przydatna do niektórych rzeczy, do których jest stosowana. Na przykład, ponieważ mierzy cytaty tylko w ciągu dwóch lat, nie ma to większego sensu w przypadku artykułów matematycznych, które zazwyczaj otrzymują większość cytowań po dwóch latach - często znacznie później. Wydaje się również, że jest słabo skorelowana z opinią ekspertów. Istnieją alternatywy, na przykład czynnik własny . Wiele osób proponuje teraz wykorzystanie wskaźników sieci społecznościowych do rangowania czasopism .

Nie używam współczynnika wpływu ani innych takich wskaźników w moich własnych decyzjach, ponieważ uważam, że moje bezpośrednie doświadczenie daje mi dokładniejszą miarę znaczenia czasopisma. Ciekawym ćwiczeniem jest przejrzenie osobistej biblioteki odniesień (np. W pliku bibtex) i sprawdzenie liczby artykułów zawartych w różnych czasopismach. To prawdopodobnie da ci najlepszą wskazówkę, gdzie powinieneś publikować.

Nawiasem mówiąc, istnieje propozycja stworzenia opartego na ekspercie rankingu czasopism matematycznych; zobacz ten raport i oficjalny blog IMU .

Należy również pamiętać, że ostatnio doszło do eksplozji nowych, niskiej jakości czasopism opartych na modelu autor-pay. Ich wydawcy często spamują duże społeczności naukowców (często w tym wielu niewykwalifikowanych), starając się uzyskać rozsądnie szanowane nazwiska w swoich redakcjach i prosić o dokumenty. O ile mi wiadomo, są to próżne zorientowane na zysk prasy .

To naprawdę zależy od tego, jak bardzo wierzysz w oceny czasopism. Najbardziej popularną miarą, o której wiem, jest współczynnik wpływu. W tym artykule w Wikipedii opisano współczynnik wpływu, sposób jego obliczania i podatności na manipulacje, a także alternatywne wskaźniki oceny czasopism. Najważniejszą rzeczą wartą odnotowania jest to, że współczynniki wpływu dla czasopism z różnych dziedzin niekoniecznie są porównywalne, nawet pomimo tego, że system oceny współczynnika wpływu próbuje zawalić „jakość” każdego czasopisma na jedną miarę. (Interesującą dyskusję na temat tego, dlaczego taki pomysł może prowadzić do mylących lub łatwych do manipulacji wyników, można znaleźć w eseju Malcolma Gladwella New Yorker, The Order of Things , w którym omawia się rankingi szkół i rankingi samochodów).

Czynnikiem wpływu jest średnia liczba cytowań otrzymanych na artykuł opublikowany w tym czasopiśmie w ciągu dwóch poprzednich lat, więc kryterium oceny wartości jednego czasopisma recenzowanego przez inny jest liczba cytowań jego ostatnich artykułów średnio na podstawa artykułu. Ta metryka oznacza, że ​​czasopisma takie jak Science and Nature są wysoko ocenione, jak można się spodziewać, ale oznacza to również, że International Journal of Nonlinear Sciences and Simulation (3.100) uzyskuje wyższą pozycję niż SIAM Journal of Scientific Computing (3.016), mimo że ten ostatni dziennik jest znacznie bardziej rozpoznawalny.

Jeśli twoja publikacja ma mniejszą „wartość”, zależy to od osoby. Moi starsi koledzy powiedzieli mi, że publikowanie artykułów w bardziej prestiżowych czasopismach pomaga w podejmowaniu decyzji dotyczących zatrudnienia i zatrudniania; nie mając doświadczenia w takich sprawach z pierwszej ręki, odsyłam do komentarzy osób, które mają więcej doświadczenia z tego rodzaju sytuacjami. To zależy od społeczności ludzi, do których chcesz dotrzeć lub zaimponować. Jeśli opublikujesz coś w czasopiśmie matematycznym, nie oczekuj, że osoby spoza matematyki koniecznie go przeczytają. (Ta sama rada dotyczy innych tematów.) Możesz także zdecydować się na publikację w mniej prestiżowym czasopiśmie, ponieważ chcesz szybko uzyskać wynik, niż czekać długo na jego sprawdzenie przez bardziej prestiżowy dziennik. JA' powiedziano nam, że czasopisma SIAM mogą zająć rok lub dłużej, aby przejrzeć artykuł i opublikować go, co jest poparte, patrząc na czas między datą przesłania a datą publikacji na papierze. Zgłoszenie do określonego czasopisma zależy również od celów i zakresu, polityki (kto jest w redakcji, który prawdopodobnie dokona przeglądu twojego artykułu), do jakiej społeczności chcesz dotrzeć (w pewnym sensie idzie to z poradami na powyższy temat ). Nadal konsultuję się w innych sprawach w tych sprawach. do jakiej społeczności chcesz dotrzeć (w pewnym sensie idzie to z poradami na powyższy temat). Nadal konsultuję się w innych sprawach w tych sprawach. do jakiej społeczności chcesz dotrzeć (w pewnym sensie idzie to z poradami na powyższy temat). Nadal konsultuję się w innych sprawach w tych sprawach.

Kiedy patrzę na artykuły, „prestiż” czasopisma jest dla mnie moim wewnętrznym odczuciem, które odzwierciedla cenne opinie innych osób, które znam w nauce (moich doradców, kolegów itp.). Bardziej skłonny jestem zaufać artykułowi w bardziej prestiżowym czasopiśmie, ponieważ uważam, że jest bardziej wiarygodny, ale w prestiżowych czasopismach są z pewnością złe artykuły, więc prestiż nie zastępuje robienia należytej staranności. Na przykład w całkiem dobrym artykule z czasopisma cytowanym przeze mnie w SIAM Review jest kilka poważnych literówek .

W każdym razie, to moja rozmyślna opinia i jako (prawie) świeżo upieczony doktorat, jestem pewien, że inni z większym doświadczeniem będą mieli znacznie więcej perspektywy i wglądu do dodania.

Ocena jest z konieczności subiektywną czynnością. Jeśli zależy ci na tym, jak inni ocenią twój papier, musisz dowiedzieć się, jakie są jego kryteria. Zasadą jest, że im mniejsze są kompetencje w Twojej dziedzinie pracy, tym bardziej będą polegać na ocenie czasopism, a nie na ocenie Twojej pracy, a tym bardziej będą opierać się na bibliometrii (czynniki wpływu, czynniki h, ...) zamiast osobistego doświadczenia.

To rozmowa, którą powinieneś odbyć z osobami nad tobą, które będą cię oceniać. Jeśli jesteś doktorantem, powinieneś porozmawiać ze swoim doradcą i innymi profesorami na temat tego, jak ich wydział i inne wydziały w innych instytucjach oceniają pracę wydziału ds. Kadencji przy podejmowaniu decyzji o zatrudnieniu. Jeśli jesteś teraz wykładowcą kadencji, powinieneś już odbyć rozmowę z przewodniczącym wydziału i innymi członkami rady budżetowej wydziału lub podobnymi organami na temat tego, jak oceniają pracę kandydatów na stanowisko. Jeśli nie jesteś profesorem mody lub jesteś pracownikiem naukowym w miejscu bez stażu pracy, powinieneś zadać te same pytania swojemu przełożonemu na temat promocji i utrzymania w swojej instytucji.

Z mojego doświadczenia wynika, że ​​większość badaczy tak naprawdę nie czyta ani nie próbuje nadążyć za publikacjami w czasopismach odnoszących się bezpośrednio do ich obszarów, gdy tylko się pojawią. Powiedzmy, że niewiele osób ma subskrypcje osobiste do IJNMF i czytało co miesiąc numer wydania od pierwszego do drugiego. Jest po prostu zbyt wiele miejsc do nadążenia. Widzę, że częściej ludzie szukają pokrewnej pracy, korzystają z alertów e-mailowych lub google, aby wyszukiwać pokrewne przedmioty i bezpośrednio śledzą pracę kolegów i konkurentów. Tak więc ważne jest, aby nie próbować zobaczyć swojej pracy za pośrednictwem czasopism, ale publikować w najlepszym możliwym miejscu, określonym przez osoby, które będą oceniać twoją karierę.

Sposobem na pokazanie swojej pracy jest agresywne promowanie jej na konferencjach, seminariach, wolnym oprogramowaniu, stronie internetowej itp. Prawdopodobnie nie wpłynie to na decyzję komisji ds. Promocji (lub tym podobne), ale jeśli ludzie zobaczą i wykorzystają twoją pracę za pośrednictwem innych miejsc, a ty dajesz im odbitki i linki do miejsc, w których są publikowane w czasopismach, to zwiększy liczbę cytowań, co jest ważne dla osób powyżej ciebie.

Moja krótka odpowiedź brzmi: Niestety jest (prawie).

Jest ocena przyznana przez Aust MS dla czasopism matematycznych i myślę, że są też inne oceny. Jednak moim zdaniem nie jest to pomocne. Cytuję z własnego bloga: „Moim zdaniem ocena jest możliwa, ale jednocześnie bezużyteczna i niebezpieczna. Jest to możliwe, ponieważ możesz zapytać doświadczonych matematyków, a otrzymasz wiarygodną odpowiedź. Jest bezużyteczna, ponieważ albo wiesz, które czasopisma są dobry lub możesz poprosić kolegę (co jest w zasadzie z tego samego powodu, co poprzedni). Jest niebezpieczny, ponieważ oferuje możliwość podejmowania decyzji o zatrudnieniu lub przyznaniu tych liczb i przenosi uwagę z tego , co publikujesz, na to, gdzie jesteś publikować."

Istnieją pewne systemy rankingowe cytowań, które można argumentować, że są przyzwoitymi miernikami prestiżu - ważne artykuły są cytowane częściej i tym podobne - najczęstszym z nich jest „czynnik wpływu”. Ale wszystkie one mają swoje własne problemy - nie są stałe w zależności od pola, są podatne na manipulację przez sprytnych badaczy itp. Inne, które są nieco lepsze, to indeks h i indeks g, ale ... meh.

Ogólnie rzecz biorąc, odkryłem, że istnieje „wyczucie” w tej dziedzinie, co jest dobre, a co nie - a co ważniejsze, co jest właściwe, a co nie jest dla twojej pracy. Na przykład mam jeden artykuł, któremu udało się dostać do bardzo dobrego czasopisma, ale jest on całkowicie nieodpowiedni, więc trochę się psuje.

Twoi ewaluatorzy lub koledzy byliby prawdopodobnie najlepszym źródłem do rozmowy. Doświadczenie jest często najlepszym osądem tego, co uznaje się za „dobre” dla konkretnego artykułu, który nadawałby się do konkretnego czasopisma. Ogólne rankingi branżowe (biologia, medycyna itp.) Lub, co gorsza, rankingi akademickie mogą się nie przydać.