Tieteellisiin julkaisuihin pohjautuva arviointi: Subjektiiviset arviointimenetelmät

Asiantuntija-arviot

Mielipiteeseen perustuvat arvioinnit tarkoittavat asiantuntemukseen perustuvaa lehtien arviointia, jota yliopistot ja laitokset tekevät erilaisia tarkoituksia varten, esimerkiksi lehtitilauksista päätettäessä. Erityisen hyödyllisiä asiantuntija-arviot ovat sellaisten lehtien kohdalla, joilla ei ole Impact Factor -arvoja.

Asiantuntija-arviot ovat työläitä. Vaikka monet tutkijat pystyvät nimeämään oman alansa johtavia lehtiä, on satojen lehtien arviointi jo hyvin vaikeaa. Asiantuntija-arvioon perustuvat lehtilistat ovatkin subjektiivisia ja tietyn lehden saamat arviot voivat vaihdella eri listoissa. Ne antavat kuitenkin arvokasta tietoa lehden laadusta ja täydentävät tilastotietoihin perustuvia määrällisiä mittareita.

Julkaisufoorumi (JUFO)

Julkaisufoorumi (JuFo) on tieteellisten julkaisukanavien laadullinen, asiantuntija-arviointiin perustuva arviointijärjestelmä. Arviointi tapahtuu tieteenalakohtaisissa paneeleissa. JuFoa käytetään bibliometrisen arvioinnin rinnalla julkaisujen arvioinnissa ja se soveltuu tutkimusorganisaatioiden, tutkimusalojen tai koko maan julkaisutoiminnan arviointiin. Sen sijaan yksittäisen tutkijan arvioinnissa JuFoa ei tule käyttää. JuFoa käytetään opetus- ja kulttuuriministeriön asettamassa yliopistojen rahoitusmallissa julkaisutoiminnan kannustimena.

Hae julkaisukanavien Jufo-tasoja.
Tietoa JuFo:ssa käytettävistä julkaisukanavien luokitteluperusteista.
JuFoa ylläpitää Tieteellisten Seurain Valtuuskunta, TSV.

Lue lisää: Otto Auranen, Yrjö Leino, Olli Poropudas & Janne Pölönen: Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina: Web of Science -aineistoon perustuva vertailu (PDF).

Esimerkkejä muista lehtien laadullisista arviointijärjestelmistä

Journal Quality List sisältää arviointitietoja taloustieteen ja johtamisen alan lehdistä. Anne-Wil Harzing on ylläpitänyt listaa vuodesta 2000 lähtien. Listaa päivitetään jatkuvasti. Lehdet on jaettu luokkiin aloittain.

European Science Foundationin toteuttama European Reference Index for the Humanities (ERIH) on hanke, joka julkaistiin vuosina 2007-2008.  Vuonna 2014 ERIH laajentui kattamaan myös yhteiskuntatieteitä ja sitä yllä pitää NSD ja se on nimeltään ERIH PLUS.

Financial Times -lehden FT50-listan lehtiä käytetään businesskoulujen rankinglistoissa.

Vertaisarviointi

Lehteen julkaistaviksi tarjottujen käsikirjoitusten asiantuntijoiden suorittaman vertaisarvioinnin eli referee-käytännön katsotaan osoittavan lehden laatua. Vertaisarviointi pyrkii takaamaan, että tutkijat noudattavat omalla alallaan hyväksyttyjä käytäntöjä. Se myös estää perusteettomien väittämien esittämisen ja virheelliset tulkinnat.

Suomessa on käytössä kirjojen ja artikkeleiden vertaisarviointitunnus.

Tietokannoista Web of Science- ja Scopus  indeksoivat artikkeleita vain vertaisarviointia käyttävistä lehdistä. 

Eri lehdet toteuttavat vertaisarvioinnin eri tavoin. Tavallisesti vertaisarviointi tehdään nimettömästi siten, että artikkelin kirjoittaja ei tiedä arvioijan henkilöllisyyttä, mutta arvioija tietää kirjoittajan henkilöllisyyden.

Vaikka vertaisarviointia pidetäänkin yleensä hyödyllisenä, se ei kuitenkaan ole ongelmaton ja sitä on kritisoitu. Vertaisarviointiin liittyviä ongelmia ovat ennen kaikkea julkaisuprosessin hidastuminen ja arvioinnin vääristyneisyys. Arvioija voi syrjiä esimerkiksi naiskirjoittajia ja pienissä yliopistoissa työskenteleviä tutkijoita tai suosia omia mielipiteitään tukevia tulkintoja. Vertaisarvioinnissa ei myöskään yleensä havaita käsikirjoituksen vakavia virheitä ja puutteita, vaan ne tulevat ilmi vasta artikkelin julkaisemisen jälkeen. Lisäksi arviointi on subjektiivista ja arviointiprosessista puuttuu vastuullisuus, koska se tehdään nimettömänä. Vertaisarviointi voi myös mahdollistaa plagioinnin, jolloin arvioija käyttää väärin käsikirjoituksen julkaisematonta aineistoa. Ongelmat vertaisarvioinnissa ovat kuitenkin melko harvinaisia ja keskeisempi kysymys onkin sen vaikuttavuus artikkelien laatuun. Vertaisarvioinnin vaikuttavuutta ei ole kovin paljon tutkittu, ja tutkimuksia on tehty lähinnä biolääketieteen alan lehdistä.

Vertaisarvioinnin ongelmien välttämiseksi osa lehdistä käyttää vaihtoehtoisia vertaisarviointimenetelmiä.

  • Kaksoissokkoarvioinnissa artikkelin kirjoittaja ja arvioija eivät tiedä toistensa henkilöllisyyttä. Tällaista menettelyä käytetään lähinnä koeluontoisesti, kun halutaan testata vertaisarvioinnin toimivuutta ja kartoittaa siihen mahdollisesti liittyviä ongelmia.
  • Avoin vertaisarviointi (Open peer-review) poikkeaa tavanomaisesta vertaisarvioinnista siten, että arvioinnissa käy ilmi sekä kirjoittajan että arvioijan nimet. Avoin vertaisarviointi tuottaa arvioijalle tieteellistä meriittiä. Avoimessa vertaisarvioinnissa on erilaisia käytäntöjä eri lehdillä. Jotkin lehdet ilmoittavat arvioijien henkilöllisyyden vain artikkelin kirjoittajalle, mutta osa lehdistä julkaisee arvioijien nimet lehdessä. Lisäksi jotkin lehdet julkaisevat myös arviointiraportit, jolloin arviointiprosessi avautuu myös lukijoille. Avoimen arvioinnin ongelmana on, että kaikki tutkijat eivät ole halukkaita toimimaan arvioijina silloin, kun arviointi ei ole nimetöntä.

Esimerkki avoimesta vertaisarvioinnista: Biology Direct -lehti käyttää avointa vertaisarviointia, jossa  artikkelin kirjoittaja valitsee kolme arvioijaa lehden toimituskunnasta . Arviointiraportit julkaistaan myös lukijoiden nähtäviksi.

  • Julkaisemisen jälkeen tapahtuvassa vertaisarvioinnissa (Post-publication refereeing) kaikki käsikirjoitukset julkaistaan sähköisesti arkistossa, jossa ne ovat kaikkien halukkaiden kommentoitavissa. Kirjoittaja korjaa käsikirjoitusta kommenttien perusteella, minkä jälkeen käsikirjoitus käy läpi normaalin vertaisarvioinnin ja se julkaistaan lopuksi tieteellisessä lehdessä. Tällainen malli on käytössä fysiikan alalla ja sen lähitieteissä, kuten matematiikassa ja tietotekniikassa. Tämäntyyppinen vertaisarviointi voi toimia, jos ansioituneet tutkijat osallistuvat kommentointiin ja kommentit ovat rehellisiä. Se ei kuitenkaan korvaa tavanomaista vertaisarviointia, vaan toimii sen lisänä.

Esimerkki: arXiv.org käyttää julkaisemisen jälkeen tapahtuvaa vertaisarviointia, jossa käsikirjoitukset ovat kaikkien luettavissa ja kommentoitavissa.

Jotkin lehdet antavat kaikkien halukkaiden kommentoida lehdessä julkaistuja artikkeleita niiden julkaisemisen jälkeen Internetissä keskusteluin, joihin myös artikkelien kirjoittajat osallistuvat (Open peer commentary).

Ulrichsweb-palvelusta voi tarkistaa, onko lehti vertaisarvioitu. Lisäksi aina kannattaa tarkistaa asia lehden sivuilta.

Lehden maine

Joillakin lehdillä on suhteellisen pysyvä arvovaltainen maine ja kansainvälinen tunnettuus laajemminkin kuin vain sen edustaman tieteenalan tutkijoiden piirissä. Esimerkkejä tällaisista ovat mm. Nature, Science ja JAMA. Lehden maine voi perustua myös sitä julkaisevan yhteisön, kustantajan tai päätoimittajan maineeseen, eikä se siksi aina kerro lehden laadusta tai vaikuttavuudesta. Julkaisijan tai kustantajan maine on tärkeä arviointiperuste etenkin uusille lehdille.

Vaikka lehden maine onkin melko pysyvä, vaihtelee se kuitenkin jonkin verran ajan myötä, eikä siksi ole kovin hyvä arvioinnin peruste. Toisaalta tarkasteltaessa lehden maineen ja vaikuttavuuden suhdetta, havaitaan, että sekä erittäin huono maine että erittäin hyvä maine ovat vaikuttavuusmittareiden mukaan liioiteltuja. Tilanne selittyy ns. Matteus-ilmiöllä, jolloin valmiiksi hyvämaineiset lehdet saavat kunniaa ja näkyvyyttä enemmän kuin ne todella ansaitsisivat ja päinvastoin. Lehden hyvä maine otetaan yleensä annettuna, eikä sitä juuri arvioida uudelleen.

Tieteellisen lehden säilymisestä ja merkityksestä elektronisen julkaisemisen aikakaudella on esitetty erilaisia näkemyksiä, mutta se näyttää kuitenkin säilyttävän asemansa. Lehti on yhä tärkeä, koska sen nimi kertoo lukijalle, mitä sen sisällöltä ja laadulta voi odottaa. Tärkeää taas ei enää ole, että lehti ilmestyy erillisinä numeroina, vaan yksittäisiä artikkeleita voidaan julkaista silloin kun ne valmistuvat.