Tieteellisiin julkaisuihin pohjautuva arviointi: Subjektiiviset arviointimenetelmät

Asiantuntija-arviot

Mielipiteeseen perustuvat arvioinnit tarkoittavat asiantuntemukseen perustuvaa lehtien arviointia, jota yliopistot ja laitokset tekevät erilaisia tarkoituksia varten, esimerkiksi lehtitilauksista päätettäessä. Erityisen hyödyllisiä asiantuntija-arviot ovat sellaisten lehtien kohdalla, joilla ei ole Impact Factor -arvoja.

Asiantuntija-arviot ovat työläitä. Vaikka monet tutkijat pystyvät nimeämään oman alansa johtavia lehtiä, on satojen lehtien arviointi jo hyvin vaikeaa. Asiantuntija-arvioon perustuvat lehtilistat ovatkin subjektiivisia ja tietyn lehden saamat arviot voivat vaihdella eri listoissa. Ne antavat kuitenkin arvokasta tietoa lehden laadusta ja täydentävät tilastotietoihin perustuvia määrällisiä mittareita.

Julkaisufoorumi (JUFO)

Julkaisufoorumijärjestelmä mahdollistaa tieteellisen julkaisutoiminnan laadullisen arvioinnin. Se perustuu asiantuntijapaneelien laatimaan julkaisukanavien laatuluokitukseen ja tukee bibliometrisiin indikaattoreihin perustuvaa arviointia. Aloilla, joilla viittaustietokannat ovat puutteellisia, on perusteltua tukeutua enemmän julkaisufoorumiin. Julkaisufoorumijärjestelmä on käytössä esimerkiksi Suomessa, Norjassa ja Tanskassa.

Suomen Julkaisufoorumissa tieteellisiä julkaisukanavia eli kotimaisia ja ulkomaisia lehtiä, sarjoja, konferensseja ja kustantajia arvioidaan tieteenalakohtaisissa asiantuntijapaneeleissa. Luokituksessa on kolme tasoa: 1 = perustaso; 2 = johtava taso; 3 = korkein taso.

Vertaisarvioitujen lehti- ja kokoomateosartikkelien sekä erillisteosten Julkaisufoorumi-luokka määritetään ensisijaisesti lehden/sarjan tasoluokan perusteella.

Kirjakustantajan tasoluokkaa käytetään kokoomateosartikkelien ja erillisteosten Julkaisufoorumi-luokan määrittämiseen siinä tapauksessa, että niitä ei ole julkaistu julkaisusarjassa tai julkaisusarjaa ei ole luokiteltu.

Konferenssiartikkelien tasoluokka määritellään lehden/sarjan, kirjakustantajan tai tapahtuman vakiintuneen nimen perusteella. Lisätietoa.

Luokitus soveltuu tutkimusorganisaatioiden, tutkimusalojen tai koko maan julkaisutuotannon makrotason tarkasteluihin. Luokitusta käytetään yliopistojen tuottamien tieteellisten julkaisujen laatuindikaattorina opetus- ja kulttuuriministeriön asettamassa yliopistojen rahoitusmallissa vuodesta 2015 alkaen (OKM:n asetus).

Otto Auranen, Yrjö Leino, Olli Poropudas & Janne Pölönen: Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina: Web of Science -aineistoon perustuva vertailu

Esimerkkejä muista lehtien laadullisista arviointijärjestelmistä

Journal Quality List sisältää arviointitietoja taloustieteen ja johtamisen alan lehdistä. Anne-Wil Harzing on ylläpitänyt listaa vuodesta 2000 lähtien. Listaa päivitetään jatkuvasti. Lehdet on jaettu luokkiin aloittain.

European Science Foundationin toteuttama European Reference Index for the Humanities (ERIH) on hanke, joka julkaistiin vuosina 2007-2008.  Vuonna 2014 ERIH laajentui kattamaan myös yhteiskuntatieteitä ja sitä yllä pitää NSD ja se on nimeltään ERIH PLUS.

Financial Times -lehden FT45-listan lehtiä käytetään businesskoulujen rankinglistoissa.

Vertaisarviointi

Lehteen julkaistaviksi tarjottujen käsikirjoitusten asiantuntijoiden suorittaman vertaisarvioinnin eli refereekäytännön katsotaan yleensä osoittavan lehden laatua. Vertaisarviointi pyrkii takaamaan, että tutkijat noudattavat omalla alallaan hyväksyttyjä käytäntöjä, estää perusteettomien väittämien esittämisen ja virheelliset tulkinnat.

Suomessa on käytössä kirjojen ja artikkeleiden vertaisarviointitunnus.

Esimerkiksi Web of Science- ja Scopus-tietokannat hyväksyvät vain vertaisarviointia käyttäviä lehtiä. Eri lehdet toteuttavat vertaisarvioinnin eri tavoin. Tavallisesti vertaisarviointi tehdään nimettömästi siten, että artikkelin kirjoittaja ei tiedä arvioijan henkilöllisyyttä, mutta arvioija tietää kirjoittajan henkilöllisyyden. Vaikka vertaisarviointia pidetäänkin yleensä hyödyllisenä, se ei kuitenkaan ole ongelmaton ja sitä on kritisoitu.

Vertaisarviointiin liittyviä ongelmia ovat ennen kaikkea julkaisuprosessin hidastuminen ja arvioinnin vääristyneisyys. Arvioija voi syrjiä esimerkiksi naiskirjoittajia ja pienissä yliopistoissa työskenteleviä tutkijoita tai suosia omia mielipiteitään tukevia tulkintoja. Vertaisarvioinnissa ei myöskään yleensä havaita käsikirjoituksen vakavia virheitä ja puutteita, vaan ne tulevat ilmi vasta artikkelin julkaisemisen jälkeen. Lisäksi arviointi on subjektiivista ja arviointiprosessista puuttuu vastuullisuus, koska se tehdään nimettömänä. Vertaisarviointi voi myös mahdollistaa plagioinnin, jolloin arvioija käyttää väärin käsikirjoituksen julkaisematonta aineistoa. Ongelmat vertaisarvioinnissa ovat kuitenkin melko harvinaisia ja keskeisempi kysymys onkin sen vaikuttavuus artikkelien laatuun. Vertaisarvioinnin vaikuttavuutta ei ole kovin paljon tutkittu, ja tutkimuksia on tehty lähinnä biolääketieteen alan lehdistä.

Vertaisarvioinnin ongelmien välttämiseksi ovat muutamat, lähinnä uudet lehdet, ryhtyneet käyttämään vaihtoehtoisia vertaisarviointimenetelmiä.

  • Kaksoissokkoarvioinnissa artikkelin kirjoittaja ja arvioija eivät tiedä toistensa henkilöllisyyttä. Tällaista menettelyä käytetään lähinnä koeluontoisesti, kun halutaan testata vertaisarvioinnin toimivuutta ja kartoittaa siihen mahdollisesti liittyviä ongelmia.
  • Avoin vertaisarviointi (Open peer-review) poikkeaa tavanomaisesta vertaisarvioinnista siten, että arviointia ei tehdä nimettömänä. Sen tavoitteena on välttää tavanomaisen vertaisarvioinnin väärinkäytöksiä ja ongelmia. Toisaalta se myös tuottaa arvioijalle tieteellistä meriittiä. Avoimessa vertaisarvioinnissa on erilaisia käytäntöjä eri lehdillä. Jotkin lehdet ilmoittavat arvioijien henkilöllisyyden vain artikkelin kirjoittajalle, mutta osa lehdistä julkaisee arvioijien nimet lehdessä. Lisäksi jotkin lehdet julkaisevat myös arviointiraportit, jolloin arviointiprosessi avautuu myös lukijoille. Avoimen arvioinnin ongelmana on, että kaikki tutkijat eivät ole halukkaita toimimaan arvioijina silloin, kun arviointi ei ole nimetöntä.

Biology Direct -lehti käyttää avointa vertaisarviointia. Lehti toimii open access -periaatteella, ja sen tavoitteena on tarjota kirjoittajille ja lukijoille vaihtoehto perinteiselle vertaisarvioinnille. Lehden vertaisarviointi noudattaa seuraavia periaatteita: Lehden osuutta arvioijien valinnassa pyritään vähentämään, ja artikkelin kirjoittaja on velvollinen valitsemaan lehden toimituskunnasta kolme arvioijaa. Vertaisarviointiprosessista pyritään tekemään avoin, jolloin kirjoittaja tietää arvioijien henkilöllisyyden. Arviointiraportit julkaistaan, jolloin myös artikkelin lukijat voivat ne nähdä.
Kuvan lähde: Biology Direct <http://www.biology-direct.com/> 8.4.2009.

Nature-lehti teki kokeen avoimesta vertaisarvioinnista vuonna 2006. Osa lehteen tarjotuista käsikirjoituksista kävi läpi tavanomaisen vertaisarvioinnin rinnalla avoimen arvioinnin, jossa Internetissä kaikki halukkaat saivat vapaasti kommentoida käsikirjoituksia omalla nimellään. Kokeessa tällainen järjestelmä ei toiminut. Vain harva kirjoittaja suostui antamaan käsikirjoituksensa avoimeen arviointiin ja kommentteja tuli myös hyvin vähän. Tähän saattoi tutkijoiden ajan puutteen lisäksi olla syynä myös se, että käsikirjoitukset kävivät samanaikaisesti läpi myös tavanomaisen vertaisarvioinnin.

  • Julkaisemisen jälkeen tapahtuvassa vertaisarvioinnissa (Post-publication refereeing) kaikki käsikirjoitukset julkaistaan sähköisesti arkistossa, jossa ne ovat kaikkien halukkaiden kommentoitavissa. Kirjoittaja korjaa käsikirjoitusta kommenttien perusteella, minkä jälkeen käsikirjoitus käy läpi normaalin vertaisarvioinnin ja se julkaistaan lopuksi tieteellisessä lehdessä. Tällainen malli on käytössä fysiikan alalla ja sen lähitieteissä, kuten matematiikassa ja tietotekniikassa. Tämäntyyppinen vertaisarviointi voi toimia, jos ansioituneet tutkijat osallistuvat kommentointiin ja kommentit ovat rehellisiä. Se ei kuitenkaan voi korvata tavanomaista vertaisarviointia, vaan toimia sen lisänä.

arXiv.org käyttää julkaisemisen jälkeen tapahtuvaa vertaisarviointia, jossa käsikirjoitukset ovat kaikkien luettavissa ja kommentoitavissa.
Kuvan lähde: Arxiv <http://arxiv.org/> 8.4.2009.

Philica on vuonna 2006 perustettu tieteellinen Open Acces -lehti, joka julkaisee kaikkea tieteellistä aineistoa miltä tahansa tieteenalalta. Se myös julkaisee kaikki lehteen tarjotut käsikirjoitukset, ja artikkelit arvioidaan julkaisemisen jälkeen. Lehti noudattaa avointa ja dynaamista vertaisarviointia julkaisemalla artikkeleiden yhteydessä myös niiden vertaisarviointiraportit. Koska kuka tahansa saa osallistua arviointiin, voivat arviot vaihdella ajan myötä, mikä tekee arvioinnista dynaamisen. Myös artikkelin kirjoittaja voi osallistua kommentointikeskusteluun.
Kuvan lähde: Philica <http://philica.com/> 8.4.2009.

Jotkin lehdet antavat kaikkien halukkaiden kommentoida lehdessä julkaistuja artikkeleita niiden julkaisemisen jälkeen Internetissä keskusteluin, joihin myös artikkelien kirjoittajat osallistuvat (Open peer commentary).

Lehden maine

Joillakin lehdillä on suhteellisen pysyvä arvovaltainen maine ja kansainvälinen tunnettuus laajemminkin kuin vain sen edustaman tieteenalan tutkijoiden piirissä. Esimerkkejä tällaisista ovat mm. Nature, Science ja JAMA. Lehden maine voi perustua myös sitä julkaisevan yhteisön, kustantajan tai päätoimittajan maineeseen, eikä se siksi aina kerro lehden laadusta tai vaikuttavuudesta. Julkaisijan tai kustantajan maine on tärkeä arviointiperuste etenkin uusille lehdille.

Vaikka lehden maine onkin melko pysyvä, vaihtelee se kuitenkin jonkin verran ajan myötä, eikä siksi ole kovin hyvä arvioinnin peruste. Toisaalta tarkasteltaessa lehden maineen ja vaikuttavuuden suhdetta, havaitaan, että sekä erittäin huono maine että erittäin hyvä maine ovat vaikuttavuusmittareiden mukaan liioiteltuja. Tilanne selittyy ns. Matteus-ilmiöllä, jolloin valmiiksi hyvämaineiset lehdet saavat kunniaa ja näkyvyyttä enemmän kuin ne todella ansaitsisivat ja päinvastoin. Lehden hyvä maine otetaan yleensä annettuna, eikä sitä juuri arvioida uudelleen.

Tieteellisen lehden säilymisestä ja merkityksestä elektronisen julkaisemisen aikakaudella on esitetty erilaisia näkemyksiä, mutta se näyttää kuitenkin säilyttävän asemansa. Lehti on yhä tärkeä, koska sen nimi kertoo lukijalle, mitä sen sisällöltä ja laadulta voi odottaa. Tärkeää taas ei enää ole, että lehti ilmestyy erillisinä numeroina, vaan yksittäisiä artikkeleita voidaan julkaista silloin kun ne valmistuvat.

line above footer

Oulun yliopiston kirjasto
PL 7500
90014 OULUN YLIOPISTO
Vaihde: 0294 480000