Tieteellisiin julkaisuihin pohjautuva arviointi: Artikkelien arviointi

Artikkelien arviointi

Arvioitaessa artikkelia kannattaa kiinnittää huomiota artikkelin kirjoittajaan ja julkaisuun. Lisäksi tulee arvioida tekstin objektiivisuutta, kieliasua sekä käytettyjen lähteiden määrää ja laatua. Artikkelia voidaan lisäksi arvioida sen saamien viittausten perusteella. Lisätietoa viittausanalyysista.

Edellisten lisäksi artikkeleiden arvioinnissa voidaan käyttää altmetriikkaa, jossa tarkastelun kohteena on sosiaalinen media laajasti ymmärrettynä.

Ennen julkaisemista tieteellinen julkaisu vertaisarvioidaan (peer reviewed, refereed).

Vertaisarviointi

Lehteen julkaistaviksi tarjottujen käsikirjoitusten asiantuntijoiden suorittaman vertaisarvioinnin eli refereekäytännön katsotaan yleensä osoittavan lehden laatua. Vertaisarviointi pyrkii takaamaan, että tutkijat noudattavat omalla alallaan hyväksyttyjä käytäntöjä, estää perusteettomien väittämien esittämisen ja virheelliset tulkinnat.

Suomessa on käytössä kirjojen ja artikkeleiden vertaisarviointitunnus.

Esimerkiksi Web of Science- ja Scopus-tietokannat hyväksyvät vain vertaisarviointia käyttäviä lehtiä. Eri lehdet toteuttavat vertaisarvioinnin eri tavoin. Tavallisesti vertaisarviointi tehdään nimettömästi siten, että artikkelin kirjoittaja ei tiedä arvioijan henkilöllisyyttä, mutta arvioija tietää kirjoittajan henkilöllisyyden. Vaikka vertaisarviointia pidetäänkin yleensä hyödyllisenä, se ei kuitenkaan ole ongelmaton ja sitä on kritisoitu.

Vertaisarviointiin liittyviä ongelmia ovat ennen kaikkea julkaisuprosessin hidastuminen ja arvioinnin vääristyneisyys. Arvioija voi syrjiä esimerkiksi naiskirjoittajia ja pienissä yliopistoissa työskenteleviä tutkijoita tai suosia omia mielipiteitään tukevia tulkintoja. Vertaisarvioinnissa ei myöskään yleensä havaita käsikirjoituksen vakavia virheitä ja puutteita, vaan ne tulevat ilmi vasta artikkelin julkaisemisen jälkeen. Lisäksi arviointi on subjektiivista ja arviointiprosessista puuttuu vastuullisuus, koska se tehdään nimettömänä. Vertaisarviointi voi myös mahdollistaa plagioinnin, jolloin arvioija käyttää väärin käsikirjoituksen julkaisematonta aineistoa. Ongelmat vertaisarvioinnissa ovat kuitenkin melko harvinaisia ja keskeisempi kysymys onkin sen vaikuttavuus artikkelien laatuun. Vertaisarvioinnin vaikuttavuutta ei ole kovin paljon tutkittu, ja tutkimuksia on tehty lähinnä biolääketieteen alan lehdistä.

Vertaisarvioinnin ongelmien välttämiseksi ovat muutamat, lähinnä uudet lehdet, ryhtyneet käyttämään vaihtoehtoisia vertaisarviointimenetelmiä.

  • Kaksoissokkoarvioinnissa artikkelin kirjoittaja ja arvioija eivät tiedä toistensa henkilöllisyyttä. Tällaista menettelyä käytetään lähinnä koeluontoisesti, kun halutaan testata vertaisarvioinnin toimivuutta ja kartoittaa siihen mahdollisesti liittyviä ongelmia.
  • Avoin vertaisarviointi (Open peer-review) poikkeaa tavanomaisesta vertaisarvioinnista siten, että arviointia ei tehdä nimettömänä. Sen tavoitteena on välttää tavanomaisen vertaisarvioinnin väärinkäytöksiä ja ongelmia. Toisaalta se myös tuottaa arvioijalle tieteellistä meriittiä. Avoimessa vertaisarvioinnissa on erilaisia käytäntöjä eri lehdillä. Jotkin lehdet ilmoittavat arvioijien henkilöllisyyden vain artikkelin kirjoittajalle, mutta osa lehdistä julkaisee arvioijien nimet lehdessä. Lisäksi jotkin lehdet julkaisevat myös arviointiraportit, jolloin arviointiprosessi avautuu myös lukijoille. Avoimen arvioinnin ongelmana on, että kaikki tutkijat eivät ole halukkaita toimimaan arvioijina silloin, kun arviointi ei ole nimetöntä.

Biology Direct -lehti käyttää avointa vertaisarviointia. Lehti toimii open access -periaatteella, ja sen tavoitteena on tarjota kirjoittajille ja lukijoille vaihtoehto perinteiselle vertaisarvioinnille. Lehden vertaisarviointi noudattaa seuraavia periaatteita: Lehden osuutta arvioijien valinnassa pyritään vähentämään, ja artikkelin kirjoittaja on velvollinen valitsemaan lehden toimituskunnasta kolme arvioijaa. Vertaisarviointiprosessista pyritään tekemään avoin, jolloin kirjoittaja tietää arvioijien henkilöllisyyden. Arviointiraportit julkaistaan, jolloin myös artikkelin lukijat voivat ne nähdä.
Kuvan lähde: Biology Direct <http://www.biology-direct.com/> 8.4.2009.

Nature-lehti teki kokeen avoimesta vertaisarvioinnista vuonna 2006. Osa lehteen tarjotuista käsikirjoituksista kävi läpi tavanomaisen vertaisarvioinnin rinnalla avoimen arvioinnin, jossa Internetissä kaikki halukkaat saivat vapaasti kommentoida käsikirjoituksia omalla nimellään. Kokeessa tällainen järjestelmä ei toiminut. Vain harva kirjoittaja suostui antamaan käsikirjoituksensa avoimeen arviointiin ja kommentteja tuli myös hyvin vähän. Tähän saattoi tutkijoiden ajan puutteen lisäksi olla syynä myös se, että käsikirjoitukset kävivät samanaikaisesti läpi myös tavanomaisen vertaisarvioinnin.

  • Julkaisemisen jälkeen tapahtuvassa vertaisarvioinnissa (Post-publication refereeing) kaikki käsikirjoitukset julkaistaan sähköisesti arkistossa, jossa ne ovat kaikkien halukkaiden kommentoitavissa. Kirjoittaja korjaa käsikirjoitusta kommenttien perusteella, minkä jälkeen käsikirjoitus käy läpi normaalin vertaisarvioinnin ja se julkaistaan lopuksi tieteellisessä lehdessä. Tällainen malli on käytössä fysiikan alalla ja sen lähitieteissä, kuten matematiikassa ja tietotekniikassa. Tämäntyyppinen vertaisarviointi voi toimia, jos ansioituneet tutkijat osallistuvat kommentointiin ja kommentit ovat rehellisiä. Se ei kuitenkaan voi korvata tavanomaista vertaisarviointia, vaan toimia sen lisänä.

arXiv.org käyttää julkaisemisen jälkeen tapahtuvaa vertaisarviointia, jossa käsikirjoitukset ovat kaikkien luettavissa ja kommentoitavissa.
Kuvan lähde: Arxiv <http://arxiv.org/> 8.4.2009.

Philica on vuonna 2006 perustettu tieteellinen Open Acces -lehti, joka julkaisee kaikkea tieteellistä aineistoa miltä tahansa tieteenalalta. Se myös julkaisee kaikki lehteen tarjotut käsikirjoitukset, ja artikkelit arvioidaan julkaisemisen jälkeen. Lehti noudattaa avointa ja dynaamista vertaisarviointia julkaisemalla artikkeleiden yhteydessä myös niiden vertaisarviointiraportit. Koska kuka tahansa saa osallistua arviointiin, voivat arviot vaihdella ajan myötä, mikä tekee arvioinnista dynaamisen. Myös artikkelin kirjoittaja voi osallistua kommentointikeskusteluun.
Kuvan lähde: Philica <http://philica.com/> 8.4.2009.

Jotkin lehdet antavat kaikkien halukkaiden kommentoida lehdessä julkaistuja artikkeleita niiden julkaisemisen jälkeen Internetissä keskusteluin, joihin myös artikkelien kirjoittajat osallistuvat (Open peer commentary).

Viittaustietokantojen vertailua

Tärkeimmät viittaustietoja sisältävät tietokannat ovat monitieteelliset Thomson Reutersin tuottama Web of Science (WoS) ja  Elsevierin tuottama Scopus. Viittauksia voi hakea myös vapaasti saatavasta Google Scholarista (GS) kunhan muistaa sen rajoitukset. Viittausten määrää tutkittaessa kannattaa käyttää useampaa tietokantaa ja/tai palvelua. GS:n viittaustiedot sisältävät paljon myös ei-tieteellisiä viittauksia, joten viittausmäärät voivat näin ollen poiketa suuresti WoS:n ja Scopuksen viittausmääristä.

Edellisten lisäksi muutamat alakohtaiset tietokannat, kuten Chemical Abstracts (SciFinder), CiteSeerX ja MathSciNet, sisältävät viittaustietoja.

Lisätietoa arvioinnin työkaluista.

Alla olevassa taulukossa on yhteenveto kolmen suurimman monialaisen viittaustietokannan ominaisuuksista

Ominaisuus

Web of Science (lisätietoa)

Scopus (lisätietoa)

Google Scholar (lisätietoa)

Saatavuus

maksullinen

maksullinen

vapaasti käytettävä

Lehtien lukumäärä

yli 12000 vertaisarvioitua lehteä

yli 21000 vertaisarvioitua lehteä, myös "Articles-in-press"

ei julkinen

Muu sisältö

konferenssijulkaisuja

konferenssijulkaisuja, ammattilehtiä, patentteja ja kirjoja

myös kirjoja, preprinttejä, opinnäytteitä, ppt-esityksiä, www-sivuja

Keskeisimmät alat

luonnontieteet, lääketiede, tekniikka, yhteiskuntatieteet, taiteet ja humanistiset tieteet

luonnontieteet, tekniikka, terveystieteet, yhteiskuntatieteet, taiteet ja humanistiset tieteet

ei julkinen

Ajallinen kattavuus

vuodesta 1900 lähtien (Science), vuodesta 1956 (Social Sciences) ja 1975 (Arts and Humanities), aineisto saatavissa Oulun yliopistossa vuodesta 1975 lähtien

kattavuus vaihtelee, osa lehdistä 1800-luvulle asti, viitteissä lähdetiedot 1996 lähtien

ei julkinen

Päivitys

viikoittain

päivittäin

ei julkinen, noin kuukausittain

Kokoelmapolitiikka

julkinen

julkinen

ei julkinen, sopimus useimpien merkittävien kustantajien kanssa

Viittausanalyysi

Citation Report -työkalu

View citation overview -työkalu:
- tekijälle
- julkaisulle
- affiliaatiolle

hakutulosten yhteydessä Cited by -linkki, josta saa julkaisuun viittaavat julkaisut

Viittaustietojen ajallinen kattavuus

vuodesta 1900 lähtien (Science), vuodesta 1956 (Social Sciences) ja 1975 (Arts and Humanities), viittausten lkm saatavana koko ajalta, mutta viittaavat artikkelit saatavana Oulun yliopistossa vuodesta 1975 lähtien

vuodesta 1996 lähtien

ei julkinen

  Web of Science Scopus Google Scholar
Indikaattoreita

Journal Citation Reports:
- Article Influence (AI)
- Eigenfactor
- H-indeksi
- Immediacy Index
- Impact Factor (IF)
 

- H-indeksi
- Raw impact per publication (RIPP)
- SCImago Journal Rank (SJR)
- Source normalized impact per paper (SNIP)
- Field-Weighted Citation Impact 

- H-indeksi
- i10-indeksi
 

Dataa hyödyntäviä työkaluja - Journal Citation Reports
- Eigenfactor
- ScienceWatch 
- Scival
- SCImago Journal and Country Rank
- CWTS Journal Indicators   
- Publish or Perish 
Dataa hyödyntäviä rankingeja

- Shanghai Ranking eli Academic Ranking of World Universities (ARWU)
- National Taiwan University Ranking (NTU)
- University Ranking by Academic Performance (URAP)
- U.S. News & World Report's Best Global Universities Rankings
- CWTS Leiden Ranking
- U-Multirank

- Suomen Akatemian Tieteen tila -raportit

- Times Higher Education World University Rankings
- QS World University Rankings
- Webometrics
 

- Webometrics (GS-profiilien määrä)
 
Tutkijaprofiili ResearcherID   
 
Scopus Author Identifier
- myös Scopus Affiliation Identifier  
Google Scholar Profile  

 


Viittausanalyysin kannalta keskeistä on tietokannan kattavuus viittaustietojen suhteen. Tietokantojen käyttökelpoisuuteen viittausanalyysissä vaikuttavat tietokantojen haku-, selailu- ja analysointimahdollisuuksien lisäksi monet metodologiset ja tekniset ongelmat, kuten tietokantojen sisällön rajoitukset, virheelliset ja puuttuvat tiedot.

Sekä Web of Science että Scopus sisältävät artikkelien viittaustiedot ja viittaavien artikkelien bibliografiset tiedot.

Web of Science -tietokannasta on saatavissa useita eri versioita. Tilaava organisaatio voi valita, mitkä viittaustietokannat ja millaisen ajallisen kattavuuden se sisällyttää tilaukseensa. Artikkelin saamien viittausten lukumäärä on kuitenkin riippumaton tilauksen laajuudesta.

Scopus sisältää kattavat viittaustiedot vuodesta 1996 lähtien. Scopuksen sisällössä voi lehtien kohdalla olla aukkoja, jolloin lehteä ei ole indeksoitu tietokantaan.

Google Scholar ei anna mitään tietoja sisällöstään ja sen sisältö ei ilmeisesti ole yhtä kattava kaikkien tieteenalojen osalta. Lisäksi  sisältö on heikko vanhemman kirjallisuuden osalta. Google Scholar sisältää lisäksi ei-tieteellistä aineistoa ja ei-tieteellisiä viittauksia.

Web of Science ja Scopus -tietokannat poikkeavat toisistaan sen suhteen, kuinka suuri osa niiden sisältämistä viitteistä sisältää viittaustiedot. Alla olevissa kuvissa näkyvät näiden tietokantojen viittaustiedot sisältävien viitteiden osuudet.

Viittaustiedot sisältävien viitteiden osuus Web of Science --tietokannan kaikista viitteistä. Harmaa alue = vuosittainen kaikkien viitteiden lukumäärä, musta alue = vuosittainen viittaustiedot sisältävien viitteiden lukumäärä.
Kuvan lähde: Jacso 2008: The pros and cons of computing the h-index using Web of Science. DOI 10.1108/14684520810914043. 16.12.2010.

Viittaustiedot sisältävien viitteiden osuus Scopus --tietokannan kaikista viitteistä. Harmaa alue = vuosittainen kaikkien viitteiden lukumäärä, musta alue = vuosittainen viittaustiedot sisältävien viitteiden lukumäärä.
Kuvan lähde: Jacso 2008: The pros and cons of computing the h-index using Web of Science. DOI 10.1108/14684520810914043. 16.12.2010.

Field-Weighted Citation Impact (FWCI)

Field-Weighted Citation Impact (FWCI) on artikkelikohtainen indikaattori, joka suhteuttaa viittausten määrän tieteenalan keskiarvoon 1.00. Indikaattoria käytetään Scopuksessa ja SciValissa.

Esimerkkejä artikkelien top-listauksista

Viitatuimpia artikkeleita tietojenkäsittelyn alalta voi hakea CiteSeerX-palvelusta sivulta http://citeseerx.ist.psu.edu/stats/articles
ScienceWatch-sivusto puolestaan tarjoaa erilaisia hot papers -listoja sivulla http://archive.sciencewatch.com/dr/nhp/

line above footer

Oulun yliopiston kirjasto
PL 7500
90014 OULUN YLIOPISTO
Vaihde: 0294 480000