Arvioitaessa artikkelia kannattaa kiinnittää huomiota artikkelin kirjoittajaan ja julkaisuun. Lisäksi tulee arvioida tekstin objektiivisuutta, kieliasua sekä käytettyjen lähteiden määrää ja laatua.
Artikkelia voidaan lisäksi arvioida sen saamien viittausten perusteella. Lisätietoa viittausanalyysista.
Julkaisujen avoimuus on yksi arviointiperuste, ja sillä on vaikutuksia myös viittausmääriin.
Edellisten lisäksi artikkeleiden arvioinnissa voidaan käyttää altmetriikkaa, jossa tarkastelun kohteena on julkaisun saama huomio sosiaalisessa mediassa ja verkostopalveluissa. Ennen julkaisemista tieteellinen julkaisu vertaisarvioidaan (peer reviewed, refereed).
Lehteen julkaistaviksi tarjottujen käsikirjoitusten asiantuntijoiden suorittaman vertaisarvioinnin eli referee-käytännön katsotaan osoittavan lehden laatua. Vertaisarviointi pyrkii takaamaan, että tutkijat noudattavat omalla alallaan hyväksyttyjä käytäntöjä. Se myös estää perusteettomien väittämien esittämisen ja virheelliset tulkinnat.
Suomessa on käytössä kirjojen ja artikkeleiden vertaisarviointitunnus.
Tietokannoista Web of Science- ja Scopus indeksoivat artikkeleita vain vertaisarviointia käyttävistä lehdistä.
Eri lehdet toteuttavat vertaisarvioinnin eri tavoin. Tavallisesti vertaisarviointi tehdään nimettömästi siten, että artikkelin kirjoittaja ei tiedä arvioijan henkilöllisyyttä, mutta arvioija tietää kirjoittajan henkilöllisyyden.
Vaikka vertaisarviointia pidetäänkin yleensä hyödyllisenä, se ei kuitenkaan ole ongelmaton ja sitä on kritisoitu. Vertaisarviointiin liittyviä ongelmia ovat ennen kaikkea julkaisuprosessin hidastuminen ja arvioinnin vääristyneisyys. Arvioija voi syrjiä esimerkiksi naiskirjoittajia ja pienissä yliopistoissa työskenteleviä tutkijoita tai suosia omia mielipiteitään tukevia tulkintoja. Vertaisarvioinnissa ei myöskään yleensä havaita käsikirjoituksen vakavia virheitä ja puutteita, vaan ne tulevat ilmi vasta artikkelin julkaisemisen jälkeen. Lisäksi arviointi on subjektiivista ja arviointiprosessista puuttuu vastuullisuus, koska se tehdään nimettömänä. Vertaisarviointi voi myös mahdollistaa plagioinnin, jolloin arvioija käyttää väärin käsikirjoituksen julkaisematonta aineistoa. Ongelmat vertaisarvioinnissa ovat kuitenkin melko harvinaisia ja keskeisempi kysymys onkin sen vaikuttavuus artikkelien laatuun. Vertaisarvioinnin vaikuttavuutta ei ole kovin paljon tutkittu, ja tutkimuksia on tehty lähinnä biolääketieteen alan lehdistä.
Vertaisarvioinnin ongelmien välttämiseksi osa lehdistä käyttää vaihtoehtoisia vertaisarviointimenetelmiä.
Esimerkki avoimesta vertaisarvioinnista: Biology Direct -lehti käyttää avointa vertaisarviointia, jossa artikkelin kirjoittaja valitsee kolme arvioijaa lehden toimituskunnasta . Arviointiraportit julkaistaan myös lukijoiden nähtäviksi.
Esimerkki: arXiv.org käyttää julkaisemisen jälkeen tapahtuvaa vertaisarviointia, jossa käsikirjoitukset ovat kaikkien luettavissa ja kommentoitavissa.
Jotkin lehdet antavat kaikkien halukkaiden kommentoida lehdessä julkaistuja artikkeleita niiden julkaisemisen jälkeen Internetissä keskusteluin, joihin myös artikkelien kirjoittajat osallistuvat (Open peer commentary).
Ulrichsweb-palvelusta voi tarkistaa, onko lehti vertaisarvioitu. Lisäksi aina kannattaa tarkistaa asia lehden sivuilta.
Tärkeimmät viittaustietoja sisältävät tietokannat ovat monitieteelliset Clarivate Analyticsin tuottama Web of Science (WoS) ja Elsevierin tuottama Scopus. Viittauksia voi hakea myös vapaasti saatavasta Google Scholarista (GS,) kunhan muistaa sen rajoitukset. Viittausten määrää tutkittaessa kannattaa käyttää useampaa tietokantaa ja/tai palvelua. GS:n viittaustiedot sisältävät paljon myös ei-tieteellisiä viittauksia, joten viittausmäärät voivat näin ollen poiketa suuresti WoS:n ja Scopuksen viittausmääristä.
Edellisten lisäksi muutamat alakohtaiset tietokannat, kuten Chemical Abstracts (SciFinder), CiteSeerX ja MathSciNet, sisältävät viittaustietoja.
Alla olevassa taulukossa on yhteenveto kolmen suurimman monialaisen viittaustietokannan ominaisuuksista
Ominaisuus |
Web of Science (lisätietoa) |
Scopus (lisätietoa) |
Google Scholar (lisätietoa) |
---|---|---|---|
Saatavuus |
maksullinen |
maksullinen |
vapaasti käytettävä |
Lehtien lukumäärä |
noin 22 000 lehteä vertaisarvioitua lehteä |
noin 23 500 lehteä |
ei julkinen |
Muu sisältö |
konferenssijulkaisuja, kirjoja |
konferenssijulkaisuja, ammattilehtiä, patentteja ja kirjoja |
myös kirjoja, preprinttejä, opinnäytteitä, ppt-esityksiä, www-sivuja |
Keskeisimmät alat |
luonnontieteet, lääketiede, tekniikka, yhteiskuntatieteet, taiteet ja humanistiset tieteet |
luonnontieteet, tekniikka, terveystieteet, yhteiskuntatieteet, taiteet ja humanistiset tieteet |
ei julkinen |
Ajallinen kattavuus |
vuodesta 1900 lähtien (Science), vuodesta 1956 (Social Sciences) ja 1975 (Arts and Humanities), aineisto saatavissa Oulun yliopistossa vuodesta 1975 lähtien |
kattavuus vaihtelee, osa lehdistä 1780-luvulle asti, viitteissä lähdetiedot 1970 lähtien |
ei julkinen |
Päivitys |
viikoittain |
päivittäin |
ei julkinen, noin kuukausittain |
Kokoelmapolitiikka |
julkinen |
julkinen |
ei julkinen, sopimus useimpien merkittävien kustantajien kanssa |
Viittausanalyysi |
Citation Report -työkalu |
View citation overview -työkalu: |
hakutulosten yhteydessä Cited by -linkki, josta saa julkaisuun viittaavat julkaisut |
Viittaustietojen ajallinen kattavuus |
vuodesta 1900 lähtien (Science), vuodesta 1956 (Social Sciences) ja 1975 (Arts and Humanities), viittausten lkm saatavana koko ajalta, mutta viittaavat artikkelit saatavana Oulun yliopistossa vuodesta 1975 lähtien |
vuodesta 1970 lähtien |
ei julkinen |
Web of Science | Scopus | Google Scholar | |
Indikaattoreita |
Journal Citation Reports: |
|
|
Dataa hyödyntäviä työkaluja | |||
Dataa hyödyntäviä rankingeja |
|
||
Tutkijaprofiili |
|
Viittausanalyysin kannalta keskeistä on tietokannan kattavuus viittaustietojen suhteen. Tietokantojen käyttökelpoisuuteen viittausanalyysissä vaikuttavat tietokantojen haku-, selailu- ja analysointimahdollisuuksien lisäksi monet metodologiset ja tekniset ongelmat, kuten tietokantojen sisällön rajoitukset, virheelliset ja puuttuvat tiedot.
Sekä Web of Science että Scopus sisältävät artikkelien viittaustiedot ja viittaavien artikkelien bibliografiset tiedot. Web of Science -tietokannasta on saatavissa useita eri versioita. Tilaava organisaatio voi valita, mitkä viittaustietokannat ja millaisen ajallisen kattavuuden se sisällyttää tilaukseensa. Artikkelin saamien viittausten lukumäärä on kuitenkin riippumaton tilauksen laajuudesta. Scopus sisältää kattavat viittaustiedot vuodesta 1970 lähtien. Scopuksen sisällössä voi lehtien kohdalla olla aukkoja, jolloin lehteä ei ole indeksoitu tietokantaan.
Google Scholar ei anna mitään tietoja sisällöstään ja sen sisältö eri tieteenalojen osalta jää epäselväksi. Lisäksi sisällössä voi olla puutteita vanhemman kirjallisuuden osalta. Google Scholar sisältää lisäksi ei-tieteellistä aineistoa ja ei-tieteellisiä viittauksia.
Field-Weighted Citation Impact (FWCI) on artikkelikohtainen indikaattori, joka suhteuttaa viittausten määrän tieteenalan maailman keskiarvoon 1.00. Indikaattoria käytetään Scopuksessa ja SciValissa.
Viitatuimpia artikkeleita tietojenkäsittelyn alalta voi hakea CiteSeerX-palvelusta sivulta http://citeseerx.ist.psu.edu/stats/articles
ScienceWatch-sivusto puolestaan tarjoaa erilaisia hot papers -listoja sivulla http://archive.sciencewatch.com/dr/nhp/