Tieteellisiin julkaisuihin pohjautuva arviointi: Viittausanalyysi ja viittaustietokannat

Viittausanalyysi arviointimenetelmänä

Viittausanalyysillä on iso merkitys tieteellisen suorituskyvyn arvioinnissa. Viittausten perusteella voi arvioida tieteellisiä lehtiä, yksittäisiä tutkijoita, tutkimusryhmiä, tutkimuslaitoksia, yliopistoja ja kokonaisia maita.

Viittausanalyysi on kvantitatiivinen menetelmä, jonka avulla tunnistetaan alan tärkeä ja keskeinen kirjallisuus sen perusteella, kuinka paljon julkaisuihin viitataan muissa julkaisuissa. Viittausten käyttö arvioinnissa laadun mittarina ei kuitenkaan ole ongelmatonta. Viittaukset mittaavat ensisijaisesti populariteettia eikä laatua, ja yksittäinen viittaus on aina tutkijan subjektiivinen valinta. Artikkelin saamat viittaukset kertovatkin enemmän sen saamasta positiivisesta tai negatiivisesta huomiosta kuin laadusta. Viittauksissa suositaan usein valtavirtatutkimusta ja vakiintuneita paradigmoja tai vallitsevaa näkökulmaa, eikä haastavaa tutkimusta välttämättä heti huomata. Useat tärkeät tieteelliset läpimurrot onkin huomattu vasta kymmeniä vuosia niiden ilmestymisestä. Toisaalta arvostelua herättävät tai vääriksi todetut tutkimustulokset voivat saada paljon viittauksia.

Kaikki viittausanalyysiin pohjautuvat arviointimenetelmät ovat riippuvaisia viittaustietoja sisältävien tietokantojen sisällöstä ja laadusta. Arviointi-indikaattoreita tarkasteltaessa pitää aina ottaa huomioon, minkä tietokannan aineiston pohjalta ne on laskettu. Artikkelin saamien viittausten lukumäärä eri tietokannoissa vaihtelee. Ennen kaikkea makrotason arvioinneissa, kuten tutkimusryhmien, laitosten ja maiden arvioinnissa, on tärkeää perehtyä tarkasti käytettyjen indikaattoreiden laskentamenetelmään ja laskennan perustana käytettyyn viittausaineistoon. Myös käytettyjen indikaattoreiden tulkinnan rajoitukset ja ongelmat on syytä ottaa huomioon. Arvioinnissa onkin usein tarpeen käyttää useita indikaattoreita ja eri tietokantojen viittausaineistoja. Viittaustietoihin perustuvia arviointeja on lisäksi hyvä täydentää asiantuntija-arvioilla.

Eri tietokantojen sisältö painottuu eri tavoin lehtien, kirjojen, konferenssijulkaisujen ja muun kirjallisuuden kohdalla, mikä vaikuttaa myös julkaisujen saamien viittausten lukumääriin. Tietokannat sisältävät viittaustietoja yleensä vain niiden sisältämistä lehdistä. Viittausten lukumäärä riippuu myös siitä, kuinka pitkältä ajalta tietokanta sisältää viittaustietoa ja kuinka usein viittaustiedot päivitetään tietokantaan. Kaikissa tietokannoissa on myös jonkin verran virheitä. Tietokantojen sisältö myös muuttuu jatkuvasti, koska ne ottavat uusia lehtiä kokoelmaansa ja poistavat entisiä sekä päivittävät viittaustietoja vanhempien julkaisujen osalta.

Viittaustietokantojen vertailua

Tärkeimmät viittaustietoja sisältävät tietokannat ovat monitieteelliset Thomson Reutersin tuottama Web of Science (WoS) ja  Elsevierin tuottama Scopus. Viittauksia voi hakea myös vapaasti saatavasta Google Scholarista (GS) kunhan muistaa sen rajoitukset. Viittausten määrää tutkittaessa kannattaa käyttää useampaa tietokantaa ja/tai palvelua. GS:n viittaustiedot sisältävät paljon myös ei-tieteellisiä viittauksia, joten viittausmäärät voivat näin ollen poiketa suuresti WoS:n ja Scopuksen viittausmääristä.

Edellisten lisäksi muutamat alakohtaiset tietokannat, kuten Chemical Abstracts (SciFinder), CiteSeerX ja MathSciNet, sisältävät viittaustietoja.

Lisätietoa arvioinnin työkaluista.

Alla olevassa taulukossa on yhteenveto kolmen suurimman monialaisen viittaustietokannan ominaisuuksista

Ominaisuus

Web of Science (lisätietoa)

Scopus (lisätietoa)

Google Scholar (lisätietoa)

Saatavuus

maksullinen

maksullinen

vapaasti käytettävä

Lehtien lukumäärä

yli 12000 vertaisarvioitua lehteä

yli 21000 vertaisarvioitua lehteä, myös "Articles-in-press"

ei julkinen

Muu sisältö

konferenssijulkaisuja

konferenssijulkaisuja, ammattilehtiä, patentteja ja kirjoja

myös kirjoja, preprinttejä, opinnäytteitä, ppt-esityksiä, www-sivuja

Keskeisimmät alat

luonnontieteet, lääketiede, tekniikka, yhteiskuntatieteet, taiteet ja humanistiset tieteet

luonnontieteet, tekniikka, terveystieteet, yhteiskuntatieteet, taiteet ja humanistiset tieteet

ei julkinen

Ajallinen kattavuus

vuodesta 1900 lähtien (Science), vuodesta 1956 (Social Sciences) ja 1975 (Arts and Humanities), aineisto saatavissa Oulun yliopistossa vuodesta 1975 lähtien

kattavuus vaihtelee, osa lehdistä 1800-luvulle asti, viitteissä lähdetiedot 1996 lähtien

ei julkinen

Päivitys

viikoittain

päivittäin

ei julkinen, noin kuukausittain

Kokoelmapolitiikka

julkinen

julkinen

ei julkinen, sopimus useimpien merkittävien kustantajien kanssa

Viittausanalyysi

Citation Report -työkalu

View citation overview -työkalu:
- tekijälle
- julkaisulle
- affiliaatiolle

hakutulosten yhteydessä Cited by -linkki, josta saa julkaisuun viittaavat julkaisut

Viittaustietojen ajallinen kattavuus

vuodesta 1900 lähtien (Science), vuodesta 1956 (Social Sciences) ja 1975 (Arts and Humanities), viittausten lkm saatavana koko ajalta, mutta viittaavat artikkelit saatavana Oulun yliopistossa vuodesta 1975 lähtien

vuodesta 1996 lähtien

ei julkinen

  Web of Science Scopus Google Scholar
Indikaattoreita

Journal Citation Reports:
- Article Influence (AI)
- Eigenfactor
- H-indeksi
- Immediacy Index
- Impact Factor (IF)
 

- H-indeksi
- Raw impact per publication (RIPP)
- SCImago Journal Rank (SJR)
- Source normalized impact per paper (SNIP)
- Field-Weighted Citation Impact 

- H-indeksi
- i10-indeksi
 

Dataa hyödyntäviä työkaluja - Journal Citation Reports
- Eigenfactor
- ScienceWatch 
- Scival
- SCImago Journal and Country Rank
- CWTS Journal Indicators   
- Publish or Perish 
Dataa hyödyntäviä rankingeja

- Shanghai Ranking eli Academic Ranking of World Universities (ARWU)
- National Taiwan University Ranking (NTU)
- University Ranking by Academic Performance (URAP)
- U.S. News & World Report's Best Global Universities Rankings
- CWTS Leiden Ranking
- U-Multirank

- Suomen Akatemian Tieteen tila -raportit

- Times Higher Education World University Rankings
- QS World University Rankings
- Webometrics
 

- Webometrics (GS-profiilien määrä)
 
Tutkijaprofiili ResearcherID   
 
Scopus Author Identifier
- myös Scopus Affiliation Identifier  
Google Scholar Profile  

 


Viittausanalyysin kannalta keskeistä on tietokannan kattavuus viittaustietojen suhteen. Tietokantojen käyttökelpoisuuteen viittausanalyysissä vaikuttavat tietokantojen haku-, selailu- ja analysointimahdollisuuksien lisäksi monet metodologiset ja tekniset ongelmat, kuten tietokantojen sisällön rajoitukset, virheelliset ja puuttuvat tiedot.

Sekä Web of Science että Scopus sisältävät artikkelien viittaustiedot ja viittaavien artikkelien bibliografiset tiedot.

Web of Science -tietokannasta on saatavissa useita eri versioita. Tilaava organisaatio voi valita, mitkä viittaustietokannat ja millaisen ajallisen kattavuuden se sisällyttää tilaukseensa. Artikkelin saamien viittausten lukumäärä on kuitenkin riippumaton tilauksen laajuudesta.

Scopus sisältää kattavat viittaustiedot vuodesta 1996 lähtien. Scopuksen sisällössä voi lehtien kohdalla olla aukkoja, jolloin lehteä ei ole indeksoitu tietokantaan.

Google Scholar ei anna mitään tietoja sisällöstään ja sen sisältö ei ilmeisesti ole yhtä kattava kaikkien tieteenalojen osalta. Lisäksi  sisältö on heikko vanhemman kirjallisuuden osalta. Google Scholar sisältää lisäksi ei-tieteellistä aineistoa ja ei-tieteellisiä viittauksia.

Web of Science ja Scopus -tietokannat poikkeavat toisistaan sen suhteen, kuinka suuri osa niiden sisältämistä viitteistä sisältää viittaustiedot. Alla olevissa kuvissa näkyvät näiden tietokantojen viittaustiedot sisältävien viitteiden osuudet.

Viittaustiedot sisältävien viitteiden osuus Web of Science --tietokannan kaikista viitteistä. Harmaa alue = vuosittainen kaikkien viitteiden lukumäärä, musta alue = vuosittainen viittaustiedot sisältävien viitteiden lukumäärä.
Kuvan lähde: Jacso 2008: The pros and cons of computing the h-index using Web of Science. DOI 10.1108/14684520810914043. 16.12.2010.

Viittaustiedot sisältävien viitteiden osuus Scopus --tietokannan kaikista viitteistä. Harmaa alue = vuosittainen kaikkien viitteiden lukumäärä, musta alue = vuosittainen viittaustiedot sisältävien viitteiden lukumäärä.
Kuvan lähde: Jacso 2008: The pros and cons of computing the h-index using Web of Science. DOI 10.1108/14684520810914043. 16.12.2010.

line above footer

Oulun yliopiston kirjasto
PL 7500
90014 OULUN YLIOPISTO
Vaihde: 0294 480000