Tieteellisiin julkaisuihin pohjautuva arviointi: Tutkijoiden ja tutkimusryhmien arviointi

Tutkijoiden ja tutkimusryhmien arviointi

Tutkijoiden ja/tai tutkimusryhmien julkaisutoiminnan arvioinnissa käytetyimmät mittarit ovat julkaisuaktiivisuus (julkaisujen määrä), julkaisujen saamien viittausten määrä sekä tutkimuksesta tiedottamisessa käytettyjen julkaisujen laatu. Näiden tietojen arviointiin on olemassa useita työkaluja, joista osa on lisäksi tieteenalakohtaisia.

Yksittäisen tutkijan arvostusta alalla voidaan arvioida myös muiden tekijöiden perusteella: tutkijan verkostoituminen, neuvottelukuntiin tms. kuuluminen, julkaisujen vertaisarvioinnin asiantuntijana toimiminen, esitelmät ja erityisesti pääpuhujina toimiminen, palkinnot ja tunnustukset jne. Näiden tietojen löytäminen on ensin mainittuihin verrattuna huomattavasti vaikeampaa ja useimmiten tiedot ovat löydettävissä ainoastaan tutkijoiden ja/tai tutkimusryhmien omilta sivuilta.

 

Julkaisuaktiivisuus

Julkaisuaktiivisuuden selvittämiseen yksinkertaisin tapa on etsiä tutkijan julkaisuja tieteenalan keskeisten tietokantojen kautta. Tutkijan julkaisuaktiivisuutta selvitettäessä kannattaa käyttää tietokannan tekijähakua. Julkaisuaktiivisuuden arvioinnin kannalta on olennaisen tärkeää käyttää lähteenä mahdollisimman useaa tietokantaa, jotka sisältävät tutkijan edustaman tieteenalan julkaisuja. Kirjojen etsiminen on hankalaa, sillä niitä ei löydy kovin monesta tietokannasta.

Kuvan esimerkissä keskimmäisessä sarakkeessa on informaatiotutkimuksen tutkijoiden julkaisumääriä pelkästään Web of Sciencesta. Kun samojen tutkijoiden julkaisujen määrää tarkasteltiin useammasta tietokannasta (oikean puoleinen sarake), muuttui rankinglistan järjestys useamman tutkijan kohdalla aivan toiseksi. Esim. Hernon nousi 13. sijalta viidenneksi ja Dimitroff putosi 3. tilalta yhdeksänneksi. Näin ollen vasta useamman tietokannan käyttäminen julkaisuaktiivisuuden arvioinnin lähteenä antaa luotettavampia tuloksia tutkijoiden julkaisuaktiivisuudesta.
Kuvan lähde: Meho Lokman I. & Spurgin Kristina M. (2005). Ranking the research productivity of library and information science faculty and schools: An evaluation of data sources and research methods. Journal of the American society for information science and technology 56(12): 1314-1331. 8.7.2008

Tutkijoiden saamat viittaukset

Tärkeimmät viittaustietoja sisältävät tietokannat ovat monitieteelliset Thomson Reutersin tuottama Web of Science (WoS) ja  Elsevierin tuottama Scopus. Viittauksia voi hakea myös vapaasti saatavasta Google Scholarista (GS) kunhan muistaa sen rajoitukset. Viittausten määrää tutkittaessa kannattaa käyttää useampaa tietokantaa ja/tai palvelua. GS:n viittaustiedot sisältävät paljon myös ei-tieteellisiä viittauksia, joten viittausmäärät voivat näin ollen poiketa suuresti WoS:n ja Scopuksen viittausmääristä.

Edellisten lisäksi muutamat alakohtaiset tietokannat, kuten Chemical Abstracts (SciFinder), CiteSeerX ja MathSciNet, sisältävät viittaustietoja.

Lisätietoa arvioinnin työkaluista.

Alla olevassa taulukossa on yhteenveto kolmen suurimman monialaisen viittaustietokannan ominaisuuksista

Ominaisuus

Web of Science (lisätietoa)

Scopus (lisätietoa)

Google Scholar (lisätietoa)

Saatavuus

maksullinen

maksullinen

vapaasti käytettävä

Lehtien lukumäärä

yli 12000 vertaisarvioitua lehteä

yli 21000 vertaisarvioitua lehteä, myös "Articles-in-press"

ei julkinen

Muu sisältö

konferenssijulkaisuja

konferenssijulkaisuja, ammattilehtiä, patentteja ja kirjoja

myös kirjoja, preprinttejä, opinnäytteitä, ppt-esityksiä, www-sivuja

Keskeisimmät alat

luonnontieteet, lääketiede, tekniikka, yhteiskuntatieteet, taiteet ja humanistiset tieteet

luonnontieteet, tekniikka, terveystieteet, yhteiskuntatieteet, taiteet ja humanistiset tieteet

ei julkinen

Ajallinen kattavuus

vuodesta 1900 lähtien (Science), vuodesta 1956 (Social Sciences) ja 1975 (Arts and Humanities), aineisto saatavissa Oulun yliopistossa vuodesta 1975 lähtien

kattavuus vaihtelee, osa lehdistä 1800-luvulle asti, viitteissä lähdetiedot 1996 lähtien

ei julkinen

Päivitys

viikoittain

päivittäin

ei julkinen, noin kuukausittain

Kokoelmapolitiikka

julkinen

julkinen

ei julkinen, sopimus useimpien merkittävien kustantajien kanssa

Viittausanalyysi

Citation Report -työkalu

View citation overview -työkalu:
- tekijälle
- julkaisulle
- affiliaatiolle

hakutulosten yhteydessä Cited by -linkki, josta saa julkaisuun viittaavat julkaisut

Viittaustietojen ajallinen kattavuus

vuodesta 1900 lähtien (Science), vuodesta 1956 (Social Sciences) ja 1975 (Arts and Humanities), viittausten lkm saatavana koko ajalta, mutta viittaavat artikkelit saatavana Oulun yliopistossa vuodesta 1975 lähtien

vuodesta 1996 lähtien

ei julkinen

  Web of Science Scopus Google Scholar
Indikaattoreita

Journal Citation Reports:
- Article Influence (AI)
- Eigenfactor
- H-indeksi
- Immediacy Index
- Impact Factor (IF)
 

- H-indeksi
- Raw impact per publication (RIPP)
- SCImago Journal Rank (SJR)
- Source normalized impact per paper (SNIP)
- Field-Weighted Citation Impact 

- H-indeksi
- i10-indeksi
 

Dataa hyödyntäviä työkaluja - Journal Citation Reports
- Eigenfactor
- ScienceWatch 
- Scival
- SCImago Journal and Country Rank
- CWTS Journal Indicators   
- Publish or Perish 
Dataa hyödyntäviä rankingeja

- Shanghai Ranking eli Academic Ranking of World Universities (ARWU)
- National Taiwan University Ranking (NTU)
- University Ranking by Academic Performance (URAP)
- U.S. News & World Report's Best Global Universities Rankings
- CWTS Leiden Ranking
- U-Multirank

- Suomen Akatemian Tieteen tila -raportit

- Times Higher Education World University Rankings
- QS World University Rankings
- Webometrics
 

- Webometrics (GS-profiilien määrä)
 
Tutkijaprofiili ResearcherID   
 
Scopus Author Identifier
- myös Scopus Affiliation Identifier  
Google Scholar Profile  

 


Viittausanalyysin kannalta keskeistä on tietokannan kattavuus viittaustietojen suhteen. Tietokantojen käyttökelpoisuuteen viittausanalyysissä vaikuttavat tietokantojen haku-, selailu- ja analysointimahdollisuuksien lisäksi monet metodologiset ja tekniset ongelmat, kuten tietokantojen sisällön rajoitukset, virheelliset ja puuttuvat tiedot.

Sekä Web of Science että Scopus sisältävät artikkelien viittaustiedot ja viittaavien artikkelien bibliografiset tiedot.

Web of Science -tietokannasta on saatavissa useita eri versioita. Tilaava organisaatio voi valita, mitkä viittaustietokannat ja millaisen ajallisen kattavuuden se sisällyttää tilaukseensa. Artikkelin saamien viittausten lukumäärä on kuitenkin riippumaton tilauksen laajuudesta.

Scopus sisältää kattavat viittaustiedot vuodesta 1996 lähtien. Scopuksen sisällössä voi lehtien kohdalla olla aukkoja, jolloin lehteä ei ole indeksoitu tietokantaan.

Google Scholar ei anna mitään tietoja sisällöstään ja sen sisältö ei ilmeisesti ole yhtä kattava kaikkien tieteenalojen osalta. Lisäksi  sisältö on heikko vanhemman kirjallisuuden osalta. Google Scholar sisältää lisäksi ei-tieteellistä aineistoa ja ei-tieteellisiä viittauksia.

Web of Science ja Scopus -tietokannat poikkeavat toisistaan sen suhteen, kuinka suuri osa niiden sisältämistä viitteistä sisältää viittaustiedot. Alla olevissa kuvissa näkyvät näiden tietokantojen viittaustiedot sisältävien viitteiden osuudet.

Viittaustiedot sisältävien viitteiden osuus Web of Science --tietokannan kaikista viitteistä. Harmaa alue = vuosittainen kaikkien viitteiden lukumäärä, musta alue = vuosittainen viittaustiedot sisältävien viitteiden lukumäärä.
Kuvan lähde: Jacso 2008: The pros and cons of computing the h-index using Web of Science. DOI 10.1108/14684520810914043. 16.12.2010.

Viittaustiedot sisältävien viitteiden osuus Scopus --tietokannan kaikista viitteistä. Harmaa alue = vuosittainen kaikkien viitteiden lukumäärä, musta alue = vuosittainen viittaustiedot sisältävien viitteiden lukumäärä.
Kuvan lähde: Jacso 2008: The pros and cons of computing the h-index using Web of Science. DOI 10.1108/14684520810914043. 16.12.2010.

Tutkijan taustat ja verkostot

Tutkijan tieteellistä tasoa/vaikuttavuutta arvioitaessa myös tutkijan tausta ja hänen verkostoitumisensa tieteenalansa muihin tutkijoihin on arvioinnin kannalta oleellista tietoa. Organisaatiot, joissa hän on työskennellyt, kertovat sinällään paljon tutkijan verkostoitumisesta. Lisäksi verkostoitumista voidaan arvioida selvittämällä, kenen kanssa tutkija on julkaisujaan tuottanut.

Yleensä tutkijan taustatiedot löytyvät kattavimmin tutkijan mahdollisilta omilta verkkosivuilta, mutta joitakin taustatietoja voidaan löytää myös tietokantojen avulla. Esimerkiksi Scopus-tietokanta on yksi erinomainen työkalu tutkijan julkaisuaktiivisuuden ja saatujen viittausten selvittämiseen, mutta myös tutkijan yhteyksien ja verkostojen selvittämiseen. Scopus-tietokanta kerää tietokannan sisältämistä julkaisuista automaattisesti mm. kaikki kanssakirjoittajat ja muodostaa historiatiedot organisaatioista, jotka ovat julkaisuissa ilmoitettu tutkijan taustaorganisaatioiksi. Tiedot perustuvat kuitenkin pelkästään Scopus-tietokannan sisältämien julkaisuihin.

Kuvan esimerkissä on Scopus-tietokannan antamat tiedot H-indeksin kehittäjästä Jorge E. Hirschistä. Tietokannan sisältämästä 188 em. tutkijan tuottamasta julkaisusta löytyy yhteensä 35 kanssakirjoittajaa. Lisäksi Scopuksen aineiston avulla voidaan nähdä, mihin organisaatioihin Hirsch on ollut kytköksissä.
Kuvan lähde: Scopus <http://www.scopus.com> 13.12.2008

Julkaisujen laatu

Yleensä tieteenalalla kuin tieteenalalla on tiedossa alan keskeisimmät ja arvostetuimmat julkaisut. Julkaisujen arvostusta lisää yleensä myös vertaisarviointi julkaistavien artikkeleiden valinnassa. Julkaisujen laadun arviointiin on käytössä useita erilaisia mittareita, joista käytetyin on maailmanlaajuisesti Journal Impact factor ja Suomessa Julkaisufoorumin tasoluokitus.

Lue lisää tieteellisten lehtien arvioinnista.

Top-listat

Tutkijoiden arvioinnin avuksi löytyy myös erilaisia top-listoja, joita on kerätty moniin palveluihin. Useimmiten listat perustuvat tutkijoiden kirjoittamien julkaisujen saamien viittausten määrään. Top-listoihin päätyvät yleensä vain tuotteliaimmat ja arvostetuimmat tutkijat, joten vain harvoja tutkijoita voidaan arvioida näiden listojen avulla.

Erilaisia tutkijoiden top-listoja on löydettävissä mm. seuraavista palveluista:

  • ScienceWatch.com: Palvelu sisältää eri tieteenalojen eniten viitattujen tutkijoiden top-listojen lisäksi paljon muutakin arviointia edesauttavaa tietoa niin tutkijoista, julkaisuista, organisaatioista kuin maistakin.
  • Highly Cited Researchers HighlyCited.com: Ei ole perinteinen top-lista vaan sisältää ainoastaan eri tieteenalojen eniten viitattuja tutkijoita Web of Sciencen komponenteissa Science Citation Index Expanded ja Social Sciences Citation Index.
  • CiteSeerX: Sisältää ajantasaisen listauksen tietojenkäsittelytieteiden eniten viitatuista tutkijoista.

Tutkimusryhmien arvioinnissa huomioitavaa

Tutkimusryhmien arviointi on etenkin luonnontieteissä ja lääketieteessä tärkeämpää kuin yksittäisten tutkijoiden arviointi, koska lähes kaikki tutkimustyö tehdään ryhmissä. Tutkimusryhmiä arvioitaessa käytettävät mittarit ovat samoja kuin yksittäisiä tutkijoita arvioitaessa, eli julkaisuaktiivisuus, julkaisujen saamien viittausten määrä sekä tutkimuksesta tiedottamisessa käytettyjen julkaisujen laatu. Lisäksi ryhmiä arvioidaan asiantuntijapaneeleiden avulla esimerkiksi niiden hakiessa rahoitusta, jäsenyyttä yliopistojen erillisohjelmissa, tutkimusorganisaatioissa ja tutkijakouluissa sekä Suomen Akatemian huippuyksikköhaussa.

Tutkimusryhmien arviointi poikkeaa henkilöiden arvioinnista siten, että arvioinnissa käytettävien indikaattoreiden arvoja ei ole saatavissa suoraan tietokannoista. Ryhmien arvioinnissa tulee myös noudattaa erityistä kriittisyyttä ja varovaisuutta arviointi-indikaattoreita tulkittaessa, koska monet virheet ja harhaanjohtavat seikat voivat kertautua ryhmien kohdalla. Viittaustietoihin perustuvien indikaattoreiden laskennassa tulee viittausaineistosta poistaa ryhmänsisäiset viittaukset, koska etenkin suurilla paljon julkaisevilla tutkimusryhmillä sisäisten viittausten lukumäärä voi olla suuri. Esimerkiksi H-indeksin laskeminen tutkimusryhmille poikkeaa yksittäisten tutkijoiden arvioinnista, jossa indeksin arvo lasketaan usein tukijan eliniän ajalta (joskus tosin rajatummalta ajalta). Tutkimusryhmien H-indeksin arvo lasketaan yleensä kolmen tai viiden viimeisen vuoden ajalta, jotta saadaan mahdollisimman oikea kuva ryhmän viimeaikaisesta tutkimuksen tasosta. Eri indikaattorit voivat antaa vastakkaisia arviointituloksia ja siksi tutkimusryhmiä arvioitaessa on erityisen tärkeää käyttää useita indikaattoreita ja niiden täydennyksenä vertaisarviointia. Myös tutkimusryhmiä voidaan verrata vain saman alan muihin ryhmiin, koska ryhmien koko ja julkaisujen määrä vaihtelevat aloittain. Lisäksi on erotettava toisistaan perustutkimusta tekevät ja sovelluksia kehittävät ryhmät, joista jälkimmäiset eivät useinkaan julkaise tutkimustuloksiaan artikkeleina.

line above footer

Oulun yliopiston kirjasto
PL 7500
90014 OULUN YLIOPISTO
Vaihde: 0294 480000