Tieteellisiin julkaisuihin pohjautuva arviointi: Tutkijoiden ja tutkimusryhmien arviointi

Tutkijoiden ja tutkimusryhmien arviointi

Tutkijoiden arviointia tulee tehdä vastuullisen arvioinnin mukaisesti. Suomessa on julkaistu kaksi kansallista suositusta arvioinnista.

Tutkijoiden ja/tai tutkimusryhmien julkaisutoiminnan arvioinnissa käytetyimmät mittarit ovat julkaisuaktiivisuus (julkaisujen määrä) ja julkaisujen ajallinen trendi sekä julkaisujen saamien viittausten määrä. Tieteellisiä viittauksia on saatavissa vain Web of Science - ja Scopus -tietokannoista. Tarkastelun kohteena voi olla myös ko. kansainvälisiin tietokantoihin indeksoitujen julkaisujen  lukumäärä ja osuus tutkijan/tutkimusryhmän koko julkaisumäärään suhteutettuna.

Viittaukset ja H-indeksi lasketaan  tarpeesta riippuen kaikkien julkaisujen osalta tai 3-5 viimeisen vuoden ajalta, mikä antaa paremman kuvan tutkijan /ryhmän viime aikaisen tutkimuksen tasosta. Viittaustietoihin perustuvien indikaattoreiden laskennassa huomioidaan arvot sekä itseviittausten kanssa että ilman niitä. Etenkin suurilla paljon julkaisevilla tutkimusryhmillä sisäisten viittausten lukumäärä voi olla suuri. 

Tieteellisten viittausten perusteella lasketaan myös ns. tieteenalanormalisoituja indeksejä kuten esimerkiksi alanormalisoitu viittausindeksi, Field Weighted Citation Index (FWCI), joka on saatavissa Scopuksen dataan perustuvasta SciVal-tietokannasta.

Julkaisujen avoimuus on yksi tarkasteltavista asioista . 

Tieteellisen vaikuttavuuden lisäksi tarkastellaan myös julkaisujen saamaa näkyvyyttä ja huomiota sosiaalisessa mediassa ja verkostopalveluissa eli  altmetriikkaa.

Yksittäisen tutkijan arvostusta alalla voidaan arvioida myös muiden tekijöiden perusteella kuten tutkijan verkostoituminen, neuvottelukuntiin tms. kuuluminen, julkaisujen vertaisarvioinnin asiantuntijana toimiminen, esitelmät ja erityisesti pääpuhujina toimiminen, palkinnot, tunnustukset, keksinnöt jne. Mainitut tiedot ovat yleensä  löydettävissä tutkijoiden ja/tai tutkimusryhmien omilta sivuilta.

Luonnontieteissä ja lääketieteessä voi olla järkevää arvioida mieluummin ryhmää kuin yksittäisiä tutkijoita, koska tutkimustyötä tehdään paljon ryhmissä. Tutkimusryhmiä arvioitaessa käytettävät mittarit ovat samoja kuin yksittäisiä tutkijoita arvioitaessa. Lisäksi ryhmiä arvioidaan asiantuntijapaneeleiden avulla esimerkiksi niiden hakiessa rahoitusta, jäsenyyttä yliopistojen erillisohjelmissa, tutkimusorganisaatioissa ja tutkijakouluissa sekä Suomen Akatemian huippuyksikköhaussa.

Julkaisujen laatu

Suomessa tärkein julkaisukanavien laadun arviointiin käytettävä työkalu on Julkaisufoorumin tasoluokitus. JUFO-luokitus on alun perin tarkoitettu yliopistojen tuottamien suurten julkaisumäärien keskimääräisen laadun arviointiin. Luokitusta ei ole tarkoitettu yliopistojen tai muiden tutkimusorganisaatioiden yksiköiden tuottamien pienempien julkaisumäärien tai yksittäisten julkaisujen – artikkelien tai erillisteosten – laadun arviointiin, eikä yksittäisten tutkijoiden arviointiin tai vertailuun. Lisää JUFO:n käytöstä

Maailmanlaajuisesti tunnetuin lehtien arviointityökalu on lehden Impact Factor, IF. Vastuullisen tutkimuksen mukaisesti myöskään Impact Factoreita ei tule käyttää yksittäisen tutkijan arvioinnissa. 

Lue lisää tieteellisten lehtien arvioinnista.

Julkaisuaktiivisuus ja julkaisutyypit

Luotettavin menetelmä tutkijan/tutkimusryhmän julkaisuaktiivisuuden selvittämiseksi on tarkastella tutkijan/tutkimusryhmän julkaisulistaa, mikäli sellainen on käytettävissä tai saatavissa.  Usein julkaisulistaa ei ole käytettävissä ja silloin edetään suoraan tietokantahakuihin  käyttäen tietokannan tekijä-hakuominaisuutta.

Suomessa julkaisutoimintaa voi tarkastella peilaten sitä OKM:n julkaisutyyppiluokitukseen mikäli tutkija on julkaisuluettelossaan luokitellut julkaisunsa luokituksen mukaisesti. CRIS-järjestelmistä - kuten Oulun yliopisto tutkii - saatavista julkaisuraporteista julkaisujen OKM-luokat käyvät ilmi.

On kuitenkin hyvä muistaa, että julkaisujen määrä ei korreloi suoraan julkaisujen laadun kanssa.

Tutkijoiden saamat viittaukset

Tärkeimmät viittaustietoja sisältävät tietokannat ovat monitieteelliset Clarivate Analyticsin tuottama Web of Science (WoS) ja  Elsevierin tuottama Scopus. Viittauksia voi hakea myös vapaasti saatavasta Google Scholarista (GS,) kunhan muistaa sen rajoitukset. Viittausten määrää tutkittaessa kannattaa käyttää useampaa tietokantaa ja/tai palvelua. GS:n viittaustiedot sisältävät paljon myös ei-tieteellisiä viittauksia, joten viittausmäärät voivat näin ollen poiketa suuresti WoS:n ja Scopuksen viittausmääristä. 

Viittaustietokantojen vertailua

Tutkimusyhteistyö- ja verkostot

Tutkijan tai tutkimusryhmän julkaisutoiminnan arvioinnissa tarkastellaan tutkimustoiminnan yhteistyötä: miten paljon julkaisuja on tuotettu kansainvälisessä, kansallisessa tai organisaation sisäisessä yhteistyössä ja toisaalta kuinka monessa julkaisuissa on vain yksi tekijä. 

Lisäksi voidaan tarkastella tutkimusyhteistyökumppaneita. Minkä verran on akateemisia kumppaneita? Minkä verran yritysyhteistyötä?

 

Top-listat

Tutkijoiden arvioinnin avuksi löytyy myös erilaisia top-listoja. Useimmiten listat perustuvat  julkaisujen saamien viittausten määrään. Top-listoihin päätyvät yleensä vain tuotteliaimmat ja arvostetuimmat tutkijat, joten vain harvoja tutkijoita voidaan arvioida näiden listojen avulla.

Erilaisia tutkijoiden top-listoja on löydettävissä mm. seuraavista palveluista:

  • ScienceWatch.com: Palvelu sisältää eri tieteenalojen eniten viitattujen tutkijoiden top-listojen lisäksi paljon muutakin arviointia edesauttavaa tietoa niin tutkijoista, julkaisuista, organisaatioista kuin maistakin.
  • Highly Cited Researchers HighlyCited.com: Ei ole perinteinen top-lista vaan sisältää ainoastaan eri tieteenalojen eniten viitattuja tutkijoita Web of Sciencen komponenteissa Science Citation Index Expanded ja Social Sciences Citation Index.
  • CiteSeerX: Sisältää ajantasaisen listauksen tietojenkäsittelytieteiden eniten viitatuista tutkijoista.