Tutkijoiden arviointia tulee tehdä vastuullisen arvioinnin mukaisesti. Suomessa on julkaistu kaksi kansallista suositusta arvioinnista.
Tutkijoiden ja/tai tutkimusryhmien julkaisutoiminnan arvioinnissa käytetyimmät mittarit ovat julkaisuaktiivisuus (julkaisujen määrä) ja julkaisujen ajallinen trendi sekä julkaisujen saamien viittausten määrä. Tieteellisiä viittauksia on saatavissa vain Web of Science - ja Scopus -tietokannoista. Tarkastelun kohteena voi olla myös ko. kansainvälisiin tietokantoihin indeksoitujen julkaisujen lukumäärä ja osuus tutkijan/tutkimusryhmän koko julkaisumäärään suhteutettuna.
Viittaukset ja H-indeksi lasketaan tarpeesta riippuen kaikkien julkaisujen osalta tai 3-5 viimeisen vuoden ajalta, mikä antaa paremman kuvan tutkijan /ryhmän viime aikaisen tutkimuksen tasosta. Viittaustietoihin perustuvien indikaattoreiden laskennassa huomioidaan arvot sekä itseviittausten kanssa että ilman niitä. Etenkin suurilla paljon julkaisevilla tutkimusryhmillä sisäisten viittausten lukumäärä voi olla suuri.
Tieteellisten viittausten perusteella lasketaan myös ns. tieteenalanormalisoituja indeksejä kuten esimerkiksi alanormalisoitu viittausindeksi, Field Weighted Citation Index (FWCI), joka on saatavissa Scopuksen dataan perustuvasta SciVal-tietokannasta.
Julkaisujen avoimuus on yksi tarkasteltavista asioista .
Tieteellisen vaikuttavuuden lisäksi tarkastellaan myös julkaisujen saamaa näkyvyyttä ja huomiota sosiaalisessa mediassa ja verkostopalveluissa eli altmetriikkaa.
Yksittäisen tutkijan arvostusta alalla voidaan arvioida myös muiden tekijöiden perusteella kuten tutkijan verkostoituminen, neuvottelukuntiin tms. kuuluminen, julkaisujen vertaisarvioinnin asiantuntijana toimiminen, esitelmät ja erityisesti pääpuhujina toimiminen, palkinnot, tunnustukset, keksinnöt jne. Mainitut tiedot ovat yleensä löydettävissä tutkijoiden ja/tai tutkimusryhmien omilta sivuilta.
Luonnontieteissä ja lääketieteessä voi olla järkevää arvioida mieluummin ryhmää kuin yksittäisiä tutkijoita, koska tutkimustyötä tehdään paljon ryhmissä. Tutkimusryhmiä arvioitaessa käytettävät mittarit ovat samoja kuin yksittäisiä tutkijoita arvioitaessa. Lisäksi ryhmiä arvioidaan asiantuntijapaneeleiden avulla esimerkiksi niiden hakiessa rahoitusta, jäsenyyttä yliopistojen erillisohjelmissa, tutkimusorganisaatioissa ja tutkijakouluissa sekä Suomen Akatemian huippuyksikköhaussa.
Suomessa tärkein julkaisukanavien laadun arviointiin käytettävä työkalu on Julkaisufoorumin tasoluokitus. JUFO-luokitus on alun perin tarkoitettu yliopistojen tuottamien suurten julkaisumäärien keskimääräisen laadun arviointiin. Luokitusta ei ole tarkoitettu yliopistojen tai muiden tutkimusorganisaatioiden yksiköiden tuottamien pienempien julkaisumäärien tai yksittäisten julkaisujen – artikkelien tai erillisteosten – laadun arviointiin, eikä yksittäisten tutkijoiden arviointiin tai vertailuun. Lisää JUFO:n käytöstä
Maailmanlaajuisesti tunnetuin lehtien arviointityökalu on lehden Impact Factor, IF. Vastuullisen tutkimuksen mukaisesti myöskään Impact Factoreita ei tule käyttää yksittäisen tutkijan arvioinnissa.
Lue lisää tieteellisten lehtien arvioinnista.
Luotettavin menetelmä tutkijan/tutkimusryhmän julkaisuaktiivisuuden selvittämiseksi on tarkastella tutkijan/tutkimusryhmän julkaisulistaa, mikäli sellainen on käytettävissä tai saatavissa. Usein julkaisulistaa ei ole käytettävissä ja silloin edetään suoraan tietokantahakuihin käyttäen tietokannan tekijä-hakuominaisuutta.
Suomessa julkaisutoimintaa voi tarkastella peilaten sitä OKM:n julkaisutyyppiluokitukseen mikäli tutkija on julkaisuluettelossaan luokitellut julkaisunsa luokituksen mukaisesti. CRIS-järjestelmistä - kuten Oulun yliopisto tutkii - saatavista julkaisuraporteista julkaisujen OKM-luokat käyvät ilmi.
On kuitenkin hyvä muistaa, että julkaisujen määrä ei korreloi suoraan julkaisujen laadun kanssa.
Tärkeimmät viittaustietoja sisältävät tietokannat ovat monitieteelliset Clarivate Analyticsin tuottama Web of Science (WoS) ja Elsevierin tuottama Scopus. Viittauksia voi hakea myös vapaasti saatavasta Google Scholarista (GS,) kunhan muistaa sen rajoitukset. Viittausten määrää tutkittaessa kannattaa käyttää useampaa tietokantaa ja/tai palvelua. GS:n viittaustiedot sisältävät paljon myös ei-tieteellisiä viittauksia, joten viittausmäärät voivat näin ollen poiketa suuresti WoS:n ja Scopuksen viittausmääristä.
Tutkijan tai tutkimusryhmän julkaisutoiminnan arvioinnissa tarkastellaan tutkimustoiminnan yhteistyötä: miten paljon julkaisuja on tuotettu kansainvälisessä, kansallisessa tai organisaation sisäisessä yhteistyössä ja toisaalta kuinka monessa julkaisuissa on vain yksi tekijä.
Lisäksi voidaan tarkastella tutkimusyhteistyökumppaneita. Minkä verran on akateemisia kumppaneita? Minkä verran yritysyhteistyötä?
Tutkijoiden arvioinnin avuksi löytyy myös erilaisia top-listoja. Useimmiten listat perustuvat julkaisujen saamien viittausten määrään. Top-listoihin päätyvät yleensä vain tuotteliaimmat ja arvostetuimmat tutkijat, joten vain harvoja tutkijoita voidaan arvioida näiden listojen avulla.
Erilaisia tutkijoiden top-listoja on löydettävissä mm. seuraavista palveluista: