Julkaisumetriikan avulla julkaisuja voidaan tarkastella useilla erilaisilla tavoilla ja eri näkökulmista. Yksinkertaisimmillaan julkaisumetriikkaa voidaan hyödyntää yksittäisten julkaisujen tarkastelussa, joihin kaikki tarkastelun tavat joka tapauksessa perustuvat. Julkaisumetriikka antaa kuitenkin monipuolisempaa ja luotettavampaa kuvaa kun tarkastellaan isompia julkaisujoukkoja.Tällöin puhutaan usein kokonaisten maiden julkaisutoiminnan tai suurien tieteenalojen tarkastelusta. Näiden ja yksittäisten artikkelien väliin sijoittuvat hyvin usein tarkastelun kohteena olevat yliopistot, tutkimusryhmät ja tutkijat. Varsinkin yksittäisten tutkijoiden osalta julkaisumäärät voivat olla kohtuullisen pieniä, jolloin julkaisumetriikan antamia lukuja kannattaa tulkita harkiten.
Tämän luvun sisältö:
Tutkijoiden arvioinnista on ilmestynyt viime vuosina sekä sekä kansallisia että kansainvälisiä suosituksia, joissa korostetaan laadullisen arvioinnin ensisijaisuutta. Julkaisumetriikkaa voidaan käyttää arvioinnissa ainoastaan laadullisen arvioinnin tukena vastuullisen tutkijanarvioinnin periaatteiden mukaisesti.
Tutkijoiden ja tutkimusryhmien julkaisutoiminnan analysoinnissa voidaan tarpeesta riippuen hyödyntää melkein mitä tahansa käytössä olevia mittareita. Useimmat indikaattorit kuvaavat tutkijan tai tutkimusryhmän julkaisutoiminnan yhtä ominaisuutta tietystä näkökulmasta. Tämän vuoksi usean indikaattorin käyttö on suositeltavaa, jotta julkaisutoiminnasta saadaan monipuolisesti tietoa.
Erityisesti arviointitilanteissa on suositeltavaa hyödyntää mahdollisimman monipuolista joukkoa eri indikaattoreita ja tuolloinkin vain laadullisen arvioinnin tukena. Mittareiden valinnan apuna voi käyttää bibliometristen palveluiden kuvausta rekrytoinnin tueksi toteuttettavien julkaisuanalyysien sisällöstä. Mikäli yksittäisten tutkijoiden arvioinnin ohessa on tarkoitus hyödyntää omatoimisesti julkaisumetriikkaa, suositellaan bibliometristen palveluiden konsultointia ennen analyysien tuottamista. Bibliometriset palvelut toteuttavat ilman erillistä pyyntöä analyysit yliopiston Tenure Track - ja professuurihakujen hakijoista.
Aiheesta lisää Kansallisessa julkaisumetriikkaoppaassa.
Erityisesti yksittäisiä tutkijoita arvioitaessa tulee välttää julkaisukanaviin pohjautuvien metriikoiden käyttöä yksittäisen artikkelin laadun mittaamisen korvikkeena.
Niillä tieteenaloilla, joilla tutkimustyötä tehdään paljon ryhmissä, voi olla järkevää analysoida mieluummin ryhmää kuin yksittäisiä tutkijoita.
Yliopistoja ja tutkimuslaitoksia analysoidaan monista eri syistä ja monien eri tekijöiden toimesta. Jo pelkästään yliopistolaki velvoittaa suomalaiset yliopistot arvioimaan tutkimustaan säännöllisesti ja näin ollen yliopiston tutkimuksen kansainvälinen kokonaisarviointi (Research Assessment Exercise – RAE) toteutetaan kuuden vuoden välein. RAE-arviointi sisältää myös yliopiston julkaisutoiminnan arvioinnin bibliometriikan keinoin. Viimeisin RAE2020-loppuraportti on saatavissa Patiossa.
Jo parinkymmenen vuoden ajan yliopistoja on vertailtu myös kansainvälisissä yliopistorankingeissa. Tunnutuimpia näistä ovat Academic Ranking of World Universities (ARWU), Times Higher Education ja QS-ranking. Yliopistorankingit ovat saaneet viime vuosina runsaasti kritiikkiä mm. arvioinneissa käytettyjen indikaattorien yhteensopimattomuudesta ja menetelmien vaillinaisesta läpinäkyvyydestä. Huolimatta rankingien erilaisista ongelmista, yliopistot seuraavat rankkauksia tarkasti ja uutisoivat omista sijoituksistaan. Aiheesta lisätietoa Oulun yliopiston yliopistorankingeja koskevalta verkkosivulta.
Tutkimusorganisaatioiden analysointi voi olla tarpeen myös muille kuin yliopiston hallinnolle. Tutkimusryhmän johtaja tai yksittäinen tutkijakin voi joutua tekemään mm. erilaisia yhteistyö- tai verrokkiyliopistojen tarkasteluja, jotka perustuvat usein julkaisutietoihin. Tällaiseen analyysiin soveltuvat parhaiten laajat viittaustietokannat kuten Scopus tai sen analyysityökalu SciVal, joka tarjoaa valmiit työkalut em. tarkastelujen suorittamiselle.
Lisätietoa yliopistojen ja tutkimuslaitosten analysoinnista Kansallisessa julkaisumetriikkaoppaassa.
Yliopistoja ja tutkimuslaitoksia analysoidessa on keskeistä huomioida, että yliopistoja ja tutkimuslaitoksia on monenlaisia. Ne eroavat toisistaan mm. kooltaan, iältään, tutkimus- ja opetuspainotuksiltaan, tavoitteiltaan jne.
Julkaisumetriikkaa hyödynnetään tieteenalojen ja tutkimusaiheiden analyyseissä useissa yhteyksissä. Julkaisumetriikan avulla voidaan havainnoida tieteessä tapahtuvia muutoksia tai kuvata tieteenalojen tilaa tietyllä hetkellä. Useissa kansallisissa tieteenala-arvioinneissa käytetään metriikkaa alan julkaisumäärän, viittausvaikuttavuuden ja tieteidenvälisyyden arvioimiseen vertaisarvioinnin ja erilaisten tilastolähteiden ohella. Esimerkkejä tällaisesta metriikan käytöstä ovat erilaiset tutkimusrahoittajien tai vastaavien organisaatioiden tiedepoliittiseen käyttöön julkaisemat raportit ja tietokannat (Suomessa esimerkiksi Suomen Akatemian Tieteen tila ja Vipunen-palvelun Scopus- ja Web of Science -tietokantoihin perustuvat bibliometriset raportit).
Tieteenalojen ja tutkimusaiheiden analysointia voi suorittaa myös itse ja helpoiten se onnistuu Scopus-tietokannan dataa hyödyntävän SciVal-analyysityökalun avulla. Aihealueiden tarkastelumahdollisuuden SciValissa tarjoavat viittausanalyysien avulla tunnistetut 96000 tutkimusaihealuetta ja 1500 aihealueklusteria. Ominaisuuden avulla voidaan tarkastella kunkin tutkimusaiheen osalta mm. ketkä tutkijat tai organisaatiot ovat julkaisseet aiheesta tai mitä julkaisukanavia on käytetty. Lisätietoa SciVal-analyysityökalusta Kansallisessa julkaisumetriikkaoppaassa.
Tieteenaloja ja tutkimusaiheita analysoidessa on tärkeää ottaa huomioon tieteenalojen julkaisu- ja viittauskäytäntöjen erot. Keskeisiä eroja ovat yhteisjulkaisujen yleisyyden ja julkaisujen keskimääräisen tekijämäärän vaihtelu sekä keskimääräisen julkaisutahdin ja viittauskertymien erot. Tieteenalojen välillä on eroa myös siinä, kuinka hyvin analyyseissä käytettävät viittaustietokannat kattavat julkaisutoimintaa
Julkaisukanavien analysointia voidaan suorittaa monesta tarpeesta. Suomessa julkaisukanavien analysointi on keskeistä kansalliselta tasolta lähtien, sillä julkaisutoiminnan laadunarviointia tukevaa Julkaisufoorumi-luokitusta hyödynnetään ministeriön yliopistoille toteuttaman rahanjaon yhteydessä. Julkaisufoorumin etuna on sen kattavuus. Luokituksessa otetaan huomioon eri tieteenalojen julkaisukäytäntöjen erityispiirteet. Julkaisukanavien tasoluokitus sisältää niin lehtiä, kirjasarjoja, konferensseja kuin kirjakustantajiakin. Julkaisufoorumi-portaali pyrkii kattamaan kaikki suomalaisissa tutkimusorganisaatioissa käytetyt vertaisarvioidut julkaisukanavat sekä tieteelliset kustantajat. Lisätietoa Julkaisufoorumi-luokituksesta Kansallisessa julkaisumetriikkaoppaassa.
Julkaisufoorumi-luokituksen lisäksi eri julkaisukanavien analysoinnissa korostuu julkaisumetriikan näkökulmasta lehtien analysointi, sillä niiden osalta on tarjolla kattavimmin erityisesti viittausmääriin perustuvaa metriikkaa. Kansallisessa julkaisumetriikkaoppaassa on kuitenkin lyhyesti avattu myös artikkelien, kirjojen ja konferenssien analysointia (ks. linkit alla).
Lisätietoa aiheesta:
Lehtien analysointi Kansallisessa julkaisumetriikkaoppaassa.
Artikkelien analysointi Kansallisessa julkaisumetriikkaoppaassa.
Kirjojen analysointi Kansallisessa julkaisumetriikkaoppaassa.
Konferenssien analysointi Kansallisessa julkaisumetriikkaoppaassa.
Lehtien arvioinnissa käytettävät indikaattorit Kansallisessa julkaisumetriikkaoppaassa.
Julkaisukanavien analyysiin käytetyt työkalut (Oulun yliopisto)
Lehtien arvioinnissa käytettävät menetelmät kertovat lehden keskimääräisestä näkyvyydestä. Erityisesti viittausmääriin perustuvia indikaattoreita tulee käyttää varoen, ja huomioida että tieteenala- ja julkaisutyyppien välisen vaihtelun vuoksi ne eivät sovellu yksittäisen artikkelin, tutkijan tai tutkimusorganisaation arviointiin.
JUFOn tasoluokituksia käytettäessä on pidettävä mielessä, että luokitukset on tarkoitettu yliopistojen suurten julkaisumäärien keskimääräisen laadun tarkasteluun.
Impact factor- ja muiden vastaavien viittausmääriin perustuvien indikaattorien ongelmallisuus on nostettu esille jo DORA-julistuksessa 2012. Julistuksessa kiinnitettiin huomiota siihen, että Impact Factor –luvut kehitettiin alun perin lehtihankintojen valinnan apuvälineeksi, ei lehtien tai artikkelien tieteellisen laadun arviointiin.
Analysoinnin kohteisiin liittyvää sisältöä Kansallisessa julkaisumetriikkoppaassa
Tämän oppaan lähteenä on käytetty kansallisesti alan asiantuntijoiden yhteistyönä tuotettua Kansallista julkaisumetriikkaopasta (KJMO).
Tämä teos on lisensoitu Creative Commons Nimeä-JaaSamoin 4.0 Kansainvälinen -lisenssillä.
