Tieteellisiin julkaisuihin pohjautuva arviointi: Työkaluja lehtien arviointiin

Journal Citation Reports

Journal Citation Reports  on maksullinen tietokanta, johon yliopiston verkon ulkopuolella pääsee yliopiston käyttäjätunnuksilla.

Clarivate Analytics julkaisee Web of Science -tietokantaan kuuluvien lehtien Impact Factor -arvot vuosittain Journal Citation Reports-tietokannassa (JCR). JCR:stä saa myös muita viittauksiin perustuvia indikaattoreita, joilla arvioidaan johtavia tieteellisiä lehtiä ja niiden vaikuttavuutta tiedeyhteisössä. JCR:sta tutkija voi hakea alansa vaikuttavimpia ja arvostetuimpia lehtiä.

JCR:n uusi painos ilmestyy vuosittain touko-kesäkuussa.

 Haun voi rajata social science- tai science -editioniin (Science Citation Index Expanded (SCIE) and Social Sciences Citation Index (SSCI),  ja haetun lehtilistan voi järjestää useiden lukujen (indeksien) mukaan:

  • Impact Factor (saatavissa sekä kahden että viiden vuoden viittausikkuna)
  • Immediacy index
  • Cited half life
  • Eigenfactor
  • Article Influence
  • lehdessä olevien artikkeleiden lukumäärä
  • lehden saaman kokonaisviittausmäärä

Indikaattorien valinta JCR:ssä/Customizing indicators 

Lisää indikaattoreista sivulta Arvioinnin indikaattoreita.

JCR arvioi vain tasokkaiksi määrittelemiään lehtiä. Arvioitavien lehtien joukko vaihtelee vuosittain. Tietokannasta poistetaan lehtiä, joiden ei enää katsota kuuluvan alansa johtaviin julkaisuihin. Vastaavasti uusia lehtiä lisätään tieteen painopisteiden muuttuessa ja uusien erikoisalojen syntyessä. Thomson Reuters määrittää lehtien tasokkuutta tarkastelemalla lehtien julkaisemiskäytäntöjä, toimituskuntaa, kansainvälisen levikin laajuutta ja sen saamien viittausten lukumäärää. Thomson Reutersin lehtien valintakriteerit ja tietokannan sisältämien lehtien luettelo ovat julkisia. Lue lisää.

JCR:n lehdet on ryhmitelty aloittain ns. aihealueisiin (subject category). Jokainen lehti kuuluu ainakin yhteen aihealueeseen, mutta se voi kuulua myös useampaan. Lehtien ryhmittely perustuu lehtien välisiin kaksisuuntaisiin viittaussuhteisiin, jotta subjektiiviset vaikutukset, kuten lehden nimen vaikutus, vähenisivät. Osa JCR:n sisältämistä lehdistä on ns. cited-only -lehtiä. Ne voivat olla lehtien aikaisempia nimekkeitä tai lehtiä, jotka on poistettu JCR:sta tai lehtiä, joita ei indeksoida Thomson Reutersin tietokantoihin. Näillä lehdillä ei ole citing Journal -tietoja eikä niistä ole myöskään saatavissa lehdensisäisiä viittaustietoja (self-citations). Tämä tulee ottaa huomioon lehtien arvioinnissa, koska lehden sisäiset viittaukset voivat muodostaa merkittävän osan lehden saamista kaikista viittauksista.

JCR training

JCR quick tour

Journal profile 

Ulrichsweb - Global Serials Directory

Ulrichsweb sisältää tietoja kaikentyyppisistä nykyisin ilmestyvistä ja/tai  lakkautetuista, aikakauslehdistä, tieteellisistä lehdistä, sanomalehdistä ja  sarjajulkaisuista. Ulrichswebin sisältö on globaalia.  Tietokantaa päivitetään viikoittain. Nimi Ulrich's tulee sen perustajan Carolyn Farquhar Ulrichin mukaan, joka oli New York Public Libraryn kausijulkaisuosaston johtaja. Ensimmäinen painettu Ulrich's julkaistiin vuonna 1932. Lue lisää Ulrichswebistä.

Ulrichswebin hakumahdollisuuksia

Ulrichsweb tarjoaa monenlaisia hakuominaisuuksia. Pikahaulla voi hakea julkaisua sen nimellä, nimen osalla, ISSN-numerolla, avainsanalla tai aiheen mukaan. Mahdollista on hakea julkaisuja myös esim. aihealueen ja/tai  julkaisumaan mukaan. Jokaisesta julkaisusta saa kattavasti yksityiskohtaista tietoa.  Lue lisää Ulrichswebin hakuominaisuuksista.

Kuvassa Genome Research-lehden tietoja.  Tietueesta käy ilmi mm., onko lehti referoitu ja mihin tietokantoihin sitä indeksoidaan.
Kuvan lähde Ulrichsweb <http://ulrichsweb.serialssolutions.com/title/1407480114611/196284>. Viitattu 8.8.2014

Open Access -lehdet Ulrich's -tietokannassa

Tietokanta sisältää kaikki DOAJ-tietokantaan (Directory of Open Access Journals) kuuluvat Open Access lehdet ja lisäksi muita OA-julkaisuja.

Open Access -lehtien hakeminen. OA-lehdet löytyvät, kun haun  rajauksen Price Type -kohdassa valitsee vaihtoehdon free.
Kuvan lähde: Ulrichsweb <http://ulrichsweb.serialssolutions.com> 24.6.2013.

Eigenfactor

Vapaasti käytettävissä osoitteessa http://www.eigenfactor.org.

Eigenfactor on Washingtonin yliopiston biologian laitoksen Bergstromin laboratorion ylläpitämä tutkimusprojekti, jonka ilmainen palvelu arvioi luonnontieteen ja yhteiskuntatieteen alan lehtiä PageRank-algoritmiin perustuvilla indikaattoreilla Eigenfactor (EF) ja Article Influence (AI). Lue lisää Eigenfactorista. 

EF-arvot lasketaan viiden vuoden viittaustietojen perusteella ja laskemisessa otetaan huomioon myös eri alojen erilaiset viittauskäytännöt, mikä antaa mahdollisuuden myös eri alojen lehtien väliseen vertailuun. EF-arvoa laskettaessa otetaan huomioon artikkelien saamat kaikki viittaukset, eikä vain viittauksia rajoittuneesta lehtijoukosta. Tieteellisten lehtien lisäksi laskennassa otetaan huomioon myös viittaukset sanomalehtiartikkeleissa, väitöskirjoissa, kirjoissa ym. Viittauksia painotetaan eri tavoin sen mukaan, kuinka vaikuttavista lehdistä viittaukset ovat peräisin. Eigenfactor-sivustolla on myös Thomson Reutersin IF-arvot, joten indikaattoreita voi helposti verrata toisiinsa. Lue lisää indikaattoreista.

Eigenfactor.org käyttää viittaustietojen lähteenä Thomson Reutersin Journal Citation Reportsia (JCR), jonka viittaustiedot perustuvat Web of Science -tietokantaan. Eigenfactor.org sisältää kattavat viittaustiedot vain JCR:n lehdistä. Näiden lisäksi Eigenfactor-arvot on saatavissa noin 100 000 muulle julkaisulle. Nämä ovat julkaisuja, joihin JCR:n sisältämissä lehdissä on viitattu. Lehdet on jaettu luokkiin Eigenfactorin oman luokkajaon mukaisesti, joka perustuu Eigenfactorin tekemään tieteen rakenteen kartoittamiseen tutkimalla tieteenalojen välistä verkostoa ja tekemällä havaintoja siitä, miten tutkijat todellisuudessa viittaavat kirjallisuuteen. Eri luokat ovat hyvin erikokoisia, esimerkiksi molekyylibiologia sisältää genetiikan, kehitysbiologian, mikrobiologian ja biokemian. Eigenfactorin lehtiluokat ovat erilliset eli yksi lehti voi kuulua vain yhteen kategoriaan, kun Thomson Reutersin luokituksessa lehti voi kuulua useaan ryhmään. Valittavana on myös Thomson Reutersin JCR:n lehtiluokittelu. Tiedot lehtien tilaushinnoista ovat peräisin Journal Cost-Effectiveness 2013-palvelusta.

Eigenfactorin dynaamiset kartat (motion charts) mahdollistavat aihealueen lehtien tarkastelun.
Tarkennetussa haussa lehtiä voi hakea useilla kriteereillä.
Välilehdeltä Mapping science  saa mm. listauksia aihealueiden huippulehdistä (top 10 journals in the field).

Lue lisää EF-indikaattorista.
Lue lisää AI-indikaattorista.

Eigenfactor-sivustolla on kuvattu tieteenalojen välisiä suhteita karttojen avulla.  Kartta yksinkertaistaa ja korostaa säännönmukaisuuksia informaation kulussa tieteen verkostossa.  Tarkempi kuvaus karttojen tuottamisesta artikkelissa Rosval, M. & Bergstrom, C.T. (2008).  Maps of random walks on complex networks reveal community structure.

Interaktiivisen kartan avulla tieteenalojen väliset suhteet havainnollistuvat hyvin. Kuvan kartta esittää lääketieteen suhdetta sen lähitieteisiin. 
Kuvan lähde: Eigenfactor <http://www.eigenfactor.org> 15.9.2009.

SCImago Journal Rank

SJR:n Journal rankings -arvioinnissa mukana olevat lehdet on luokiteltu aloittain 27 luokkaan ja edelleen 313 aihealueeseen. Arviointi perustuu Scopus-tietokannan viittaustietoihin vuodesta 1996 alkaen.

Journal Rankings -valikosta saa erilaisia listauksia lehdistä. Listoja saa aloittain ja maittain ja tulokset voi järjestää usean indikaattorin mukaan.

Esimerkissä on arvioitu alan Engineering ja aihealueen Electrical and Electronic Engineering lehtiä, tarkasteluvuosi on 2015 ja tulos on järjestetty SJR-indikaattorin arvon mukaan. SJR-arvon alapuolella oleva kuvake kertoo, mihin kvartaaliin lehti kuuluu tarkasteltavassa aihealueessa.
Kuvan lähde: SCImago Journal & Country Rank <http://www.scimagojr.com/>1.8.2016

SCImago antaa yksittäiselle lehdelle paljon erilaisia indikaattoreita ja näyttää myös niiden trendit.  Kuvan lähde: SCImago Journal & Country Rank <http://www.scimagojr.com/>1.8.2016

CWTS Journal Indicators

Vapaasti käytettävissä osoitteessa http://www.journalindicators.com/.

Journal Indicators on lehtien arviointityökalu, jonka tuottaa bibliometrisiin analyyseihin erikoistunut Leidenin yliopiston instituutti Centre for Science and Technology Studies (CWTS). CWTS tuottaa tieteen arviointiin ja kartoittamiseen liittyviä indikaattoreita Scopus-tietokannan datasta. SNIP (Source Normalized impact per Paper) kuvaa lehden keskimääräistä artikkelikohtaista vaikuttavuutta ottamalla huomioon tieteenalojen erityispiirteitä. RIP (Raw Impact per Publication)  puolestaan on samankaltainen indikaattori kuin Impact Factor, mutta menetelmässä käytetään kolmen vuoden viittausikkunaa. Lue lisää.

Edellisten lisäksi Journal indicators -palvelusta saa  SNIP- ja RIP-indikaattoreiden luotettavuutta heijastavan ns. stability interval -palkin.  Mitä lyhyempi palkki on, sen luotettavampia ovat SNIP ja RIP. Ja päin vastoin: leveä palkki heijastaa suurta vaihteluaväliä ja epäluotettavuutta. 

Aihealueen  Social sciences - education lehtiä järjestettynä SNIP-arvon mukaan. Lehdet voi järjestää myös julkaisujen lukumäärän tai  RIP-indikaattorin mukaan tai sen mukaan, kuinka paljon lehdessä on itseviittauksia. Yksittäisen lehden vuosittaiset tiedot saa klikkaamalla lehden nimeä.
Kuvan lähde: CWTS <http://www.journalindicators.com/>6.8.2014.

CWTS on myös kehittänyt Web of Science -tietokannan dataan perustuvan yliopistojen rankingmenetelmän, joka on saatavissa osoitteessa http://www.leidenranking.com/.  Vuoden 2014 Leiden ranking.

Publish or Perish

Publish or Perish (PoP) on Anne-Wil Harzingin www-sivuilta saatava ohjelma, joka tekee viittausanalyysin Google Scholarin dataan perustuen. PoP on ladattava omalle koneelle ja siitä on saatavissa Windows- ja Linux-versiot. PoP:llä voi arvioida tutkijoita (author impact) ja lehtiä (journal impact). Hakutulokset voi halutessaan siirtää myös muihin ohjelmiin kuten exceliin.

Lue lisää aiheesta:  PoP handbook

PoP:n tulosten luotettavuus riippuu Google Scholarin tarkennetun haun viittaustietojen luotettavuudesta. PoP:n  tulokset poikkeavat yleensä paljon   Web of Sciencen tai Scopuksen  antamista tuloksista. Google Scholar rajoittaa hakutuloksensa tuhanteen viitteeseen. Hakutulos tuottaa näin ollen maksimissaan tuhat eniten viitattua viitettä, koska tulos järjestetään viittausten lukumäärän mukaan. Laajan sisältönsä vuoksi Google Scholar antaa  kuitenkin kuvan  julkaisujen yhteiskunnallisesta vaikuttavuudesta toisin  kuin Web of Science tai Scopus, jotka ovat tietokantoja nimenomaan tieteellisten viittausten hakemiseen. PoP:n laskemiin viittausmääriin tulee siis suhtautua kriittisesti, sillä - kuten PoP hanbookissakin todetaan - PoP hakee/laskee monia asioita "up to a point" -tarkkuudella eli tiettyyn rajaan asti.

PoP:n käyttöliittymässä on tiettyjä rajoituksia. Se ei esimerkiksi sisällä aihealuevalikkoa. Lisäksi tarkka affiliaatio-haku ei ole mahdollista. Affiliaatiota voi määritellä General Search-haussa  lisäämällä affiliaatioon liittyviä sanoja  All of the words -kenttään. Haku ei kuitenkaan ole tarkka eikä kattava. PoP:ä ei näin ollen voi suositella kattaviin affiliaatio-hakuihin. Author-haussa suositeltavaa on käyttää sukunimen lisäksi vähintään yhtä etunimen kirjainta. Nimet kannattaa kirjoittaa lainausmerkkien sisään. Useampaa authoria haettaessa boolen operaattori and ei toimi vaan nimet kannattaa kirjoittaa esim. muotoon "A Harzing" "NG Noorderhaven". POP:n tuloksista ei voi automaattisesti poistaa itseviittauksia vaan ne tulee poistaa manuaalisesti.

PoP:n asetuksia (Tools - Preferences) kannattaa käydä muuttamassa omia tarpeita ajatellen, jos POP on aktiivisessa käytössä.

PoP laskee seuraavia mm. lukuja:

  • Total number of papers - julkaisujen kokonaislukumäärä
  • Total number of citations - viittauksien kokonaislukumäärä
  • Average number of citations per paper - kaikkien julkaisujen yhteisviittausmäärä jaettuna julkaisujen lukumäärällä
  • Average number of citations per author - viittauksien lukumäärä per kirjoittaja
  • Average number of citations per author per year - viittauksien lukumäärä per kirjoittaja per vuosi
  • Average number of papers per author - kirjoittajien keskimääräinen julkaisumäärä
  • Average number of authors per paper - kirjoittajien määrä per julkaisu
  • Hirsch's h-index - H-indeksi

Lue lisää Arvioinnin indikaattoreista.