Tieteellisiin julkaisuihin pohjautuva arviointi: Muita vaikuttavuusindikaattoreita

Muita vaikuttavuusindikaattoreita

Thomson Reutersin Journal Impact Factorin suurimpia puutteita on, ettei se ota huomioon artikkelin saamien viittausten laatua ja eri tieteenalojen välisiä eroja viittauskäytännöissä. Näitä puutteita korjaamaan on viime aikoina kehitetty useita uusia lehtien vaikuttavuusindikaattoreita. Uudet indikaattorit arvioivat viittausten laatua sen mukaan, kuinka laadukkaissa lehdissä viittaavat artikkelit on julkaistu. Arviointi perustuu yleensä PageRank-algoritmiin, jonka avulla voidaan analysoida artikkelien ja niiden välisten viittausten muodostamaa verkostoa ja näin arvioida viittausten suhteellista painoarvoa. PageRank-algoritmiin perustuvat indikaattorit eivät ole yhtä yksinkertaisia ja helposti ymmärrettäviä kuin IF, eikä niillä ole samanlaista vakiintunutta asemaa kuin IF:llä. Uudet indikaattorit ovatkin vielä kehitysvaiheessa ja niiden asema ja hyödyllisyys arvioinnissa jää nähtäväksi. Kuitenkin ne tuovat esille monia arviointiin liittyviä epäkohtia ja kilpailua alalle, jota on aikaisemmin hallinnut vain yksi kaupallinen yritys.

Article Influence, AI

Lehden Article Influence -arvo ilmoittaa lehdessä julkaistujen artikkelien keskimääräisen vaikuttavuuden viiden julkaisemista seuraavan vuoden aikana. Article Influence -arvo on vertailukelpoinen Thomson Reutersin Impact Factor -arvon kanssa.

Lehtien Article Influence -arvoja on saatavissa osoitteesta http://www.eigenfactor.org/. Vuoden 2007 painoksesta lähtien Journal Citation Reports julkaisee arvioimiensa lehtien Article Influence -arvot osoitteessa http://www.isiknowledge.com/JCR.

Lehden Article Influence -arvo lasketaan jakamalla lehden Eigenfactor-arvo siinä julkaistujen artikkelien lukumäärällä.
Tarkemmat tiedot indikaattorin laskemisesta saa osoitteesta http://www.eigenfactor.org/methods.pdf.

Eigenfactor, EF

Tieteelliset julkaisut ja niiden väliset viittaukset muodostavat verkoston, jota voidaan käyttää lehtien vaikuttavuuden arvioinnissa. EF-arvon laskeminen perustuu PageRank-algoritmiin, joka ottaa huomioon lehtien viittausaineiston erityispiirteet, ennen kaikkea sen, kuinka paljon lehdet yleensä sisältävät viittauksia. Viittauksia painotetaan eri tavoin sen mukaan, kuinka vaikuttavista lehdistä viittaukset ovat peräisin. Lehti on sitä vaikuttavampi, mitä useammin siihen viitataan lehdissä, joilla on korkea EF-arvo. EF-arvon laskemisessa lehden vaikuttavuus saadaan jakamalla sen vaikuttavuusarvo lehden sisältämien viittausten lukumäärällä. Tämä korjaa lehtien välisistä viittauskäytäntöeroista aiheutuvaa lehtien välistä vaihtelua ja helpottaa eri aloja ja eri lehtityyppejä edustavien lehtien välistä vertailua. Esimerkiksi paljon viittauksia sisältävän review-artikkelin viittaus ei ole yhtä arvokas kuin viittaus tutkimusartikkelissa, jossa on vain vähän keskeisiä viittauksia. EF-arvoon lasketaan artikkelien saamat viittaukset myös muista lähteistä kuin tieteellisistä lehdistä, kuten viittaukset sanomalehtiartikkeleissa, väitöskirjoissa, kirjoissa ym.

Eigenfactor kuvaa lehden kokonaisvaikuttavuutta, eikä siten ole suoraan vertailukelpoinen Impact Factor -arvon kanssa, joka arvioi lehden vaikuttavuutta julkaistua artikkelia kohti keskimäärin. Eigenfactoria vastaava artikkelikohtainen indikaattori on Article Influence, joka on IF:n kanssa vertailukelpoinen.

Lehden Eigenfactor-arvo on additiivinen, lehtiryhmän Eigenfactor-arvo saadaan laskemalla yhteen ryhmään kuuluvien lehtien Eigenfactor-arvot.

Lehtien Eigenfactor-arvoja on saatavissa osoitteessa http://www.eigenfactor.org/. Vuoden 2007 painoksesta lähtien Journal Citation Reports julkaisee arvioimiensa lehtien Eigenfactor-arvot osoitteessa http://www.isiknowledge.com/JCR.

Eigenfactor-arvojen laskeminen on esitetty osoitteessa http://www.eigenfactor.org/methods.pdf

Eigenfactor-arvojen laskeminen kaavakuvana.

Eigenfactor verrattuna IF-arvoon

  • Eigenfactorin laskemisessa viittauksilla on erilaiset painotukset sen mukaan, kuinka korkea EF-arvo viittaavalla lehdellä on.
  • Eigenfactoriin lasketaan mukaan viittaukset viiden vuoden ajalta.
  • Eigenfactorin laskemisessa otetaan huomioon eri alojen erilaiset viittauskäytännöt, mikä näkyy lehtien sisältämien viittausten määrän vaihteluna. Tämä tehdään jakamalla tietyn lehden viittausten kautta toisiin lehtiin siirtämä vaikuttavuus tasaisesti kaikkien viittausten kesken, jolloin yhden viittauksen painoarvo on suuri silloin, kun viittauksia on vähän.
  • Eigenfactorin laskemisessa käytetty viittausten kokonaislukumäärä ei sisällä lehdensisäisiä viittauksia.
  • Eigenfactorin laskemisessa otetaan huomioon viittaukset laajemmasta lehtijoukosta kuin Thomson Reutersin lehtilista ja viittauksia otetaan huomioon myös muista aineistoista, kuten kirjoista ja väitöskirjoista.

H-indeksi lehtien arvioinnissa

H-indeksi on Impact Factorin vaihtoehto arvioitaessa lehtien vaikuttavuutta viittausaineiston perusteella. Se antaa karkean arvion lehden pitkän aikavälin tuloksellisuudesta. H-indeksin hyviä puolia IF:n verrattuna ovat sen vakaus ja tasapainoinen määrän ja laadun yhdistäminen, mikä vähentää review-artikkeleita julkaisevien lehtien yliarvostusta. H-indeksin arvoon ei vaikuta lehden muutaman artikkelin hyvin suuret viittausmäärät, koska se ei perustu artikkelien keskimääräiseen viittausten lukumäärään. Lehden julkaisemien artikkelien lukumäärä vaikuttaa jonkin verran sen H-indeksin arvoon. Paljon artikkeleita julkaiseva lehti saa todennäköisemmin suuren H-indeksin arvon kuin vähän artikkeleita julkaiseva, koska kaikki artikkelit ovat potentiaalisia viittausten kohteita. Vähän artikkeleita julkaiseva lehti ei yleensä saa korkeaa H-indeksin arvoa, vaikka suuri osa sen artikkeleista saisikin paljon viittauksia. H-indeksiä ei lasketa tietylle kiinteälle aikavälille, kuten IF, vaan se voidaan laskea mille tahansa aikavälille, esimerkiksi yhdelle tai viidelle vuodelle. Tämä antaa mahdollisuuden verrata toisiinsa lehtiä, jotka poikkeavat toisistaan siinä, kuinka nopeasti niiden artikkeleihin aletaan viitata. Kuitenkin myös H-indeksiä käytettäessä lehtien vertailu on syytä tehdä tieteenalakohtaisesti.

Publish or Perish laskee lehtien H-indeksin Google Scolarin viittausaineiston perusteella. Tämä antaa mahdollisuuden arvioida niiden lehtien vaikuttavuutta, jotka eivät sisälly Thomson Reutersin Web of Science -tietokantaan ja joille ei siten ole olemassa IF-arvoa. Google Scolarin Web of Sciencea laajempi viittausaineisto mahdollistaa myös sellaisten lehtien oikeudenmukaisen arvioinnin, joihin viitataan pääasiassa Web of Scienceen sisältymättömissä lähteissä, kuten kirjoissa ja Web of Scienceen kuulumattomissa lehdissä. Lisäksi lehtien H-indeksi on saatavissa SCImago Journal & Country Rank -sivustoilta.

Lehden H-indeksin arvo on h, jos h kappaletta sen artikkeleista on saanut vähintään h viittausta ja loput sen artikkeleista ovat saaneet vähemmän kuin h viittausta.

H-indeksin laskemisessa ei ole kiinteää viittausikkunaa, vaan viittausikkuna voidaan määritellä kuhunkin tilanteeseen sopivaksi. Lehden H-indeksiä laskettaessa viittausikkuna kannattaa yleensä määritellä lyhyemmäksi kuin lehden koko elinaika, koska tällainen H-indeksi suosii kohtuuttomasti kauan olemassa olleita lehtiä. H-indeksin hyviä puolia lehtien arvioinnissa on myös se, että sen avulla voidaan verrata toisiinsa myös monialaisia lehtiä, kuten Nature ja Science, tietyn alan lehtien kanssa ottamalla H-indeksin laskemiseen mukaan monialaisista lehdistä vain tarkasteltavaa alaa edustavat artikkelit. H-indeksi ei myöskään yliarvosta paljon review-artikkeleita julkaisevia lehtiä, kuten Impact Factor, koska tällaisissa lehdissä vuosittain julkaistavien artikkelien lukumäärä ei ole kovin suuri.