Tieteellisiin julkaisuihin pohjautuva arviointi: Määrälliset arviointimenetelmät

Määrälliset arviointimenetelmät

Lehtien arviointi määrällisten menetelmien avulla perustuu joko niiden käyttäjä- tai muihin tilastoihin tai niiden vaikuttavuuden arviointiin viittaustietojen perusteella.

Määrällisten lehtien arviointimenetelmien hyviä puolia ovat objektiivisuus ja aineiston helppo saatavuus. Ongelmattomia ne eivät kuitenkaan ole. Niiden tulokset ovat usein vaikeasti tulkittavia, koska ne eivät suoraan mittaa laatua. Aina ei myöskään ole helppoa selvittää, miten eri indikaattorit on laskettu ja millaisiin viittaustietoihin ne perustuvat. Viittaustiedot sisältävät myös monenlaisia virheitä ja niitä voidaan tarkoituksellisesti manipuloida. Lehtien vertailu eri tieteenalojen välillä ei myöskään ole mahdollista, koska eri alojen julkaisu- ja viittauskäytännöt poikkeavat toisistaan.

Lehden levikki ja käyttötilastot

Suuri levikki ja lukijoiden runsaus ilmentää lehden laatua ja tärkeyttä omalla alallaan.

Lehden tilausten lukumäärä ilmentää kuitenkin muutakin kuin vain sen laatua, koska osa lehdistä tulee kaikille sitä julkaisevan tieteellisen seuran jäsenille ja koska lehden tilaushinta ja saatavuus vaikuttavat myös sen tilausmääriin.

Tieteellisiä lehtiä luetaan paitsi oman tutkimuksen tarpeisiin, myös pelkästä mielenkiinnosta ja halusta seurata tieteen kehitystä laajemmin. Tieteellisiä lehtiä lukevat myös sellaiset henkilöt, jotka eivät itse julkaise niissä, kuten lääkärit, jotka eivät tee tutkimusta. Siksi lehtien lukemisen tarkastelu voisi antaa niiden asemasta erilaista tietoa kuin niiden saamien viittausten tarkastelu.

Lehden lukemista on vaikea arvioida tarkasti painetuista lehdistä. Joistakin tietokannoista on mahdollista saada tietoa lehden artikkelien latausmääristä.

Lukemisen ja viittausten suhdetta ei ole kovin paljon tutkittu. Lääketieteen alan lehtien lukemisen ja niiden saamien viittausten lukumäärien vastaavuutta tutkittaessa on havaittu, että lehtiä, joihin viitataan paljon, myös luetaan paljon.

Lehteen tarjottujen artikkelien hyväksymis- tai hylkäysprosentti

Lehtiä, joihin tarjotaan paljon käsikirjoituksia ja joilla on korkea hylkäysprosentti, pidetään tasokkaina. Lehdet ilmoittavat usein käsikirjoitusten hyväksymis- tai hylkäysprosentteja www-sivuillaan tai painetuissa lehdissä. Nämä luvut ovat kuitenkin melko epäluotettavia lehtien keskinäistä vertailua varten, koska niiden laskutavat vaihtelevat eri lehdissä. Lehdet hylkäävät käsikirjoituksia myös muista syistä kuin tieteellisten heikkouksien vuoksi, mm. siksi, etteivät ne ole lehden linjaan sopivia. Hylkäysprosentit eivät myöskään ole pysyviä, vaan voivat vaihdella melko nopeastikin. Lehdet voivat myös ilmoittaa todellista korkeampia hylkäysprosentteja houkutellakseen siten tasokkaita käsikirjoituksia.

Hyväksymisprosentin ja muiden lehden laatua arvioivien kriteerien välillä on havaittu alhainen korrelaatio johtamista käsittelevissä taloustieteen lehdissä. Muilla tavoin laadukkaiksi arvioiduissa lehdissä hyväksymisprosentti vaihteli suuresti n. 10 % - 75 % välillä.
Tutkimuksissa on selvitetty artikkeleiden hylkäämisen syitä ja hylkäämisprosentteja. Hylkäämisprosenttien on havaittu vaihtelevan aloittain ja saman alan lehtien kesken. Esimerkiksi fysiikassa hylkäämisprosentti on vaihdellut välillä 19-35 %, historiassa se on ollut 60-90 %, lääketieteessä 48-67 % ja sosiologiassa 59-87 %. Hylkäämisen perusteluina on mainittu lukuisia syitä: ei sopiva lehden kannalta, ei uutta tietoa, ei tärkeästä kysymyksestä, teoreettiset ja käsitteelliset heikkoudet, metodiset ongelmat, havaintojen ja tulosten löysä tulkinta, puutteellinen kirjallisuuskatsaus sekä tilastollisen käsittelyn virheet jne.

Lehteä indeksoivat tietokannat

Lehden vaikuttavuutta lisää se, että se indeksoidaan useisiin tietokantoihin, jolloin lehden artikkelien saavutettavuus on hyvä. Lehden laatua mittaa kuitenkin ennen kaikkea se, että lehti indeksoidaan sen edustaman tieteenalan keskeisissä tietokannoissa. Ulrichsweb-tietokanta sisältää tiedon siitä, mitkä tietokannat indeksoivat tieteellisiä lehtiä.

Yleisesti yhtenä lehden laatukriteerinä pidetään sitä, että lehti kuuluu Thomson Reutersin tietokantaan. Se, kuuluuko lehti Thomson Reutersin tietokantaan vai ei, voi vaikuttaa suurestikin lehden näkyvyyteen ja sitä kautta sen vaikuttavuuteen. On havaittu. että lehden IF-arvo kasvaa erityisen voimakkaasti muutama vuosi sen jälkeen kun se on lisätty Thomsonin tietokantaan. Tämä kertoo paitsi siitä, että Thomson valitsee laadukkaiksi arvioimiaan lehtiä tietokantaansa, myös siitä, että lehti saa Thomsonin tietokantaan kuuluessaan enemmän huomiota ja siihen tarjotaan laadukkaampia artikkeleita.

Elektronisten lehtien arviointi

E-lehtiä voidaan arvioida painetuista lehdistä poiketen tarkastelemalla niiden linkitystä, www-sivujen kävijämääriä ja latauskertojen määrää. E-lehdistä ei aina myöskään saada kaikkia samoja arviointitietoja kuin painetuista lehdistä. OA-lehdistä ei esimerkiksi saa tilaajatietoja.

Tyypillisesti e-lehtiä arvioidaan tarkastelemalla niiden linkitystä muihin e-lehtiin tai www-sivuihin eli elektronisia viittauksia (web citations).

E-lehtien käytöstä saadaan tarkempaa tietoa kuin painetuista lehdistä, joissa yleensä tarkastellaan vain niiden saamia viittauksia jolloin lukeminen ja muunlainen käyttö jää havaitsematta. E-lehdistä voidaan laskea lehden www-sivuilla vierailleiden käyttäjien lukumäärä, mutta myös artikkelikohtaiset käyttäjämäärät.

PDF- ja PostScript-muodossa saatavista e-lehdistä voidaan lisäksi laskea latauskerrat, mikä erottaa selailijat ja satunnaiset vierailijat niistä, jotka ovat todella kiinnostuneita artikkeleista.

Elektronisten lehtien kohdalla arviointi painottunee tulevaisuudessa enemmän yksittäisten artikkelien arviointiin altmetriikan avulla kuin lehtien arviointiin.