Mielipiteeseen perustuvat arvioinnit tarkoittavat asiantuntemukseen perustuvaa lehtien arviointia, jota yliopistot ja laitokset tekevät erilaisia tarkoituksia varten, esimerkiksi lehtitilauksista päätettäessä. Erityisen hyödyllisiä asiantuntija-arviot ovat sellaisten lehtien kohdalla, joilla ei ole Impact Factor -arvoja.
Asiantuntija-arviot ovat työläitä. Vaikka monet tutkijat pystyvät nimeämään oman alansa johtavia lehtiä, on satojen lehtien arviointi jo hyvin vaikeaa. Asiantuntija-arvioon perustuvat lehtilistat ovatkin subjektiivisia ja tietyn lehden saamat arviot voivat vaihdella eri listoissa. Ne antavat kuitenkin arvokasta tietoa lehden laadusta ja täydentävät tilastotietoihin perustuvia määrällisiä mittareita.
Julkaisufoorumi (JuFo) on tieteellisten julkaisukanavien laadullinen, asiantuntija-arviointiin perustuva arviointijärjestelmä. Arviointi tapahtuu tieteenalakohtaisissa paneeleissa. JuFoa käytetään bibliometrisen arvioinnin rinnalla julkaisujen arvioinnissa ja se soveltuu tutkimusorganisaatioiden, tutkimusalojen tai koko maan julkaisutoiminnan arviointiin. Sen sijaan yksittäisen tutkijan arvioinnissa JuFoa ei tule käyttää. JuFoa käytetään opetus- ja kulttuuriministeriön asettamassa yliopistojen rahoitusmallissa julkaisutoiminnan kannustimena.
Hae julkaisukanavien Jufo-tasoja.
Tietoa JuFo:ssa käytettävistä julkaisukanavien luokitteluperusteista.
JuFoa ylläpitää Tieteellisten Seurain Valtuuskunta, TSV.
Lue lisää: Otto Auranen, Yrjö Leino, Olli Poropudas & Janne Pölönen: Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina: Web of Science -aineistoon perustuva vertailu (PDF).
Journal Quality List sisältää arviointitietoja taloustieteen ja johtamisen alan lehdistä. Anne-Wil Harzing on ylläpitänyt listaa vuodesta 2000 lähtien. Listaa päivitetään jatkuvasti. Lehdet on jaettu luokkiin aloittain.
European Science Foundationin toteuttama European Reference Index for the Humanities (ERIH) on hanke, joka julkaistiin vuosina 2007-2008. Vuonna 2014 ERIH laajentui kattamaan myös yhteiskuntatieteitä ja sitä yllä pitää NSD ja se on nimeltään ERIH PLUS.
Financial Times -lehden FT50-listan lehtiä käytetään businesskoulujen rankinglistoissa.
Lehteen julkaistaviksi tarjottujen käsikirjoitusten asiantuntijoiden suorittaman vertaisarvioinnin eli referee-käytännön katsotaan osoittavan lehden laatua. Vertaisarviointi pyrkii takaamaan, että tutkijat noudattavat omalla alallaan hyväksyttyjä käytäntöjä. Se myös estää perusteettomien väittämien esittämisen ja virheelliset tulkinnat.
Suomessa on käytössä kirjojen ja artikkeleiden vertaisarviointitunnus.
Tietokannoista Web of Science- ja Scopus indeksoivat artikkeleita vain vertaisarviointia käyttävistä lehdistä.
Eri lehdet toteuttavat vertaisarvioinnin eri tavoin. Tavallisesti vertaisarviointi tehdään nimettömästi siten, että artikkelin kirjoittaja ei tiedä arvioijan henkilöllisyyttä, mutta arvioija tietää kirjoittajan henkilöllisyyden.
Vaikka vertaisarviointia pidetäänkin yleensä hyödyllisenä, se ei kuitenkaan ole ongelmaton ja sitä on kritisoitu. Vertaisarviointiin liittyviä ongelmia ovat ennen kaikkea julkaisuprosessin hidastuminen ja arvioinnin vääristyneisyys. Arvioija voi syrjiä esimerkiksi naiskirjoittajia ja pienissä yliopistoissa työskenteleviä tutkijoita tai suosia omia mielipiteitään tukevia tulkintoja. Vertaisarvioinnissa ei myöskään yleensä havaita käsikirjoituksen vakavia virheitä ja puutteita, vaan ne tulevat ilmi vasta artikkelin julkaisemisen jälkeen. Lisäksi arviointi on subjektiivista ja arviointiprosessista puuttuu vastuullisuus, koska se tehdään nimettömänä. Vertaisarviointi voi myös mahdollistaa plagioinnin, jolloin arvioija käyttää väärin käsikirjoituksen julkaisematonta aineistoa. Ongelmat vertaisarvioinnissa ovat kuitenkin melko harvinaisia ja keskeisempi kysymys onkin sen vaikuttavuus artikkelien laatuun. Vertaisarvioinnin vaikuttavuutta ei ole kovin paljon tutkittu, ja tutkimuksia on tehty lähinnä biolääketieteen alan lehdistä.
Vertaisarvioinnin ongelmien välttämiseksi osa lehdistä käyttää vaihtoehtoisia vertaisarviointimenetelmiä.
Esimerkki avoimesta vertaisarvioinnista: Biology Direct -lehti käyttää avointa vertaisarviointia, jossa artikkelin kirjoittaja valitsee kolme arvioijaa lehden toimituskunnasta . Arviointiraportit julkaistaan myös lukijoiden nähtäviksi.
Esimerkki: arXiv.org käyttää julkaisemisen jälkeen tapahtuvaa vertaisarviointia, jossa käsikirjoitukset ovat kaikkien luettavissa ja kommentoitavissa.
Jotkin lehdet antavat kaikkien halukkaiden kommentoida lehdessä julkaistuja artikkeleita niiden julkaisemisen jälkeen Internetissä keskusteluin, joihin myös artikkelien kirjoittajat osallistuvat (Open peer commentary).
Ulrichsweb-palvelusta voi tarkistaa, onko lehti vertaisarvioitu. Lisäksi aina kannattaa tarkistaa asia lehden sivuilta.
Joillakin lehdillä on suhteellisen pysyvä arvovaltainen maine ja kansainvälinen tunnettuus laajemminkin kuin vain sen edustaman tieteenalan tutkijoiden piirissä. Esimerkkejä tällaisista ovat mm. Nature, Science ja JAMA. Lehden maine voi perustua myös sitä julkaisevan yhteisön, kustantajan tai päätoimittajan maineeseen, eikä se siksi aina kerro lehden laadusta tai vaikuttavuudesta. Julkaisijan tai kustantajan maine on tärkeä arviointiperuste etenkin uusille lehdille.
Vaikka lehden maine onkin melko pysyvä, vaihtelee se kuitenkin jonkin verran ajan myötä, eikä siksi ole kovin hyvä arvioinnin peruste. Toisaalta tarkasteltaessa lehden maineen ja vaikuttavuuden suhdetta, havaitaan, että sekä erittäin huono maine että erittäin hyvä maine ovat vaikuttavuusmittareiden mukaan liioiteltuja. Tilanne selittyy ns. Matteus-ilmiöllä, jolloin valmiiksi hyvämaineiset lehdet saavat kunniaa ja näkyvyyttä enemmän kuin ne todella ansaitsisivat ja päinvastoin. Lehden hyvä maine otetaan yleensä annettuna, eikä sitä juuri arvioida uudelleen.
Tieteellisen lehden säilymisestä ja merkityksestä elektronisen julkaisemisen aikakaudella on esitetty erilaisia näkemyksiä, mutta se näyttää kuitenkin säilyttävän asemansa. Lehti on yhä tärkeä, koska sen nimi kertoo lukijalle, mitä sen sisällöltä ja laadulta voi odottaa. Tärkeää taas ei enää ole, että lehti ilmestyy erillisinä numeroina, vaan yksittäisiä artikkeleita voidaan julkaista silloin kun ne valmistuvat.