Rankinglistojen arviointiperusteet ovat erilaisia. Listojen metodologia, käytetyt indikaattorit ja indikaattorien taustalla oleva data (tietokanta) vaihtelevat, samoin indikaattorien painotus arvioinneissa. Tieteenalarangeissa tulee huomioida, että julkaisujen luokittelu tieteenaloihin ei ole täysin yhtenevä tietokannoissa kuten esimerkiksi Scopuksessa ja Web of Science-tietokannassa. Bibliometriikan lisäksi käytettyjä arviointiperusteita ovat mm. opiskelijoiden ja henkilökunnan suhdeluku, opetuksen laatu ja mainekyselyt. Organisaation sijoituksia eri listoilla ei tule verrata toisiinsa vaan vertailua tulee tehdä ainoastaan saman rankingin suhteen eri vuosina.
Rankinglistoja on myös kritisoitu paljon ja niihin tuleekin suhtautua kriittisesti. Helsingin yliopiston valtiotieteellisen tiedekunnan professori Heikki Patomäen (2019) artikkeli Rankingit ovat totuudenjälkeisen yhteiskunnan täydellinen ilmentymä on maino pohdinta kirjasta the Soul of a University (Bristol UP, 2018).
Osa rankinglistoista arvioi vain yliopistoja, osa yliopistojen lisäksi myös mm. tutkimuslaitoksia ja sairaaloita.
On aina suositeltavaa tutustua rankinglistojen metodologiaan. Tunnetuimpien listojen metodologiat:
Pelkästään bibliometriikkaan perustuvat rankingit:
Bibliometriikkaa ja muita arviointitapoja käyttävät rankingit:
Yliopistorankinglistojen lisäksi tieteenalarankingeja saa seuraavista:
Luettavaa:
SCimago/Scopus
JCR/Web of Science
Muita tietokantoja ja lähteitä
Yliopistorankingit Oulun yliopiston sivulla: mm. UOulun kansainväliset ja kansalliset sijoitukset rankinglistoilla eri vuosina
Rankinglistoista tunnetuin on Shanghai Ranking eli Academic Ranking of World Universities (ARWU), jota julkaisee ShanghaiRanking Consultancy. Yliopistorankingien lisäksi rankingit saa myös tieteenalan mukaan.
"ARWU uses six objective indicators to rank world universities, including the number of alumni and staff winning Nobel Prizes and Fields Medals, number of highly cited researchers selected by Clarivate Analytics, number of articles published in journals of Nature and Science, number of articles indexed in Science Citation Index - Expanded and Social Sciences Citation Index, and per capita performance of a university. More than 1800 universities are actually ranked by ARWU every year and the best 1000 are published."
Times Higher Education World University Rankings on Times Higher Education -lehden keräämä rankinglista maailman 1400 yliopistosta. Vuoteen 2014 saakka julkaisudata saatiin Web of Science -tietokannasta. Vuonna 2015 yhteistyökumppaniksi vaihtui Elsevierin Scopus-tietokanta, ja vuodesta 2016 lähtien viittaustiedoissa ovat mukana myös Scopuksen kirjat ja kirja-artikkelit. Rankingit saa myös aiheen mukaan.
Indikaattorien painotukset:
"The performance indicators are grouped into five areas: Teaching 30% (the learning environment); Research 30% (volume, income and reputation); Citations 30% (research influence); International outlook 7,5% (staff, students and research); and Industry Income 2,5% (knowledge transfer)."
QS World University Rankings on Quacquarelli Symonds -yrityksen julkaisema rankinglista maailman yliopistoista. Viittaustiedot perustuvat Scopus-tietokannan dataan. Rankingit saa myös esim. aihealueittain.
Arviointiperusteet yliopistorankingeissa:
CWTS Leiden Ranking perustuu Web of Science -tietokannasta saataviin bibliometrisiin indikaattoreihin. Huomioon otetaan vain artikkelit ja review-artikkelit, mutta ei muita julkaisutyyppejä. Ranking arvioi maailman yliopistojen tieteellistä vaikuttavuutta ja yliopistojen yhteistyötä. Rankingit on saatavissa myös tieteenaloittain.
Käytetyt indikaattorit luokitellaan karkeasti seuraaviin ryhmiin:
National Taiwan University Ranking käyttää bibliometrisia menetelmiä arvioidessaan n. 900 yliopiston julkaisutoimintaa. Rankingeja on saatavissa myös tieteenaloittain. Datan lähteenä on Clarivaten Essential Science Indicators (ESI). Lisää menetelmästä ja indikaattoreista
Indikaattorien painotus lyhyesti:
URAP-rankingia julkaisee Informatics Institute of Middle East Technical University. Ranking perustuu Web of Science -tietokannan julkaisuihin. Sivustolta saa sekä yliopisto- että tieteenalarankingit.
SCImago Institutions Rankings project (SIR) on SCImago Research Groupin kehittämä työkalu tutkimuslaitosten ja yliopistojen arviointiin. Ranking perustuu seuraaviin asioihin:
"...research performance, innovation outputs and societal impact."
Arviontikriteerien painotukset
U-Multirank on eurooppalainen järjestelmä, joka vertailee yliopistoja ja korkeakouluja maailmanlaajuisesti. Monipuolinen arviointi tarkastelee mm. tutkimusta, opetusta, kansainvälisyyttä, tietämyksen siirtoa ja alueellista sitoutuneisuutta.
U-Multirank
"...is not confined to research but takes into account different aspects and dimensions of the performance of universities: teaching and learning, research, knowledge transfer, international orientation and regional engagement."
"...does not produce a combined, weighted score across these different areas of performance and then use these scores to produce a numbered league table of the world’s “top” 100 universities. The underlying principle is that there is no theoretical or empirical justification for such composite scores...Therefore, the U-Multirank methodology looks at the scores of universities on individual indicators and places these in five performance groups which are very good, good, average, below average, weak."
Centre for Higher Education (CHE)
Center for Higher Education Policy Studies (CHEPS)
Centre for Science and Technology Studies (CWTS)
Fundación CYD
CWUR, Center for World University Rankings arvioi yliopistoja laajasti tukeutumatta esimerkiksi kyselyihin:
"...assesses the quality of education, alumni employment, research output, and citations without relying on surveys and university data submissions."
Datan lähteenä käytetään Web of Science dataan perustuvaa Journal Citation Reportsia, JCR
U.S. News & World Report's Best Global Universities Rankings -listan yhteistyökumppani on Clarivaten InCites, joka perustuu Web of Science -tietokannan dataan. Rankingista saa sekä yliopistojen että tieteenalojen rankingit.
Indikaattorit ja niiden painotukset:
European Research Rankingin datan lähteenä on EU:n CORDIS-tietokanta.
Cybermetrics Labin ylläpitämä Webometrics eli Ranking Web of World Universities käyttää yliopistojen arvioinnissa sekä web-metriikkaa (webometric) että bibliometriikkaa.
"...It uses both webometric (all missions) and bibliometric (research mission) indicators..."
Ranking-listat julkaistaan kahdesti vuodessa ja yliopistojen lisäksi niitä saa myös tutkimuskeskuksille, sairaaloille ja arkistoille.
Datan lähteet
Sivustolla on listattu myös keinoja, joilla parantaa webbinäkyvyyttä.