Tieteellisiin julkaisuihin pohjautuva arviointi: Rankinglistat

Rankinglistoista yleisesti

Rankinglistojen arviointiperusteet ovat erilaisia. Listojen metodologia, käytetyt indikaattorit ja indikaattorien taustalla oleva data (tietokanta) vaihtelevat, samoin indikaattorien painotus arvioinneissa. Tieteenalarangeissa tulee huomioida, että julkaisujen luokittelu tieteenaloihin ei ole täysin yhtenevä tietokannoissa kuten esimerkiksi Scopuksessa ja Web of Science-tietokannassa. Bibliometriikan lisäksi käytettyjä arviointiperusteita ovat mm. opiskelijoiden ja henkilökunnan suhdeluku, opetuksen laatu ja mainekyselyt. Organisaation sijoituksia eri listoilla ei tule verrata toisiinsa vaan vertailua tulee tehdä ainoastaan saman rankingin suhteen eri vuosina.

Rankinglistoja on myös kritisoitu paljon ja niihin tuleekin suhtautua kriittisesti. Helsingin yliopiston valtiotieteellisen tiedekunnan professori Heikki Patomäen (2019) artikkeli Rankingit ovat totuudenjälkeisen yhteiskunnan täydellinen ilmentymä on maino pohdinta kirjasta the Soul of a University (Bristol UP, 2018).

Osa rankinglistoista arvioi vain yliopistoja, osa yliopistojen lisäksi myös mm. tutkimuslaitoksia ja sairaaloita.

On aina suositeltavaa tutustua rankinglistojen metodologiaan. Tunnetuimpien listojen metodologiat:

Pelkästään bibliometriikkaan perustuvat rankingit:

  • CWTS Leiden Ranking
  • National Taiwan University Ranking
  • University Ranking by Academic Performance, URAP

Bibliometriikkaa ja muita arviointitapoja käyttävät rankingit:

  • Center for World University Rankings, CWUR
  • European Research Ranking
  • QS World University Rankings
  • Ranking Web of World Universities, Webometrics
  • SCImago Institutions Rankings
  • Shanghai Ranking eli Academic Ranking of World Universities, ARWU
  • Times Higher Education World University Rankings,THE
  • U.S. News & World Report's Best Global Universities Rankings
  • U-Multirank

​Yliopistorankinglistojen lisäksi tieteenalarankingeja saa seuraavista:

  • Center for World University Rankings, CWUR
  • CWTS Leiden Ranking
  • National Taiwan University Ranking, NTU
  • QS World University Rankings
  • Shanghai Ranking eli Academic Ranking of World Universities (ARWU)
  • Times Higher Education World University Rankings
  • U.S. News & World Report's Best Global Universities Rankings  
  • University Ranking by Academic Performance, URAP

Luettavaa:

Rankinglistojen julkaisudatan lähteet

Scopus
  • QS World University Rankings 
  • SCImago Institutions Rankings project (SIR) 
  • Times Higher Education World University Ranking (THE) (from 2015)  

SCimago/Scopus

  • Webometrics, Ranking Web of World Universities
Web of Science
  • Center for World University Rankings, CWUR
  • CWTS Leiden Ranking 
  • National Taiwan University Ranking, NTU
  • Shanghai Ranking  Academic Ranking of World Universities (ARWU)  
  • U-Multirank
  • U.S. News & World Report's Best Global Universities Rankings 
  • URAP-ranking

JCR/Web of Science

  • Center for World University Rankings, CWUR

Muita tietokantoja ja lähteitä

  • Ahrefs: Webometrics, Ranking Web of World Universities
  • CORDIS: European Research Ranking
  • Google Scholar: Webometrics, Ranking Web of World Universities
  • Majestic: Webometrics, Ranking Web of World Universities
  • PATSTAT: SCImago Institutions Rankings project (SIR) 
  • PlumX: SCImago Institutions Rankings project (SIR) 
  • Unpaywall: SCImago Institutions Rankings project (SIR) ​

Shanghai Ranking of World Universities, ARWU

Rankinglistoista tunnetuin on Shanghai Ranking eli Academic Ranking of World Universities (ARWU), jota julkaisee ShanghaiRanking Consultancy. Yliopistorankingien lisäksi rankingit saa myös  tieteenalan mukaan.

Metodologiasta

"ARWU uses six objective indicators to rank world universities, including the number of alumni and staff winning Nobel Prizes and Fields Medals, number of highly cited researchers selected by Clarivate Analytics, number of articles published in journals of Nature and Science, number of articles indexed in Science Citation Index - Expanded and Social Sciences Citation Index, and per capita performance of a university. More than 1800 universities are actually ranked by ARWU every year and the best 1000 are published."

Metodologia
 

Times Higher Education World University Rankings, THE

Times Higher Education World University Rankings on Times Higher Education -lehden keräämä  rankinglista maailman 1400 yliopistosta. Vuoteen 2014 saakka julkaisudata saatiin Web of Science -tietokannasta. Vuonna 2015 yhteistyökumppaniksi vaihtui Elsevierin Scopus-tietokanta, ja vuodesta 2016 lähtien viittaustiedoissa ovat mukana myös Scopuksen kirjat ja kirja-artikkelit. Rankingit saa myös aiheen mukaan.

2020 metodologia

Indikaattorien painotukset:

"The performance indicators are grouped into five areas: Teaching 30% (the learning environment); Research 30% (volume, income and reputation); Citations 30%  (research influence); International outlook 7,5% (staff, students and research); and Industry Income 2,5% (knowledge transfer)."

QS World University Rankings

QS World University Rankings on Quacquarelli Symonds -yrityksen julkaisema rankinglista maailman yliopistoista. Viittaustiedot perustuvat Scopus-tietokannan dataan. Rankingit saa myös esim. aihealueittain.

Arviointiperusteet yliopistorankingeissa:

  1. Academic Reputation 40%
  2. Employer Reputation 10%
  3. Faculty/Student Ratio 20%
  4. Citations per faculty 20 %
  5. International Faculty Ratio 5%
  6. International Student Ratio 5%

CWTS Leiden Ranking

CWTS Leiden Ranking perustuu Web of Science -tietokannasta saataviin bibliometrisiin indikaattoreihin. Huomioon otetaan vain artikkelit ja review-artikkelit, mutta ei muita julkaisutyyppejä. Ranking arvioi maailman yliopistojen tieteellistä vaikuttavuutta ja yliopistojen yhteistyötä. Rankingit on saatavissa myös tieteenaloittain. 

Käytetyt indikaattorit luokitellaan karkeasti seuraaviin ryhmiin:

  • Publications
  • Size-dependent vs. size-independent indicators
  • Scientific impact indicators
  • Collaboration indicators
  • Open access indicators
  • Gender indicators

 

National Taiwan University Ranking, NTU

National Taiwan University Ranking  käyttää bibliometrisia menetelmiä arvioidessaan n. 900 yliopiston julkaisutoimintaa. Rankingeja on saatavissa myös tieteenaloittain. Datan lähteenä on Clarivaten Essential Science Indicators (ESI). Lisää menetelmästä ja  indikaattoreista

Indikaattorien painotus lyhyesti:

  • research productivity 25 %
  • research impact 35%
  • research excellence 40%

University Ranking by Academic Performance, URAP

URAP-rankingia julkaisee  Informatics Institute of Middle East Technical University. Ranking perustuu  Web of Science -tietokannan julkaisuihin. Sivustolta saa sekä yliopisto- että tieteenalarankingit.

Indikaattorit:

  • articles 21%
  • citations 21%
  • total documents 10%
  • article impact total 18%
  • international collaboration 15%

SCImago Institutions Rankings

SCImago Institutions Rankings project (SIR) on SCImago Research Groupin kehittämä työkalu tutkimuslaitosten ja yliopistojen arviointiin. Ranking perustuu  seuraaviin asioihin:

"...research performance, innovation outputs and societal impact."

Datan lähteet:

  • Scopus
  • PATSTAT (patentit)
  • Google and Ahrefs (näkyvyys)
  • Unpaywall (julkaisujen avoimuus)
  • PlumX  (altmetriikka)
  • Mendeley (altmetriikka)

Arviontikriteerien painotukset

  • Research 50%
  • Innovation 30%
  • Societal 20%

SIR-metodologia

U-Multirank

U-Multirank on eurooppalainen järjestelmä, joka vertailee yliopistoja ja korkeakouluja maailmanlaajuisesti. Monipuolinen arviointi tarkastelee mm. tutkimusta, opetusta, kansainvälisyyttä, tietämyksen siirtoa ja alueellista sitoutuneisuutta. 

U-Multirank

"...is not confined to research but takes into account different aspects and dimensions of the performance of universities: teaching and learning, research, knowledge transfer, international orientation and regional engagement."

"...does not produce a combined, weighted score across these different areas of performance and then use these scores to produce a numbered league table of the world’s “top” 100 universities. The underlying principle is that there is no theoretical or empirical justification for such composite scores...Therefore, the U-Multirank methodology looks at the scores of universities on individual indicators and places these in five performance groups  which are very good, good, average, below average, weak."

U-Multirank partnerit:

Centre for Higher Education (CHE)
Center for Higher Education Policy Studies (CHEPS)
Centre for Science and Technology Studies (CWTS)
Fundación CYD

Metodologia ja datan lähteet 

Center for World University Rankings, CWUR

CWUR, Center for World University Rankings arvioi yliopistoja laajasti tukeutumatta esimerkiksi kyselyihin:

"...assesses the quality of education, alumni employment, research output, and citations without relying on surveys and university data submissions."

Arviointikriteerit

  • Quality of education 25%
  • Alumni employment 25%
  • Quality of Faculty 10%
  • Research Perfomance
    • Research Output 10%
    • High-Quality Publications 10%
    • Influence 10%
    • Citations 10%

Datan lähteenä käytetään Web of Science dataan perustuvaa Journal Citation Reportsia, JCR

U.S. News & World Report's Best Global Universities Rankings

U.S. News & World Report's Best Global Universities Rankings -listan yhteistyökumppani on Clarivaten InCites, joka perustuu  Web of Science -tietokannan dataan. Rankingista saa sekä yliopistojen että tieteenalojen rankingit.

Indikaattorit ja niiden painotukset:

  • Global research reputation 12.5%
  • Regional research reputation 12.5%
  • Publications 10%
  • Books 2.5%
  • Conferences 2.5%
  • Normalized citation impact 10%
  • Total citations 7.5%
  • Number of publications that are among the 10% most cited 12.5%
  • Percentage of total publications that are among the 10% most cited 10%
  • International collaboration – relative to country 5%
  • International collaboration 5%
  • Number of highly cited papers that are among the top 1% most cited in their respective field 5%
  • Percentage of total publications that are among the top 1% most highly cited papers 5%

European Research Ranking

European Research Rankingin datan lähteenä on EU:n CORDIS-tietokanta.

Metodologian pääkriteerit:

  • Funding and project participation performance
  • Networking activity and alliances
  • Diversity of research areas

Tarkempi metodologia

Ranking Web of World Universities, Webometrics

Cybermetrics Labin ylläpitämä Webometrics eli Ranking Web of World Universities ​käyttää yliopistojen arvioinnissa sekä web-metriikkaa (webometric) että bibliometriikkaa.

 "...It uses both webometric (all missions) and bibliometric (research mission)  indicators..."

Ranking-listat julkaistaan kahdesti vuodessa ja yliopistojen lisäksi niitä saa myös tutkimuskeskuksille, sairaaloille ja arkistoille.

Metodologia ja indikaattorit

  • Presence 5%
  • Visibility 50%
  • Transparency (or openness) Top cited researchers 10%
  • Excellence (or scholar) Top cited papers 35%

Datan lähteet

  • Google
  • Ahrefs
  • Majestic
  • Scimago

Sivustolla on listattu myös keinoja, joilla parantaa webbinäkyvyyttä.