Algoritmen en data achter Leiden Ranking openbaar
Anders dan andere grote universitaire ranglijsten is de Leiden Ranking – Open Edition volledig transparant. De ranglijst van het Centrum voor Wetenschaps- en Technologiestudies (CWTS) gebruikt open data en maakt de algoritmen die ze gebruikt openbaar.
Naar de Leiden Ranking wordt wereldwijd gekeken. De ranglijst bestaat al ruim vijftien jaar en volgt een heel andere benadering dan andere grote ranglijsten zoals de QS World University Rankings en de Shanghai Ranking. De Leiden Ranking pretendeert niet om een totaalbeeld van de prestaties van een universiteit te geven. De ranking kiest er bewust voor om zich te beperken tot wetenschappelijke artikelen die universiteiten publiceren.
Ludo Waltman (CWTS): ‘Daarnaast gooien wij niet alle cijfers op een hoop om te zeggen wat de beste universiteit ter wereld is. Wij laten cijfers naast elkaar zien, waardoor we eigenlijk meerdere ranglijsten maken.’ In de Leiden Ranking kan je bijvoorbeeld opzoeken hoe vaak artikelen van een universiteit worden geciteerd, in hoeverre artikelen open acces beschikbaar zijn en in welke mate er internationaal wordt samengewerkt.
Leiden Ranking – Open Edition
De Leiden Ranking – Open Edition is gemaakt door CWTS in samenwerking met Curtin Open Knowledge Initiative (COKI), Sesame Open Science en OurResearch.
Geen black box meer
Voor de Leiden Ranking gebruikte CWTS altijd data van Web of Science. Waltman: ‘Het is in veel opzichten een hoogwaardige databron, maar we stappen ervanaf. De data zijn namelijk niet voor iedereen beschikbaar. Vanaf nu gebruiken we data van OpenAlex die iedereen kan downloaden en zonder beperkingen kan gebruiken. Tot nu toe was onze ranking toch wel een beetje een black box, mensen konden ons werk niet goed controleren. Nu in de Open Edition de data openbaar zijn en we ook onze algoritmen open maken, kan dat wel. Iemand kan nu bijvoorbeeld ook zelf een alternatieve ranglijst maken waarin andere keuzes zijn gemaakt. Iedereen kan zelf bepalen wat hij belangrijk vindt voor het meten van prestaties van een universiteit. Dat is uniek.’
Toen het CWTS bekendmaakte dat er een Open Edition van de Leiden Ranking aankwam, waren er veel positieve reacties, maar ook wel wat zorgen. In sommige landen hebben ranglijsten namelijk veel invloed op onderzoeksbeleid en onderzoeksfinanciering. Waltman: ‘Daarom voelen we ons ook wel verplicht om de Open Edition op dit moment naast de traditionele Leiden Ranking (met data van Web of Science, red.) uit te brengen. De Open Edition is nog een experiment, we hopen op veel feedback.’
De transparantie van de Open Edition kan helpen om gebruikers van ranglijsten kritischer te laten nadenken over prestaties van universiteiten.
Transitie
Waltman denkt dat de transparantie van de Leiden Ranking – Open Edition kan helpen om gebruikers van ranglijsten kritischer te laten nadenken over prestaties van universiteiten. Een transitie richting openheid van de data waar ranglijsten en andere indicatoren op zijn gebaseerd is noodzakelijk om als academische gemeenschap op een verantwoorde manier tot beslissingen te komen. ‘Universiteiten besteden het nemen van belangrijke beslissingen voor een deel uit aan data-gedreven indicatoren die worden ingekocht bij commerciële partijen. Deze partijen hebben belangen die niet per se met die van ons overeen komen. Daardoor verliezen we in feite een beetje onze autonomie. Als data en methodieken openbaar zijn, kan je beter met elkaar in gesprek gaan over wat je wel en niet uit allerlei data-gedreven indicatoren kunt concluderen. Daarmee kom je uiteindelijk tot betere beslissingen.’
Discussie over ranglijsten
De Open Edition van de Leiden Ranking past binnen de discussie die in Nederland gaande is over ranglijsten. Nederlandse universiteiten hebben afgesproken om zich kritischer op te stellen tegenover universitaire ranglijsten. Veel van die lijsten pretenderen ten onrechte de prestaties van universiteiten te kunnen samenvatten in één enkel getal. De ranglijsten staan bovendien op gespannen voet met het streven naar nieuwe manieren van ‘Erkennen en Waarderen’. Universiteiten willen hun medewerkers niet alleen beoordelen op publicaties in wetenschappelijke tijdschriften (die in de ranglijsten zwaar meewegen), maar bijvoorbeeld ook op onderwijs, leiderschap, teamprestaties of wetenschapscommunicatie.
Academia in Motion
Ludo Waltman is ambassadeur voor open science binnen het Academia in Motion-programma van Universiteit Leiden. Het doel van dit programma is om op zoek te gaan naar nieuwe manieren van erkennen en waarderen en om open science centraal te stellen in het werk. De Leiden Ranking – Open Edition is een mooi voorbeeld van open science.
Tekst: Dagmar Aarts
Beeld: CWTS