Centrale examens in het voortgezet onderwijs zijn elk jaar nieuw en daardoor nooit precies even moeilijk. Toch moet een leerling voor dezelfde prestatie altijd hetzelfde cijfer krijgen. Tijdens de normering wordt daarom de n-term vastgesteld. De n-term corrigeert verschillen in moeilijkheid, zodat het cijfer van een leerling niet afhangt van het examenjaar, maar van wat hij of zij kan. Karin Pilz (programmamanager normering bij het CvTE) en Harco Weemink (manager normering en digitalisering bij Stichting Cito) leggen uit hoe dit proces eruitziet en wie eraan meewerken.
Karin Pilz en Harco Weemink
Rolverdeling
Karin is met haar team verantwoordelijk voor de normering bij het College voor Toetsen en Examens (CvTE). ‘We doen dit met een team van vier en werken daarnaast intensief samen met Stichting Cito. We hebben maandelijkse overleggen en tussendoor schakelen Harco en ik veel,’ zegt ze.
Harco vult aan: ‘Cito heeft een adviserende rol. Met ons team zorgen we dat alle benodigde data beschikbaar is en zorgvuldig geanalyseerd wordt. Dat mondt uit in een technisch advies over de n-term, op basis waarvan het CvTE de uiteindelijke n-term vaststelt. Daarnaast doen we veel onderzoek om de normering jaarlijks te verbeteren.’
Perspectieven samenbrengen
Normering is geen klus van het CvTE en Cito alleen. ‘Wij vormen het kernteam, maar daarbuiten zijn veel partijen betrokken,’ zegt Karin. Die betrokkenheid begint al ruim vóór de examenafname en loopt door tot na de correctie. Docenten spelen daarin een sleutelrol. Vooraf vergelijken zij vanuit verschillende rollen - bijvoorbeeld binnen vaststellingscommissies of in expertgroepen die standaardbepalingen uitvoeren - de moeilijkheid van nieuwe examens met eerdere examens. Ook via pretests dragen zij bij: hun leerlingen maken dan, zonder dat te weten, opgaven die helpen om de moeilijkheid van toekomstige examens te bepalen.
Na de afname leveren docenten opnieuw waardevolle input. ‘Ze geven hun oordeel over de moeilijkheid en plaatsen kwalitatieve opmerkingen via quickscans en de examenlijn,’ zegt Harco. Ook signalen van leerlingen worden meegenomen. Via het LAKS komen ervaringen en opmerkingen van examenleerlingen binnen, bijvoorbeeld over onduidelijke vragen. Die signalen worden betrokken bij het bredere beeld.
Karin: ‘Juist door al deze perspectieven samen te brengen, van docenten, leerlingen en data, wordt de normering stabieler en betrouwbaarder. Normeren doen we dus echt samen met het veld.’
Weging van bronnen
Om de moeilijkheid van een examen vast te stellen, combineren het CvTE en Cito verschillende bronnen. Dat zijn zowel kwantitatieve gegevens, zoals leerlingresultaten uit de afname en de verschillende onderzoeken, als kwalitatieve oordelen van docenten, toetsdeskundigen en vaststellingscommissies. ‘Welke bron het zwaarst weegt, hangt af van de hoeveelheid en kwaliteit van de data,’ legt Karin uit. ‘Leerlingresultaten zijn vaak sterk, omdat je examens daarmee direct kunt vergelijken. Maar als veel docenten onafhankelijk van elkaar aangeven dat een nieuw examen moeilijker of makkelijker dan of even moeilijk als een oud examen is, dan is dat ook een duidelijk signaal.’
Juist die combinatie is belangrijk, benadrukt Harco. ‘Het gaat niet alleen om aantallen of volume, maar om het wegen van signalen in samenhang.’ Als verschillende bronnen dezelfde kant op wijzen, geeft dat vertrouwen. Wijzen ze uiteenlopende richtingen op, dan vraagt dat om voorzichtigheid. ‘We kiezen bewust voor het gebruik van verschillende bronnen,’ zegt Karin. ‘Als één bron minder betrouwbaar blijkt, zijn er altijd andere om op terug te vallen. Dat is vooral belangrijk bij vakvernieuwingen, wanneer het lastiger is om te vergelijken met eerdere examens.’
Scherpe keuzes
Hoewel normering het hele jaar doorloopt, zijn er piekmomenten. ‘Eind mei en begin juni trekken we ons terug om alles rond te krijgen,’ zegt Harco. ‘Het zijn vaak lange en intensieve dagen die soms tot diep in de avond doorlopen.’
Die fase vraagt om scherpe keuzes. ‘We werken met aannames die we onderzoeken,’ zegt Harco. Besluiten worden nooit licht genomen. ‘Soms duurt het langer dan je zou willen voordat je iets kunt aanpassen,’ zegt Karin. ‘Maar we willen niets beslissen zonder goede onderbouwing.’
Die besluiten worden genomen in nauwe samenwerking op basis van ieders specialisme en verantwoordelijkheden. ‘Het voelt als collega’s die samen naar het beste besluit toewerken,’ zegt Harco. ‘Uiteindelijk wordt dat besluit zo zorgvuldig mogelijk genomen.’
Eerlijke cijfers, vergelijkbare diplomawaarde
Het belang van normeren is voor beiden zo klaar als een klontje. ‘Het draait om eerlijkheid,’ zegt Karin. ‘Dankzij normering kunnen we prestaties van leerlingen consistent beoordelen. Dat is essentieel bij de centrale examens.’ Harco knikt: ‘Je wilt dat een cijfer dezelfde waarde heeft, ongeacht het jaar. Zo blijft de waarde van een diploma in de tijd vergelijkbaar.’
Zonder n-termen zou die stabiliteit verdwijnen. ‘Dan hangt een cijfer te veel af van de moeilijkheid van het examen in plaats van de vaardigheid van de leerling,’ zegt Harco. ‘Dat hebben we in het verleden gezien: grote schommelingen in gemiddelde cijfers, terwijl de leerlingpopulatie niet beter of slechter was geworden.’ Normering zorgt dat de prestatie-eis, de lat waarover leerlingen moeten springen om een voldoende te halen, van jaar tot jaar gelijk blijft. ‘Het ene jaar een zes is het andere jaar ook een zes, dat is het doel.’
Niet perfect, wel eerlijk
Voor Karin zit de energie van dit werk onder andere in de afwisseling en samenwerking. ‘Elk jaar is anders, met nieuwe uitdagingen. Ook leer ik veel van alle partijen waarmee we samenwerken.’ Harco’s motivatie draait om het einddoel. ‘Aan het eind wil ik kunnen zeggen dat we alles hebben afgewogen en dat dit de best mogelijke n-term is. Wellicht niet perfect voor iedereen, maar wel eerlijk. Zorgvuldigheid doet ertoe. Zo leveren we een belangrijke bijdrage aan eerlijke beslissingen voor leerlingen en hun vervolgonderwijs.’