‘Daar zitten we weer, om te normeren’, zegt de voorzitter van deze normeringsadviesvergadering. In een zaaltje bij Cito in Arnhem zitten negen mensen bij elkaar om Engels vmbo te bespreken. Er zijn dit jaar weinig tot geen meldingen bij de examenlijn of klachten bij het LAKS over het centrale examen Engels binnengekomen. Dat is een positief begin van de vergadering. Daarna is het tijd om de diepte in te gaan. Net zoals bij alle andere vakken (en voor alle schoolsoorten) is er per centraal examen veel informatie beschikbaar.
Tijdens de normeringsadviesvergadering bij Cito
Voorafgaand aan de vergadering wordt een presentatie gegeven door Karin Pilz, programmamanager normering van het College voor Toetsen en Examens (CvTE). Het is zo goed als onmogelijk om ieder jaar een even moeilijk (of makkelijk) centraal examen te maken. Om voor die verschillen in moeilijkheid te compenseren wordt een n-term gebruikt. Op basis van verschillende bronnen wordt een technische n-term berekend. Denk hierbij bijvoorbeeld aan eerdere n-termen, input van docenten, vaststellingscommissies en andere experts en leerlingdata.
Daarnaast is ook andere informatie beschikbaar om te bepalen of er misschien voor onvolkomen vragen of tijdnood gecompenseerd moet worden, bovenop de technische n-term. Hiervoor is informatie belangrijk, zoals de quickscans. Deze komen tot stand door na afloop van het examen aan docenten te vragen hoe zij het examen ervaren hebben. Er wordt ook gekeken naar meldingen van docenten die bij de examenlijn binnen zijn gekomen en de klachten van het LAKS. Belangrijk hierbij is de kwaliteit van de klacht en niet de kwantiteit. Er is een toets- en itemanalyse en er wordt ook gekeken naar tijdnood.
Toets- en itemanalyse
Bij de toets- en itemanalyse wordt per opgave gekeken hoe leerlingen deze gemaakt hebben. Hierbij kan bijvoorbeeld ook onderscheid gemaakt worden tussen leerlingen die heel goed in het vak zijn en leerlingen die wat minder scoren. Als een opgave ook vaak door leerlingen slecht wordt gemaakt, die de meeste opgaven hadden kunnen beantwoorden, kan dat een teken zijn dat er wellicht iets met die opgave aan de hand is. Je zou immers verwachten dat leerlingen die heel goed zijn, deze opgave moeten kunnen maken. De vraagstelling wordt bekeken, net als de antwoorden. Als blijkt dat de opgave of de antwoordmogelijkheden inderdaad niet helemaal helder waren, kan er eventueel gecompenseerd worden.
Tijdnood
Een ander punt dat goed bekeken wordt, is of een centraal examen te lang is. Dit is een klacht van leerlingen die regelmatig bij het LAKS terugkomt. Met behulp van data wordt heel precies gekeken of leerlingen inderdaad in tijdnood zijn gekomen. Als blijkt dat minder dan 80% van de leerlingen het examen niet volledig heeft afgemaakt, kan dat een teken aan de wand zijn. Daarom is het ook belangrijk hoe docenten de lengte hebben ervaren. Wat geven zij in de quickscans aan? Dit alles bij elkaar kan leiden tot compensatie voor tijdnood.
Moeilijke opgave?
Nog even terug naar Engels (vmbo), daar wordt een opgave van een digitaal examen in Facet teruggekeken. Uit een bron blijkt dat deze opgave als zeer moeilijk wordt ervaren. De vraag is of er eventueel een advies moet komen om te compenseren voor deze opgave of dat dat niet hoeft. De opgave wordt minutieus teruggekeken en ook de mogelijke antwoorden worden bekeken. Ook hier in het zaaltje, wordt de opgave als moeilijk beoordeeld. Het komt in de opgave echt aan op goed luisteren en de details die verteld worden. Maar ook dat moeten leerlingen kunnen. Inhoudelijk is er niks aan de hand en dus wordt besloten niet te compenseren. Voor een andere opgave gebeurt dat later in het overleg wel.