Na de eerste afname zie je pas welke vraag niet deugt

Een toetsvraag is een aanname. Je denkt dat hij meet of iemand iets snapt, maar dat weet je pas als er mensen doorheen zijn gegaan. Daarna kun je per vraag zien wat er werkelijk gebeurd is en dat kost je een half uur.

Deze analyse heet itemanalyse. In het hoger onderwijs is het routine en de rekenkundige onderbouwing gaat diep, maar de drie dingen waar je zelf wat aan hebt zijn eenvoudig genoeg om met de export van je leerplatform te doen.

Getal 1: hoeveel mensen hadden hem goed

De p-waarde is niets anders dan het deel van de deelnemers dat de vraag goed had. Vijftien van de twintig is 0,75. Hoe hoger het getal, hoe makkelijker de vraag was.

Er is geen goede of foute p-waarde, er is alleen een p-waarde die past bij wat je wilde. Een vraag die iedereen goed heeft, maakt geen onderscheid tussen deelnemers. Dat is prima als het om de absolute basis gaat die echt iedereen moet kennen. Het is niet prima als je dacht dat die vraag het onderscheid zou maken.

Bij meerkeuzevragen is de kale p-waarde iets te rooskleurig, want een deel van die goede antwoorden komt uit gokwerk. De toetsservice van het Radboudumc rekent daarom met een voor de raadkans gecorrigeerde p-waarde en noemt waarden onder 0,10 en boven 0,90 extreem: zulke vragen dragen nauwelijks meer bij aan het onderscheid tussen deelnemers.

Getal 2: had de rest van de toets hem ook goed

Interessanter is de vraag of dezelfde mensen die de rest van je toets goed maakten, ook deze vraag goed hadden. Dat is de Rir-waarde: de samenhang tussen de score op één vraag en de score op alle andere vragen samen.

Is die samenhang er, dan doet de vraag wat je wilt. Is hij er niet, dan meet die vraag iets anders dan de rest van je toets. Dezelfde bron noemt als streefwaarde dat de Rir boven 0,10 ligt en beschouwt lagere waarden als een teken dat het item niet onderscheidt.

Nog vervelender is een negatieve samenhang. Dan hadden juist de mensen die de rest goed maakten deze vraag fout. Dat is bijna altijd een van deze drie dingen:

• de sleutel klopt niet, jij hebt het verkeerde antwoord als goed aangevinkt
• er is een tweede antwoord dat ook verdedigbaar is en de kenners zien dat
• de vraag zit vol voorkennis of jargon dat niet in je cursus stond

Alle drie zijn te repareren. Alle drie zijn onzichtbaar zolang je alleen naar de cijfers per deelnemer kijkt.

Getal 3: hoe vaak is elke afleider gekozen

Bij meerkeuzevragen is dit het meest praktische overzicht dat je kunt opvragen. Per antwoordoptie zie je hoeveel mensen hem aankruisten.

Een afleider die door niemand is gekozen doet niets. Hij kost leestijd en verkleint de raadkans niet, want deelnemers strepen hem meteen weg. Je toets van vier opties is dan in de praktijk een toets van drie. Zie afleiders verzinnen voor waar je betere vandaan haalt.

Een afleider die vaker is gekozen dan het juiste antwoord is meestal geen slechte afleider maar een signaal. Of de stof is niet duidelijk overgekomen, of jouw sleutel klopt niet. Kijk eerst naar het tweede.

De genoemde toetsservice geeft dit als vuistregel mee: streef ernaar dat de afleiders gelijkwaardige opties zijn en dat het juiste antwoord vaker gekozen wordt dan elke afzonderlijke afleider.

Waarom die getallen bij jouw groep minder waard zijn

Hier komt het eerlijke deel. Deze indices zijn bedacht voor tentamens met honderden kandidaten. Dezelfde toetsservice waarschuwt dat je bij minder dan ongeveer honderd kandidaten en minder dan tachtig vragen de waarden met de nodige voorzichtigheid moet lezen, omdat ze dan zelf onbetrouwbaar worden.

Heb je twaalf deelnemers, dan is een p-waarde van 0,58 gewoon zeven van de twaalf. Eén deelnemer meer of minder verschuift het getal met acht punten. Behandel de cijfers dus als een aanwijzing waar je moet kijken, niet als een uitspraak.

Wat wél werkt bij kleine groepen: leg de vragen naast de antwoorden van de mensen die je kent. Als je beste deelnemer een vraag fout heeft, lees die vraag dan opnieuw hardop.

Wat je met de uitkomst doet

Een vraag met een fout in de sleutel repareer je en de uitslag herstel je. Kies vooraf hoe: de vraag telt voor iedereen goed, of de vraag vervalt en de cesuur schuift evenredig mee. Beide zijn verdedigbaar, willekeur is dat niet.

Let bij het schrappen van vragen wel op wat je overhoudt. Als je alle vragen over één onderwerp eruit gooit omdat ze slecht scoorden, meet je toets dat onderwerp niet meer. Dat is een verlies aan inhoudelijke dekking dat je met een hogere betrouwbaarheid niet goedmaakt. Zie wat je toets echt meet.

Vragen die het niet goed deden hoef je trouwens niet weg te gooien. Vaak is er één afleider die niet functioneert. Haal die eruit en gebruik hem de volgende keer als driekeuzevraag, of vervang alleen die ene optie.

Maak er een gewoonte van

Zet in je agenda dat je na elke twintig afnames een uur besteedt aan deze drie getallen. Noteer per vraag wat je hebt veranderd en waarom. Na drie rondes heb je een vragenbank waarvan je weet welke vragen werken en dat is precies wat je nodig hebt als je vragen wilt husselen of een herkansing wilt aanbieden.

Wil je vooraf al zien wat er aan een vraag rammelt, gebruik dan de vragenkeurder. Die vindt de weggevers die je zonder deelnemers al kunt zien.