Waarom een toets van vijf vragen weinig zegt

Stel je twee toetsen voor over hetzelfde onderwerp. De ene heeft vijf vragen, de andere veertig. Dezelfde deelnemer maakt ze allebei. Op de korte toets heeft hij drie goed, op de lange 27.

Op de korte toets kost één ongelukkige vraag hem twintig procentpunt. Eén vraag over een detail dat hij toevallig niet las en hij zakt van 80 naar 60 procent. Op de lange toets kost diezelfde vraag hem 2,5 punt en verandert er niets aan zijn uitslag.

Dat is betrouwbaarheid, in één voorbeeld. Het is de vraag of dezelfde deelnemer bij een tweede, vergelijkbare toets ongeveer dezelfde uitslag zou halen.

Wat betrouwbaarheid niet is

Betrouwbaarheid zegt niets over de vraag of je toets het goede meet. Een toets die consequent de verkeerde dingen meet, kan uitstekend betrouwbaar zijn. Iemand die tien keer op dezelfde weegschaal gaat staan krijgt tien keer hetzelfde gewicht, ook als die weegschaal drie kilo te veel aangeeft.

Of je het goede meet is een andere vraag en die beantwoord je met je leerdoelen en je toetsmatrijs, zie van leerdoel naar toetsvraag.

Waar het toeval binnenkomt

Vier bronnen van toeval in elke uitslag.

De keuze van de vragen. Je stelt vijf vragen uit een gebied waar er honderd mogelijk waren. Welke vijf je toevallig stelde, bepaalt mede wie slaagt.

De formulering. Eén vraag die net iets anders gelezen kan worden, kost punten aan mensen die de stof kennen.

De dagvorm. Iemand die met haast of hoofdpijn zit, scoort lager. Dat middelt uit over veel vragen, niet over vijf.

Raden. Bij gesloten vragen valt elke gok toevallig goed of fout uit. Zie wat raden oplevert.

Meer vragen betekent dat al deze toevalligheden elkaar meer uitmiddelen. Dat is de hele reden waarom lengte helpt.

Getallen die je in de literatuur tegenkomt

In de meetleer wordt betrouwbaarheid uitgedrukt in een coëfficiënt tussen 0 en 1, meestal de alfa van Cronbach. Je platform rekent hem soms voor je uit.

Welke waarde genoeg is, spreekt elke instelling zelf af en die afspraken lopen uiteen. De leidraad tentamenanalyse van de Universiteit van Amsterdam noemt voor een summatieve toets 0,8 of hoger gewenst, minder dan 0,7 matig en minder dan 0,6 onacceptabel. De toetsservice van het Radboudumc streeft in haar richtlijnen voor toetsanalyse een alfa van 0,80 na. Dat zijn afspraken van die instellingen voor tentamens met veel kandidaten, geen algemene norm en zeker geen natuurwet.

Wat vooral belangrijk is om te weten: die coëfficiënt hangt sterk samen met de lengte van de toets. Dezelfde leidraad schrijft dat de alfa bij toetsen met weinig vragen vaak laag is en dat je voor een betrouwbare analyse minstens honderd afnames nodig hebt, waarbij je vanaf vijfentwintig afnames al een indruk krijgt. Een korte toets is dus niet slecht gemaakt, hij is gewoon kort. En een hoge waarde bij veertig vragen betekent niet automatisch dat de vragen goed zijn.

Praktische aantallen voor cursussen

Zonder de statistiek in te duiken zijn dit werkbare vuistregels.

• Kennischeck na een les, zonder gevolgen. Drie tot vijf vragen. Betrouwbaarheid doet er niet toe, want je verbindt er niets aan.
• Eindtoets met een uitslag die telt. Twintig vragen als ondergrens, dertig tot veertig als er een document uitrolt.
• Per leerdoel. Minstens drie vragen als je over dat leerdoel iets wilt zeggen. Op één vraag kun je geen uitspraak baseren.
• Toets met open vragen. Vier tot zes goede open vragen kunnen even betrouwbaar zijn als twintig meerkeuzevragen, mits het nakijken gestructureerd gebeurt. Zie open vragen nakijken.

Wanneer meer vragen niet meer helpen

De winst van extra vragen wordt kleiner naarmate de toets langer wordt. Van tien naar twintig vragen is een grote sprong, van zestig naar zeventig merk je nauwelijks iets.

Daar komt bij dat een lange toets vermoeidheid meet. Wie na veertig vragen afhaakt, scoort lager op de laatste tien en dan meet je uithoudingsvermogen. Voor de meeste online cursussen ligt de bovengrens rond de veertig vragen, of rond de vijfenveertig minuten.

Boven die grens verbeter je je toets niet meer door hem langer te maken maar door de vragen beter te maken. Dat begint bij afleiders verzinnen en bij het opruimen van vragen die niet werken, zie slechte vragen herkennen na afname.

Wat je hiermee doet als je kleine groepen hebt

Bij tien deelnemers per jaar kun je geen betrouwbaarheidscoëfficiënt uitrekenen die iets betekent. Wat je wel kunt doen:

1. Maak de toets lang genoeg, want de redenering over uitmiddeling geldt ook zonder statistiek.
2. Laat één buitenstaander de toets maken en let op waar hij struikelt.
3. Houd bij welke vragen door iedereen goed of door iedereen fout worden gedaan, ook al zijn het er weinig.
4. Wees terughoudend met scherpe uitspraken over individuen op basis van een korte toets en pas je taal daarop aan. Zie certificaat of deelnamebewijs.