Een meerkeuzevraag schrijven die niet zichzelf verraadt

Een meerkeuzevraag bestaat uit een stam en een aantal opties. De stam is de vraag zelf, de opties zijn de antwoorden waaruit gekozen wordt. Eén optie is de sleutel, de rest zijn afleiders.

Bijna alles wat er misgaat, gaat mis in de stam of in de afleiders. Hieronder de stam. De afleiders krijgen een eigen artikel, want daar zit het echte werk.

De dekhandtest

Voordat je verder leest, één test die de helft van alle problemen opspoort. Dek de opties af en lees alleen de stam. Kan iemand die de stof kent nu een antwoord formuleren?

Zo niet, dan is je stam onvolledig. Dat gebeurt bij vragen als "De cesuur:" gevolgd door vier zinsdelen, of bij "Welke van de volgende uitspraken is juist?" waarbij de vraag pas in de opties ontstaat. In beide gevallen moet de deelnemer eerst de opties lezen om te weten waarover het gaat en daarna alsnog vergelijken. Dat kost tijd en meet leesvaardigheid.

De vraag moet in de stam staan. De opties zijn er alleen om uit te kiezen.

Schrijf de stam als een hele vraag

Concreet betekent dat:

• Eindig op een vraagteken, of maak er een zin van met een duidelijke opening aan het eind.
• Zet alles wat in alle opties terugkomt in de stam. Staat in elke optie "een certificaat", dan hoort dat woord in de vraag.
• Schrap alles wat niet nodig is om te antwoorden. Sfeerbeschrijvingen zijn leuk maar ze meten leestempo.
• Gebruik één aanspreekvorm in de hele toets, je of u en wissel niet.

Wil je een casus voorleggen, dan mag de stam wel lang zijn. Het verschil: bij een casus is de context de vraag, bij een gewone kennisvraag is het aankleding.

Vermijd de ontkenning en als het niet anders kan, schreeuw hem

"Welke van de volgende is géén onderdeel van een toetsmatrijs?" is een vraag die goede deelnemers fout maken omdat ze het woordje "geen" over het hoofd zien onder tijdsdruk. Ze weten de stof, ze antwoorden verkeerd. Dan meet je aandacht en niet kennis.

In de gangbare richtlijnen voor het schrijven van meerkeuzevragen staat negatieve formulering steevast bij de dingen die je vermijdt en analyses van bestaande toetsen laten zien dat het ook de meest geschonden regel is. Zie bijvoorbeeld de veelgebruikte regelset van het Schreyer Institute.

Kun je het niet omdraaien, zet het woord dan in hoofdletters: "Welke van de volgende hoort NIET in een toetsmatrijs?" Dat is geen elegantie, dat is vriendelijkheid.

Hoeveel opties heb je nodig

De gewoonte is vier. De onderbouwing daarvoor is zwakker dan je denkt. Een veel geciteerde overzichtsstudie van Rodriguez uit 2005, die tachtig jaar onderzoek naast elkaar legde, komt uit op drie opties als het meest doelmatige aantal: je verliest er weinig kwaliteit mee en je kunt in dezelfde tijd meer vragen stellen, waardoor je meer stof dekt. Zie de meta-analyse van Rodriguez in Educational Measurement: Issues and Practice.

Praktisch vertaald: schrijf drie opties als je maar twee goede afleiders kunt bedenken en vul niet aan met een vierde die niemand kiest. Die vierde optie doet niets, behalve leestijd kosten en de indruk wekken dat de vraag zwaarder is.

Wat de raadkans betreft: met drie opties gaat die van 25 naar 33 procent per vraag. Dat compenseer je door meer vragen te stellen en door je grens erop aan te passen, zie raden en gokcorrectie.

Houd de opties gelijkwaardig

Opties horen op elkaar te lijken in vorm, lengte en soort. Vier korte zelfstandige naamwoorden, of vier zinnen van vergelijkbare lengte. Niet drie korte en één uitgebreide.

Dat laatste is de bekendste weggever: het goede antwoord krijgt alle nuance mee omdat de auteur het precies wil hebben en de afleiders blijven kaal. Deelnemers hebben dat patroon door en kiezen het langste antwoord. De vragenkeurder op deze site meet dat verschil voor je.

Verder:

• Zet numerieke opties op volgorde, oplopend of aflopend.
• Begin alle opties op dezelfde manier, met of zonder hoofdletter, met of zonder punt.
• Zorg dat opties elkaar niet overlappen. Als optie B alles bevat wat in optie A staat, kan een deelnemer terecht klagen.
• Laat "alle bovenstaande" en "geen van bovenstaande" weg, zie het artikel over verklappende vraagteksten.

Wissel de plaats van het goede antwoord

Auteurs zetten het juiste antwoord onbewust vaak op plek B of C, zelden op de eerste of de laatste plek. Bij een toets van twintig vragen ontstaat daar een patroon dat opvalt.

Kijk je toets na op verdeling: staat het goede antwoord ongeveer even vaak op elke plaats? Zo niet, schud dan een aantal vragen om. Laat je platform de opties per deelnemer schudden als dat kan, dan is dit probleem weg en heb je meteen iets tegen overschrijven.

Test je vraag op één echt mens

Voordat je hem publiceert: leg de vraag voor aan iemand die de stof niet kent en vraag hem hardop te redeneren welke optie hij zou kiezen. Komt hij bij het goede antwoord uit met een redenering die niet over de inhoud gaat, dan heb je een verklapper te pakken.

Twee minuten werk en het vindt dingen die geen enkele checklist vindt.