Vragen husselen en een vragenbank opbouwen

In vrijwel elk leerplatform zit een schakelaar met de tekst "vragen in willekeurige volgorde". Hij staat er zo vanzelfsprekend bij dat mensen hem aanzetten zonder zich af te vragen wat hij precies oplost.

Er zijn drie dingen die je kunt husselen en ze doen niet hetzelfde.

Husselen 1: de volgorde van de vragen

Iedereen krijgt dezelfde twintig vragen, maar in een andere volgorde. Dit maakt over de schouder meekijken lastiger en het voorkomt dat iemand zegt: bij vraag 7 is het B.

Het heeft ook een prijs. Een toets waarin je van makkelijk naar moeilijk opbouwt verliest die opbouw. Vragen die naar elkaar verwijzen worden onbruikbaar, want vraag 12 kan nu vóór vraag 4 komen. En als je een casus met deelvragen gebruikt, moeten die deelvragen bij elkaar blijven staan.

Praktisch: hussel binnen blokken. Zet je vragen in groepen die bij elkaar horen, hussel binnen die groepen en laat de volgorde van de groepen staan.

Husselen 2: de volgorde van de antwoordopties

Iedereen krijgt bij dezelfde vraag de opties in een andere volgorde. Dit is de nuttigste van de drie, want het haalt twee dingen weg.

Het eerste is doorgeven. "Het is bij die vraag de derde" werkt niet meer.

Het tweede is jouw eigen voorkeur. Vraagschrijvers zetten het juiste antwoord vaker op een middelste positie dan op de eerste of de laatste, zonder dat ze het merken. Deelnemers die moeten gokken doen hetzelfde. Onderzoek naar die middenvoorkeur laat zien dat vragen waarvan het antwoord in het midden staat daardoor makkelijker zijn en minder onderscheid maken. Husselen haalt dat patroon weg zonder dat jij je vragen hoeft na te lopen.

Twee waarschuwingen. Opties die op volgorde staan, zoals bedragen of jaartallen, moet je níet husselen: die zet je oplopend. En een optie in de trant van "alle bovenstaande" wordt onzin zodra de volgorde verschuift, wat een goede extra reden is om die niet te gebruiken. Zie verklappende vraagteksten.

Husselen 3: per deelnemer andere vragen trekken

Dit is iets heel anders. Je maakt een bank van bijvoorbeeld tachtig vragen en elke deelnemer krijgt er twintig uit getrokken. Dit is de enige maatregel die echt iets doet tegen het doorgeven van vragen en tegelijk maakt het herkansen mogelijk zonder dezelfde toets nog eens voor te leggen. Zie fraude bij thuistoetsen.

Er zit één probleem in dat vaak over het hoofd wordt gezien: elke deelnemer maakt nu een andere toets. Als je willekeurig trekt uit een bank waarin de moeilijkheid uiteenloopt, krijgt de een een makkelijke set en de ander een zware. Bij een uitslag met gevolgen is dat lastig te verdedigen.

De oplossing is trekken uit vakjes. Je deelt je bank op naar leerdoel en naar moeilijkheid en je legt vast hoeveel vragen uit elk vakje komen: vier over onderwerp A, waarvan twee makkelijk en twee moeilijk en zo verder. Iedereen krijgt dan een toets met dezelfde opbouw. Bijna elk platform kan dit, meestal onder de naam vragengroep of random block.

Hoe groot moet die bank zijn

Als vuistregel wil je per vraag die iemand krijgt minstens drie tot vier kandidaten in de bank hebben en meer als de vragen in omloop kunnen raken. Voor een toets van twintig vragen kom je dan op zestig tot tachtig items.

Dat is veel werk en het is het enige werk in dit artikel dat echt tijd kost. Bouw de bank daarom op in rondes. Begin met de twintig vragen die je al hebt, schrijf er per afname vijf bij en gooi eruit wat blijkens de analyse na afname niet functioneert. Na een jaar heb je een bank waarvan je van elke vraag weet hoe hij het doet.

Wat je per vraag vastlegt

Een vragenbank die alleen uit vragen bestaat is na een half jaar niet meer te onderhouden. Noteer per vraag minstens:

• bij welk leerdoel hij hoort
• welk niveau hij vraagt: onthouden, begrijpen of toepassen
• hoe vaak hij is voorgelegd en hoeveel procent hem goed had
• wanneer je hem voor het laatst hebt aangepast en waarom

Een spreadsheet is genoeg. De reden dat je dit bijhoudt is dat je anders bij elke aanpassing van je cursus opnieuw moet uitzoeken welke vragen erbij horen.

Wat husselen niet oplost

Husselen maakt een slechte vraag niet beter. Als het langste antwoord het juiste is, blijft dat zo in elke volgorde. Als je afleiders niemand aantrekken, blijft de raadkans in de praktijk hoger dan je denkt. Zie wat raden oplevert.

Het lost ook je grootste risico niet op, namelijk dat je toets iets anders meet dan je bedoelt. Daar helpt alleen een eerlijke blik op je vragen tegenover je leerdoelen. Zie wat je toets echt meet.

De praktische instelling

Voor de meeste cursussen is dit een verdedigbare standaardinstelling: opties altijd husselen, vragen husselen binnen blokken en trekken uit een bank zodra er iets aan de uitslag hangt of zodra je herkansingen aanbiedt. Meer is bijna nooit nodig, minder is bij een eindtoets te weinig.