Open vragen nakijken zonder in willekeur te vervallen

Open vragen zijn het enige vraagtype waarbij de deelnemer zelf moet produceren in plaats van herkennen. Dat maakt ze waardevol en tegelijk lastig, want de betrouwbaarheid van een open vraag hangt niet alleen aan de vraag maar ook aan de nakijker. Diezelfde nakijker die 's ochtends mild is en 's avonds streng.

Dat probleem los je niet op met beter je best doen. Je lost het op met een model dat je vooraf maakt.

Schrijf het modelantwoord voordat je de vraag publiceert

Het antwoordmodel is geen naslagwerk achteraf, het is een test van je vraag. Ga zitten en beantwoord je eigen vraag zoals je het van een deelnemer verwacht.

Merk je dat je een antwoord van twee kantjes schrijft, dan is de vraag te breed. Merk je dat je in drie woorden klaar bent, dan had het geen open vraag hoeven zijn. Merk je dat je meerdere heel verschillende antwoorden kunt geven die allemaal goed zijn, dan moet je de vraag inperken of het model verbreden.

In het model zet je niet alleen wat er staan moet, maar ook wat er niet in hoeft. Dat scheelt later twijfel over antwoorden die kloppen maar iets anders benadrukken. De handout over de constructie van open vragen van de Universiteit Utrecht noemt datzelfde model een scoringsvoorschrift en vraagt dat het naadloos op de vraag aansluit, dat het aantal punten hoort bij het aantal antwoordelementen en dat je in de vraag zelf aangeeft hoe lang het antwoord ongeveer moet zijn.

Werk met elementen in plaats van een cijfer per antwoord

Een antwoord beoordelen op een schaal van tien is vragen om afdrijven. Werk met punten voor benoembare elementen.

Bijvoorbeeld bij de vraag welke stappen iemand zet bij een klacht buiten de garantietermijn:

• Stelt vast dat de termijn verstreken is: 1 punt.
• Noemt de uitzondering die hier van toepassing is: 1 punt.
• Kiest een handelwijze en onderbouwt die: 2 punten.
• Formuleert het richting de klant: 1 punt.

Nu kun je per antwoord aankruisen wat er staat. Dat gaat sneller dan een cijfer verzinnen en het is uit te leggen aan iemand die het er niet mee eens is.

Voor vragen waarbij de kwaliteit telt en niet het aantal elementen gebruik je een schaal met omschrijvingen per niveau. Niet "goed, voldoende, matig", maar per niveau een zin die zegt wat je ziet. Dat is meer werk en het is het enige wat helpt.

Nakijken per vraag, niet per deelnemer

Dit is de goedkoopste verbetering die er is. Kijk vraag 1 na voor iedereen, dan vraag 2 voor iedereen.

Twee redenen. Je houdt de norm voor die ene vraag beter vast, want je vergelijkt antwoorden direct met elkaar in plaats van met je herinnering aan een uur geleden. En je voorkomt dat je oordeel over vraag 1 doorwerkt in vraag 4 van dezelfde persoon. Dat laatste is een bekend effect en het treft juist de deelnemers die aan het begin een slechte start hadden. Beoordelen per vraag in plaats van per deelnemer staat ook in het overzicht van procedures tegen beoordelaarseffecten, samen met anoniem nakijken en het afstemmen van je eerste beoordelingen met een collega.

Dek de naam af als je platform dat toelaat. Weten wie het antwoord schreef helpt bij het nakijken nooit en kleurt het altijd.

Spreek af wat je doet met taal en spelling

Beoordeel je spelfouten mee? Voor een training communicatie waarschijnlijk wel, voor een training over veiligheidsvoorschriften waarschijnlijk niet. Beide zijn te verdedigen. Wat niet te verdedigen is, is dat je het per antwoord beslist op basis van hoe erg het je irriteert.

Zet het in de vraag zelf of in de toelichting bij de toets. Dan weet de deelnemer waar hij tijd in moet steken.

Kalibreer met vijf antwoorden voordat je begint

Voordat je de hele stapel doet: kijk vijf willekeurige antwoorden na, leg ze naast elkaar en controleer of je model klopt. Bijna altijd kom je iets tegen wat je niet had voorzien en wat wel goed is.

Vul dan je model aan en begin opnieuw met dezelfde vijf. Dat kost tien minuten en voorkomt dat de eerste twintig deelnemers volgens een andere norm zijn beoordeeld dan de rest.

Kijk je met twee mensen na, doe dit dan samen en beoordeel eerst allebei dezelfde vijf. Waar je verschilt, zit een gat in het model.

Zorg dat de deelnemer weet waarom

Bij open vragen is de terugkoppeling belangrijker dan bij welk ander type. Een score van 3 uit 5 zonder toelichting is voor de ontvanger niet te plaatsen en levert een mail op.

Als je met elementen werkt, is dat probleem meteen opgelost: je geeft terug welke elementen je hebt gevonden en welke niet. Dat is één regel per antwoord en het beantwoordt de vraag voordat hij gesteld wordt. Meer hierover in feedback per antwoord.

Wanneer je toch beter geen open vraag kunt stellen

Drie situaties waarin het gereedschap niet past.

Bij grote aantallen zonder nakijkcapaciteit. Reken vooraf uit hoeveel minuten het kost: drie minuten per antwoord bij tweehonderd deelnemers is tien uur werk per vraag.

Bij vragen waar één woord het antwoord is. Gebruik dan een invulvraag met een lijst geaccepteerde varianten.

Bij een toets die volledig automatisch een certificaat moet uitrollen. Zodra een mens moet nakijken, kan de uitslag niet direct zijn. Dat is geen bezwaar, maar het is wel iets om vooraf te bedenken. Zie de vergelijking van vraagtypen.