Wat je toets echt meet en wat je denkt dat hij meet

Er zijn twee vragen die je over een toets kunt stellen en ze worden voortdurend door elkaar gehaald. De eerste is: meet dit ding consistent? De tweede is: meet dit ding het juiste?

De eerste vraag gaat over betrouwbaarheid. De tweede over validiteit. Je kunt de eerste met vlag en wimpel halen en op de tweede volledig zakken.

Een weegschaal die er vijf kilo naast zit

Een weegschaal die altijd vijf kilo te veel aangeeft is volstrekt betrouwbaar. Ga er tien keer op staan en je krijgt tien keer hetzelfde getal. Alleen klopt dat getal niet.

Zo werkt het met toetsen ook. Een toets van veertig vragen over de terminologie uit je cursus meet die terminologie waarschijnlijk stabiel. Ging het je erom of iemand het werk kan doen, dan heb je een nette meting van het verkeerde.

Dit is de meest voorkomende fout bij toetsen in cursussen en het is geen technische fout maar een keuze die niemand bewust maakte. Meerkeuzevragen over definities zijn nu eenmaal het makkelijkst te maken.

Betrouwbaarheid: hoeveel ruis zit erin

Betrouwbaarheid gaat over de vraag hoeveel toeval er in een uitslag zit. Zou dezelfde persoon op een andere dag, met een andere set vragen uit dezelfde stof, ongeveer hetzelfde resultaat halen?

Wat betrouwbaarheid omlaag haalt:

• weinig vragen, waardoor één gelukje het verschil maakt tussen geslaagd en gezakt
• vragen die dubbelzinnig zijn, zodat mensen om verschillende redenen hetzelfde antwoord kiezen
• open vragen die door verschillende mensen verschillend worden nagekeken
• een hoge raadkans, bijvoorbeeld bij juist-onjuistvragen

De statistische maat die hiervoor het meest gebruikt wordt is de alfacoëfficiënt. De toetsservice van het Radboudumc streeft bij een bloktoets een alfa van 0,80 na om in redelijke mate iets over het kennisniveau te kunnen zeggen. Die eis hoort bij tentamens met veel kandidaten en veel vragen. Bij jouw cursus met achttien deelnemers is het getal zelf niet zo bruikbaar, maar de gedachte erachter wel: hoe korter je toets, hoe meer toeval er in de uitslag zit. Zie waarom een toets van vijf vragen weinig zegt.

Validiteit: dekt de toets de lading

Validiteit is geen getal maar een redenering. Je onderbouwt waarom de uitslag van deze toets iets zegt over datgene waarover je een uitspraak wilt doen.

De praktische kant daarvan is inhoudelijke dekking. Leg je leerdoelen naast je vragen en tel per doel hoeveel vragen erbij horen. Meestal zie je meteen twee dingen: er is één onderwerp waar de helft van je vragen over gaat omdat dat onderwerp zich makkelijk laat bevragen en er is een leerdoel waar geen enkele vraag bij hoort. Vaak is dat laatste het leerdoel dat er het meest toe doet.

De tweede kant is niveau. Als je leerdoel zegt dat iemand een klacht moet kunnen afhandelen en je vraagt welke drie stappen in het klachtenproces zitten, dan toets je een niveau lager dan je hebt opgeschreven. Zie van leerdoel naar toetsvraag.

De twee zitten elkaar in de weg

Hier wordt het ongemakkelijk. De ingrepen die betrouwbaarheid verhogen maken de validiteit vaak slechter.

Veel korte gesloten vragen over afgebakende feiten: erg betrouwbaar en het meet niet of iemand iets kan. Eén grote praktijkopdracht die precies het echte werk nabootst: sterk op validiteit en de uitslag hangt op één opdracht en één beoordelaar.

Er is geen truc die dit oplost. Er is wel een gebruikelijke uitweg: combineer. Een set gesloten vragen voor de kennis die eronder ligt, plus een praktijkopdracht of casus voor het kunnen. Je weegt beide delen en je zegt erbij waarom je zo weegt.

Let ook op bij het schrappen van slecht scorende vragen na afname. Elke vraag die je eruit haalt maakt je toets statistisch netter en inhoudelijk smaller. Zie na de eerste afname.

Drie controles die een half uur kosten

Je hoeft hier geen toetsdeskundige voor in te huren. Drie dingen halen de grofste fouten eruit.

1. De dekkingstabel. Leerdoelen in de eerste kolom, aantal vragen in de tweede, hoogste niveau in de derde. Een lege regel is een probleem, een regel met acht vragen ook.
2. De buitenstaander. Laat iemand die de cursus niet heeft gevolgd maar het vak wel kent de toets maken. Haalt die persoon een ruime voldoende zonder jouw cursus, dan meet je voorkennis. Zakt iemand die het werk al jaren doet, dan meet je jouw formuleringen.
3. De omgekeerde lezing. Lees je vragen en schrijf op welk leerdoel erbij hoort. Kun je dat bij een vraag niet, dan hoort die vraag er waarschijnlijk niet in.

Wat je hier eerlijk over kunt zeggen

Als iemand vraagt of jouw toets valide is, is het juiste antwoord nooit "ja". Het juiste antwoord is: hij dekt deze leerdoelen met dit aantal vragen op dit niveau en dat is de reden dat wij hem gebruiken voor deze uitspraak.

Dat klinkt voorzichtiger dan een certificaat met een percentage erop. Het is ook het enige dat je kunt onderbouwen zodra iemand doorvraagt, bijvoorbeeld als er een certificaat aan de uitslag hangt.