SBO Blog Het blog van Studiecentrum voor Bedrijf en Overheid
Door: Jolanda Soeting, Teelen Kennismanagement
De afgelopen maanden heb je diverse blogs kunnen lezen over de kwaliteit van toetsen, onder meer over betrouwbaarheid en onderscheidend vermogen. Deze informatie vind je in een toets- en itemanalyse. Maar hoe verkrijg je deze informatie?
Toetsen afnemen
Om te beginnen heb je voor een goede analyse minstens 50 afgenomen toetsen nodig en liefst zelfs meer dan 100. Hoewel je ook een at random samengestelde toets kunt analyseren, krijg je de meeste informatie over een toets waarbij alle kandidaten precies dezelfde vragen hebben voorgelegd gekregen.
Gegevens verwerken
Nadat je de toets hebt afgenomen, moet deze worden nagekeken en geanalyseerd. Hoewel je ook een afname op papier kunt (laten) analyseren, heeft digitale afname de voorkeur. Bijkomend voordeel: je kunt dan de vraagvolgorde en de alternatiefvolgorde laten variëren, waardoor de toetsvragen minder snel bekend raken bij afname gedurende een langere periode. Bij een papieren afname is dit zeer lastig te combineren met een analyse.
Informatie interpreteren
Een goed analyseprogramma ondersteunt je vervolgens bij het interpreteren van de informatie. In de schermafdruk van TestVision Online hierboven, zie je bijvoorbeeld aan de kleuren direct dat er iets aan de hand is: de rode items functioneren slecht en ook met de oranje items is iets aan de hand. Deze informatie gebruik je vervolgens om de items te verbeteren: een afleider aanpassen, de vraagstelling duidelijker maken of zelfs de toetsvraag in het geheel niet meer gebruiken en in de afname bij iedereen goed rekenen. Ook eventuele sleutelfouten spoor je met behulp van een toets- en itemanalyse eenvoudig op: het item heeft dan vaak een (erg) lage p-waarde. Kortom, bij digitale afnames kun je relatief eenvoudig informatie verkrijgen die je kan helpen bij het verbeteren van je toetsvragen. En daar heeft uiteindelijk iedereen baat bij!
