SBO Blog Het blog van Studiecentrum voor Bedrijf en Overheid
Veel docenten in het hoger onderwijs ontvangen een statistische analyse van hun multiple-choice toets omdat hun hogeschool werkt met een digitaal toetssysteem of een schrapkaarten-systeem. Vaak hebben die docenten geen idee wat ze met die veelheid aan statistische gegevens aan moeten. Ze kijken alleen naar de samenvatting en besluiten op basis daarvan vragen te schrappen en/of aan te passen. Dat is echter veel te voorbarig!
(Te) moeilijke vragen in de toets
Ik sprak twee weken geleden bijvoorbeeld een docent die vertelde: “Ik voeg aan mijn toets altijd een paar moeilijke vragen toe, zodat ik de écht goede studenten van de redelijk goede studenten kan scheiden. Gisteren kreeg ik echter een statistisch overzicht waarin stond dat een aantal vragen in mijn toets veel te moeilijk waren omdat de meerderheid van de studenten ze fout had. Daardoor was mijn toets niet goed.”
Die conclusie is niet terecht. De docent gaf immers duidelijk aan dat hij bewust een aantal moeilijke vragen in zijn toets had opgenomen. Dat maakt zijn toets niet automatisch een slechte toets. Als toetsdeskundige vind ik het juist aan te raden om een aantal gemakkelijke en een aantal moeilijke vragen op te nemen, zodat je kunt differentiëren tussen goede en minder goede studenten.
Hoe moet je die gegevens dan interpreteren?
Statistische informatie, zoals de P-waarde die iets zegt over de moeilijkheid van een vraag, heeft natuurlijk wel degelijk nut. Het geeft jou, als docent en/of toetsontwikkelaar, gereedschap in handen om je toets eens goed te bestuderen. Wanneer een vraag moeilijk blijkt te zijn, kun je jezelf drie vragen stellen:
- Is de vraag relevant (sluit de vraag wel aan bij de leerdoelen)?
- Is de vraag duidelijk geformuleerd?
- Is de vraag geen strikvraag (het gaat er tenslotte niet om dat studenten slim en eigenwijs genoeg zijn om niet in een strikvraag te trappen)?
Is geen van deze drie redenen de oorzaak van de moeilijke toetsvraag? En heb je er bewust voor gekozen om de vraag als moeilijke toetsvraag op te nemen in je toets? Dan zou ik hem gewoon in je toets laten zitten!
Sterker nog, ik zou volgend jaar een soortgelijke toetsvraag in de toets opnemen. De statistiek gaf enkel aan dat het een moeilijke vraag was. Maar dat is in dit geval prima.
Wil je graag meer weten over de statistische analyse van toetsresultaten?
In de tweede dag van de cursus Toetskwaliteit in het Hoger Onderwijs komt dit uitgebreid aan bod.
Met behulp van een praktijkgerichte insteek en best practices van onderwijsinstellingen uit het hoger onderwijs leert u uw toetsen te verbeteren en tegelijk de toetskwaliteit te verhogen.
Geschreven door: Bart Roosenboom, Teelen Kennismanagement
