SBO Blog Het blog van Studiecentrum voor Bedrijf en Overheid
Eind 2017/begin 2018 hebben Cito en Teelen elk vijf van elkaars Toetsdeskundigen beoordeeld op basis van het NVE-profiel Toetsdeskundige. Dat is toch wel zo eerlijk als je zelf ook kandidaten beoordeelt; Practice what you preach!
‘Leerling-gedrag’
Zelf in de rol van ‘de kandidaat’ kruipen was voor de meeste toetsdeskundigen een goede ervaring. Typisch ‘leerling-gedrag’ was ons daarbij niet vreemd. We voelden weerstand om iets te bewijzen dat je al lang kunt, enkelen begonnen pas tegen de deadline met het portfolio en sommigen leverden in eerste instantie een incompleet portfolio in. Eenmaal over de drempel heen vonden we het ook leuk om onze ervaring zichtbaar te bundelen.
Beoordeling van andere Toetsdeskundigen
Door zelf een portfolio samen te stellen en vervolgens te zien hoe andere toetsdeskundigen dat beoordelen, kregen we ideeën hoe de beoordelingsprocedure verbeterd kon worden. Enkele voorbeelden van deze verbeteringen zie je hieronder.
Voorbeeld ter verbetering van de procedure
Niet alle beoordelaars gaven even veel toelichting op de beoordeling. Bij sommigen ontbrak dit zelfs in zijn geheel. Sommige beoordelaars gaven ook feed forward aan de kandidaat mee. Dit werd als erg waardevol ervaren.
Verbetering: We hebben nu duidelijker in onze procedure vermeld wat we op dit punt van de beoordelaars verwachten: minstens een toelichting op de punten die onvoldoende zijn beoordeeld. Bij voorkeur ook feed forward opnemen.
Voorbeeld ter verbetering van het beoordelingsformulier
Het beoordelingsformulier bestaat uit rubrics met drie niveaus: onvoldoende/voldoende/goed. Tijdens de beoordeling bleek het voor de beoordelaars soms lastig te kiezen tussen het niveau voldoende of goed omdat de grens onduidelijk was.
Verbetering: Bij de beoordelingscriteria met een lastig onderscheid tussen de niveaus voldoende/goed hebben we daarom de schaal aangepast naar een tweepunts-schaal: onvoldoende of voldoende. Ook de cesuur is hierop aangepast.
Kalibreren is leren
In april 2018 hebben acht beoordelaars van Cito en Teelen een gezamenlijke kalibreersessie gehouden. Het doel van deze sessie is de betrouwbaarheid van de beoordelingen te verhogen. Dit hebben we gedaan door allen eenzelfde portfolio te beoordelen en de beoordelaarsverschillen te bespreken. Er bleken bij verschillende beoordelingscriteria grote beoordelaarsverschillen te zijn. Enkele beoordelaars beseften zich achteraf dat dit gedeeltelijk lag aan hun beoordelingsvalkuil (bijvoorbeeld te streng/te soepel beoordelen). Daarnaast bleken er bij enkele criteria in de rubrics verschillende interpretaties te bestaan.
Voorbeeld ter verbetering naar aanleiding van de kalibreersessie
Een beoordelaarsverschil ging over of het behandelde knelpunt in het portfolio door de betreffende organisatie als relevant moet worden aangemerkt. Enkele beoordelaars gaven aan dat als een knelpunt niet expliciet door de organisatie als relevant is aangemerkt, het toch best relevant kan zijn. Mogelijk blijkt de relevantie uit een andere reden (buiten de organisatie).
Verbetering: In de rubric is toegevoegd dat de kandidaat ook op een andere manier aannemelijk mag maken dat er draagvlak is om het knelpunt te analyseren, bijvoorbeeld met wet- en regelgeving.
Samen bereik je meer!
Samen werken aan en met eenzelfde beoordelingsprocedure en beoordelingsformulier geeft eenheid in het werkveld. Door beoordelingsresultaten van beide organisaties te bundelen, wordt het aantal portfolio’s hoger en zijn aanpassingen ook beter gefundeerd. Cito en Teelen willen deze samenwerking dan ook zeker voortzetten.
We hebben moeten werken, we hebben ervan geleerd, maar het resultaat mag er zijn: Uiteindelijk zijn we alle 10 geslaagd en ingeschreven in het NVE-register!
