Nieuw onderzoek: de effecten van leertechnologie op studieprestaties

Door: Wilfred Rubens | www.te-learning.nl

Half mei 2017 heeft Jeroen Janssen van de Universiteit Utrecht een uitstekende impressie geschreven van een uitgebreide systematische review van meta-analyses naar variabelen die van invloed zijn op studieprestaties in het hoger onderwijs.

In deze bijdrage wil ik, uitgebreider dan Jeroen, stilstaan bij de effecten van leertechnologie. Ik kijk daarbij niet alleen naar studieprestaties, maar ook naar efficiëncy en toegankelijkheid van onderwijs.

De onderzoeken

In zijn bijdrage legt Jeroen Janssen een relatie tussen de recente reviewstudie “Variables Associated With Achievement in Higher Education: A Systematic Review of Meta-Analyses” van Michael Schneider en Franzis Preckel  en John Hattie’s Visible Learning uit 2008. Janssen vat de verschillende variabelen samen en presenteert de 20 variabelen met de hoogste effectscores en de 20 met de laagste (of zelfs negatieve) effectscores. Jeroen concludeert dat de wijze van instructie ertoe doet en dat er geen bewijs is dat onderwijstechnologie het onderwijs radicaal verbetert, maar wel effectief kan worden gebruikt “binnen een goed uitgedacht didactisch concept”.

8 opvallende bevindingen in de onderzoeken

Ik heb me meer in detail verdiept in de passages over online leren, blended learning en leertechnologie. Een aantal zaken valt me daarbij op:

1. Blended learning wordt gedefinieerd als “instructional conditions” waarbij minimaal 50% van de cursus uit face-to-face onderwijs bestaat en studenten de overige tijd online buiten de klas leren. Dikwijls gaan definities uit tussen 30-80% online leren. De effectgrootte van blended learning is 0,33.De auteurs concluderen daarom dat blended learning meer effectief is dan uitsluitend klassikaal leren. Leertechnologie is het meest effectief als het klassikale interactie aanvult, stellen zij. Online leren -leren vindt volledig of nagenoeg volledig online plaats- is met een effectgrootte van 0,05 ongeveer net zo effectief als volledig klassikaal leren.
2. De auteurs geven aan dat in onderzoeken lang niet altijd helder is wat men onder blended learning verstaat. Er wordt bijvoorbeeld geen minimum hoeveelheid online onderwijstijd gedefinieerd, en ook is niet altijd duidelijk wat voor leer- en doceeractiviteiten onderzoekers rekenen tot blended learning. Schneider en Preckel stellen terecht dat blended learning een zeer heterogene set aan didactische benaderingen kan impliceren. Dit bemoeilijkt de interpretatie van resultaten.
3. Blended learning is meer effectief als leertechnologie cognitie ondersteunt (bijvoorbeeld door abstracte concepten te visualiseren) dan wanneer het wordt toegepast om communicatie te ondersteunen (denk aan chatten in groepen).
4. Kleine groepen leren effectiever als zij face-to-face communiceren dan als zij met technologie werken. Dit zou te maken kunnen hebben met beperkte mogelijkheden voor sociale interactie die technologieën vaak hebben, suggereren Schneider en Preckel.
5. De onderzoekers onderstrepen een aantal keer dat de wijze waarop leertechnologie wordt ingezet van invloed is op de effectiviteit.
6. Simulaties zijn effectiever na instructie van relevante concepten, maar niet effectief als zij uitsluitend worden gebruikt als instructie.
7. Educatieve games individueel spelen is effectiever dan educatieve games in groepen spelen. Competitie en groepsdynamica leiden mogelijk af van de inhoud.
8. Intelligente tutoring systemen, waarbij kunstmatige intelligentie gebruikt wordt om de studievoortgang te analyseren, lerenden taken op maat te geven en feedback te verstrekken afhankelijk van de individuele voortgang, is effectiever dan leren zonder technologie, Maar minder effectief dan tutoring door mensen (ik neem aan ook afhankelijk van de kwaliteit van de begeleiding).

Aanvullende opmerkingen van de onderzoekers

De auteurs concluderen dat meer onderzoek nodig is naar de effectiviteit van verschillende vormen van blended learning (didactische benaderingen, mogelijkheden voor sociale interactie, complexiteit).

De onderzoekers hebben geen goed nieuws voor mensen die stellen dat positieve effecten van leertechnologie zullen toenemen naarmate de technologieën krachtiger worden. Er is inderdaad veel meer mogelijk met leertechnologieën. Bovendien zijn ze meer vriendelijk in gebruik dan jaren geleden. Onderzoek laat echter zien dat de effecten van bijvoorbeeld intelligentie tutor systemen, online leren of blended learning in de loop der jaren kleiner zijn geworden, en niet groter (wat je zou verwachten als leertechnologie meer krachtig wordt).Er zijn bijvoorbeeld geen meta-analyses beschikbaar over de invloed van bijvoorbeeld MOOCs, audience response systemen of sociale media op studieprestaties, stellen Schneider en Preckel:

Obviously, technological advances do not automatically improve educational practices or raise student achievement.

De auteurs schrijven dat er geen empirische ondersteuning is voor de opvatting dat ICTwill revolutionize higher education, at least not with respect to studentachievement.Je kunt uiteraard niet in de toekomst kijken.
ICT kan niet worden gebruikt om kwalitatief minder goede docenten beter te maken of om een gebrek aan docentprofessionalisering te compenseren.

However, technology use can have weak to medium–strong associations with achievement when teachers use it in goal-directed ways as part of a carefully prepared overarching didactic concept.

Wat betreft bevindingen op het gebied technology-enhanced learning bevat deze analyse dus ook interessante constateringen, die je overigens wel vaker terug leest in publicaties.

Kortom,…

De effectiviteit van leertechnologie wordt sterk beïnvloed door wijze waarop de leertechnologie wordt gebruikt en de context waarbinnen deze technologieën worden ingezet. De meest opvallende constatering vind ik echter dat vaak slecht gedefinieerd is wat blended learning is. En probeer bijvoorbeeld ook eens peer assessment, het organiseren van een cursus, self-assessment of open vragen te versterken met ICT. De constatering dat de positieve effecten van leertechnologieën in de loop der jaren kleiner worden, zal voor menigeen ontnuchterend werken. Wellicht komt dit door het “novelty effect“?

Tot slot

Schneider en Preckel focussen zich op variabelen die van invloed zijn op studieprestaties in het hoger onderwijs. Je kunt echter ook leertechnologie inzetten om onderwijs meer toegankelijk te maken of meer efficiënt (minder reiskosten, minder reistijd, minder gemiddelde studietijd, enzovoorts; best belangrijk als je werkende volwassenen wilt bereiken). Als dan blijkt dat deze doelen worden bereikt en online leren net zo effectief is als klassikaal leren, dan is dat eigenlijk best goed nieuws.

Next Higher Education 2017

Blended en online leren neemt een steeds prominentere plaats in in het Hoger Onderwijs.Blended en online leren neemt een steeds prominentere plaats in in het Hoger Onderwijs.Het is waardevol om de onderzoeken op dit gebied scherp te blijven volgen. Tegelijkertijd zijn de Tijdens het Next Higher Education 2017 – het congres over de laatste actualiteiten in het hoger onderwijs – delen verschillende sprekers hun inzichten en ervaringen over online en blended learning, zoals:

• Anne-Petra Rozendal, UMC Utrecht: Optimalisatie van de verbinding tussen online en contactonderwijs.
• Anja Oskamp, Rector Magnificus Open Universiteit: Combinatie van structuur en flexibiliteit vergroot studierendement in deeltijd.
• Jan Haarhuis, programmamanager Educate-it en dr. Harold van Rijen, Hoogleraar Lifesciences Sciences: Universiteitsbreed veranderen voor de student/werknemer van de 21ste eeuw.
• Dirk Tempelaar, Maastricht University: Learning Analytics als bron van leerfeedback voor persoonlijk leren.
• Ben Betts, CEO HT2: Personalised learning eco systems: the future!

Download de brochure