Evaluatie
In de Evaluatiefase kun je terug kijken naar de doelstellingen die ten grondslag lagen aan het vernieuwde ontwerp. Zijn de oorspronkelijke doelstellingen behaald? En hoe bruikbaar is het nieuwe onderwijsontwerp voor de studenten?
Je kunt je cursus natuurlijk op de traditionele wijze evalueren (met een standaard student-evaluatie), maar het leren en lesgeven met behulp van onderwijsleertechnologie brengt specifieke uitdagingen met zich mee, waardoor het misschien toch handig is een aantal evaluatievragen toe te voegen.
Je wil natuurlijk wel weten hoe de ingezette digitale middelen door de studenten ervaren worden, want alleen zo kun je je eigen ontwerp blijven verbeteren.
Een deel van de vragen die voor de evaluatie gesteld moeten worden, varieert afhankelijk van de oorspronkelijke doelstellingen
Bijvoorbeeld, als de bedoeling van het ontwerp was om de binding tussen lerenden (en de docent) te versterken en de samenwerking op afstand te ondersteunen, zullen we moeten vaststellen of die specifieke doelen behaald zijn.
Gebruik instrumenten om te evalueren (zie bijvoorbeeld het TRUDACOT model; Classroom Observation Template of in de download hieronder).
Zijn de studenten kritisch, of zelf negatief? Geen paniek.
Denk eerst goed door over de mogelijke oorzaken hiervan, voordat je conclusies trekt over je onderwijsontwerp.
Studenten vinden het niet altijd fijn iets op een nieuwe manier te moeten aanpakken. Activerende werkvormen vergen bijvoorbeeld meer systematische inzet door de studenten, of er wordt hen gevraagd buiten hun comfort zone te treden.
Vaak blijkt ook dat er meer gecommuniceerd moet worden over de bedoelingen achter een nieuw onderwijsontwerp; betrek de studenten hier de volgende keer tijdig bij.
Naast vragen naar de meer specifieke doelen zijn er ook algemene evaluatieve vragen die we kunnen stellen om de zogenaamde ‘pedagogische bruikbaarheid’ (oorspronkelijk vastgesteld door Nokalainen, 2006) van digitale leerarrangementen vast te stellen. Pedagogische bruikbaarheid is een term die geïntroduceerd is omdat traditionele usability tests voor technologie niet voldoen in het onderzoek naar geschikte onderwijsleertechnologie.
Traditionele usability tests gaan uit van vragen zoals: voldoet het technische ontwerp? Kan de lerende intuïtief navigeren door het digitale leerarrangement?
Luister, maar kijk ook naar wat ze doen
Pedagogische bruikbaarheid richt zich meer specifiek op zaken als:
-
De inrichting van de leeractiviteiten (Waren de leerdoelen duidelijk? Waren er specifieke leerdoelen met betrekking tot technologiegebruik? Kwamen de aangegeven leerdoelen ook overeen met de eigen leerdoelen van de lerende?)
-
De relevantie van leermateriaal en leerproces (Hoe authentiek was het aangeboden leermateriaal en de vorm waarin het aangeboden werd? Was het leermateriaal bruikbaar bij het behalen van de leerdoelen? Sloot het leermateriaal aan bij de leerbehoeften; goed opgedeeld, voldoende voorbeelden etc.?)
-
De mate van controle die de technologie geeft over het leerproces (Hoeveel moeite koste het de lerende om de technologie goed te gebruiken (cognitive load)? Hoeveel moeite had hij/zij te navigeren in het digitale leerarrangement? Had de lerende het gevoel controle te hebben over het eigen leerproces? Misten de lerenden bepaalde kennis of vaardigheid om de leeractiviteiten, met de technologie, goed uit te voeren?)
-
De leerervaring (Werden de leeractiviteiten als prettig ervaren? Hebben de lerenden zelf het idee dat het leerarrangement, inclusief de ondersteunende technologie, hielp de leerdoelen te behalen? Hielden ze overzicht over hun eigen leerproces? Bood de technologie voldoende ondersteuning of misten zij functionaliteiten? Was er voldoende gelegenheid om feedback te geven op hoe het leerarrangement ervaren werd?)