Open: wat vinden studenten daar nu van?

Gebruik van open leermateriaal en andere vormen van open onderwijs zoals MOOC’s in hoger onderwijs zou uiteindelijk voordeel moeten bieden aan de studenten. Het is daarom opvallend dat hun mening vaak ontbreekt wanneer er door een instelling voor hoger onderwijs beleid wordt ontwikkeld op open onderwijs of wanneer een instelling besluit open leermaterialen te publiceren of materiaal van elders te hergebruiken in het eigen curriculum. In de afgelopen week zijn twee onderzoeksrapporten verschenen over hoe studenten tegen open onderwijs aankijken. Suzanne de Kort heeft, in het kader van een stage bij Wikiwijs, in juni een soortgelijk onderzoek gedaan onder studenten in het hoger onderwijs in Nederland. In deze blogpost zal ik de resultaten uit deze drie onderzoeken met elkaar vergelijken.
Het eerste artikel betreft Learner Experiences with MOOCs and Open Online Learning. In dit open beschikbaar boek beschrijven tien studenten ieder hun ervaringen bij het volgen van een MOOC of andere vormen van open education (zoals een tutorial op Youtube). De cursussen varieerden van statistiek tot mixen van electronische muziek. Twee conclusies zijn getrokken door de initiatiefnemer van dit boekwerk, George Veletsianos:

  • Er is een groot verschil tussen verwachtingen en realiteit van open online leren. Studenten komen grote barrières tegen, maar waarderen aan de andere kant ook de toename in flexibiliteit die open online leren hen biedt. De realiteit zoals die door lerenden wordt ervaren zijn noch zo positief als optimisten vaak doen voorkomen, noch zo negatief als critici vaak suggereren.
  • De onderhavige studie bevat onderdelen van een nog incompleet totaalbeeld van de leerervaringen bij open online leren. Onderzoeken vinden plaats in verschillende contexten en focussen op verschillende aspecten van de leerervaring.
Het tweede artikel is een studie van het Educause Center for Analysis and Research. Het is een breed opgezette studie naar keuzes en voorkeuren van undergraduate studenten. De studie is uitgezet onder 1,6 miljoen studenten, waarvan ruim 113.000 uit 14 landen response gaven. Een aantal vragen ging over open leermaterialen en het aanbod van MOOC’s. Conclusies over dit laatste en nauw eraan gerelateerde onderwerpen:
  • Studenten prefereren een blended leren aanpak en beginnen te experimenteren met MOOC’s.
  • Studenten prefereren hun sociale en leeromgeving gescheiden te houden, ook in hun gebruik van technologie.
  • Studenten zijn matig geïnteresseerd in vroegtijdige studeeraanwijzingen gebaseerd op learning analytics.
71% van de studenten geeft aan wel eens OER te gebruiken, maar voor de meesten is dit gebruik marginaal. 10% geeft aan OER altijd te gebruiken. De studenten geven aanbevelingen aan hun instructeurs om OER te gebruiken omdat het in hun ogen zorgt voor extra hulp bij het leren, extra informatiebronnen en verschillende perspectieven op een onderwerp. De bekendheid met MOOC’s is erg laag (75% heeft er nog nooit van gehoord en slechts 3% heeft er wel eens eentje gevolgd. Hiervan heeft 1/3 (dus 1% van het totaal) de MOOC ook afgemaakt, waarvan de helft (dus 0,5% van het totaal) ook een certificaat heeft behaald. Rond de 16% gaf aan colleges niet te bezoeken als deze online beschikbaar zouden zijn. Er is een infographic beschikbaar waarop resultaten zijn weergegeven.
Het onderzoek van Suzanne de Kort was bedoeld om in kaart te brengen de intentie en daadwerkelijk gebruik van aanvullend digitaal leermateriaal dat niet tot de verplichte stof behoort door studenten in het hoger onderwijs in Nederland. Hierbij was het van belang dat het aanvullend materiaal vrij beschikbaar was. Het hoefde niet per se gepubliceerd te zijn onder een open licentie. De survey had een bruikbare response van 162, redelijk gelijk verdeeld over man/vrouw resp HBO/WO. Hier een samenvatting van de belangrijkste resultaten.
  • 27% van de studenten geeft aan gemiddeld één keer per week op zoek te gaan naar aanvullend digitaal materiaal, 21% geeft aan meerdere keren per week op zoek te gaan. Daartegenover geeft ongeveer 3% aan nooit op zoek te gaan naar aanvullend digitaal materiaal.
  • 59% van de studenten geeft aan het behoorlijk tot heel belangrijk te vinden om aanvullend digitaal materiaal te zoeken
  • De belangrijkste redenen om op zoek te gaan zijn het beter begrijpen van de leerstof (64%), het feit dat het snel en op ieder moment beschikbaar is (51%), tijdsbesparing (bv. door alleen de gezochte samenvatting te leren) (47%) en aanvulling op studie via achtergrondinformatie (44%)
  • De belangrijkste redenen om niet op zoek te gaan zijn twijfel over de betrouwbaarheid van de informatie (63%), verlies van overzicht door overload van informatie (38%) en twijfel over de keuze van het juiste leermateriaal (34%)
  • Studenten gaan het meest op zoek naar bronnen voor opdrachten, extra uitleg en samenvattingen
  • Belangrijkste vindplaats van digitaal materiaal: zoekmachines (86%), via vrienden of studiegenoten (51%) en via tips van docenten (38%).
  • 20% van de studenten kende het fenomeen MOOC. 4% van de studenten had wel eens een MOOC gevolgd en minder dan 1% heeft het afsluitende examen gedaan (zonder een certificaat te behalen).

Uit analyses van relaties tussen intentie en daadwerkelijk gedrag van gebruik van aanvullend digitaal leermateriaal is af te leiden dat het daadwerkelijk gedrag vooral afhangt van de kwaliteit van het materiaal en hoe vroeg ze hiermee in aanraking komen. Tevens is uit de veel genioemde redenen om niet op zoek te gaan af te leiden dat docenten in de rol van curator erg belangrijk zijn om studenten ertoe te bewegen op zoek te gaan naar aanvullend digitaal leermateriaal. Zij moeten studenten stimuleren en ook aangeven waar geschikte bronnen te vinden zijn.
De resultaten over MOOC’s zijn bij alledrie de studies gelijkluidend. Veel studenten kennen het fenomeen niet en slechts heel weinig studenten wagen zich er ook aan.

 

Vier jaar OER-programma in de UK

De Higher Education Funding Council for England (HEFCE) heeft van 2009 tot 2012 initiatieven op het terrein van OER en Open Educational Practices (OEP) gefinancierd. In het programma nam onderzoek naar de effecten van dit programma een ruime plaats in. Vorige week verscheen het rapport met de verzamelde resultaten en conclusies.
De term Open Educational Practices (OEP) refereert naar alle activiteiten die te maken hebben met het publiceren en gebruiken van OER, zowel beleidsmatig als operationeel.
 
Het programma richtte zich op vier focusgebieden:

  • Culture and practice
  • Releasing and using OER
  • Processes for sustainability
  • Benefits and impact

De volgende resultaten vond ik de meest opvallende uit dit rapport.
Gedurende de loop van het programma was er meer en meer samenwerking met en inzet van studenten bij creatie van OER, waarbij studenten ook steeds meer de rol van co-creator kregen. Er was een positieve impact op hun leren door het gebruik van OER, zoals meer zelfvertrouwen en een toename van aantal studieprojecten, ook internationaal. Issues waren er ook, met name onvoldoende digitale geletterdheid. Hoe deze situatie in Nederland is, is bij mijn weten nog niet onderzocht. Momenteel is een stagiaire bij Wikiwijs bezig met een onderzoek naar gebruik van vrij beschikbare leermaterialen door studenten in het HBO en WO. Wanneer de resultaten uit dit onderzoek bekend zijn zal ik hierover bloggen.
Er wordt een betere ondersteuning bij copyright vraagstukken waargenomen. Het meest  in het oog springende initiatief op dit terrein betreft het voorstel om te komen tot een Digital Copyright Exchange. Dit zou het eenvoudiger moeten maken om rechthebbenden te achterhalen en toestemming te vragen voor hergebruik van hun werk in een OER. In Nederland zou een dergelijke centrale service ook een belangrijk onderdeel van een Open Education ecosysteem kunnen worden voor alle onderwijssectoren.
De impact van OER en OEP werd middels diverse surveys gemeten. De top-3 van de grootste impact:

  1. Verbeterde toegankelijkheid voor lerenden (55%)
  2. Didactische verbeteringen (49%)
  3. Meer delen van bronnen tussen docenten in dezelfde discipline (41%)

Door als instelling met OER en OEP te beginnen werden discussies over strategie, beleid en processen aangezwengeld. Dit zien we nu ook in Nederland gebeuren door de opkomst van de MOOC’s, zoals ook Ria Jacobi in haar blog signaleert.
De grootste barrières die worden gemeld zijn:

  • Gebrek aan tijd om OER van elders aan te passen aan de eigen context
  • Copyright vraagstukken (ondanks de eerder vermelde betere ondersteuning hierbij is dit nog steeds een barrière van betekenis)
  • OEP niet gestroomlijnd met de dagelijkse activiteiten van de betrokkenen

Beloning en erkenning werden beschouwd als de grootste enabler voor individuele docenten. Een belangrijke constatering was ook dat docenten die betrokken zijn bij (maken of gebruiken van) OER gestimuleerd worden tot heroverweging van bestaande content en overwegingen van hoe leermaterialen kunnen worden gebruikt in verschillende contexten (de docent als “reflective practitioner“).
Wat betreft duurzaamheid is geconstateerd dat éénjarige projecten nauwelijks kosteneffectief zijn te maken. Kosteneffectief maken van creatie en hergebruik van OER kan pas gebeuren als de processen en activiteiten hiervoor goed zijn opgezet, inclusief aanpassing van de kwaliteitszorg. Dit vergt een meerjaren aanpak, maar uiteindelijk loont zich dat wel.
Dit rapport bewijst voor mij weer eens de vooraanstaande positie die de UK heeft op het gebied van onderzoek naar OER. Behalve de hier genoemde feiten zijn er nog veel meer leerpunten uit de rapportage te halen. Verplichte kost voor iedereen die, op welk niveau dan ook, aan het nadenken is over beleid of activiteiten op het gebied van OER of Open Education.

Twee OER-onderzoeken

Deze week verscheen een tweetal onderzoeken op het gebied van OER.
Het eerste betreft het proefschrift van TJ Bliss. Hij promoveerde aan de Brigham Young University in Utah, USA op een model voor het bij ontwerp bepalen van de kwaliteit van een (open) digitaal textbook vanuit studentperspectief.
Uit het onderzoek kwamen de volgende kwaliteitskenmerken voor een textbook als belangrijkste naar voren:

  • navigation features
  • access features
  • technical performance
  • relevance
  • interaction features
  • presentation features
  • educational impact
  • sensitivity to diversity

Het bijzondere aan dit proefschrift is het mede in ogenschouw nemen van het digitale aspect, itt veel literatuur over kwaliteit van textbooks. Het onderzoek levert ook een aantal evaluatie-instrumenten op dat bij ontwerp en validatie van textbooks gebruikt kan worden.
Het tweede onderzoek betreft een (draft) paper over motieven om OER te gaan publiceren en de spanningen die daarbij ondervonden worden. Het onderzoek gebruikt het JISC UKOER-programma als object van onderzoek.
Er worden vijf motieven onderscheiden om OER te publiceren:

  • Reputation building,
  • Efficiency/income generation,
  • Open access to knowledge,
  • Enhancing pedagogy
  • Technological momentum.

Daadwerkelijk publiceren van OER wordt met name beïnvloed door “regels” van de instellingen:

  • intellectual property rights (IPR),
  • institutional quality processes,
  • disciplinary ways of working
  • pedagogic cultures
Met name regels rondom correct toepassen van IPR waren vaak op gespannen voet met de motieven die een instelling heeft om OER te publiceren of OER te hergebruiken. Reputatie was een veelgebruikt motief, maar gaf ook veel spanningen. Zo wordt hergebruik van OER van elders door hoge kwaliteitseisen beperkt. Ofwel:
The oft-articulated benefits of OER in terms of institutional showcasing and attracting potential students, which may prove attractive to institutional managers and gain institutional support for OER, place inherent limitations on the development of more open practices which are ultimately founded on a commitment to academic commons.

OER vraagstukken

De afgelopen dagen reflecteerde ik op de vele artikelen en blogposts waar ik de afgelopen maanden op ben gewezen of die ik zelf ontdekt heb. Het overgrote deel daarvan gingen over Massive Open Online Courses (MOOC’s). Een MOOC is echter slechts één van de verschijningsvormen van een proces “Opening up education” waar ik hier al eerder over blogde. Het grootste onderscheid met Open Educational Resources is daarbij dat de content van een MOOC (in ieder geval die van een xMOOC) niet open is in de zin van vrij bewerkbaar en herbruikbaar onder voorwaarden.
Door alle aandacht voor MOOCs zou je bijna denken dat OER zelf in Nederland al zodanig mainstream is dat er geen aandacht meer voor nodig is. Niets is echter minder waar en in deze blogpost wil ik een aantal nog steeds bestaande vraagstukken over OER bespreken.
Een eerste vraagstuk betreft de kwaliteit van OER. Voor de repositories met open leermateriaal die vanuit het hoger onderwijs in Nederland worden aangeboden (OU, Delft en Leiden) is “men” het er wel over eens dat de kwaliteit van de content erin hoog is. De vraag daarbij is wel wat dan precies onder kwaliteit wordt verstaan. Tevens is het een vraagstuk hoe en waar een docent die op zoek is naar OER om te kunnen hergebruiken moet zoeken en, indien gevonden, hoe dan op een efficiënte en effectieve wijze de toepasbaarheid in de eigen context (een kwaliteitsaspect!) kan worden bepaald. Momenteel verricht ik een studie hiernaar die o.a. de vraagstukken over kwaliteit van OER voor het hoger onderwijs in Nederland in kaart moet brengen. Later dit jaar meer hierover.
Vindbaarheid van OER is een tweede vraagstuk. De meeste docenten en studenten die op zoek zijn naar open leermateriaal zullen Google gebruiken. In de zoekresultaten zullen veelal potentieel geschikte leermaterialen “verstopt” zitten tussen allerlei bronnen die ofwel niet voldoen aan de behoeften van de zoeker ofwel niet open zijn. Er zijn zoekmachines beschikbaar voor zoeken naar OER, maar zelfs ingewijden in OER kennen die zoekmachines niet. Daarbij zijn ze ook veelal beperkt tot zoeken in een gering aantal repositories. Zie bijvoorbeeld de op Google Custom Search gebaseerde zoekmachine bij Wikiwijs, die een 60-tal repositories doorzoekt.
Mede gerelateerd aan het eerstgenoemde vraagstuk van kwaliteit is het feit dat het zoeken naar materiaal waarbij ook door de context bepaalde factoren als didactiek en doelgroep meegenomen kan worden momenteel niet breed ondersteund wordt. Op kleine schaal zijn er wel oplossingen waarbij deze factoren in metadata elementen worden beschreven, maar het is nog geen wereldwijde standaard. De vraag is daarbij ook of metadata daarvoor een oplossing zal zijn: wie gaat al die metadata toevoegen? Ik geloof meer in ontwikkelingen waarbij dergelijke contextinformatie op de een of andere wijze automatisch wordt afgeleid uit bv. gegevens van logbestanden van repositories en koppelingen met gebruiksprofielen van eerdere gebruikers.
Het vraagstuk van businessmodellen voor OER en meer in het bijzonder de verdienmodellen is er ook nog steeds. De aandacht voor businessmodellen is met de recente opkomst van MOOC’s weer actueel geworden. Zelf aanbieden van MOOC’s of inzetten voor eigen onderwijs? Maar ook: levert hergebruik van OER bewezen voordeel op? Welke extra inkomsten kunnen de gederfde kosten van aanbieden van vrij beschikbaar materiaal compenseren? Is het alleen duurzaam te krijgen met overheidssubsidies of zijn er ook andere vormen van financiering mogelijk? Nauw gerelateerd aan dit vraagstuk is ook het ter beschikking krijgen van door data ondersteunde bewijzen van claims die aan OER worden toegeschreven zoals hogere kwaliteit leermaterialen en efficiëntere productie. De Evidence Hub van OLNet is een mooie aanpak hiervoor.
Een vierde en wellicht het grootste vraagstuk is dat van de human factors rondom gebruik en delen van open leermaterialen en, breder, gebruik van digitale leermaterialen. Ik leer hier veel over van mijn collega’s bij de Open Universiteit Karel Kreijns, Marjan Vermeulen, Frederick Van Acker en Hans van Buuren. Ze willen inzicht krijgen in wat docenten beweegt digitale leermaterialen te maken, delen en gebruiken, de door hen uitgesproken intentie hiervoor en het daadwerkelijk gedrag hierin. Hierbij gebruiken ze het Integrative Model of Behavior Prediction (IMBP) van Fishbein. De eerste resultaten van hun onderzoek leert dat er een waarneembaar verschil is tussen de uitgesproken intentie en het werkelijk gedrag. Deze resultaten zijn gepubliceerd in Pedagogische Studiën (oktober 2012) en Computers in Human Behavior (januari 2013). Paul Kirschner heeft een mooi commentaar op die eerste resultaten gegeven. Hun vervolgonderzoek moet onder meer zicht geven op welke variabelen dat verschil nu kunnen verklaren.
Misschien tijd voor een OER onderzoeksagenda?