Tag Archives: Kwaliteit

Effecten van OER op kwaliteit van onderwijs

Posted on by

Zojuist presenteerde minister Bussemaker de strategische agenda HO2025. Science Guide presenteerde de belangrijkste punten daaruit (hier het OCW-origineel). Veel van de voorgestelde maatregelen beogen de kwaliteit van het onderwijs te verhogen. Op het gebied van open onderwijs werden twee ambities uitgesproken (nadruk door mij aangebracht):

  • Nederlandse hogeronderwijsinstellingen blijven internationaal koploper op het vlak van de mogelijkheden van Open en Online Onderwijs. Nederland onderstreept deze ambitie tijdens het Europees voorzitterschap in 2016. Instellingen experimenteren met de mogelijkheden, en passen de lessen toe over de volle breedte van hun onderwijsaanbod. De middelen die beschikbaar komen met het studievoorschot maken het mogelijk de huidige stimuleringsmaatregel voor Open Online Hoger Onderwijs uit te breiden.
  • Alle docenten stellen in het ho in 2025 hun onderwijsmaterialen vrij beschikbaar zodat zij gebruik kunnen maken van elkaars digitale leermaterialen. Verkend wordt of en hoe een (inter)nationaal platform waarop onderwijsmateriaal gedeeld en bewerkt kan worden hieraan bijdraagt. Daarnaast worden instellingen opgeroepen om elkaars MOOC’s te erkennen.

Ik ben heel blij met de ambitie die bij de tweede bullet vetgedrukt geformuleerd is. Dit sluit aan bij de in 2008 door OCW geformuleerde ambitie rondom mainstream maken van OER, de doelstelling van het toen uitgevoerde 5-jarenprogramma Wikiwijs. In de praktijk is mij echter de afgelopen jaren gebleken dat het niet voor iedereen direct duidelijk is hoe OER kunnen bijdragen aan verhoging van de kwaliteit van het onderwijs. In mijn lectorale rede heb ik argumenten geformuleerd die door instellingen wereldwijd gebruikt worden om met OER aan de slag te gaan. Vanuit die argumenten kan de koppeling met kwaliteit van onderwijs worden aangegeven.

Argument Omschrijving Effect op kwaliteit onderwijs
Moreel Leermateriaal met publiek geld betaald moet publiek beschikbaar komen;Toegang tot kennis is een universeel recht van iedere mens. OER helpt (financiële) drempels tot die toegang te verlagen Geen directe invloed. Hoogstens indirect doordat er dan meer OER beschikbaar komt en daarbij een van de andere argumenten sterker kan gelden
Financieel De gratis beschikbaarheid van OER haalt een financiële drempel voor toegang weg Beperkte invloed, bv. wanneer leermaterialen voor een deel van de studenten financieel niet haalbaar is. Dat speelt in Nederland bij mijn weten niet. Dit zou wellicht wel kunnen gaan spelen wanneer de basisbeurs wordt afgeschaft
Efficiency Hergebruiken van OER voorkomt uitvinden van wielen Grote invloed. De gedachte is dat OER dat wordt hergebruikt zich al heeft bewezen in andere situaties (dus de aanname is dat het kwalitatief aan de maat is). Door de open licentie kan het materiaal worden aangepast aan de eigen context en worden verbeterd (bv. door het te actualiseren, door extra opgaven toe te voegen etc.). Hierdoor ontstaat uiteindelijk een hogere kwaliteit leermaterialen
Interne communicatie Door open publiceren van leermateriaal wordt bij andere faculteiten duidelijker wat er gebruikt wordt Potentieel grote invloed. Doordat faculteiten op deze wijze transparanter worden kunnen onderwijsprogramma’s beter op elkaar worden afgestemd.
Rendement Aankomende studenten krijgen beter beeld van een studie Beperkte invloed. Doordat er op deze wijze een betere selectie aan de poort kan plaatsvinden zijn studenten geschikter voor de studie en kan daardoor een hoger peil worden bereikt.
Innovatie OER publiceren en hergebruiken betekent zowel jouw kennis aan de wereld geven als kennis van elders binnenhalen in je onderwijs Grote invloed. Je kunt geïnspireerd raken door een aanpak die je in een OER vindt; grotere beschikbaarheid van OER maakt meer en innovatieve onderwijsvormen mogelijk (er is geen schaarste aan geschikt leermateriaal) (Stel jezelf de vraag of de Khan academy ook zo’n invloed zou hebben gehad op de ontwikkeling van bv. de flipped classroom als de video’s niet open beschikbaar zouden zijn)
Marketing en profilering Door bestaande leermaterialen open te stellen bereikt de onderwijsinstelling niet alleen de relatief kleine groep ingeschreven studenten, maar ook getalenteerde potentiële studenten, ‘self learners’, wetenschappers en het bedrijfsleven in binnen- en buitenland. Indirecte invloed. Goede docenten worden hierdoor geïnteresseerd om te gaan doceren aan de aanbiedende instelling.
Research Publiceren van OER geeft de mogelijkheid te experimenteren met digitaal leermateriaal buiten het (geaccrediteerde) curriculum. Potentieel grote invloed wanneer dit leidt tot betere toepassingen van digitaal leermateriaal

Mogelijk kan dit overzicht instellingen helpen bij het onderbouwen van hun beleid op open onderwijs, meer specifiek hergebruiken en publiceren van OER, zodat de ambitie uit de strategische agenda beter haalbaar wordt.

OER en kwaliteitsverbetering

Posted on by

Eerder schreef ik al over de noodzaak voor evidence dat claims die de OER-wereld maakt ook daadwerkelijk gerealiseerd worden. De Evidence Hub van OLNET is opgezet om via een crowdsourcing aanpak claims en evidence te verzamelen. En onlangs is de OER Research Hub gelanceerd voor o.a. het verzamelen van onderzoek naar effecten van OER.
Eén van de claims uit de open wereld is dat publiceren van open leermateriaal de kwaliteit van de leermaterialen verhoogt, omdat anderen deze materialen verder verbeteren en de resultaten ervan weer ter beschikking komen aan de wereld onder een open licentie. Zie bv in dit UNESCO rapport op p. 3 “Improving the quality of learning materials through peer review processes“. Deze peer review processen worden ook genoemd in de JISC OER Toolkit als één van de voordelen “availability of quality peer reviewed material to enhance their curriculum“.
Andere aan hogere kwaliteit gerelateerde voordelen die daar worden genoemd zijn “enhanced quality and flexibility of resources” en “support for learner-centred, self-directed, peer-to-peer and social/informal learning approaches“.
Ook de OER Research Hub heeft dit onder de noemer Performance als hypothese geformuleerd: “Use of OER leads to improvement in student performance and satisfaction (OER improve student performance/satisfaction)“.
Ria Jacobi was voor een beleidsstuk dat ze aan het schrijven is op zoek naar evidence voor de claim dat publiceren van OER leidt tot kwaliteitsverbetering van de leermaterialen. En omdat ik bij de Onderwijsdagen een presentatie geef over kwaliteit van OER (15:05-15:50 uur) vond ik het wel de moeite waard hier even in te duiken en te kijken of er in weinig tijd evidence geworden kon worden.
Hogere kwaliteit van leermateriaal is een middel om uiteindelijk te bereiken dat de leerprestaties van studenten verbeteren (zie bv. de blog van David Wiley). De invloed van publiceren of hergebruiken van open leermateriaal in het bijzonder of andere vormen van open education in het algemeen kan via de volgende redenering worden aangegeven:

  1. Gebruik van OER leidt tot hogere kwaliteit van leermaterialen en draagt daarmee bij aan beter onderwijs
  2. Inzet van andere vormen van open education (zoals een MOOC) leidt tot beter onderwijs
  3. Beter onderwijs leidt tot hogere leerprestaties van studenten
Het onderscheid tussen 1 en 2 wordt gemaakt omdat het bij 1 essentieel is dat materialen mogen worden herbewerkt, omdat kwaliteit mede afhangt van de aanpassing aan de context (lokalisatie van de leermaterialen, zie bv. hier). Bij 2 hoeft die eigenschap van open education niet te gelden . Met name de meeste (x)MOOC’s vallen in de categorie van niet aanpasbare open leermaterialen.
Andy Lane van de OU-UK observeerde in deze publicatie uit 2011 dat er nog weinig bekend is over de effecten van open leermaterialen op “teaching practices” (p. 5): “There have been a significant number of publications discussing OER in recent years but little of that discussion has been about the implications for teaching practices”
Ik ga er in de rest van deze post van uit dat de in de redenering aangegeven relaties tussen kwaliteit van leermateriaal, kwaliteit van onderwijs en hogere leerprestaties niet verder onderbouwd hoeven te worden. Ik focus me alleen op de bijdrage die open leermaterialen kan hebben.
De relatie OER, open education en hogere kwaliteit is er op drie punten, die als claims kunnen worden geformuleerd waarvoor dan evidence moet worden verzameld:

  • Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
  • Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden (itt gesloten materialen)
  • Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs

Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
Dit kan twee oorzaken hebben:

A1: doordat anderen de materialen kunnen bewerken wordt het materiaal er beter van en die verbeterde versie kun jij dan weer gebruiken.

A2: omdat je materiaal zichtbaar wordt voor de wereld besteed je meer aandacht aan de kwaliteit van je leermateriaal wat dan leidt tot hogere kwaliteit

Evidence voor A1
Het MIT heeft in hun Open Courseware programma dit effect onderzocht. Zie hier op pagina 214, eerste regel “It enhances the quality of education (..). We have significant data demonstrating these phenomena”. Ook in deze PhD-studie naar het MIT-programma wordt gemeld dat docenten verbeteringen ervaren in de content.
Onderzoek door o.a. David Wiley over de effecten van inzetten van open textbooks gaf de volgende resultaten:

  • 34% van de docenten en 39% van de studenten meldden de kwaliteit van de OER (in de vorm van een open textbook) beter te vinden dan die van commerciële varianten. 11% van de docenten en 6% van de studenten vonden de kwaliteit slechter
  • 33% van de docenten waardeerden de mogelijkheid tot aanpassing van het open textbook

Onderzoek bij het JISC OER-programma, dat van 2008-2012 liep, leerde:
“Significantly, although there are potential time saving benefits inherent in using digital resources, our interviewees spoke about benefits in terms of raising the quality of their courses and the student experience, rather than improving efficiency.”
Evidence voor A2
Hiervoor heb ik tot nu toe alleen evidence via mondelinge communicatie (m.n. met betrokkenen bij het Delft OpenCourseware programma).
Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden
Evidence voor deze claim is te vinden in het eerder vermelde onderzoek van David Wiley: “25% van de respondenten meldden beter voorbereide studenten, 10% meldde slechter voorbereide studenten”. Dat aanpassing van materialen aan de lerende positieve effecten heeft op de leerprestaties is echter niet eigen aan het open zijn van leermaterialen, maar meer algemeen het scheppen van een leeromgeving die optimaal aansluit bij de lerende. Dit ligt buiten de scope van deze post.
Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs
Evidence hiervoor is te vinden in een presentatie die op de net beëindigde OpenEd conferentie is gegeven over preliminary findings waar OER gebruikt worden om studenten een betere leerervaring te geven.
De in de inleiding genoemde OER Reserach Hub geeft geen eenduidige resultaten: “On the impact of OER on student satisfaction, data extracted from surveys conducted with two of our collaborations OpenLearn and the Flipped Learning Network – make apparent this mismatch of beliefs. For example, 63% of educators (n=31) agreed that using OpenLearn improves student satisfaction, an opinion shared by 85% of K12 teachers engaged in flipped learning (n=75). However, just 47% (n=54) of students indicated that using OpenLearn increased their satisfaction with the learning experience.“.
Conclusie
Meer en meer komt er aandacht voor onderzoek naar effecten van OER en andere vormen van open education op de leerprestaties van lerenden. Er is echter al wel evidence te vinden dat die effecten er zijn en dat die veelal positief zijn. Mijn verwachting is dat de Evidence Hub van OLNET en de OER Research Hub waardevolle bronnen van evidence zullen worden.

Kwaliteit, docenten en MOOC

Posted on by

De afgelopen weken verschenen verschillende publicaties over (gebrek aan) kwaliteit van onderwijs en de rol van docenten en studenten daarbij. Wilfred Rubens reageerde op een artikel van een 6 VWO-leerling die aangaf niets op school te hebben geleerd. Wilfred gaf aan in zijn eigen middelbare schooltijd slechts één inspirerende docent te hebben gehad. In een blogpost getiteld Mooc, Schmooc reageert de auteur (Mark Childs) op de kritiek op MOOC’s dat credits kunnen worden gehaald zonder één college te hebben bezocht. Dat gebeurt al jarenlang, ook al vóórdat MOOC’s verschenen. Hoeveel tentamens heb je eigenlijk gehaald zonder één college te hebben bezocht omdat daar toch alleen maar een boek werd voorgelezen? Hoogleraar Jan Derksen van de Radboud Universiteit constateerde eind 2012 een gebrek aan belangstelling van studenten en pleitte daarom voor afschaffen van hoorcolleges. Daar kwam veel kritiek op, waarbij met name gesuggereerd werd dat hij zijn colleges aantrekkelijker zou moeten maken. Kritiek op studenten kwam er ook in een onlangs verschenen blogpost van Roger Berkowitz als reactie op een essay van Aaron Bady. Roger onderscheidt twee typen studenten: zij die alleen het resultaat (diploma) belangrijk vinden en zij die ook hechten aan academische vorming.
Terugdenkend aan mijn eigen schoolcarrière ben ik over de docenten op de middelbare school alleen maar positief. Ik zat op het Dominicuscollege in Nijmegen en heb daar het grootste deel van mijn VWO (1968-1974) gedaan. Met name in de laatste 2 jaren waren mijn docenten stuk voor stuk “kanjers” die mij inspireerden en door hun wijze van lesgeven aanmoedigden het beste uit mij te halen. Wat minder positief moet ik helaas zijn over mijn docenten op de universiteit. Zowel bij de (toen nog zo geheten) Katholieke Universiteit Nijmegen (wiskunde, 1974-1980) als bij de TU Eindhoven (Informatica als werkstudent, 1983-1989) waren de echt inspirerende docenten op de vingers van één hand te tellen. Als er toentertijd een keuze zou zijn geweest tussen face 2 face college volgen of een online alternatief (bijvoorbeeld een MOOC), zou ik vaak voor het laatste hebben gekozen omdat de face 2 face bijeenkomst voor mij weinig zou toevoegen aan een online ervaring.
En wellicht zit daar een toekomst voor MOOC’s en andere vormen van online onderwijs. Daar waar docenten onder de maat presteren of waar studenten weinig belang hechten aan de academische vorming zou een online alternatief kunnen worden gepresenteerd. Dat roept wel vragen op:

  • Zou kwaliteit van docenten bij het hoger onderwijs niet nog meer een issue moeten zijn dan het nu al is geworden door invoering van het verplichte BKO?
  • Moet je accepteren dat er in feite twee “soorten” afgestudeerden gaan ontstaan, namelijk zij die wel en zij die minimaal een academische vorming hebben gehad? Of is dat eigenlijk een formalisering van een status quo die er nu ook al is? Deze vraag wordt hardop gesteld nu Georgia Tech heeft aangekondigd vanaf 2014 een online Master Computer Science aan te bieden in samenwerking met MOOC-producent Udacity voor een fractie van de prijs die een campusstudent moet betalen voor dezelfde opleiding.

Food for thought!

Twee OER-onderzoeken

Posted on by

Deze week verscheen een tweetal onderzoeken op het gebied van OER.
Het eerste betreft het proefschrift van TJ Bliss. Hij promoveerde aan de Brigham Young University in Utah, USA op een model voor het bij ontwerp bepalen van de kwaliteit van een (open) digitaal textbook vanuit studentperspectief.
Uit het onderzoek kwamen de volgende kwaliteitskenmerken voor een textbook als belangrijkste naar voren:

  • navigation features
  • access features
  • technical performance
  • relevance
  • interaction features
  • presentation features
  • educational impact
  • sensitivity to diversity

Het bijzondere aan dit proefschrift is het mede in ogenschouw nemen van het digitale aspect, itt veel literatuur over kwaliteit van textbooks. Het onderzoek levert ook een aantal evaluatie-instrumenten op dat bij ontwerp en validatie van textbooks gebruikt kan worden.
Het tweede onderzoek betreft een (draft) paper over motieven om OER te gaan publiceren en de spanningen die daarbij ondervonden worden. Het onderzoek gebruikt het JISC UKOER-programma als object van onderzoek.
Er worden vijf motieven onderscheiden om OER te publiceren:

  • Reputation building,
  • Efficiency/income generation,
  • Open access to knowledge,
  • Enhancing pedagogy
  • Technological momentum.

Daadwerkelijk publiceren van OER wordt met name beïnvloed door “regels” van de instellingen:

  • intellectual property rights (IPR),
  • institutional quality processes,
  • disciplinary ways of working
  • pedagogic cultures
Met name regels rondom correct toepassen van IPR waren vaak op gespannen voet met de motieven die een instelling heeft om OER te publiceren of OER te hergebruiken. Reputatie was een veelgebruikt motief, maar gaf ook veel spanningen. Zo wordt hergebruik van OER van elders door hoge kwaliteitseisen beperkt. Ofwel:
The oft-articulated benefits of OER in terms of institutional showcasing and attracting potential students, which may prove attractive to institutional managers and gain institutional support for OER, place inherent limitations on the development of more open practices which are ultimately founded on a commitment to academic commons.

OER vraagstukken

Posted on by

De afgelopen dagen reflecteerde ik op de vele artikelen en blogposts waar ik de afgelopen maanden op ben gewezen of die ik zelf ontdekt heb. Het overgrote deel daarvan gingen over Massive Open Online Courses (MOOC’s). Een MOOC is echter slechts één van de verschijningsvormen van een proces “Opening up education” waar ik hier al eerder over blogde. Het grootste onderscheid met Open Educational Resources is daarbij dat de content van een MOOC (in ieder geval die van een xMOOC) niet open is in de zin van vrij bewerkbaar en herbruikbaar onder voorwaarden.
Door alle aandacht voor MOOCs zou je bijna denken dat OER zelf in Nederland al zodanig mainstream is dat er geen aandacht meer voor nodig is. Niets is echter minder waar en in deze blogpost wil ik een aantal nog steeds bestaande vraagstukken over OER bespreken.
Een eerste vraagstuk betreft de kwaliteit van OER. Voor de repositories met open leermateriaal die vanuit het hoger onderwijs in Nederland worden aangeboden (OU, Delft en Leiden) is “men” het er wel over eens dat de kwaliteit van de content erin hoog is. De vraag daarbij is wel wat dan precies onder kwaliteit wordt verstaan. Tevens is het een vraagstuk hoe en waar een docent die op zoek is naar OER om te kunnen hergebruiken moet zoeken en, indien gevonden, hoe dan op een efficiënte en effectieve wijze de toepasbaarheid in de eigen context (een kwaliteitsaspect!) kan worden bepaald. Momenteel verricht ik een studie hiernaar die o.a. de vraagstukken over kwaliteit van OER voor het hoger onderwijs in Nederland in kaart moet brengen. Later dit jaar meer hierover.
Vindbaarheid van OER is een tweede vraagstuk. De meeste docenten en studenten die op zoek zijn naar open leermateriaal zullen Google gebruiken. In de zoekresultaten zullen veelal potentieel geschikte leermaterialen “verstopt” zitten tussen allerlei bronnen die ofwel niet voldoen aan de behoeften van de zoeker ofwel niet open zijn. Er zijn zoekmachines beschikbaar voor zoeken naar OER, maar zelfs ingewijden in OER kennen die zoekmachines niet. Daarbij zijn ze ook veelal beperkt tot zoeken in een gering aantal repositories. Zie bijvoorbeeld de op Google Custom Search gebaseerde zoekmachine bij Wikiwijs, die een 60-tal repositories doorzoekt.
Mede gerelateerd aan het eerstgenoemde vraagstuk van kwaliteit is het feit dat het zoeken naar materiaal waarbij ook door de context bepaalde factoren als didactiek en doelgroep meegenomen kan worden momenteel niet breed ondersteund wordt. Op kleine schaal zijn er wel oplossingen waarbij deze factoren in metadata elementen worden beschreven, maar het is nog geen wereldwijde standaard. De vraag is daarbij ook of metadata daarvoor een oplossing zal zijn: wie gaat al die metadata toevoegen? Ik geloof meer in ontwikkelingen waarbij dergelijke contextinformatie op de een of andere wijze automatisch wordt afgeleid uit bv. gegevens van logbestanden van repositories en koppelingen met gebruiksprofielen van eerdere gebruikers.
Het vraagstuk van businessmodellen voor OER en meer in het bijzonder de verdienmodellen is er ook nog steeds. De aandacht voor businessmodellen is met de recente opkomst van MOOC’s weer actueel geworden. Zelf aanbieden van MOOC’s of inzetten voor eigen onderwijs? Maar ook: levert hergebruik van OER bewezen voordeel op? Welke extra inkomsten kunnen de gederfde kosten van aanbieden van vrij beschikbaar materiaal compenseren? Is het alleen duurzaam te krijgen met overheidssubsidies of zijn er ook andere vormen van financiering mogelijk? Nauw gerelateerd aan dit vraagstuk is ook het ter beschikking krijgen van door data ondersteunde bewijzen van claims die aan OER worden toegeschreven zoals hogere kwaliteit leermaterialen en efficiëntere productie. De Evidence Hub van OLNet is een mooie aanpak hiervoor.
Een vierde en wellicht het grootste vraagstuk is dat van de human factors rondom gebruik en delen van open leermaterialen en, breder, gebruik van digitale leermaterialen. Ik leer hier veel over van mijn collega’s bij de Open Universiteit Karel Kreijns, Marjan Vermeulen, Frederick Van Acker en Hans van Buuren. Ze willen inzicht krijgen in wat docenten beweegt digitale leermaterialen te maken, delen en gebruiken, de door hen uitgesproken intentie hiervoor en het daadwerkelijk gedrag hierin. Hierbij gebruiken ze het Integrative Model of Behavior Prediction (IMBP) van Fishbein. De eerste resultaten van hun onderzoek leert dat er een waarneembaar verschil is tussen de uitgesproken intentie en het werkelijk gedrag. Deze resultaten zijn gepubliceerd in Pedagogische Studiën (oktober 2012) en Computers in Human Behavior (januari 2013). Paul Kirschner heeft een mooi commentaar op die eerste resultaten gegeven. Hun vervolgonderzoek moet onder meer zicht geven op welke variabelen dat verschil nu kunnen verklaren.
Misschien tijd voor een OER onderzoeksagenda?