Onderzoek naar open en online onderwijs in Nederland

Begin deze week kwam een notitie “Ruminations on Research on Open Educational Resources” beschikbaar. De auteur is Marshall Smith, de architect van het OER-programma van de Hewlett Foundation. Deze private organisatie staat mede aan de wieg van de OER-beweging, met name door de financiële ondersteuning die ze aan veel projecten wereldwijd hebben gegeven. Deze notitie is mede gebaseerd op input op eerdere versies van vele experts wereldwijd, waaronder Fred Mulder en Ben Janssen van de Open Universiteit. De notitie is bedoeld om de vervolgkoers van de Hewlett Foundation te bepalen. Het inventariseert vraagstukken rondom OER waarvoor research zou moeten worden opgezet dan wel uitgebreid. Hij bouwt in deze notitie voort op het werk bij OLNET en de OER Research Hub.
Smith begint de notitie met een rechtvaardiging om specifiek onderzoek naar OER te formuleren en dit niet te beschouwen als een verbijzondering van onderzoek naar educatie in het algemeen:

I explore the hypothesis that the characteristics that define OER potentially “add value” that exceed and/or are different in nature from the effects achieved by a similar piece of non-OER technology or content.

De belangrijkste karakteristiek is de mate van openheid die OER kan hebben. Hij definieert hiervoor vier niveaus van toegang, waarbij een hoger niveau de lagere niveaus omvat:

  • Access level 1.0: vrije toegang (gratis)
  • Access level 2.0: recht op download, kopiëren, verspreiden, delen en hergebruik
  • Access level 3.0: recht op aanpassing
  • Access level 4.0: recht op commercieel gebruik

Wanneer van deze karakterisering wordt uitgegaan kunnen alle vormen van open en online materialen en onderwijs object van research worden gemaakt. Een xMOOC bijvoorbeeld valt veelal onder Access level 1.0, soms level 2.0 of level 3.0.
Smith definieert negen research “buckets”. In de tabel hieronder staan ze genoemd met bij iedere bucket een aantal researchvragen (niet uitputtend)

Bucket Voorbeeld
A: Policy Research – examine the positive and negative factors in the political environment that influence whether or not governments at various levels will create progressive OER policy- examine the characteristics and effectiveness of the variety of educational policies that constrain or enable the use of OER that currently exist in different countries and local jurisdictions
B: Access and Use – do the OER characteristics that distinguish them from commercial products add value?- what creates the “added value?”- how do we document this with valid evidence?
C: Effectiveness—Studies of how OER Improves Efficiency and Learning – Do OER cost less?- Do OER improve achievement?- Do OER improve attainment?
– Do OER that are adapted to fit local needs improve achievement and attainment?
D: Innovation—Investigations into New Ideas and Positive Disruption. – Are OER more likely to become genuinely innovative than profit-driven education technology?- How can OER be used to help solve social and educational problems?
E: Beyond Formal Education: OER used in other domains – What is the role of OER in development and sharing of important and practical information like e.g. in Health Care and Agriculture?- How could OER contribute to solving multisectoral problems like global warming, poverty or lack of educational opportunities in refugee camps?
F: Sustainability – What is the the viability of business models currently in place?
G: Development and Improvement—Studies to Understand and Improve the Processes of Creating, Altering, and Using OER – What development approach (linear, rapid prototyping, collaborative development) works in what situations?- What functions should tools possess to really support development?- Do users actively try to improve the effectiveness of the OER they are using?- What sort of product design best lends itself to easy modification by a technology novice such as a teacher in a typical school?
– What do we know about the use of various grain-sized improvements and adaptations?
H: Implementation—Studies of the Processes of Introducing and Using OER in Classrooms, Schools, Districts and Countries – Who takes responsibility for updating a specific OER?- What can we learn from analysis and examples of good practice?
I: Infrastructure—Research on the Underlying Framework and Health of OER – How do we measure the health of the OER movement?- Are the Creative Commons licenses doing their job?- Is there a reasonable balance between the for-profit world and the open world as well as an understanding of the utility of each?

Deze inventarisatie kan een mooi startpunt zijn om na te denken over onderzoek door Nederlandse instellingen voor hoger onderwijs. Er kunnen dan ook additionele vragen worden geformuleerd die specifiek zijn voor de Nederlandse situatie. Een willekeurige greep (zonder de ambitie hierin volledig te zijn):

  • Welke verschillen in aanpak voor opener onderwijs (buckets G en H) zijn er tussen HBO en WO vanwege verschil in omgeving (veelal regionaal vs. nationaal/mondiaal), publiek (afkomstig van HAVO vs VWO) en focus (praktisch vs theoretisch en research-based)?
  • Hoe kan opener onderwijs de aansluiting tussen VO en het hoger onderwijs verbeteren (bucket C)?
  • Hoe kan opener onderwijs bijdragen aan een leven lang leren (bucket E)?
  • Welke businessmodellen zijn haalbaar en effectief voor HO-instellingen om een duurzaam aanbod van opener onderwijs te realiseren (bucket F)?
Onderzoek naar OER zou (teach as you preach) in samenwerking moeten gebeuren is mijn overtuiging. Het zou daarom goed zijn als belangstellende onderzoekers eens bij elkaar komen om gezamenlijke researchvraagstukken te formuleren, te inventariseren wat er al gebeurt aan onderzoek, waar samenwerking mogelijk is en welke fundings daarvoor kansrijk zijn. Ik wil daartoe actie ondernemen. Belangstellenden voor een dergelijke bijeenkomst kunnen zich bij mij melden: robert.schuwer@ou.nl. Wordt vervolgd!

 
 

OER: the long and winding road

In 2002 begon de William and Flora Hewlett Foundation met het ondersteunen en stimuleren van OER-projecten. Onder meer het MIT Open Courseware programma, Openlearn van de Britse OU, het OpenER-project van “onze” Open Universiteit en de start van het Open Courseware Consortium waren mede mogelijk door grants van de Foundation. Mede hierdoor hebben ze altijd veel invloed gehad op de richting van experimenten en onderzoek. Er ligt nu een nieuw onderzoeksrapport voor met daaraan gekoppeld een plan voor hun acties voor de komende jaren.
Het onderzoek is uitgevoerd door de Boston Consulting Group en is getiteld The Open Education Resources ecosystem. An evaluation of the OER movement’s current state
and its progress toward mainstream adoption. Het is gebaseerd op tientallen interviews met experts en betrokkenen in de OER-wereld en een survey onder 375 K-12-docenten en opleiders (ook uit hoger onderwijs). Puntsgewijs enkele findings en conclusies uit dit onderzoek die gelden voor de Verenigde Staten:

  • Weinig beleid door overheden in de staten op open licenties
  • Sommige staten beginnen nu met adoptie van OER policies
  • Nauwelijks community activiteiten waar het beoordelen van materiaal betreft (slechts 2% van de OER bevat een beoordeling)
  • Breed aanwezig bewustzijn van bestaan van OER, maar use cases zijn onduidelijk. Het is onduidelijk welke effecten OER heeft op (verbetering van) productie van leermaterialen en effectiviteit van leerprocessen.
  • Gefragmenteerd aanbod vanuit diverse repositories en mede daardoor moeilijk vindbaar
  • Tevredenheid over de kwaliteit van gevonden materialen, maar aanpassing aan lokale context wel vaak nodig.
  • Lastig om materialen te remixen door gebrek aan standaarden (zowel technisch als didactisch)
  • Materialen vooral voor hoger onderwijs en voor K-12 wiskunde en science
  • Gebruik van OER veelal als secundair materiaal. Gebruik als primair materiaal blijft achter
  • Huidige inkoopprocessen bevoordelen traditionele leermaterialen
  • Gebrek aan duidelijkheid over eigendomsrechten van leermaterialen hinderen het creëren, remixen en delen
In het plan dat gebaseerd is op de uitkomsten van dit onderzoek worden de volgende positieve effecten met evidence gepresenteerd:
  • Grote kostenreductie
  • Hogere efficiëntie van leren
  • Stimuleren van continue verbetering van instructie en gepersonaliseerd leren
  • Stimuleren van vertalen en contextualisering van content
  • Toegang tot kennis voor iedereen

De plannen zijn gericht op het bereiken van twee hoofddoelen in 2017:

Dit willen ze bereiken door financiële ondersteuning te leveren aan projecten die aan bepaalde voorwaarden voldoen, zoals:

  • Publiceren van materialen onder een open licentie
  • Toegankelijkheid bieden aan een diverse gebruikersgroep
  • Alignment met de Common Core Standard
  • Draagt bij aan inzicht over de effecten van en de resultaten van gepersonaliseerd onderwijs door OER, evenals de invloed van open licenties
Als de twee grootste risico’s voor dit plan zien ze een terugloop in financiering door zowel publieke als private partijen en een verlies van begrip voor, bewustzijn van en interesse in open leermaterialen. Dat laatste zien ze mede veroorzaakt door de opkomst van MOOC’s die hun leermaterialen veelal niet onder een open licentie publiceren, maar wel het adjectief “Open” dragen en daarmee het belang van open in de 4R-betekenis ondermijnen:

One example is the rise of massive online open courses (MOOCs) which have spurred a great deal of attention for the movement. However, most MOOCs interpret “open” as “open access,” meaning that anyone can take the course for free, but they still put the content under very restrictive copyright. While moving from completely closed and proprietary courses to more open access courses is a significant first step in openness, it is important that Universities and MOOC providers move all the way along the Open continuum and actually release the course materials under an open license. It is false to think that one course can education the entire world. If we know anything about learning, it is that effective learning is highly contextualized and personalized. Open licensing of course materials in MOOCs and online courses unlocks the potential of large scale mass customization and adaptation to local contexts across community colleges, developing countries, other institutions, languages and many others. Open licensing also protects academic freedom by inviting educators to modify and improve resources for whatever their intended purposes and contexts are.

Zie ook deze blogpost van Pierre Gorissen over openheid in MOOC’s, deze presentatie van Willem van Valkenburg over de openheid van hun MOOC’s en een blogpost die ik hier eind vorig jaar over schreef.

Wat kan Nederland hiermee?

De studie en het actieplan richten zich voornamelijk op de situatie in de Verenigde Staten. Veel van de resultaten en voorgenomen acties kunnen ook voor Nederland toepasbaar zijn. Onderzoeken van Wikiwijs en Kennisnet leren bijvoorbeeld dat ook in Nederland de mainstreaming van OER minder snel gaat dan verwacht en bevestigen de eerder gemelde barrières. In de US is eerder dit jaar o.a. David Wiley gestart met een bedrijf Lumen Learning, door hem omschreven als A Red Hat for OER. Het richt zich op ondersteuning van onderwijsinstellingen die stappen willen zetten met implementeren van een OER-aanpak. Hoewel financiering van onderwijs in Nederland afwijkt van die in de US (waar veel meer private financiering bestaat) zou een dergelijk bedrijf in Nederland wellicht ook behulpzaam kunnen zijn om OER mainstreaming te maken, naast stimulering door de overheid (bv. via policies die een OER-aanpak minder vrijblijvend maakt dan het nu is) en continue kennisverwerving en -disseminatie door onderzoeksinstellingen, Kennisnet en SURF (bv. via de SIG OER).
Wat dit alles mij wel weer bevestigt: er bestaan geen snelle successen. Ik vind dit heel treffend geformuleerd in een blogpost van Hester Jelgerhuis en Christien Bok van SURF over hun ervaringen bij de onlangs gehouden bestuursreis Open Education. In hun verslag van een bezoek aan Tufts University, die een open education aanpak hebben met een traditie van meer dan 20 jaar, staat de karakterisering (bold door mij toegevoegd)

Het is duidelijk dat dit een ontwikkeling is die niet meer te stoppen is, maar dat het ook ploeteren is om dingen voor elkaar te krijgen, en dat echt leiderschap noodzakelijk is. Tufts laat de resultaten van twintig jaar onverminderde inzet zien. Ze hebben laten zien dat het loont om voorlopers samen te brengen en te ondersteunen, ze vrijheid te bieden om resultaten te boeken.

Een lange en bochtige weg te gaan, zo mooi en treffend geformuleerd door Lennon en McCartney en uitgevoerd door The Beatles.

OER en kwaliteitsverbetering

Eerder schreef ik al over de noodzaak voor evidence dat claims die de OER-wereld maakt ook daadwerkelijk gerealiseerd worden. De Evidence Hub van OLNET is opgezet om via een crowdsourcing aanpak claims en evidence te verzamelen. En onlangs is de OER Research Hub gelanceerd voor o.a. het verzamelen van onderzoek naar effecten van OER.
Eén van de claims uit de open wereld is dat publiceren van open leermateriaal de kwaliteit van de leermaterialen verhoogt, omdat anderen deze materialen verder verbeteren en de resultaten ervan weer ter beschikking komen aan de wereld onder een open licentie. Zie bv in dit UNESCO rapport op p. 3 “Improving the quality of learning materials through peer review processes“. Deze peer review processen worden ook genoemd in de JISC OER Toolkit als één van de voordelen “availability of quality peer reviewed material to enhance their curriculum“.
Andere aan hogere kwaliteit gerelateerde voordelen die daar worden genoemd zijn “enhanced quality and flexibility of resources” en “support for learner-centred, self-directed, peer-to-peer and social/informal learning approaches“.
Ook de OER Research Hub heeft dit onder de noemer Performance als hypothese geformuleerd: “Use of OER leads to improvement in student performance and satisfaction (OER improve student performance/satisfaction)“.
Ria Jacobi was voor een beleidsstuk dat ze aan het schrijven is op zoek naar evidence voor de claim dat publiceren van OER leidt tot kwaliteitsverbetering van de leermaterialen. En omdat ik bij de Onderwijsdagen een presentatie geef over kwaliteit van OER (15:05-15:50 uur) vond ik het wel de moeite waard hier even in te duiken en te kijken of er in weinig tijd evidence geworden kon worden.
Hogere kwaliteit van leermateriaal is een middel om uiteindelijk te bereiken dat de leerprestaties van studenten verbeteren (zie bv. de blog van David Wiley). De invloed van publiceren of hergebruiken van open leermateriaal in het bijzonder of andere vormen van open education in het algemeen kan via de volgende redenering worden aangegeven:

  1. Gebruik van OER leidt tot hogere kwaliteit van leermaterialen en draagt daarmee bij aan beter onderwijs
  2. Inzet van andere vormen van open education (zoals een MOOC) leidt tot beter onderwijs
  3. Beter onderwijs leidt tot hogere leerprestaties van studenten
Het onderscheid tussen 1 en 2 wordt gemaakt omdat het bij 1 essentieel is dat materialen mogen worden herbewerkt, omdat kwaliteit mede afhangt van de aanpassing aan de context (lokalisatie van de leermaterialen, zie bv. hier). Bij 2 hoeft die eigenschap van open education niet te gelden . Met name de meeste (x)MOOC’s vallen in de categorie van niet aanpasbare open leermaterialen.
Andy Lane van de OU-UK observeerde in deze publicatie uit 2011 dat er nog weinig bekend is over de effecten van open leermaterialen op “teaching practices” (p. 5): “There have been a significant number of publications discussing OER in recent years but little of that discussion has been about the implications for teaching practices
Ik ga er in de rest van deze post van uit dat de in de redenering aangegeven relaties tussen kwaliteit van leermateriaal, kwaliteit van onderwijs en hogere leerprestaties niet verder onderbouwd hoeven te worden. Ik focus me alleen op de bijdrage die open leermaterialen kan hebben.
De relatie OER, open education en hogere kwaliteit is er op drie punten, die als claims kunnen worden geformuleerd waarvoor dan evidence moet worden verzameld:

  • Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
  • Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden (itt gesloten materialen)
  • Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs

Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
Dit kan twee oorzaken hebben:

A1: doordat anderen de materialen kunnen bewerken wordt het materiaal er beter van en die verbeterde versie kun jij dan weer gebruiken.

A2: omdat je materiaal zichtbaar wordt voor de wereld besteed je meer aandacht aan de kwaliteit van je leermateriaal wat dan leidt tot hogere kwaliteit

Evidence voor A1
Het MIT heeft in hun Open Courseware programma dit effect onderzocht. Zie hier op pagina 214, eerste regel “It enhances the quality of education (..). We have significant data demonstrating these phenomena”. Ook in deze PhD-studie naar het MIT-programma wordt gemeld dat docenten verbeteringen ervaren in de content.
Onderzoek door o.a. David Wiley over de effecten van inzetten van open textbooks gaf de volgende resultaten:

  • 34% van de docenten en 39% van de studenten meldden de kwaliteit van de OER (in de vorm van een open textbook) beter te vinden dan die van commerciële varianten. 11% van de docenten en 6% van de studenten vonden de kwaliteit slechter
  • 33% van de docenten waardeerden de mogelijkheid tot aanpassing van het open textbook

Onderzoek bij het JISC OER-programma, dat van 2008-2012 liep, leerde:
Significantly, although there are potential time saving benefits inherent in using digital resources, our interviewees spoke about benefits in terms of raising the quality of their courses and the student experience, rather than improving efficiency.
Evidence voor A2
Hiervoor heb ik tot nu toe alleen evidence via mondelinge communicatie (m.n. met betrokkenen bij het Delft OpenCourseware programma).
Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden
Evidence voor deze claim is te vinden in het eerder vermelde onderzoek van David Wiley: “25% van de respondenten meldden beter voorbereide studenten, 10% meldde slechter voorbereide studenten”. Dat aanpassing van materialen aan de lerende positieve effecten heeft op de leerprestaties is echter niet eigen aan het open zijn van leermaterialen, maar meer algemeen het scheppen van een leeromgeving die optimaal aansluit bij de lerende. Dit ligt buiten de scope van deze post.
Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs
Evidence hiervoor is te vinden in een presentatie die op de net beëindigde OpenEd conferentie is gegeven over preliminary findings waar OER gebruikt worden om studenten een betere leerervaring te geven.
De in de inleiding genoemde OER Reserach Hub geeft geen eenduidige resultaten: “On the impact of OER on student satisfaction, data extracted from surveys conducted with two of our collaborations OpenLearn and the Flipped Learning Network – make apparent this mismatch of beliefs. For example, 63% of educators (n=31) agreed that using OpenLearn improves student satisfaction, an opinion shared by 85% of K12 teachers engaged in flipped learning (n=75). However, just 47% (n=54) of students indicated that using OpenLearn increased their satisfaction with the learning experience.“.
Conclusie
Meer en meer komt er aandacht voor onderzoek naar effecten van OER en andere vormen van open education op de leerprestaties van lerenden. Er is echter al wel evidence te vinden dat die effecten er zijn en dat die veelal positief zijn. Mijn verwachting is dat de Evidence Hub van OLNET en de OER Research Hub waardevolle bronnen van evidence zullen worden.

OER en assessment en certificering van open leren


Na drie jaar opbouwen is vorige week de OER University van start gegaan. In dit initiatief werken universiteiten wereldwijd samen om een programma aan te bieden dat kan leiden tot formele erkenning. De leermaterialen zijn als OER vrij beschikbaar, maar voor de services (zoals certificering) moet wel worden betaald, zij het gereduceerde prijzen ten opzichte van reguliere studenten. Bij het initiatief zijn 37 organisaties betrokken, waaronder Athabasca University (Canada), University of Southern Queensland, Otago Polytechnic (Nieuw Zeeland), de Open Universiteit van Catalonië, maar ook donors en sponsors als de Hewlett Foundation en UNESCO.
In de kern heeft de OERu een verzameling gedeelde services, waarvan sommige om niet en sommige tegen een prijs worden aangeboden:

Door het default aanbieden van assessment en certificering en het kunnen behalen van een Bachelor of Mastergraad werd dit initiatief bij de lancering beschouwd als een alternatief naast de momenteel aangeboden MOOC’s. Zie bijvoorbeeld hier. Bij de lancering van het initiatief verscheen ook een studie van de Commonwealth of Learning “Report on the Assessment and Accreditation of Learners using OER“. Uit het voorwoord:

This report shares the findings and lessons learned from an investigation into the economics of disaggregated models for assessing and accrediting informal learners, with particular attention to the OER University (OERu) consortium. It also relies on data from a small-scale survey conducted by two of the authors on perceptions, practices and policies relating to openness in assessment and accreditation in post-secondary institutions (Murphy & Witthaus, 2012). These investigations include the perceptions of stakeholders in post-secondary education towards the OERu concept, combined with a look at economic models for universities to consider in implementing OER assessment and accreditation policies.

Door gebruik van OER wordt unbundling van assessment en certificering van onderwijs en ondersteuning beter mogelijk dan met gesloten materiaal, omdat het recht op aanpassen van het materiaal aan lokale jurisdicties en verschillende instellingen beter mogelijk wordt dan met materiaal dat door copyright beschermd is.
Erkennen van credits van elders wordt bemoeilijkt door gebrek aan standaardisatie over grenzen heen. In deze zin is het ECTS systeem erg waardevol binnen Europa. Echter, een instellingsbeleid voor het erkennen van credits elders of (breder) een beleid op  EVC is een nodige voorwaarde om dit van de grond te krijgen.
De grootste uitdaging om op OER gebaseerd onderwijs inclusief certificering gerealiseerd te krijgen is betrokkenheid en wil van de staf, zowel voor ondersteuning van activiteiten hierin als voor herontwerp van op OER gebaseerde cursussen. De potentiële voordelen zijn lage kosten voor het toegang en voor het materiaal, betere zichtbaarheid van de instelling en de mogelijkheden voor aanpassen van de content aan de lokale eisen. Op zich zijn dit bekende gegevens, maar deze studie bevestigt het weer eens.
De studie heeft geen aanwijzingen opgeleverd dat aanbieden van open cursussen zou leiden tot een toe- of afname in registraties voor niet-open opleidingen of cursussen.
Het rapport geeft inzicht in het economische model achter de OERu en bevat ook de resultaten van een survey afgenomen bij de participerende instellingen van de OERu. Uit deze survey zijn de volgende resultaten vermeldenswaard:

  • De meest genoemde redenen van de aangesloten instellingen om te participeren in OERu is de zichtbaarheid in een internationaal netwerk van certificerende instellingen en filantropie (vergroten van toegang tot kwalitatief goed hoger onderwijs voor lerenden die anders geen toegang zouden hebben vanwege financiële argumenten).
  • Methoden om credits te geven voor elders uitgevoerde leeractiviteiten zijn examens onder toezicht, testen, “challenge for credit” en procedures om te komen tot erkenning van eerder verworven kennis en competenties (EVC).
  • EVC op basis van een portfolio (90%), cursusgebaseerd portfolio (90%) en geautomatiseerd online assessment (66%) worden beschouwd als de meest waarschijnlijke methoden in de toekomst voor formeel assessment van leerresultaten van open cursussen, leidend tot certificering.
  • EVC procedures kosten 33% tot 68% van de kosten voor een reguliere assessment en certificering (gemeten bij 10 instellingen)

Het rapport bevat enkele scenariostudies naar hergebruik en remix bij unbundling van onderwijs, assessment en certificering van op OER gebaseerd leren, waarbij de beleidsimplicaties voor instellingen worden uitgewerkt. Deze scenario’s lopen van het door één instelling aanbieden van een open cursus parallel aan het reguliere aanbod, aanbieden van assessment voor een open cursus van elders tot aanbieden van assessment voor een open cursus, waarbij ook de assessment van de instelling die de open cursus aanbiedt wordt hergebruikt.
Concluderend: het rapport bundelt een veelheid aan informatie, nuttig voor iedereen die overweegt credits te gaan verlenen op resultaten van open leren.

Open: wat vinden studenten daar nu van?

Gebruik van open leermateriaal en andere vormen van open onderwijs zoals MOOC’s in hoger onderwijs zou uiteindelijk voordeel moeten bieden aan de studenten. Het is daarom opvallend dat hun mening vaak ontbreekt wanneer er door een instelling voor hoger onderwijs beleid wordt ontwikkeld op open onderwijs of wanneer een instelling besluit open leermaterialen te publiceren of materiaal van elders te hergebruiken in het eigen curriculum. In de afgelopen week zijn twee onderzoeksrapporten verschenen over hoe studenten tegen open onderwijs aankijken. Suzanne de Kort heeft, in het kader van een stage bij Wikiwijs, in juni een soortgelijk onderzoek gedaan onder studenten in het hoger onderwijs in Nederland. In deze blogpost zal ik de resultaten uit deze drie onderzoeken met elkaar vergelijken.
Het eerste artikel betreft Learner Experiences with MOOCs and Open Online Learning. In dit open beschikbaar boek beschrijven tien studenten ieder hun ervaringen bij het volgen van een MOOC of andere vormen van open education (zoals een tutorial op Youtube). De cursussen varieerden van statistiek tot mixen van electronische muziek. Twee conclusies zijn getrokken door de initiatiefnemer van dit boekwerk, George Veletsianos:

  • Er is een groot verschil tussen verwachtingen en realiteit van open online leren. Studenten komen grote barrières tegen, maar waarderen aan de andere kant ook de toename in flexibiliteit die open online leren hen biedt. De realiteit zoals die door lerenden wordt ervaren zijn noch zo positief als optimisten vaak doen voorkomen, noch zo negatief als critici vaak suggereren.
  • De onderhavige studie bevat onderdelen van een nog incompleet totaalbeeld van de leerervaringen bij open online leren. Onderzoeken vinden plaats in verschillende contexten en focussen op verschillende aspecten van de leerervaring.
Het tweede artikel is een studie van het Educause Center for Analysis and Research. Het is een breed opgezette studie naar keuzes en voorkeuren van undergraduate studenten. De studie is uitgezet onder 1,6 miljoen studenten, waarvan ruim 113.000 uit 14 landen response gaven. Een aantal vragen ging over open leermaterialen en het aanbod van MOOC’s. Conclusies over dit laatste en nauw eraan gerelateerde onderwerpen:
  • Studenten prefereren een blended leren aanpak en beginnen te experimenteren met MOOC’s.
  • Studenten prefereren hun sociale en leeromgeving gescheiden te houden, ook in hun gebruik van technologie.
  • Studenten zijn matig geïnteresseerd in vroegtijdige studeeraanwijzingen gebaseerd op learning analytics.
71% van de studenten geeft aan wel eens OER te gebruiken, maar voor de meesten is dit gebruik marginaal. 10% geeft aan OER altijd te gebruiken. De studenten geven aanbevelingen aan hun instructeurs om OER te gebruiken omdat het in hun ogen zorgt voor extra hulp bij het leren, extra informatiebronnen en verschillende perspectieven op een onderwerp. De bekendheid met MOOC’s is erg laag (75% heeft er nog nooit van gehoord en slechts 3% heeft er wel eens eentje gevolgd. Hiervan heeft 1/3 (dus 1% van het totaal) de MOOC ook afgemaakt, waarvan de helft (dus 0,5% van het totaal) ook een certificaat heeft behaald. Rond de 16% gaf aan colleges niet te bezoeken als deze online beschikbaar zouden zijn. Er is een infographic beschikbaar waarop resultaten zijn weergegeven.
Het onderzoek van Suzanne de Kort was bedoeld om in kaart te brengen de intentie en daadwerkelijk gebruik van aanvullend digitaal leermateriaal dat niet tot de verplichte stof behoort door studenten in het hoger onderwijs in Nederland. Hierbij was het van belang dat het aanvullend materiaal vrij beschikbaar was. Het hoefde niet per se gepubliceerd te zijn onder een open licentie. De survey had een bruikbare response van 162, redelijk gelijk verdeeld over man/vrouw resp HBO/WO. Hier een samenvatting van de belangrijkste resultaten.
  • 27% van de studenten geeft aan gemiddeld één keer per week op zoek te gaan naar aanvullend digitaal materiaal, 21% geeft aan meerdere keren per week op zoek te gaan. Daartegenover geeft ongeveer 3% aan nooit op zoek te gaan naar aanvullend digitaal materiaal.
  • 59% van de studenten geeft aan het behoorlijk tot heel belangrijk te vinden om aanvullend digitaal materiaal te zoeken
  • De belangrijkste redenen om op zoek te gaan zijn het beter begrijpen van de leerstof (64%), het feit dat het snel en op ieder moment beschikbaar is (51%), tijdsbesparing (bv. door alleen de gezochte samenvatting te leren) (47%) en aanvulling op studie via achtergrondinformatie (44%)
  • De belangrijkste redenen om niet op zoek te gaan zijn twijfel over de betrouwbaarheid van de informatie (63%), verlies van overzicht door overload van informatie (38%) en twijfel over de keuze van het juiste leermateriaal (34%)
  • Studenten gaan het meest op zoek naar bronnen voor opdrachten, extra uitleg en samenvattingen
  • Belangrijkste vindplaats van digitaal materiaal: zoekmachines (86%), via vrienden of studiegenoten (51%) en via tips van docenten (38%).
  • 20% van de studenten kende het fenomeen MOOC. 4% van de studenten had wel eens een MOOC gevolgd en minder dan 1% heeft het afsluitende examen gedaan (zonder een certificaat te behalen).

Uit analyses van relaties tussen intentie en daadwerkelijk gedrag van gebruik van aanvullend digitaal leermateriaal is af te leiden dat het daadwerkelijk gedrag vooral afhangt van de kwaliteit van het materiaal en hoe vroeg ze hiermee in aanraking komen. Tevens is uit de veel genioemde redenen om niet op zoek te gaan af te leiden dat docenten in de rol van curator erg belangrijk zijn om studenten ertoe te bewegen op zoek te gaan naar aanvullend digitaal leermateriaal. Zij moeten studenten stimuleren en ook aangeven waar geschikte bronnen te vinden zijn.
De resultaten over MOOC’s zijn bij alledrie de studies gelijkluidend. Veel studenten kennen het fenomeen niet en slechts heel weinig studenten wagen zich er ook aan.

 

OER and Marcus Porcius Cato Censorius maior


One of the arguments advocates of OER use to publish  learning materials under an open license is “learning materials payed by taxpayers money should be available for free”. This argument is also used in the Netherlands. Recently, SURF, the collaborative organisation for IT in Dutch higher education and research, published a position paper which stated “The Dutch Government should have as a starting point that all learning materials of polytechnics and universities, developed with taxpayers money, should be as default availble under an open license, unless there are good reasons to deviate from this.”
I do not know how often this argument is used in other countries and what its impact is, but in the Netherlands I notice it is hardly used and (even worse) hardly considered a convincing argument. When I was wondering about activities to initiate more discussion and awareness on this, I remembered the senator Cato in the Roman Empire. Marcus Porcius Cato Censorius maior lived from 234-149 BC. He was extremely worried about the growing power of Carthago, considering this a major threath for the reign of Rome. To articulate this worry and to generate continuous awareness and discussion on this matter, he accustomed to end each speech (regardless the subject) with the words “Ceterum censeo Carthaginem esse delendam” (Incidentally, I believe that Carthago should be destroyed).
This inspired me for the following ludic action. Because OER is a worldwide movement and Latin is a lingua franca for the world, we can end each presentation with the words

Ceterum censeo materia facta tributo oblatum esse gratuito

This means “Incidentally, I believe that learning materials, paid with taxpayers money, should be available for free”. Hopefully, this will add to generate more awareness and discussion on this standpoint, ultimately leading to open being the default for learning materials.
Using Latin instead of English solves a problem: which word is more to the point: “should” (making it an recommendation) or “must” (making it a certainty)? I leave it to the user to choose his/her version when translating!
In the end, Carthago was destroyed in 146 BC, at the end of the 3rd Punic War. Unfortunately, Cato did not witness this because of his dead three years before.
(Attribution to my brother-in-law Paul Hendriks for the translation in Latin.)
 

Fujitsu en MIT in maatwerk leren

Al enkele weken geleden lanceerden Fujitsu en MIT een bericht met de aankondiging van een platform (Guided Learning Pathways afgekort tot GLP) voor lerenden waarin lerenden geholpen werden op basis van hun voorkeuren een leerpad door open beschikbaar materiaal te ontwerpen. De basis van dat platform wordt gevormd door een database met zgn. nuggets. In een volzin:

Nuggets are learning materials that teach a single, atomistic concept with a domain like calculus (for example, derivatives). Examples of nuggets are a homework problem to be done online; a video snippet (e.g., lecture, real world application, Khan Academy video), shorter than ten minutes; a pop quiz for self-assessment of content knowledge; an animation, possibly interactive; a simulation, also possibly interactive; a web-based lab experiment; a short educational game; or a small section of textual material, typically less than one page in length.

De nuggets worden gecreëerd uit bestaand open beschikbaar materiaal.
Uit het bericht is het mij niet duidelijk geworden in hoeverre de beschreven ideeën al realiteit zijn of alleen nog op de tekentafel bestaan. De aanpak lijkt veelbelovend, hoewel ik er ook enkele vraagtekens bij zet:

  • Wanneer een leereenheid opgebouwd wordt uit een verzameling nuggets: hoe wordt de samenhang tussen die nuggets bewaakt? Bestaan er duidelijk omschreven interfaces waardoor de aldus on-the-fly gecreëerde eenheden een eenheid vormt?
  • Hoe denken ze de complexiteit in productie die ontstaat wanneer je materiaal voor eenzelfde onderwerp voor ondersteuning van diverse leervoorkeuren wilt creëren, te beheersen?

Maar ik ben een believer van een dergelijke assemble-to-order aanpak voor leermateriaal waarmee massa maatwerk gerealiseerd kan worden. Onlangs heb ik dat al beschreven in een column voor SURF Magazine. Ik ga deze ontwikkeling daarom nauwgezet volgen.
 

OER13 congres Nottingham

Op 26 en 27 maart werd in Nottingham het OER13 congres gehouden. Deze editie telde 220 deelnemers, waarvan het leeuwendeel uit de UK afkomstig was. Het congres is voor Britse OER-onderzoekers hét congres om aan elkaar onderzoeksresultaten te presenteren en van gedachten te wisselen over allerlei issues.
De organisatie was erg verrast door het grote aantal deelnemers. In 2012 eindigde de financiering van twee grote OER-initiatieven in de UK. Het HEA/JISC OER programma, met meer dan 13M GBP aan subsidie, liep van 2009 tot 2012 en leverde een groot aantal OERs op. SCORE (Support Centre for Open Resources in Education) leverde ondersteuning aan OER-gerelateerde activiteiten, events en services. Dit project eindigde eveneens in 2012.
Waar tegenwoordig over OER gesproken wordt, ontbreekt de aandacht voor MOOC’s niet. Dit congres was daarop geen uitzondering, maar ik vond het wel een verademing dat het niet alle aandacht opslokte van de deelnemers en dat ook steeds is gestreefd naar het beschouwen van een MOOC in het bredere kader van open education in plaats van als een geïsoleerd fenomeen. Over het in december 2012 door de OU-UK gelanceerde MOOC-platform Futurelearn is overigens niet veel meer bekend dan dat er zich momenteel 22 Engelse universiteiten hebben aangesloten bij dit platform. In de wandelgangen vernam ik dat de OU-UK (de initiatiefnemer van dit platform) ernaar streeft de leermaterialen in de MOOC’s die zij via Futurelearn willen aanbieden, onder een open licentie te publiceren. Of dat een voorwaarde wordt voor alle deelnemers en of de andere deelnemers dit ook zullen doen is nog niet bekend.
Dit congres bood een grote diversiteit aan onderwerpen. Een kleine greep:

  • Making OER available on multiple platforms (U-Now, IBook, eBooks),
  • What do teachers need for sharing and creating knowledge about OER?,
  • Learning lessons of innovation from MOOC’s, OER and crowdsourcing environments,
  • New Approaches to Describing and Discovering Open Educational Resources.

Beleidsonderwerpen kwamen met name aan bod in presentaties over resultaten van EU-gefinancierde projecten.
De openingskeynote was van Toni Pearce, de Vice-President van de National Union of Students HE. Ze presenteerde resultaten van een onderzoek dat door hun organisatie is uitgevoerd onder studenten. Enkele resultaten uit dat onderzoek:

  • Studenten gebruiken veelal alleen OER wanneer dit onderdeel van de cursus is of wanneer dit specifiek door de docent wordt aangegeven.
  • Slechts een minderheid van de studenten heeft m.b.v. OER een betere indruk gekregen van de opleiding voordat ze zich aanmeldden.
  • Aanbrengen van digitale vaardigheden in een vroeg stadium vinden ze belangrijk
  • Studenten beschouwen zichzelf niet als de doelgroep van OER, maar zien het veeleer een rol spelen in een leven lang leren traject
  • Ze vragen zich af of aanbod van OER gratis kan blijven.

Ming Nie presenteerde de eerste resultaten van het door de EU gefinancierde POERUP project. POERUP staat voor “Policies for OER Uptake”. Doel is tot aanbevelingen te komen voor hoe overheden de groei in gebruiken van OER kan stimuleren. O.a. de Open Universiteit is partner in dit project. Een eerste tussenresultaat bestaat uit 24 reports waarin initiatieven op nationaal, regionaal en (grotere) instituties beschreven zijn. Van de onderzochte landen en regio’s waren Nederland, USA, Roemenië en Zuid-Afrika de landen met een aanpak op nationaal niveau. Maar landen als Australië, Nieuw-Zeeland, Spanje en Canada zijn ook erg actief, zonder de aanwezigheid van een nationale aanpak.
Op het congres waren er ook diverse workshops voor het Communicate OER project. Dit project heeft tot doel om OER-gerelateerde artikelen in de Wikipedia te schrijven of te actualiseren. In de komende maanden zullen op gezette tijden online sessies worden georganiseerd voor groepen belangstellenden om gezamenlijk een artikel onder de loep te nemen en (indien nodig) te verbeteren. De workshops tijdens dit congres gaf een introductie in het schrijven van Wikipedia artikelen.
Samenvattingen van de meeste congresbijdragen zijn te lezen op de conference blog. Daar zijn ook links naar de slides opgenomen.

Twee OER-onderzoeken

Deze week verscheen een tweetal onderzoeken op het gebied van OER.
Het eerste betreft het proefschrift van TJ Bliss. Hij promoveerde aan de Brigham Young University in Utah, USA op een model voor het bij ontwerp bepalen van de kwaliteit van een (open) digitaal textbook vanuit studentperspectief.
Uit het onderzoek kwamen de volgende kwaliteitskenmerken voor een textbook als belangrijkste naar voren:

  • navigation features
  • access features
  • technical performance
  • relevance
  • interaction features
  • presentation features
  • educational impact
  • sensitivity to diversity

Het bijzondere aan dit proefschrift is het mede in ogenschouw nemen van het digitale aspect, itt veel literatuur over kwaliteit van textbooks. Het onderzoek levert ook een aantal evaluatie-instrumenten op dat bij ontwerp en validatie van textbooks gebruikt kan worden.
Het tweede onderzoek betreft een (draft) paper over motieven om OER te gaan publiceren en de spanningen die daarbij ondervonden worden. Het onderzoek gebruikt het JISC UKOER-programma als object van onderzoek.
Er worden vijf motieven onderscheiden om OER te publiceren:

  • Reputation building,
  • Efficiency/income generation,
  • Open access to knowledge,
  • Enhancing pedagogy
  • Technological momentum.

Daadwerkelijk publiceren van OER wordt met name beïnvloed door “regels” van de instellingen:

  • intellectual property rights (IPR),
  • institutional quality processes,
  • disciplinary ways of working
  • pedagogic cultures
Met name regels rondom correct toepassen van IPR waren vaak op gespannen voet met de motieven die een instelling heeft om OER te publiceren of OER te hergebruiken. Reputatie was een veelgebruikt motief, maar gaf ook veel spanningen. Zo wordt hergebruik van OER van elders door hoge kwaliteitseisen beperkt. Ofwel:
The oft-articulated benefits of OER in terms of institutional showcasing and attracting potential students, which may prove attractive to institutional managers and gain institutional support for OER, place inherent limitations on the development of more open practices which are ultimately founded on a commitment to academic commons.

OER vraagstukken

De afgelopen dagen reflecteerde ik op de vele artikelen en blogposts waar ik de afgelopen maanden op ben gewezen of die ik zelf ontdekt heb. Het overgrote deel daarvan gingen over Massive Open Online Courses (MOOC’s). Een MOOC is echter slechts één van de verschijningsvormen van een proces “Opening up education” waar ik hier al eerder over blogde. Het grootste onderscheid met Open Educational Resources is daarbij dat de content van een MOOC (in ieder geval die van een xMOOC) niet open is in de zin van vrij bewerkbaar en herbruikbaar onder voorwaarden.
Door alle aandacht voor MOOCs zou je bijna denken dat OER zelf in Nederland al zodanig mainstream is dat er geen aandacht meer voor nodig is. Niets is echter minder waar en in deze blogpost wil ik een aantal nog steeds bestaande vraagstukken over OER bespreken.
Een eerste vraagstuk betreft de kwaliteit van OER. Voor de repositories met open leermateriaal die vanuit het hoger onderwijs in Nederland worden aangeboden (OU, Delft en Leiden) is “men” het er wel over eens dat de kwaliteit van de content erin hoog is. De vraag daarbij is wel wat dan precies onder kwaliteit wordt verstaan. Tevens is het een vraagstuk hoe en waar een docent die op zoek is naar OER om te kunnen hergebruiken moet zoeken en, indien gevonden, hoe dan op een efficiënte en effectieve wijze de toepasbaarheid in de eigen context (een kwaliteitsaspect!) kan worden bepaald. Momenteel verricht ik een studie hiernaar die o.a. de vraagstukken over kwaliteit van OER voor het hoger onderwijs in Nederland in kaart moet brengen. Later dit jaar meer hierover.
Vindbaarheid van OER is een tweede vraagstuk. De meeste docenten en studenten die op zoek zijn naar open leermateriaal zullen Google gebruiken. In de zoekresultaten zullen veelal potentieel geschikte leermaterialen “verstopt” zitten tussen allerlei bronnen die ofwel niet voldoen aan de behoeften van de zoeker ofwel niet open zijn. Er zijn zoekmachines beschikbaar voor zoeken naar OER, maar zelfs ingewijden in OER kennen die zoekmachines niet. Daarbij zijn ze ook veelal beperkt tot zoeken in een gering aantal repositories. Zie bijvoorbeeld de op Google Custom Search gebaseerde zoekmachine bij Wikiwijs, die een 60-tal repositories doorzoekt.
Mede gerelateerd aan het eerstgenoemde vraagstuk van kwaliteit is het feit dat het zoeken naar materiaal waarbij ook door de context bepaalde factoren als didactiek en doelgroep meegenomen kan worden momenteel niet breed ondersteund wordt. Op kleine schaal zijn er wel oplossingen waarbij deze factoren in metadata elementen worden beschreven, maar het is nog geen wereldwijde standaard. De vraag is daarbij ook of metadata daarvoor een oplossing zal zijn: wie gaat al die metadata toevoegen? Ik geloof meer in ontwikkelingen waarbij dergelijke contextinformatie op de een of andere wijze automatisch wordt afgeleid uit bv. gegevens van logbestanden van repositories en koppelingen met gebruiksprofielen van eerdere gebruikers.
Het vraagstuk van businessmodellen voor OER en meer in het bijzonder de verdienmodellen is er ook nog steeds. De aandacht voor businessmodellen is met de recente opkomst van MOOC’s weer actueel geworden. Zelf aanbieden van MOOC’s of inzetten voor eigen onderwijs? Maar ook: levert hergebruik van OER bewezen voordeel op? Welke extra inkomsten kunnen de gederfde kosten van aanbieden van vrij beschikbaar materiaal compenseren? Is het alleen duurzaam te krijgen met overheidssubsidies of zijn er ook andere vormen van financiering mogelijk? Nauw gerelateerd aan dit vraagstuk is ook het ter beschikking krijgen van door data ondersteunde bewijzen van claims die aan OER worden toegeschreven zoals hogere kwaliteit leermaterialen en efficiëntere productie. De Evidence Hub van OLNet is een mooie aanpak hiervoor.
Een vierde en wellicht het grootste vraagstuk is dat van de human factors rondom gebruik en delen van open leermaterialen en, breder, gebruik van digitale leermaterialen. Ik leer hier veel over van mijn collega’s bij de Open Universiteit Karel Kreijns, Marjan Vermeulen, Frederick Van Acker en Hans van Buuren. Ze willen inzicht krijgen in wat docenten beweegt digitale leermaterialen te maken, delen en gebruiken, de door hen uitgesproken intentie hiervoor en het daadwerkelijk gedrag hierin. Hierbij gebruiken ze het Integrative Model of Behavior Prediction (IMBP) van Fishbein. De eerste resultaten van hun onderzoek leert dat er een waarneembaar verschil is tussen de uitgesproken intentie en het werkelijk gedrag. Deze resultaten zijn gepubliceerd in Pedagogische Studiën (oktober 2012) en Computers in Human Behavior (januari 2013). Paul Kirschner heeft een mooi commentaar op die eerste resultaten gegeven. Hun vervolgonderzoek moet onder meer zicht geven op welke variabelen dat verschil nu kunnen verklaren.
Misschien tijd voor een OER onderzoeksagenda?