Eerder schreef ik al over de noodzaak voor evidence dat claims die de OER-wereld maakt ook daadwerkelijk gerealiseerd worden. De Evidence Hub van OLNET is opgezet om via een crowdsourcing aanpak claims en evidence te verzamelen. En onlangs is de OER Research Hub gelanceerd voor o.a. het verzamelen van onderzoek naar effecten van OER.
Eén van de claims uit de open wereld is dat publiceren van open leermateriaal de kwaliteit van de leermaterialen verhoogt, omdat anderen deze materialen verder verbeteren en de resultaten ervan weer ter beschikking komen aan de wereld onder een open licentie. Zie bv in dit UNESCO rapport op p. 3 “Improving the quality of learning materials through peer review processes“. Deze peer review processen worden ook genoemd in de JISC OER Toolkit als één van de voordelen “availability of quality peer reviewed material to enhance their curriculum“.
Andere aan hogere kwaliteit gerelateerde voordelen die daar worden genoemd zijn “enhanced quality and flexibility of resources” en “support for learner-centred, self-directed, peer-to-peer and social/informal learning approaches“.
Ook de OER Research Hub heeft dit onder de noemer Performance als hypothese geformuleerd: “Use of OER leads to improvement in student performance and satisfaction (OER improve student performance/satisfaction)“.
Ria Jacobi was voor een beleidsstuk dat ze aan het schrijven is op zoek naar evidence voor de claim dat publiceren van OER leidt tot kwaliteitsverbetering van de leermaterialen. En omdat ik bij de Onderwijsdagen een presentatie geef over kwaliteit van OER (15:05-15:50 uur) vond ik het wel de moeite waard hier even in te duiken en te kijken of er in weinig tijd evidence geworden kon worden.
Hogere kwaliteit van leermateriaal is een middel om uiteindelijk te bereiken dat de leerprestaties van studenten verbeteren (zie bv. de blog van David Wiley). De invloed van publiceren of hergebruiken van open leermateriaal in het bijzonder of andere vormen van open education in het algemeen kan via de volgende redenering worden aangegeven:
- Gebruik van OER leidt tot hogere kwaliteit van leermaterialen en draagt daarmee bij aan beter onderwijs
- Inzet van andere vormen van open education (zoals een MOOC) leidt tot beter onderwijs
- Beter onderwijs leidt tot hogere leerprestaties van studenten
Andy Lane van de OU-UK observeerde in deze publicatie uit 2011 dat er nog weinig bekend is over de effecten van open leermaterialen op “teaching practices” (p. 5): “There have been a significant number of publications discussing OER in recent years but little of that discussion has been about the implications for teaching practices”
Ik ga er in de rest van deze post van uit dat de in de redenering aangegeven relaties tussen kwaliteit van leermateriaal, kwaliteit van onderwijs en hogere leerprestaties niet verder onderbouwd hoeven te worden. Ik focus me alleen op de bijdrage die open leermaterialen kan hebben.
De relatie OER, open education en hogere kwaliteit is er op drie punten, die als claims kunnen worden geformuleerd waarvoor dan evidence moet worden verzameld:
- Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
- Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden (itt gesloten materialen)
- Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs
Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
Dit kan twee oorzaken hebben:
A1: doordat anderen de materialen kunnen bewerken wordt het materiaal er beter van en die verbeterde versie kun jij dan weer gebruiken.
A2: omdat je materiaal zichtbaar wordt voor de wereld besteed je meer aandacht aan de kwaliteit van je leermateriaal wat dan leidt tot hogere kwaliteit
Evidence voor A1
Het MIT heeft in hun Open Courseware programma dit effect onderzocht. Zie hier op pagina 214, eerste regel “It enhances the quality of education (..). We have significant data demonstrating these phenomena”. Ook in deze PhD-studie naar het MIT-programma wordt gemeld dat docenten verbeteringen ervaren in de content.
Onderzoek door o.a. David Wiley over de effecten van inzetten van open textbooks gaf de volgende resultaten:
- 34% van de docenten en 39% van de studenten meldden de kwaliteit van de OER (in de vorm van een open textbook) beter te vinden dan die van commerciële varianten. 11% van de docenten en 6% van de studenten vonden de kwaliteit slechter
- 33% van de docenten waardeerden de mogelijkheid tot aanpassing van het open textbook
Onderzoek bij het JISC OER-programma, dat van 2008-2012 liep, leerde:
“Significantly, although there are potential time saving benefits inherent in using digital resources, our interviewees spoke about benefits in terms of raising the quality of their courses and the student experience, rather than improving efficiency.”
Evidence voor A2
Hiervoor heb ik tot nu toe alleen evidence via mondelinge communicatie (m.n. met betrokkenen bij het Delft OpenCourseware programma).
Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden
Evidence voor deze claim is te vinden in het eerder vermelde onderzoek van David Wiley: “25% van de respondenten meldden beter voorbereide studenten, 10% meldde slechter voorbereide studenten”. Dat aanpassing van materialen aan de lerende positieve effecten heeft op de leerprestaties is echter niet eigen aan het open zijn van leermaterialen, maar meer algemeen het scheppen van een leeromgeving die optimaal aansluit bij de lerende. Dit ligt buiten de scope van deze post.
Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs
Evidence hiervoor is te vinden in een presentatie die op de net beëindigde OpenEd conferentie is gegeven over preliminary findings waar OER gebruikt worden om studenten een betere leerervaring te geven.
De in de inleiding genoemde OER Reserach Hub geeft geen eenduidige resultaten: “On the impact of OER on student satisfaction, data extracted from surveys conducted with two of our collaborations OpenLearn and the Flipped Learning Network – make apparent this mismatch of beliefs. For example, 63% of educators (n=31) agreed that using OpenLearn improves student satisfaction, an opinion shared by 85% of K12 teachers engaged in flipped learning (n=75). However, just 47% (n=54) of students indicated that using OpenLearn increased their satisfaction with the learning experience.“.
Conclusie
Meer en meer komt er aandacht voor onderzoek naar effecten van OER en andere vormen van open education op de leerprestaties van lerenden. Er is echter al wel evidence te vinden dat die effecten er zijn en dat die veelal positief zijn. Mijn verwachting is dat de Evidence Hub van OLNET en de OER Research Hub waardevolle bronnen van evidence zullen worden.
“OER leidt tot betere kwaliteit van leermaterialen en daardoor tot hogere kwaliteit onderwijs en betere leerprestaties bij studenten”.
Mag ik dat inkorten tot: “OER leidt tot betere leerprestaties bij studenten”.
Zo nee dan is het blijkbaar mogelijk dat de kwaliteit van leermaterialen en/of de kwaliteit van onderwijs verbetert zonder dat dat tot betere leerprestaties leidt. Als betere leerprestaties een essentieel onderdeel van de operationele definitie van die kwaliteiten zijn, dan zijn twee van de je de verbanden die je wil onderzoeken per definitie waar, empirisch onderzoek is daar overbodig.
De eventuele bron van de verbetering ligt in de openheid van OER. Een operationele definitie van “open” bevat meerdere dimensies (vrij beschikbaar, aanpasbaar, etc.). Waarschijnlijk zul je van elke dimensie apart moeten onderzoeken wat het effect er van is op betere leerprestaties.
–
Op basis van gezond verstand gok ik dat je uiteindelijk uitkomt op iets als:
Onderwijs materiaal dat inhoudelijk en didactisch herzien is in een intensief proces van peer review leidt tot betere leerprestaties (dus OER maakt het proces van peer review waarschijnlijk, gekke dingen worden daardoor uit het materiaal gehaald, het werkt dus beter; OER materiaal dan niet door het review proces gehaald is even goed als normaal materiaal. NB niet het feit dat het OER materiaal is maar het feit dat serieus gereviewd is verbeterd de kwaliteit).
De kans is groot dat van OER materiaal verschillende varianten bestaan die elk toegesneden zijn op een eigen doel en doelgroep. Dit maakt het voor een docent makkelijker materiaal te selecteren dat geschikt is voor een specifiek doel en een specifieke doelgroep. (als er geen geschikte variant is dan mag de docent het materiaal zelf aanpassen). Wat je dan eigenlijk zou moeten onderzoeken is iets als: materiaal dat geselecteerd is voor een bepaalde doelgroep leidt tot betere leerprestaties dan het gebruik van “one size fits all” standaardteksten.
–
Dus: operationaliseer je kernbegrippen; formuleer je onderzoeksvragen in termen van die operationele definities; doe geen empirisch onderzoek naar relaties die per definitie gelden; denk goed na over de causale mechanismen; vang die mechanismen in empirisch toetsbare hypothesen.
Wilco,
Dank voor je aanscherping! Voor mij ligt de essentie van open in het aanpasbaar zijn van de materialen, zoals jij het ook vermeldt. Ik vind daarbij “aanpassen” vergelijkbaar met wat jij een intensief proces van review noemt (sterker: aanpassen is een vorm van review). In die zin verschillen open en niet-open materiaal niet van elkaar, maar wel dat bij open materiaal het resultaat van de review (de aanpassing) weer gedeeld kan worden.
In mijn claims ga ik niet in op de rechtstreekse weg van “leidend tot betere leerprestaties”, omdat daarvoor precies geldt waarmee jij je reactie begint: betere leermaterialen leiden uiteindelijk tot betere prestaties. Het gaat er mij om welke effecten “open” hebben op die hogere kwaliteit en waarom dat zo zou zijn. Dat is wat ik in claims A en B heb proberen te verwoorden. Claim C moet zeker scherper worden geformuleerd, mede omdat het daar ook om andere, minder open varianten zoals MOOC’s kan gaan. Daar zal ik zeker de verschillende dimensies van open apart moeten onderscheiden en het niet bij alleen aanpasbaarheid moeten laten.
Robert