Ben Janssen attendeerde mij deze week op een artikel uit 2019: Do open educational resources improve student learning? Implications of the access hypothesis. De auteurs van dit artikel betogen dat studies al wel hebben aangetoond dat gebruik van open leermaterialen (Open Educational Resources, OER) leidt tot lagere kosten voor lerenden en (mede daardoor) tot minder ongelijkheid in onderwijs. Studies naar effecten op de leerresultaten tonen echter veelal geen effect aan. De auteurs betogen dat dit komt doordat bij die studies wordt uitgegaan van de hypothese dat lagere drempels voor toegang leidt tot positieve leerresultaten en dat deze opzet van de studies een positief effect niet kan ontdekken, zelfs als er een positief effect is.

Ik ben het eens met de auteurs van dit artikel. Leermateriaal met een open licentie op zichzelf geven alleen een potentie om onderwijs zodanig te ontwerpen dat daardoor uiteindelijk aantoonbaar positieve effecten op leerresultaten optreden. Essentieel is  datgene wat een docent doet met de affordances die open leermateriaal bieden: vrije toegang en rechten op aanpassing. In deze blog wil ik aangeven welk onderzoek nodig is om meer inzicht te krijgen in de effecten van open leermateriaal op studiesucces.

Effecten van leermateriaal op studiesucces

Een meer algemene vraag is “wat draagt leermateriaal bij aan studiesucces en hoe kan dat worden gerealiseerd?” In het Versnellingsplan hebben Sylvia Moes (VU), Leontien van Rossum (Fontys) en ondergetekende vorig jaar een tool gepubliceerd “Kies wijzer je digitaal leermateriaal“. Met deze tool kan een docent, gegeven een te behalen leeruitkomst en gewenste werkvorm, suggesties krijgen voor welk type leermateriaal (zoals video, simulatie, tekst) potentieel geschikt is, gebaseerd op onderzoek ernaar (waarbij de papers die de evidence aanleveren ook getoond worden). Het uiteindelijke effect op studieresultaten wordt in die artikelen echter vaak niet aangegeven.

De opzet van de Kieswijzer is echter wel waar het bij de effect-vraag van open leermaterialen om zou moeten draaien: onderwijsvisie is leidend en materiaal is volgend. Daarmee kan de effectvraag worden geherformuleerd tot “welk effect heeft een onderwijsvorm, waarbij open leermaterialen essentieel zijn, op studiesucces?”

Dergelijke onderwijsvormen staan bekend als open pedagogy. Clinton-Lisell (2021) gaf, in een metastudie naar open pedagogy, de volgende omschrijving van dit concept:

“The concept of open pedagogy has had multiple interpretations. A model of open pedagogy with eight key attributes to guide instructors in using OER was developed by Hegarty (2015). These attributes were helpful for open pedagogy but did not necessarily require open licensing to incorporate, such as connected community, peer review, and reflections. This broader approach is contrasted with a more precise approach by Wiley and Hilton who coined the term OER-enabled pedagogy (2018). OER-pedagogy is a specific approach regarding teaching and learning techniques that are only possible through open licensing (the 5Rs). Similarly, DeRosa and Robison (2017) describe OER use as a “jumping off point” for empowering students with student-centered, process-oriented learning through open licensing. This was further developed by describing open pedagogy as an “access-oriented commitment to learner-driven education AND as a process of designing architectures and using tools for learning that enable students to shape the public knowledge commons of which they are a part” (DeRosa & Jhangiani, 2018, pp. 13-14). In other words, open pedagogy is a method for students to be knowledge creators rather than only knowledge consumers.

In the current review, the term open pedagogy is used to broadly describe teaching and learning techniques made possible through open licensing (also referred to as OER-enabled pedagogy; Wiley & Hilton, 2018). Moreover, there is a focus on how the open pedagogy definition or explanation in the study aligns with OER-enabled pedagogy as described by Wiley and Hilton (2018). This is to allow for a detailed examination of how the study’s examination of open pedagogy resonates with the affordances of open licensing and contrasts open pedagogy with other effective pedagogical techniques that do not require open licensing (e.g., collaborative learning, non-disposable assignments in general). This approach allows for an examination of the unique nature of open pedagogy.”

De SIG Open Education heeft in (Jacobi et al, 2019) de volgende omschrijving gegeven van open pedagogy (nadruk door mij aangebracht):

Open Pedagogy is een paraplu van didactische werkvormen waarop één of meer van de volgende karakteristieken van toepassing is:

1. Lerenden werken aan leertaken waarbij de waarde die ze toevoegen open toegankelijk is zodat anderen er toegang toe hebben, dit kunnen delen en opnieuw waarde kunnen toevoegen;

2. Leertaken worden uitgevoerd door lerenden die via open netwerken (inclusief social media) met elkaar verbonden;

3. Via leertaken dragen lerenden bij aan kenniscreatie door aanpassing, hergebruik of combineren van open beschikbare content/kennisobjecten en het open beschikbaar stellen van het resultaat;

4. Bij leertaken wordt gebruik gemaakt van Open Educational Resources en content die beschikbaar is op open netwerken.

Uit deze beide omschrijvingen is te halen dat een specifieke verschijningsvorm van open pedagogy, OER-enabled pedagogy, van belang is voor de effectvraag van open leermaterialen op studiesucces. Wiley & Hilton III (2018) omschrijven OER-enabled pedagogy als

the set of teaching and learning practices that are only possible or practical in the context of the 5R permissions which are characteristic of OER.

Effecten van open leermateriaal op studiesucces

Clinton-Lisell heeft in haar metastudie ook gekeken naar effecten van OER-enabled pedagogy op studiesucces (nadruk door mij aangebracht):

One area of critical importance in open pedagogy is how it relates to student learning outcomes. Open pedagogy has been conceptually linked with philosophies known to benefit student learning, such as constructivism and student-centered learning (Allsop et al, 2020; Isik et al, 2018), as there is meaningful engagement with the content and students are actively engaged in developing their knowledge (Masterman, 2016). Therefore, one can intuit that open pedagogy would likely benefit student learning. However, without empirical evidence regarding learning outcomes, one cannot determine if open pedagogy actually improves student outcomes.

(…)

Learning outcomes were examined in only two studies. Tillinghast and colleagues (2020) as well as Bloom (2019) compared course sections with students’ open pedagogy to students having more traditional assignments. The two approaches to open pedagogy differed in that Tillinghast and colleagues had students revise an existing OER textbook and Bloom had students develop OER learning tools. However, their findings regarding student learning outcomes were similar. Neither found differences in performance for grades in the course. Bloom noted that increases in writing mechanics knowledge appeared to be larger for students in the open pedagogy group, but this difference was only marginally significant. Given the relatively small sample, it is possible that reliable results could be found with a larger sample in future research.

Dit citaat geeft twee zaken aan: er zijn erg weinig studies naar effecten op studiesucces én, hoewel bij beide studies OER-enabled pedagogy het vertrekpunt was, in die studies zijn geen effecten op studiesucces gevonden.

Conclusie

Er is nog weinig bekend over effecten van gebruiken van open leermaterialen op studiesucces. Toekomstig onderzoek zou zich daarom meer moeten richten op deze effectvraag. Daarvoor is nodig dat er meer bekendheid bij docenten en ondersteuners is over Open pedagogy in het algemeen en OER-enabled pedagogy in het bijzonder. Zorgen voor meer bekendheid is op de kortere termijn een professionaliseringsvraagstuk, maar voor de langere termijn zou in de curricula van lerarenopleidingen veel meer aandacht moeten komen voor open leermaterialen en wat daarmee mogelijk is.

Uiteindelijk kan een resultaat zijn dat effecten op studiesucces niet aan te tonen zijn. Daarmee wordt gebruiken van open leermaterialen echter niet minder waard. Er blijven voldoende andere waarden over om de adoptie van open leermaterialen te verantwoorden. Zie een eerdere blog die daarover is verschenen.

Referenties

Clinton-Lisell, V. (2021). Open Pedagogy: A Systematic Review of Empirical Findings. Journal of Learning for Development , 8(2), 255-268. Retrieved from https://jl4d.org/index.php/ejl4d/article/view/511

Grimaldi, P. J., Basu Mallick, D., Waters, A. E., & Baraniuk, R. G. (2019). Do open educational resources improve student learning? Implications of the access hypothesis. PLOS ONE, 14(3), e0212508. https://doi.org/10.1371/journal.pone.0212508

Jacobi, R., Schuwer, R. & van der Woert, N. (2019). Thema-uitgave Open Pedagogy. Er is meer Open Pedagogy dan je denkt! SURF, Nederland. https://www.surf.nl/files/2020-02/thema-uitgave-open-pedagogy.pdf

Wiley, D., & Hilton III, J. L. (2018). Defining OER-Enabled Pedagogy. The International Review of Research in Open and Distributed Learning, 19(4). https://doi.org/10.19173/irrodl.v19i4.3601