Category Archives: Open Educational Resources

UNESCO Recommendation on OER

Posted on by

Deze blogpost is ook beschikbaar in Engels.

Eind november heeft de General Conference van UNESCO de Recommendation on OER aangenomen. Dit was het resultaat van meer dan vijf jaar werk, startend vanuit de Paris OER Declaration uit 2012, met als tussenstation het 2nd World Congress on OER in 2017 in Ljubljana waar een Action Plan on OER werd aangenomen (zie de blog die ik daar toen over schreef). Mitja Jermol (UNESCO Chair in Slovenië en nauw betrokken bij de totstandkoming van de Recommendation) lichtte tijdens de OEGlobal Conference in Milaan een tipje van de sluier op over hoe een dergelijk proces eruit ziet (video).

Wat is een UNESCO Recommendation?

Op de website van UNESCO is te vinden welke instrumenten UNESCO onderscheidt. Hoewel op die website te vinden is dat het ene instrument niet superieur is t.o.v. een andere, zijn er wel essentiële verschillen tussen met name (de impact van) een Declaration en een Recommendation (nadruk aangebracht door mij):

  • “Recommendations are intended to influence the development of national laws and practices.”
  • “(A declaration) set forth universal principles to which the community of States wished to attribute the greatest possible authority and to afford the broadest possible support.”

Een land dat de OER Recommendation heeft ondertekend heeft zich daarmee ook verplicht om periodiek vorderingen te melden die het heeft gemaakt op de implementatie van de Recommendation:

(The General Conference) decides that the periodicity of the reports of Member States on the measures taken by them to implement the Recommendation concerning Open Educational Resources (OER) will be every four years;

Een dergelijke verplichting ontbrak bij de Paris OER Declaration, hetgeen dat instrument wat meer vrijblijvendheid gaf aan de lidstaten wat betreft het navolgen ervan.

Uit het overzicht van Recommendations van UNESCO (bijgewerkt tot en met de vorige General Conference uit 2017) valt te halen dat de Recommendation on OER de 35e is sinds de oprichting van UNESCO (de eerste is uit 1956) en de 9e die over Education gaat (de eerste is uit 1960). Dit illustreert het belang dat UNESCO hecht aan grootschalige adoptie van OER, met name als één van de middelen om Sustainable Development Goal 4 (ensure inclusive and equitable quality education and promote lifelong learning opportunities for all) te realiseren. De Recommendation is bedoeld voor alle onderwijssectoren, niet alleen hoger onderwijs.

De tekst van de Recommendation die momenteel beschikbaar is is een Draft versie van 8 oktober. Deze tekst is unaniem aangenomen op de General Conference. De finale tekst wijkt daarom (bij mijn weten) niet af van deze Draft en zal eerdaags wel beschikbaar komen via de website van UNESCO.

Wat is de inhoud van de Recommendation?

De Recommendation heeft de volgende doelen:

  • Realiseren van duurzame investeringen en educatieve maatregelen door overheden en andere belangrijke stakeholders in onderwijs voor creatie, curatie, periodieke aanpassingen, verzekeren van inclusieve toegang tot en effectief gebruik van hoge kwaliteit onderwijs- en onderzoeksmaterialen en studieprogramma’s.

  • Door gebruik van open licenties voor leermaterialen realiseren van mogelijkheden om meer kosten-effectief creatie van, toegang tot, curatie , hergebruik, aanpassing, verspreiding van en kwaliteitsborging van deze leermaterialen te realiseren.

  • Door verstandig gebruik van OER, in combinatie met passende didactische en pedagogische methoden, goed ontworpen leerobjecten en diversiteit van leeractiviteiten, realiseren van een brede waaier van innovatieve pedagogische en didactische opties om zowel docenten als lerenden actiever te betrekken bij de onderwijsactiviteiten, en makers van content te worden in een diverse en inclusieve kennismaatschappij.

  • Realiseren van regionale en mondiale samenwerking en belangenbehartiging bij creatie van, toegang tot, curatie , hergebruik, aanpassing, verspreiding van, kwaliteitsborging en evalueren van OER, waardoor overheden en onderwijsaanbieders in staat zijn de kwaliteit van de open access content te beoordelen en hun eigen investeringen in het creëren van onderwijs- en onderzoekscontent, alsmede ICT-infrastructuur en curatie te optimaliseren op een manier die hen in staat stelt op een meer kosteneffectieve en duurzame wijze te voldoen aan de door hen vastgestelde nationale prioriteiten voor het onderwijsbeleid.

Deze doelen adresseren ook de vraag: waarom zou gestreefd moeten worden tot grotere adoptie van OER? Hoe dragen OER bij aan realiseren van SDG 4? De meerwaarde van OER is niet alleen het toegankelijker maken van onderwijs door verlagen van financiële drempels en rekening houden met mensen met een beperking, maar toepassing van OER in onderwijs- en leersituaties leidt ook tot een rijkere leeromgeving door de grotere beschikbaarheid van leermaterialen waarop een gebruiker de 5R rechten kan uitoefenen. Daarnaast benadrukken deze doelen het belang van samenwerking tussen stakeholders.

Om deze doelen te bereiken zijn vijf actielijnen gedefinieerd:

  1. Capacity building: ervoor zorgdragen dat voldoende kennis over en middelen voor adoptie van maken, delen, hergebruiken en verspreiding van OER en gebruik van open licenties beschikbaar is.
  2. Ontwikkelen van ondersteunend beleid: stimuleren van overheden, gezaghebbende instanties voor onderwijs (bijvoorbeeld in Nederland VSNU, VH, SURF en Kennisnet) en onderwijsinstellingen voor adoptie van kaders voor regelgeving ter ondersteuning van onder een open licentie beschikbaar stellen van door de overheid gefinancierd onderwijs- en onderzoeksmateriaal, ontwikkeling van strategieën om het gebruik en aanpassing van OER mogelijk te maken om daarmee hoogwaardig, inclusief onderwijs en leven lang leren voor iedereen te realiseren, ondersteund door relevant onderzoek op dit gebied.
  3. Zorgen voor effectief, inclusief en voor iedereen gelijke toegang tot kwalitatief hoogwaardige OER: ondersteunen van adoptie van strategieën en programma’s, onder meer door middel van relevante technologie, die ervoor zorgen dat OER op elk medium in open formaten en standaarden worden gedeeld om een zo groot mogelijke voor iedereen gelijke toegang, co-creatie, curatie en doorzoekbaarheid te waarborgen, ook voor kwetsbare groepen en personen met een handicap.
  4. Bevorderen van het creëren van modellen voor duurzame beschikbaarheid van OER: ondersteunen en stimuleren van het creëren van modellen voor duurzame beschikbaarheid van OER op nationaal, regionaal en institutioneel niveau, en het plannen en testen van nieuwe duurzame vormen van onderwijs en leren.
  5. Bevordering en facilitering van internationale samenwerking: ondersteuning van internationale samenwerking tussen belanghebbenden om onnodige doublures bij investeringen in OER-ontwikkeling tot een minimum te beperken.

Tevens bevat de Recommendation uitspraken over monitoring van activiteiten die door overheden worden ondernomen om invulling aan de actielijnen te geven: meten van effectiviteit en efficiëntie van OER-beleid, verzamelen en verspreiden van good practices, innovaties en onderzoeksrapporten over toepassing van OER en de gevolgen daarvan, en ontwikkelen van strategieën voor toezicht op de effectiviteit van OER in het onderwijs en de financiële efficiëntie van OER op de lange termijn. Zoals eerder al vermeld zijn overheden gehouden aan het periodiek rapporteren van de resultaten van deze monitoring activiteiten.

Wat betekent dit voor het Nederlandse onderwijs?

Op het eerste gezicht lijkt de Recommendation vooral tot activiteiten voor de overheid te leiden. Ik denk echter dat ook (en misschien wel vooral) van onderaf invulling gegeven moet worden aan dit document. Stakeholders als VSNU, VH, SURF en Kennisnet en individuele onderwijsinstellingen in alle sectoren kunnen daarbij denken aan:

  • Ontwikkelen van een visie op adoptie van OER in hun context. Deze visie moet niet alleen uitspraken doen over open delen van leermaterialen, maar ook over hergebruik ervan. Een dergelijke visie kan ook niet los worden gezien van een bredere visie op onderwijs, waardoor de rol die OER kan spelen daarin ook duidelijk wordt.
  • Vertalen van de visie in een beleid op adoptie van OER. Uit een onderzoek (publicatie en rapport) dat Ben Janssen en ik in het hoger onderwijs hebben uitgevoerd kwam naar boven dat aandachtspunten daarbij zijn: zorgen voor grotere awareness onder docenten, borgen van voldoende beschikbare tijd, veilige experimenteerruimte, voldoende kennis over OER, ondersteuning (op gebied van auteursrecht, onderwijskundig en ICT).
  • Bevorder de samenwerking met andere instellingen. Dat hoeft niet per se internationaal (zoals in de laatste actielijn staat beschreven). Niet alleen kan samenwerking uiteindelijk leiden tot efficiëntere processen bij creatie en hergebruik van OER, maar door dit gezamenlijk met meerdere instellingen op te pakken wordt het een middel om ook bij elkaar in de keuken te kijken, wat tenminste zo waardevol kan zijn.
  • Stimuleer initiatieven die er nu al van onderaf worden ondernomen, bijvoorbeeld door te zorgen voor tijd en ondersteuning. Dat kan parallel aan de meer beleidsachtige activiteiten die hierboven staan genoemd.
  • Faciliteer onderzoek naar hoe OER initiatieven uiteindelijk duurzaam (lees: onafhankelijk van initiële projectsubsidies) kunnen worden gemaakt binnen een instelling.

Beschikbaarheid van leermaterialen, open danwel gesloten, is in de Nederlandse context minder een issue dan bijvoorbeeld in grote delen van de Global South. Aandacht voor aanpassing van die leermaterialen voor bijvoorbeeld mensen met een beperking lijkt er echter minder te zijn. Zo leert een willekeurige zoekactie in de database van Wikiwijs mij dat de meeste materialen die ik daar vind geen faciliteiten biedt om slechtzienden te ondersteunen. Adoptie van OER door docenten zal echter vooral gestimuleerd worden als de rol die het kan hebben bij het realiseren van zijn of haar visie op onderwijs duidelijk is. De “what’s in it for me”-vraag wordt daarmee dan geadresseerd. Het al eerder genoemde onderzoek van Ben Janssen en mij bracht naar voren dat die vraag beantwoord moet zijn voor docenten.

Er zijn al veel hulpmiddelen (toolkits, stappenplannen) beschikbaar om dit te ondersteunen. Op nationaal niveau heeft SURF instrumenten ontwikkeld waarmee aan de slag kan worden gegaan en is Kennisnet bezig met iets soortgelijks. UNESCO en de Commonwealth of Learning hebben onlangs een rapport Guidelines on the Development of Open Educational Resources Policies gepubliceerd dat concrete tools bevat om een beleid op OER te formuleren (zie een eerdere blogpost). Internationaal is er een coalitie gevormd waarin o.a. Creative Commons en de Open Education Global participeren. Deze coalitie streeft naar leveren van artefacten en services om partijen te ondersteunen bij het implementeren van de Recommendation.

OEGlobal 2019 Milan

Posted on by

From 26-28 November, the OEGlobal conference took place in Milan. This conference is the annual event from the Open Education Consortium. During the conference, they announced a name change to Open Education Global, to be realized somewhere over the next weeks.

The conference attracted around 200 participants, mainly from Europe and North America. In three days, a wide variety of topics in a variety of formats (presentation, world cafe, action lab, 10 minute lightning talks) came across, and ample opportunities to informally meet each other.

The absolute highlight for me was the keynote of Cheryl Hodgkinson-Williams from the University of Cape Town titled The Warp and Weft of Open Education and Social Justice. In a catchy manner she made me start thinking about the economic, cultural and political consequences of my activities in the open world. I am still thinking about it and how these insights may change my behaviour. The slides can be found here.

Another highlight was the closing session where a.o. Mitja Jermol presented about the process that has led to the acceptance by the UNESCO General Assembly of the OER Recommendation. In another blog I will go deeper into this. For me, the beginning of his presentation was emotional. He asked for a 1 minute applause to remember Fred Mulder and Indrajit Banerjee. Both have meant a lot in the process, but have passed away last year and early 2019.

If I have to name one trend visible at this conference, I would say the many presentations involving student-generated content as a means to create OER. For me, these are concrete examples of how Open Pedagogy can be implemented in teaching. The Dutch SIG Open Education has just published a theme edition about this topic to provide concrete handles to teachers for how to implement these ideas in their teaching practices (in Dutch, but translation into English will soon be available). In 2020 this publication will be extended, resulting in an online tool for teachers to get inspired by cases of Open Pedagogy.

I was involved in three presentations and an action lab about policy making. Details of the presentations are now following.

The butterfly effect: how connecting digital learning materials to the constructive alignment theory may accelerate adoption of OER

This presentation is about the Dutch Acceleration Plan for Innovation of Education using ICT, more specifically the topic Towards digital (open) learning materials.

How about reuse?

Results of a study on practices of reuse, conducted together with Marjon Baas.

Community of Practice and OER, a successful formula?

Study of the role of a Community of Practice in adoption of OER in Nursing. Marjon Baas is conducting this study as part of her PhD study. It is work in progress.

Next years edition of the OEGlobal will be organized in Taiwan.

Guidelines on the Development of Open Educational Resources Policies

Posted on by

Recently, UNESCO and the Commonwealth of Learning (COL) have published a report with Guidelines on the Development of Open Educational Resources Policies. According to a tweet from one of the authors, Dominic Orr, this publication took a long time before it was finalized:

These guidelines are published just in time for the 40th session of the General Conference of UNESCO, organized from 12-27 November in Paris. In this conference, the Draft Recommendation on Open Educational Resources will be on the Agenda for acceptance by the Member States. To realize the ambitions as stated in this Recommendation, policies both on national level and institutional level will be necessary.

The aim of the guidelines are, in the words of the authors (p. 2):

  1. Understand essential subject-matter knowledge on OER through a learning-by-doing process
  2. Develop a set of procedural knowledge on OER policy planning, working through key steps necessary for designing a comprehensive OER policy
  3. Reinforce the contextual knowledge needed to leverage OER in achieving SDG 4 through assessing the policy context and needs for OER, planning institutionalised programmes and drawing up a contextualised masterplan
  4. Ensure the commitment to policy adoption and implementation through integrating stakeholder engagement into the policy-planning process and determining adequate policy endorsement and implementation strategies
  5. Enhance the quality of policy implementation by planning a mechanism for monitoring and evaluation, and working towards an evidencebased policy-planning and updating cycle

The target group are “those directly involved in policy design” (p.2).

The structure of the report is based on a 7-phase action plan, devised by the authors of these guidelines:

Each phase has the same structure in the guidelines:

  • Overview of the phase;
  • Learning outcomes: “After reading and working through this chapter, you are expected to be able to:”;
  • Guidelines for the topic on hand, illustrated with tools, literature references and examples;
  • A set of guiding questions to fill in by the user of the guidelines and with which s/he can apply the knowledge of the chapter on her/his own policy development.

With this setup, the report can really be used as a guide taking you by the hand in step-by-step developing your own OER policy.

Remarks

Overall, I consider these Guidelines as a valuable tool for formulating OER policies. I especially like the last phase on launching the OER policy. This phase is crucial for the success of policy, since it focuses on ultimately realizing impact with the teachers. As I mentioned in an earlier blogpost (in Dutch), there is a long way to go with many hurdles to pass before policies on a high level have impact on the “chalk level”. For this, more detailed guidances and good practices (e.g. to extract from the OER Worldmap) could be a valuable addition to these Guidelines.

A bit unclear for me is for which types of OER policies these Guidelines have been developed. Although table 3 (p. 34) suggests the Guidelines could be used for both national and institutional policies, box 3.1 (p. 36) points the user of the Guidelines to alternative tools and guidelines, specifically for developing an institutional OER policy. And because most examples in the Guidelines are from national policies, one could question its applicability for other than national policies. Asking this to one of the authors of the Guidelines, Ben Janssen, he confirmed applicability also for institutional policies, but considered that some of the guiding questions at the end of each chapter should be changed a bit.

OER policies could be widened to policies on Open Education. One such example can be derived from the strategical agenda from the Ministry of Education, Culture and Science in the Netherlands. In the 2015 version (soon to be updated), this agenda formulated the ambition that in 2025 all Dutch Higher Education institutions would recognize each other MOOCs. Institutional open policies are needed to realize this ambition, going beyond the framework shaped by these Guidelines.

Finally, much attention is needed for policies in other sectors than Higher Education. Although the examples provided in the Guidelines are also taken from K12 and Vocational Education (kudos!) and are not only targeted to policies on open textbooks (kudos!), the majority of the examples stems from Higher Education. When the overview of policies from OER Worldmap is representative, this Map illustrates the urgent need for policy makers to give more attention to sectors other than Higher Education. Currently, the overview consists of 172 examples of OER policies, of which 48% are targeted towards Higher Education, 37% cross sector and only 1 (0.58%) towards Vocational Education. Therefore, it is strongly recommended to bring these Guidelines under the attention of policy makers outside of the Higher Education sector.

 

 

Onderzoek hergebruik van leermaterialen / Study into the reuse of learning materials

Posted on by

(English version below the Dutch text)

Er is weinig bekend over de mate waarin open leermaterialen worden hergebruikt en over hoe dat hergebruik dan plaatsvindt. Dit heeft onder meer tot gevolg dat niet duidelijk is hoe effectieve ondersteuning bij hergebruik kan plaatsvinden en welk type leermaterialen het meest hergebruikt wordt, zodat daar voorrang aan kan worden gegeven bij ontwikkelen van open leermaterialen.

Om meer inzicht te krijgen in in welke mate en op welke wijze hergebruik van open leermaterialen plaatsvindt is door Robert Schuwer (lector Open Educational Resources Fontys Hogescholen) en Marjon Baas (ICT&O Adviseur hogeschool Saxion en PhD student bij Universiteit Leiden) een survey opgesteld. We vragen docenten in het hoger onderwijs in Nederland (hbo en wo) die gebruik maken van digitale leermaterialen 10-15 minuten van hun tijd om deze survey in te vullen De survey staat open tot 15 oktober en is te vinden op http://bit.ly/reuse2019. Er is zowel een Nederlandstalige als Engelstalige versie beschikbaar.

De resultaten zullen mede input zijn voor activiteiten die in de zone “Naar digitale (open) leermaterialen” van het Versnellingsplan zullen worden uitgevoerd.

We hopen op een hoge response!

Study into the reuse of learning materials

Little is known about the extent to which Open Educational Resources are reused and how they are reused. One of the consequences of this is that it is not clear how effective support can be provided for reuse and what type of educational resources are most frequently reused, so that these can be given priority when Open Educational Resources are developed.

In order to gain more insight into the extent and manner in which Open Educational Resources are reused, Robert Schuwer (professor in OER at Fontys University of Applied Sciences) and Marjon Baas (ICT&O Advisor at Saxion University of Applied Sciences and PhD student at Leiden University) have drawn up a survey. We ask instructors from Dutch research universities and universities of applied sciences who are using digital learning resources 10-15 minutes of their time to complete this survey. The survey is available in an English version and is open until 15 October. It can be found at http://bit.ly/reuse2019

The results will feed into activities to be carried out in the area “Towards digital (open) learning materials” of the Dutch Acceleration Plan

We hope for a high response!

Towards a definition of learning materials

Posted on by

 

Introduction

In the zone “Towards digital (open) educational resources” from the Dutch Acceleration Plan for Educational Innovation using ICT, 7 universities and 2 Universities of Applied Sciences are collaborating to realize the ambition that in 2023, higher education institutions in the Netherlands are able to offer teachers and learners the opportunity to put together and use their optimal mix of learning resources.

Until now, a precise definition of what is meant by “educational resources”, “learning resources” or the more commonly used phrase “learning materials” is lacking. In a background document the zone has produced for presentation purposes, the following description of “learning material” is provided:

It is difficult to give a definition of learning material. The primary role of learning material is to provide the content (learning content) in a certain form (textual, auditory, visual or a mix of these forms). Examples of learning material are digital textbooks, slide decks or MOOCs. This approach excludes educational resources such as digital whiteboards and VR glasses.

Learning materials can make use of sources that, viewed in isolation, are not primarily intended to serve as learning materials, but which, placed in a (learning) context, may have that function. Think, for example, of a Youtube video with information about the Eiffel Tower that is used by a student to answer a question about technical constructions. For that student, this video is part of his optimal mix. It is possible for a teacher to refer to the video as early as on his or her assignment, as well as for a student to look for sources that will help him or her to make the assignment and come across the video in the process. Other examples of such sources are the Wikipedia, newspaper articles and games.

This description is currently sufficiently accurate for the purpose of presentations, but it raises the question if a more precise definition can be found. Such a definition can help in future decisions to include or exclude certain artefacts in the activities of the zone.

It seems that “learning materials” is a fuzzy concept. An individual has an intuition of what it means, but it is difficult to define it more precisely. Some examples to illustrate this.

Example 1

The Draft version of the UNESCO OER Recommendation, discussed on 27 and 28 May in Paris (not publicly available yet) gives the following definition of Open Educational Resources:

Open Educational Resources (OER) are learning, teaching and research material in any format and medium that resides in the Public Domain or are under copyright that have been released under an open license that permits no-cost access, reuse, repurpose, adaptation and redistribution by others.

This definition does not define in a precise manner what learning materials are, nor what carriers could be considered, but focus on the accessibility and usability of it. It seems to be based on the intuitive meaning every individual has. In the debates in Paris, there were no remarks made about the exact definition of “learning, teaching and research material”. Most alternative definitions of OER are similar, or it provides examples of OER in the definition, formulated as e.g. “(…) educational resources (lesson plans, quizzes, syllabi, instructional modules, simulations, etc.)” (see here for some examples).

Example 2

In a survey about practices of reuse that was taken in Fall 2018 in two contexts (Teachers in a Bachelor ICT program at a UoAS in the Netherlands and a Dutch community of practice for teachers in a Bachelor Nursing program), one question was about the types of learning materials used within their courses. The following options, for a great deal assembled from previous surveys on OER ((Schuwer & Janssen, 2016), (De los Arcos et al, 2015)), were presented:

  • Textbook
  • (Powerpoint) presentations
  • Videos (e.g. knowledge clips, tutorials)
  • Assignments
  • Tests
  • Pictures (e.g. photos)
  • (Part of a) course of colleagues
  • (Part of a) third party course
  • Articles
  • Interactive games
  • Digital tool (e.g. an online coding environment)
  • Otherwise, namely…

The option “Digital tool” was added at the version of the survey in the Bachelor ICT program, because of feedback from teachers on a test version of the survey where this option was not present. Many of the around 200 respondents provided input on the “Otherwise” option. Summarized and without input that was a redraft of another option, this leads to:

  • Online tutorials
  • Quizzes
  • Live coding demos
  • Online conference
  • Official developers documentation
  • Websites (e.g. Skills online)
  • Blogs (could be considered a special type of articles)
  • References to websites of publishers (possibly important because of copyrights)
  • Discussion forum
  • VR
  • Search engines
  • Practical scenarios for simulation education
  • Kahoot, menti, answergarden, Youtube, Pathlet

This shows that teachers have a broad perspective on learning materials, including many examples of digital tools (see the last bullet point). Because the zone starts from the perspective of the teacher and student, this broad perspective should be taken in consideration in the definition of learning material.

Example 3

During a discussion in a workshop to come to a broad accepted view of (digital) learning materials, participants connected quality issues to differentiate learning materials from other kinds of materials (e.g. materials having undergone peer review).

 

Hertzell (n.d.) distinguishes between five types of definitions:

  • Lexical definitions attempt to report usage.
  • Stipulative definitions are those which specify or stipulate the meaning of a word or phrase. Sometimes these involve the introduction of new terms, or the stipulation of new meaning for old terms.
  • Extensional definitions are simply a list of all the things to which the term applies.
  • Intensional definitions list a set of properties such that the term applies to all things having that set of properties, and to nothing else.
  • Ostensive definitions indicate the meaning of a term by providing a sample of the things denoted.

According to Wikipedia, a lexical definition is the sort of definition one is likely to find in the dictionary. Searching Wikipedia, no lexical definitions could be found for “educational resource”, “learning resource” or “learning material”. In the examples above, both intensional definitions (e.g. in the Draft version of the UNESCO OER Recommendation) as ostensive definitions (e.g. in the survey) are found. What types of definition could provide the most accurate description of learning materials is yet unknown.

 

To find a more accurate definition of learning material, a small and somewhat superficial literature review has been conducted. In Google Scholar, the following queries were formulated:

  • definition “learning materials”
  • definition “educational resources”
  • definition “educational materials”

The results were sorted by relevance and for each query the first 20 results were taken into account.

Results of the small and superficial literature review

In most papers found, a definition of another concept than learning materials was given (e.g. the concept “Learning Analytics”). In some cases these concepts were tightly connected to learning materials, but without a definition of the latter. This is similar as in the examples provided earlier, thereby relying on the intuitive picture of learning materials of an individual.

The concepts “learning materials/resources”, “teaching materials/resources” and “educational materials/resources” are sometimes distinguished, but without a precise definition. The distinction is formulated like “resources used for teaching” and “resources used for learning”.

Downes (2007) notices “It  seems clear (…), that there ought not to be an a priori stipulation that something may or may not be an educational resource. Such stipulation may only serve to limit discussion unproductively.” (p. 31). This may be comparable with the intuition-based approach for describing learning materials. For the subset of OER, he uses the characteristics “type of resource” (e.g. software, papers, courses) and “resource media” (e.g. Web pages, CD-ROM, paper-based).

Tuomi (2013), in the context of OER, recognizes the intuition-based definition of “educational resource” and tries to overcome that with a lexical definition of resource: “a stock or supply of materials or assets that can be drawn in order to function effectively” (p. 61). This approach seem to exclude resources like human beings (unless e.g. teachers are considered as forming a pool of experts available), but could still include chalkboards and presentation screens which, based on intuition, is not what individuals typically have in mind when talking about educational resources.

Some of the papers found provide a definition of the term “Learning object”. In (IEEE, 2002), the following definition is provided:

A learning object is defined as any entity, digital or non-digital, that may be used for learning, education or training.

Wiley (2000) attempts to define the term “Learning object”. He comes to a working definition (p. 6):

Any digital resource that can be reused to support learning.

He considers five types of learning objects (p. 18):

  1. Fundamental: an individual digital resource uncombined with any other.
  2. Combined-closed: a small number of digital resources combined at design time by the learning object’s creator, whose constituent learning objects are not individually accessible for reuse (recoverable) from the combined-closed learning object itself.
  3. Combined-open: a larger number of digital resources combined by a computer in real-time when a request for the object is made, whose constituent learning objects are directly accessible for reuse (recoverable) from the combined-open object.
  4. Generative-presentation: logic and structure for combining or generating and combining lower-level learning objects (fundamental and combined-closed types).
  5. Generative-instructional: logic and structure for combining learning objects (fundamental, combined-closed types, and generative-presentation) and evaluating student interactions with those combinations, created to support the instantiation of abstract instructional strategies (such as “remember and perform a series of steps”).

These and alternative definitions of Learning Object focus on the reusability of learning materials and the opportunities to create learning materials by combining other learning materials. Or as Friesen (2010) formulates: “Each definition highlights (either directly or indirectly) modularity as a technological and design attribute for the object and its content, emphasizing the ‘self-contained,’ ‘building block’ or ‘object-oriented’ nature of the technology” (p. 2).

Although in later years the learning object approach of developing learning materials has been considered as disappointing (see e.g. (Sinclair et al, 2013)), the definitions provided can be used to come to a definition of learning material.

Mishan (2005), in the context of language learning, considers material as a combination of two elements:

  • Text: Paper-based or electronic (audio or visual) data which can be in graphic, audio or print form and includes video, DVD, television, computer-generated or recorded data.
  • Language learning task/s based on it. Task is described as: Learner undertaking in which the target language is comprehended and used for a communicative purpose in order to achieve a particular outcome (goal). (p. xiii)

In this definition, the content, technical type of content, carrier (all in the description of “text”) and learning aspect are distinguishable elements of learning materials. This is comparable with the approach of (Downes, 2007) for OER.

Bundsgaard and Hansen (2011) provide an ostensive definition of learning materials (p. 32):

We understand learning materials as artifacts, e.g. textbooks, blackboards, computers (…)

They lack a more precise definition for their aim: evaluating learning materials in the context of a design for learning (with the latter more precise defined). They distinguish three characteristics of learning materials for investigation in the context of a learning design (p. 33):

  • the potential learning potential, that is, the affordances and challenges of the learning material, and the competences supposedly supported when working with the material;
  • the actualised learning potential, that is, the potential for learning when the design for learning is enacted by integrating the learning material in a situation in a given context; and,
  • the actual learning, that is, how the participants actually develop their competences through working with the learning material or enacting a design for learning.

With this perspective, anything can evaluate as suitable learning material, as long as the evaluation on these three characteristics is positive.

A comparable perspective on what constitutes learning materials is given in (Barker & Campbell, 2010). They write (emphasis added by me) (p. 225):

Defining what we mean by learning materials is more difficult. However, we think that “anything used for teaching and learning” captures the essence of what we are interested in. This approach makes the defining characteristic of learning materials their function and context, as opposed to characteristics that are inherent to the resource; this contrasts them with many other resource such as images, simulations, audio, etc which are more readily defined by resource specific characteristics.

This definition is very broad and includes also laptops, VR glasses and even chalkboards. In the remainder of their paper they describe metadata models for learning materials.

Conclusion

The small and superficial literature review did not come up with a more precise definition of learning materials. In many cases the definition is intensional or ostensive, only focusing on certain aspects learning materials should possess (e.g. accessability, reusability), the role it fulfills (e.g. used for teaching and learning) or is implicitly provided by formulating models for learning materials.

The latter approach gives handles for a practical viewpoint on learning materials without the need to define learning materials in a precise manner. Two of such approaches can be extracted from the articles.

Approach 1: use of a quality model

In this approach, a quality model to distinguish worthwhile learning materials from other artefacts is available. The approach in (Bundsgaard & Hansen, 2011) is an example of this approach. There, a three-step procedure is defined to distinguish learning materials from other artefacts in a specific context. A generic description of learning materials then becomes

Learning material is anything that fulfills the requirements set by the quality model

In the definition of the quality model, the community in which the quality model will be used can add the requirements they consider important for learning materials to the model. This makes this description of learning materials context-dependant.

Approach 2: use of a metadata model

This approach is an extension of the description used in (Barker & Campbell, 2010). It requires the availability of a metadata model to describe learning materials. A generic description for learning material then becomes

Learning material is anything potentially useful for teaching and learning that can be meaningful described by the metadata model

This description requires some detailing of “meaningful”: when is a description considered to be meaningful? Furthermore, in most cases members of a community decide when an artefact is potentially useful for teaching and learning, e.g. based on own experiences. Therefore, this approach also is context-dependant.

 

Both approaches can be combined to decide whether or not an artefact qualifies as learning material. Context can be added in the requirements of the quality model or the metadata model. E.g. in contexts where a vocabulary is available to describe the content for a certain field, one could add the requirement to a metadata model that for that field it is mandatory to add one or more items of that vocabulary to the description of learning materials. The concepts from (Wiley, 2000), (Mishan, 2005) give examples of characteristics for learning materials for which requirements can be formulated.

For the zone of the Dutch Acceleration plan we could decide to use the definition:

A learning material can be used for teaching and learning and can be meaningful described by the Dutch standard for metadata NL-LOM

Our first task now is to form an opinion of a meaningful description. Experiences should then make clear if this approach is sufficiently accurate for our purposes or that some form of a quality model is also needed to define learning materials in a more accurate manner.

References

de los Arcos, B., Farrow, R., Pitt, R., Perryman, L-A., Weller, M. & McAndrew, P. (2015). OER Research Hub Data 2013-2015: Educators. OER Research Hub. https://oerknowledgecloud.org/sites/oerknowledgecloud.org/files/20151117-OER-Hub-Data-Report.pdf

Barker, P. A., & Campbell, L. M. (2010). Metadata for learning materials: an overview of existing standards and current developments. Technology, Instruction, Cognition and Learning, 7(3-4), 225-243. https://pureapps2.hw.ac.uk/ws/portalfiles/portal/10607125/TICLpaper.MetadataForEducation_postref.pdf

Bundsgaard, J. & Hansen, T. (2011). Evaluation of Learning Materials: a Holistic Framework. Journal of Learning Design, 4(4). 31-44. https://files.eric.ed.gov/fulltext/EJ963326.pdf

Downes, S. (2007). Models for Sustainable Open Educational Resources. Interdisciplinary Journal of Knowledge and Learning Objects, Vol 3. 29-44.

Friesen, N. (2009). Open Educational Resources: New Possibilities for Change and Sustainability. The International Review of Research in Open and Distributed Learning, 10(5). https://doi.org/10.19173/irrodl.v10i5.664

Hertzel, R. (n.d.). Five Types of Definitions. https://www.taiwanbasic.com/wash/defin.htm (viewed on 1-7-2019)

IEEE (2002). 1484.12.1-2002 – IEEE Standard for Learning Object Metadata.

Mishan, F. (2005). Designing Authenticity Into Language Learning Materials. Intellect, Bristol.

Schuwer, R. & Janssen, B. (2016). OER and MOOCs in the Netherlands: current state of affairs. Open Education Global Conference, Krakow. https://www.robertschuwer.nl/download/Paper-OEC-Krakow-2016-DEF.pdf

Sinclair, J., Joy, M., Yin-Kim Yau, J. & Hagan, S. (2013). A Practice-Oriented Review of Learning Objects. IEEE Transactions on Learning Technologies, 6(2). 177-192.  https://doi.org/10.1109/TLT.2013.6

Tuomi, I. (2013). Open Educational Resources and the Transformation of Education. European Journal of Education, 48(1). 58-78. https://doi.org/10.1111/ejed.12019

Wiley, D. (2000). Connecting Learning Objects to Instructional Design Theory: A Definition, a Metaphor, and a Taxonomy. In Wiley D. (ed), The Instructional Use of Learning Objects. Agency for Instructional Technology and Association for Educational Communications & Technology, Bloomington. http://members.aect.org/publications/InstructionalUseofLearningObjects.pdf

Naar digitale (open) leermiddelen

Posted on by

Ruim een jaar nadat het idee van de Versnellingsagenda Onderwijsinnovatie werd gepresenteerd is op 1 januari jongstleden het vierjarig programma Versnellingsplan Onderwijsinnovatie met ICT gestart. In het verstreken jaar is door veel mensen gewerkt aan het opzetten van een structuur voor dat programma, het vertalen van de agenda naar een meerjarenplan en het aantrekken van de mensen die het programma gaan uitvoeren. Er zijn acht thema’s gedefinieerd waarmee en waarvoor de versnelling in innovatie bereikt moet worden. In het jargon van dit plan worden die thema’s aangeduid met zones. Voor iedere zone is een aanvoerder benoemd middels een procedure waarbij instellingen voor hoger onderwijs een aanvoerder uit hun instelling konden voordragen. Ieder van die kandidaten heeft een sollicitatiegesprek gevoerd met leden van de stuurgroep van het plan. De stuurgroep heeft uiteindelijk de benoemingen bepaald. Instellingen konden ook hun belangstelling tonen om aan één of meer van de zones deel te nemen. Dat heeft uiteindelijk geleid tot de samenstelling van de zones die nu gestart zijn.

   >> Overzicht van alle zones
   >> Versnellingsplan Onderwijsinnovatie met ICT

Ik heb het voorrecht aanvoerder te zijn van zone 4: naar digitale (open) leermiddelen. De idee is dat de deelnemende instellingen gedeelde ambities op dit thema gezamenlijk uitwerken en implementeren. De versnelling ontstaat dan door het principe “samen kom je verder dan alleen”. Het uiteindelijke doel van zone 4 is te komen tot een situatie waarbij instellingen in staat zijn een optimale mix van open en gesloten leermaterialen te kunnen aanbieden.

De eerste bijeenkomsten hebben we gebruikt om de gezamenlijke ambities te inventariseren. Na clustering van die ambities in categorieën heeft dat geleid tot de volgende schematisch weergegeven categorieën:

 

Beschrijving en samenhang categorieën

Een korte beschrijving van deze categorieën en hun samenhang:

Categorie: didactiek

Digitale leermiddelen zijn niet los te zien van de context waarin ze gebruikt worden. Bij ontwerpen van onderwijs- en leeractiviteiten geeft het principe van constructive alignment houvast bij het bepalen en ontwerpen van die context. Onder constructive alignment wordt verstaan het afstemmen van activiteiten, didactiek, assessment en middelen op de beoogd te behalen leerdoelen of leeruitkomsten. In de ambities wordt in deze context met name benoemd het doel om met digitale leermiddelen beter in staat te zijn onderwijs op maat te aan te kunnen bieden. Anderzijds kan de mix van leermaterialen, en met name de open leermaterialen leiden tot didactische werkvormen die met alleen gesloten leermaterialen niet of heel lastig te realiseren zijn. Ontwikkelingen op dat laatste gebied staan ook wel bekend als Open Pedagogy en Open Educational Practices.

Categorie: creatie en hergebruik open leermaterialen

Om delen en hergebruiken van open leermaterialen te bevorderen zijn naast een technische infrastructuur ook andere elementen nodig. Onderzoek naar adoptie van open delen en hergebruiken van leermaterialen heeft aangetoond dat awareness en activering van docenten en organiseren van ondersteuning nodige voorwaarden zijn om docenten hun leermaterialen open te delen. Vakcommunity’s hebben een rol om gedeelde leermaterialen actueel te houden, om co-creatie van leermaterialen over instellingsgrenzen heen te organiseren en in duurzaam maken van initiatieven voor open delen en hergebruiken van leermaterialen. Daarnaast vergen open leermaterialen investeringen van een instelling. Hoe de business case er voor een instelling uitziet en hoe die optimaal kan worden gemaakt (bijvoorbeeld door meer samenwerking met andere instellingen) wordt in deze categorie verder verkend en geoperationaliseerd.

Categorie: gesloten leermateriaal

Te verwachten is dat in veel contexten een mix van open en gesloten leermaterialen leidt tot een optimale situatie voor het leren van een student. Hoe een dergelijke mix eruit ziet en hoe dit op een wijze te realiseren is waarbij hoge kosten voor student en instelling worden vermeden, geen lock-in op een uitgeversplatform plaatsvindt en toegang tot de leermaterialen gegarandeerd blijft zijn voorbeelden van vraagstukken in deze categorie. Het project eStudybooks is een expliciete casus binnen deze categorie. Het kan onder meer dienen als input voor het opstellen van een business case voor gesloten leermateriaal voor een instelling.

Categorie: infra

Met name voor open leermaterialen is ondersteuning voor delen en hergebruiken nodig om de mogelijkheden van dergelijke leermaterialen te kunnen gebruiken. Essentieel daarbij is een technische infrastructuur met de juiste functionaliteiten om de gewenste ondersteuning effectief en efficiënt te kunnen bieden. Ambities zijn genoemd op implementatie van een repository voor de opslag van leermaterialen, een zoekfunctie waarmee docenten gewenste leermaterialen effectief kunnen localiseren en (exploreren van) gebruiken van Artificial Intelligence technieken om een dergelijke infrastructuur te optimaliseren.

Niet expliciet genoemd, maar waarschijnlijk wel nodig voor een optimale infrastructuur is een transparante aansluiting tussen de infrastructuur voor open en die voor gesloten digitale leermaterialen.

Categorie: voorwaardelijk

Om adoptie van open leermateriaal binnen een instelling te bevorderen zijn enkele randvoorwaarden nodig. Binnen deze zone worden met name open beleid en een waardering voor openheid genoemd als te realiseren ambities.

Wat gaan we doen in 2019?

Na inventarisatie van de ambities en afstemming met de deelnemende  instellingen is een globaal jaarplan voor 2019 vastgesteld. Onder andere de volgende onderwerpen zullen worden opgepakt.

  • Onderzoek naar hoe docenten tot hun keuze voor leermaterialen komen
  • Ervaringen / good practices delen over gebruik van social tools als Perusall en FeedBackFruits
  • Ontwikkeling van een (prototype) zoekschil naar (open) digitale leermaterialen, gedeeld binnen een instelling of gedeeld met de wereld
  • Ervaringen / good practices opdoen, verzamelen en delen met gebruik van open didactieken
  • Ervaringen / good practices opdoen, verzamelen en delen met effectief organiseren van ontwikkeling van digitaal leermateriaal in de driehoek docent – ondersteuning – onderwijskunde
  • Meer inzicht krijgen in gezamenlijke beelden die stakeholders hebben van gebruik van digitaal leermateriaal

Ieder onderwerp wordt opgepakt door een subgroepje met leden van de zone. Ieder subgroepje bepaalt welke activiteiten zullen worden uitgevoerd en hoe de resultaten worden gedissemineerd.

Meer weten?

Er zijn verschillende manieren om op de hoogte te blijven van de ontwikkelingen in deze zone of van het programma.

Tenslotte

Zoekend naar een metafoor voor deze zone kwam ik uit bij de 6e symfonie, de Pastorale, van mijn favoriete componist Ludwig van Beethoven. We gaan vol goede moed beginnen aan dit programma (Erwachen heiterer Empfindungen bei der Ankunft auf dem Lande), realiseren resultaten, maar zullen daarbij ook geduld moeten hebben (Szene am Bach), we zullen zeker genoegen hebben bij het uitvoeren van de activiteiten en zoeken daarbij samenwerking met andere partijen (Lustiges Zusammensein der Landleute), het gaat ongetwijfeld ook knetteren (Gewitter und Sturm), maar we gaan er alles aan doen om tot een mooi en succesvol resultaat te komen (Hirtengesang. Frohe und dankbare Gefühle nach dem Sturm).

Comments on a Twitter chat

Posted on by

On 5 February a Twitter chat was organized by the Alberta OER Journal Club about the paper Ben Janssen and myself have published last year in IRRODL. The paper presented the findings of our research on open sharing and reusing learning resources in Dutch Higher Education. For those unfamiliar with the concept of a Twitter chat: during some time (in this case 1 hour) people discuss a topic via tweets, all using the same hashtag. Often this conversation is guided by questions, a moderator introduces on certain time intervals.

This session used the hashtag #ABOERJC and was organized around five questions on our findings about the gains for sharing and reusing OER, open policies, barriers, organic growth of adopting OER and the recommendations.

    >> The timeline of the chat session
    >> The paper that was discussed

During this session several assumptions and interpretations were made about our findings. Because the session was scheduled on 3:00AM in our timezone, we were not present to take part of the discussion. This blogpost is to add our clarifications and perspectives to the discussion.

One category of motivations for stakeholders to be involved in open sharing and reuse of learning resources was financial (expensive resources). One comment on this finding:

This motivating factor was in the interviews both mentioned with the student perspective in mind (saving them costs) as the institutional perspective (reuse a resource potentially saves money compared to creating the resource from scratch yourself).

Regarding the findings on the barriers, the following discussion took place:

I think this is right for part of the barriers. But especially the more personally oriented barriers (like lack of confidence about the quality or not clear about the “what’s in it for me”) are harder to conquer. This can probably explained by the right level of maturity a teacher should have in being involved with OER. Each level of maturity needs specific actions to bring a teacher to a higher level. Adrian Stagg has described this in more detail in his paper OER adoption: a continuum for practice.

Another finding of our research was the need for a safe experimentation zone for adoption of open sharing and reuse. Interviewees who mentioned this meant that no negative consequences should follow for them when they e.g. inadvertently breach copyright when publishing a resource. Participants in the chat also mentioned another potential drawback in this sense:

This drawback was not mentioned in our interviews, but I am curious to find out if these considerations also exist in the Netherlands.

And finally, a call was made to involve other fields of openness (like Open Science and Open Source) more in the field of OER or Open Educational Practices to widen adoption of OER:

I can only second that: we should be more open about open.

We are grateful to the participants of this chat for their insightful comments!

Open Science meets Open Education

Posted on by

Introduction

On 26 October the Dutch SIG Open Education, together with SURF, the collaborative organisation for ICT in Dutch education and research, organised the seminar Open Science meets Open Education. The goal was to bring the communities of both fields together and explore ways to better cooperate, using each others good practices.

The program consisted of an interview with two institutional policy makers about their ideas and experiences, crash courses on both Open Science and Open Education to inform both communities about the basics of the two fields, speeddates between community members to explore options for cooperation, presentation of a practice and three in-depth sessions on respectively Policy, Quality and Infrastructure.

During the speeddates, findings were reported on paper. These findings and impressions will be used as input for both SURF and the SIG to define follow-up activities for 2019.

My take aways from this seminar

In the past, I have blogged already (here and here) about obvious similarities and differences between these two branches of open. Here my main findings for this seminar.

Role libraries

Many of the participants came from institutional libraries. Historically, they have a key role in supporting publishing of research results (both open and closed). More and more, they are also involved in supporting teachers with sharing and reusing OER (e.g. with their expertise in copyright issues and open licenses). Therefore, for me it is clear that libraries are key partners in realizing a closer cooperation in implementing both Open Science and Open Education within an institution. There are however differences between research universities (where research is considered the main activity, although in theory both research and education should be equally important) and universities of applied sciences (UoAS) (where education is historically the main activity, and practice based research becoming more and more important). The distance between teachers (in research universities) respectively researchers (in UoAS) and the library should be smaller than currently is experienced by several librarians.

Cultural issues

John Doove from SURF made the observation that in research a culture of publishing results, based on peer review, is common practice for a long time already. This has resulted in more formal, top down  organized, support processes. For education, activities to come to more openness, like sharing and reusing OER, are relatively new. These activities are in many cases initiated bottom-up. This creates more flexibility, but also makes it harder to implement in a more formal structure. I support this observation.

Awareness about and willingness for publishing Open Access or publishing research data openly is not common yet. In this sense, both Open Science and Open Education face similar challenges. Experiences and attitudes for sharing in the areas of both science and education could be useful in advancing both Open Science and Open Education. Local institutional activities could be defined to collect these experiences (e.g. by organizing similar seminars as the one from last Friday locally within an institution).

Quality

As mentioned in my previous blog on this topic, quality assurance of scientific results is a well-organized process, based on rigid peer review, when it comes to publications. Participants of the seminar made some comments on this.

  • Publishing research data openly, following the FAIR principles (findable, accessible, interoperable and reusable), is relatively new for researchers. Support mechanisms are currently implemented in institutions, but awareness and attitude of researchers for this phenomenon has a comparable level as making education more open by sharing and reusing OER or engage in Open Educational Practices among teachers.
  • Adoption of alternative, more open ways of peer review, are in many cases dependant on disciplines. E.g. peer review of pre-prints like on ArXiv.org, is more and more common in fields like Physics, Mathematics and Computer Science. In these forms of peer review, authors and/or reviewers are not anonymous and the review is openly shared. Realizing similar processes for OER could maybe solve the challenge where teachers hesitate to reuse because of uncertainty on the quality of the OER.
  • Especially in practice based research, the main results can be different from a paper or a data set. An example is creating a software prototype for innovating some production process in IT. In such cases, these results should also be made openly available when financed with public money, e.g. by sharing the code as open source, with sufficient documentation.
  • Attention for FAIR principles on open data can be extended to OER. Adding sufficient metadata is one of the means to realize.

Conclusion

This seminar added to my ideas. For me, it is obvious to join these two communities to advance adoption of both open science and open education. Lessons learned and similar challenges in both fields can accelerate the process of adoption. As mentioned before, SURF and the SIG Open Education will work on activities to support institutions in this endeavour.

A light-hearted illustration: Big Bang Theory

For many years, I am a big fan of the sitcom The Big Bang Theory. One of the nice things I find in this show is informing the audience on recent findings in science.

In one of the episodes (The Troll Manifestation), the principle of peer review of a pre-print is illustrated, when two of the main characters, physicists Sheldon Cooper and Leonard Hofstadter, publish a paper with a revolutionary idea on a pre-print server. It then appears that one of the reviews is rather nasty and insulting, with the reviewer using a nickname.

Finally, the anonymous reviewer appears to be rather famous (for those unfamiliar with this sitcom: he had appeared in the series several times previously to this episode).

Besides a cOAlition S also a cOERalition S?

Posted on by

CC0 Wikilmages @ https://pixabay.com/en/solar-system-big-bang-11188/This blogpost is a co-production by Ben Janssen (OpenEd Consult) and me. It is translated from a Dutch version, slightly adapted.

Two weeks ago cOAlition S was launched by 11 national research funders (including NWO, the Netherlands Organisation for Scientific Research), with the support of the European Commission and the European Research Council (ERC). In their words (source):

…an initiative to make full and immediate Open Access to research publications a reality. It is built around Plan S, which consists of one target and 10 principles.
cOAlition S signals the commitment to implement, by 1 January 2020, the necessary measures to fulfil its main principle: “By 2020 scientific publications that result from research funded by public grants provided by participating national and European research councils and funding bodies, must be published in compliant Open Access Journals or on compliant Open Access Platforms.”

This initiative has rightly received a great deal of publicity and is generally regarded as a major step towards achieving the goal of Open Science, where research publications become immediately available free of charge to all interested parties, without conditions. After all, growth in science is rooted in a tradition that builds on previously achieved results. In order to be accepted for publication, articles must demonstrate what previous research has yielded and what new contribution the publication has for the subject in question. In order for this to work optimally, it is essential that research results are as accessible as possible. Open Access publications are an excellent means of achieving this.

In one of these reactions, NWO indicated that it wants to go further than just the 10 steps mentioned in the initiative, and also to strive for a different appreciation of scientific achievements than counting publications in peer reviewed journals. This reduces the pressure of publishing, which is still preventing many researchers from publishing their results in an Open Access journal. This pressure also leads to another perversity in the current system, the predatory journals. These journals tempt researchers to publish their results quickly, without a thorough peer review process, often after payment of a considerable amount.

>> The Economist: “European countries demand that publicly funded research be free”
>> Stan Gielen (Chairman NWO) “NWO wants to move away from the impact factor” (in Dutch)
>> Article about predatory journals

Previously I wondered why a similar initiative is not launched for the open availability of educational resources too. Educational resources made with public funds should be available to everyone. After all, it has already been paid for (the moral argument). As with the publication of research results under Open Access, open sharing of educational resources contributes to free access to knowledge, making an important contribution to the realisation of UNESCO’s SDG 4: “to ensure inclusive and equitable quality education and promote lifelong learning opportunities for all” (the access argument).

We may witness more and more governments and the EU requiring educational resources created in a government-funded or EU-funded project to be made publicly available. But an initiative as comprehensive as cOAlition S is not available for OER.

Why is this? What factors are at stake that could give us more insight into why a broad coalition for the free provision of publicly funded educational resources has not taken off? So far, we have identified the following arguments. We invite readers to respond, to propose additions and changes.

Costs
One of the factors seems to be costs. The costs of purchasing journals, in order to be able and allowed to consult publications, are direct expenses that are tangible for educational institutions. They are also visible in the annual accounts of libraries and institutions.

To give you an idea of expenditure: in the Netherlands it was 43 million euros (source, in Dutch) in 2015; worldwide in 2015 it was a profit margin (!) of 7.6 billion euros (source), which is roughly 30% of the turnover. Because institutions are directly affected by the still rising costs, this is an important factor in our eyes in explaining why the international research and education world has formed a coalition such as the cOAlition S.

Costs for making (open) educational resources are usually indirect and invisible in the annual accounts of educational institutions. They are mainly hidden in the “costs for employees”. The costs for students and self-learners do not even appear in the financial statements of institutions. In addition, there are the hidden costs of teachers who create and adapt materials in their own time.

We have not (yet) been able to find an estimate of the costs that are spent annually on the creation of learning materials. But based on the fact that in 2016 around 46,000 FTEs in the Netherlands were working as teachers or researchers (source, in Dutch) in higher education and research, with an average hourly wage bill of €60, and the assumption that 40 hours per FTE per year are spent on developing and adapting learning materials, we arrive at a conservative estimated annual cost of 40*46000*€60=€110 million per year. The situation in other countries may not differ. In our opinion, the amount of money involved justifies an initiative for OER, similar to cOAlition S.

Ecosystem
For scientific publications, there is an internationally recognized, highly developed and well-functioning ecosystem. This ecosystem ensures scientific progress. The fact that the revenues of this ecosystem are distributed and appropriated very unevenly is an accelerator in the public debate. This ecosystem is crucial for the functioning of other ecosystems, such as international scientific research and higher education (scientific and vocational). It is somewhat less connected to other forms of education, such as primary and secondary education and the TVET sector (Technical and Vocational Education and Training).

In the case of OER, such an ecosystem must in fact still be built up, and the ecosystem to be developed must also be linked to the existing education and training ecosystems.

Quality assurance system
The ecosystem for scientific publications comprises a well-known and recognized quality assurance system based on peer review. Therefore, anyone interested in a publication has the certainty that the publication meets a certain minimum quality standard. The undermining of this certainty by the aforementioned predatory journals is therefore disastrous; the system is in danger of providing false certainty.

Such a system does not (yet?) exist for OER. Institutions each have their own quality assurance system for OER, but it is often unknown on what such a system is based and on what aspects OER are considered. As a result, users of OER remain uncertain about their quality, and will have to make greater efforts to determine whether the learning materials they find actually have the quality they are looking for.

Value for the professional
Scientific, peer-reviewed publications make a significant contribution to the researcher’s reputation and thus to assessment and career development. Increasing the visibility of these results by publishing Open Access helps to increase that reputation, although, as mentioned above, there are also comments to be made by making the assessment depend too much on the number of publications.

Open sharing of educational resources has little or no impact on the reputation of teachers. As far as we know, open sharing of educational resources is hardly a factor in the assessment of instructors. Nobody mentioned this in our research in 2017 (source, in Dutch).

Conclusion
We have mentioned a number of factors that may play a role in the explanation of less interest in arriving at an initiative for OER, cOERalition S, comparable to cOAlition S for Open Access. However, we still have an unsatisfactory feeling that we have not yet been able to identify this difference sufficiently.

However, it is clear to us that as an OER community, we must work towards the creation of institutional OER ecosystems and, at the same time, a national OER ecosystem (including a known and recognized quality assurance system). This goes beyond ‘mainstreaming of OER’. At national level, an important argument is that educational resources that are made with public funds in education must be available under open licenses.

Naast een cOAlition S ook een cOERalition S?

Posted on by

alt="Photo by geralt on Pixabay"

Deze blogpost is een coproductie van Ben Janssen (OpenEd Consult) en mij.

Vorige week werd de cOAlition S gelanceerd door 11 nationale onderzoeksfinanciers (waaronder NWO), met support van de Europese Commissie en de European Research Council (ERC). In hun woorden (bron):

…an initiative to make full and immediate Open Access to research publications a reality. It is built around Plan S, which consists of one target and 10 principles.
cOAlition S signals the commitment to implement, by 1 January 2020, the necessary measures to fulfil its main principle: “By 2020 scientific publications that result from research funded by public grants provided by participating national and European research councils and funding bodies, must be published in compliant Open Access Journals or on compliant Open Access Platforms.”

Dit initiatief kreeg terecht veel publiciteit en wordt algemeen beschouwd als een forse stap naar realisatie van het streven van Open Science, waar onderzoekspublicaties direct en zonder voorwaarden kosteloos beschikbaar komen voor iedere belangstellende. Groei in de wetenschap is tenslotte geworteld in een traditie waarbij voortgebouwd wordt op eerder bereikte resultaten. Artikelen moeten, om geaccepteerd te worden voor publicatie, aantonen wat eerder onderzoek heeft opgeleverd en welke nieuwe bijdrage de publicatie heeft voor het betreffende onderwerp. Om dit optimaal te laten werken is een zo groot mogelijke toegankelijkheid van onderzoeksresultaten essentieel. Open Access publicaties zijn hiervoor een prima middel.

In één van die reacties gaf het NWO aan verder te willen gaan dan alleen de 10 stappen die in het initiatief worden genoemd, en ook te streven naar een andere waardering van wetenschappelijke prestaties dan het tellen van publicaties in peer reviewed journals. Daarmee wordt de druk op publiceren verminderd; een druk die nu nog veel onderzoekers ervan weerhoudt hun resultaten in een Open Access journal te publiceren. Die druk leidt overigens ook tot een andere perversiteit in het huidige systeem, de neptijdschriften (predatory journals). Deze journals verleiden onderzoekers hun resultaten snel gepubliceerd te hebben, zonder een gedegen peer review proces, uiteraard na betaling van vaak een aanzienlijk bedrag.

>> Interview met Stan Gielen “NWO wil weg van de impact factor”
>> Artikel over neptijdschriften

Ik heb me al eerder afgevraagd waarom een soortgelijk initiatief niet ook voor open beschikbaarheid van leermaterialen van de grond komt. Leermaterialen die met publieke gelden worden gemaakt zouden voor iedereen beschikbaar moeten zijn. Er is tenslotte al voor betaald (het morele argument). Net als bij onder Open Access publiceren van onderzoeksresultaten draagt open delen van leermaterialen bij aan kosteloze toegang tot kennis, waarmee een belangrijke bijdrage wordt geleverd aan het realiseren van SDG 4 van UNESCO: “to ensure inclusive and equitable quality education and promote lifelong learning opportunities for all” (het toegangsargument).

We kunnen constateren dat meer en meer overheden en de EU vereisen dat leermaterialen die tijdens een door de overheid of door de EU gefinancierd project worden gecreëerd, publiek beschikbaar moeten komen. Maar een zo alomvattend initiatief als cOAlition S is er niet voor open leermaterialen.

We hebben ons afgevraagd waar dat aan kan liggen. Welke factoren zijn in het geding die ons meer inzicht kunnen geven in waarom een brede coalitie voor het vrijelijk beschikbaar maken van publiek gefinancierde leermaterialen niet van de grond komt? Wij zijn tot de volgende argumenten gekomen. Wij nodigen lezers uit om daarop te reageren, om aanvullingen en wijzigingen voor te stellen.

Kosten
Een van de factoren lijkt ons de kosten te zijn. De kosten voor aanschaf van tijdschriften, om publicaties te kunnen en mogen raadplegen, zijn directe uitgaven die voelbaar zijn voor instellingen. Ze zijn ook zichtbaar in de jaarrekeningen van bibliotheken en instellingen.

Om een idee te geven van uitgaven: in Nederland ging het in 2015 om 43 miljoen euro (bron); wereldwijd in 2015 om een winstmarge (!) van €7,6 miljard (bron), hetgeen neerkomt op grofweg 30% van de omzet. Omdat instellingen direct met de nog steeds stijgende kosten te maken hebben, is dit onze ogen een belangrijke factor in de verklaring waarom internationaal de onderzoeks- en onderwijswereld tot een coalitie als de cOAlition S kan worden bewogen.

Kosten voor het maken van (open) leermaterialen zijn doorgaans indirect en onzichtbaar in de jaarrekeningen van onderwijsinstellingen. Ze zijn vooral verscholen in de “kostenpost werknemers”. De kosten voor studenten en self-learners komen überhaupt niet voor in de financiële overzichten van instellingen. Daarnaast zijn er nog de verborgen kosten van docenten die in hun eigen tijd materialen maken en aanpassen.

Een schatting van de kosten die jaarlijks aan het creëren van leermateriaal wordt besteed hebben we (nog?) niet kunnen vinden. Maar met het gegeven dat in Nederland in 2016 rond de 46.000 fte in hbo en wo werkzaam zijn als docent of onderzoeker (bron), met gemiddelde loonlasten per uur van €60, en de aanname dat per fte per jaar 40 uur besteed wordt aan ontwikkelen en aanpassen van leermaterialen, komen wij uit op geschatte jaarlijkse kosten van 40*46000*€60=€110 miljoen per jaar. Dit bedrag rechtvaardigt ons inziens een soortgelijk initiatief als cOAlition S voor open leermaterialen.

Ecosysteem
Voor wetenschappelijke publicaties bestaat er een internationaal erkend, hoog-ontwikkeld en goed functionerend ecosysteem. Dit ecosysteem zorgt voor wetenschappelijke vooruitgang. Dat de revenuen van dat ecosysteem zeer ongelijk verdeeld en toegeëigend worden is een versneller in de publieke discussie. Dit ecosysteem is van cruciaal belang voor het functioneren van andere ecosystemen, zoals het internationaal wetenschappelijk onderzoek, en het hoger (wetenschappelijk en beroeps) onderwijs. Het is wat minder verbonden met andere vormen van onderwijs, zoals PO, VO en de TVET-sector (Technical and Vocational Education and Training).

Bij Open Educational Resources moet een dergelijk ecosysteem feitelijk nog worden opgebouwd, en moet dat te ontwikkelen ecosysteem ook nog een keer verbonden worden met de bestaande ecosystemen van onderwijs en training.

Systeem van kwaliteitsborging
Het ecosysteem voor wetenschappelijke publicaties omvat een bekend en erkend systeem voor kwaliteitsborging, gebaseerd op peer review. Een belangstellende voor een publicatie heeft daarmee de zekerheid dat de publicatie voldoet aan een zekere minimum kwaliteit. Het ondermijnen van die zekerheid door de eerder genoemde predatory journals is daarom funest; het systeem dreigt een schijnzekerheid te geven.

Voor open leermaterialen bestaat een dergelijk systeem (nog?) niet. Instellingen hebben ieder hun eigen systeem van kwaliteitsborging van leermaterialen, maar het is veelal onbekend waarop een dergelijk systeem is gebaseerd en op welke aspecten leermaterialen bekeken wordt. Een gebruiker van open leermaterialen blijft daardoor onzeker over de kwaliteit en zal meer inspanningen moeten verrichten om te bepalen of het gevonden leermateriaal inderdaad de kwaliteit heeft die hij/zij zoekt.

Waarde voor de professional
Wetenschappelijke, peer reviewed publicaties dragen in hoge mate bij aan de reputatie van de onderzoeker en daarmee aan beoordeling en carrière. Grotere zichtbaarheid van die resultaten door Open Access publiceren helpt die reputatie te verhogen, hoewel er zoals eerder vermeld ook kanttekeningen hierbij te plaatsen zijn door teveel de beoordeling te laten afhangen van aantallen publicaties.

Open delen van leermaterialen heeft deze impact op reputatie niet of nauwelijks voor docenten. Open delen van leermaterialen speelt voor zover wij weten ook nauwelijks mee bij beoordelingen van docenten. In ons onderzoek uit 2017 is dit door niemand genoemd (bron)

 

Conclusie
We hebben een aantal factoren genoemd die een rol kunnen spelen in de verklaring van mindere belangstelling om te komen tot een initiatief voor open leermaterialen, cOERalition S, te vergelijken met cOAlition S voor Open Access. We blijven echter zitten met een onbevredigend gevoel dat we nog onvoldoende de vinger hebben kunnen leggen op de kern van dit verschil.

Voor ons is evenwel duidelijk dat we als OER community moeten werken aan het tot stand brengen van institutionele OER-ecosystemen en tegelijkertijd ook een nationaal OER-ecosysteem (waaronder een gekend en erkend systeem voor kwaliteitsborging). Dit gaat verder dan “mainstreaming of OER”. Nationaal is een belangrijk argument dat leermaterialen die in het onderwijs met publieke gelden worden gemaakt, onder open licenties beschikbaar moeten zijn.

Op 26 oktober organiseert SURF in samenwerking met de SIG Open Education een seminar “Open Science meets Open Education”. In dit seminar geef ik een sessie over het kwaliteitsvraagstuk waarover ik in deze blog spreek. Meer details.