Tag Archives: Research

Onderzoek hergebruik van leermaterialen / Study into the reuse of learning materials

Posted on by

(English version below the Dutch text)

Er is weinig bekend over de mate waarin open leermaterialen worden hergebruikt en over hoe dat hergebruik dan plaatsvindt. Dit heeft onder meer tot gevolg dat niet duidelijk is hoe effectieve ondersteuning bij hergebruik kan plaatsvinden en welk type leermaterialen het meest hergebruikt wordt, zodat daar voorrang aan kan worden gegeven bij ontwikkelen van open leermaterialen.

Om meer inzicht te krijgen in in welke mate en op welke wijze hergebruik van open leermaterialen plaatsvindt is door Robert Schuwer (lector Open Educational Resources Fontys Hogescholen) en Marjon Baas (ICT&O Adviseur hogeschool Saxion en PhD student bij Universiteit Leiden) een survey opgesteld. We vragen docenten in het hoger onderwijs in Nederland (hbo en wo) die gebruik maken van digitale leermaterialen 10-15 minuten van hun tijd om deze survey in te vullen De survey staat open tot 15 oktober en is te vinden op http://bit.ly/reuse2019. Er is zowel een Nederlandstalige als Engelstalige versie beschikbaar.

De resultaten zullen mede input zijn voor activiteiten die in de zone “Naar digitale (open) leermaterialen” van het Versnellingsplan zullen worden uitgevoerd.

We hopen op een hoge response!

Study into the reuse of learning materials

Little is known about the extent to which Open Educational Resources are reused and how they are reused. One of the consequences of this is that it is not clear how effective support can be provided for reuse and what type of educational resources are most frequently reused, so that these can be given priority when Open Educational Resources are developed.

In order to gain more insight into the extent and manner in which Open Educational Resources are reused, Robert Schuwer (professor in OER at Fontys University of Applied Sciences) and Marjon Baas (ICT&O Advisor at Saxion University of Applied Sciences and PhD student at Leiden University) have drawn up a survey. We ask instructors from Dutch research universities and universities of applied sciences who are using digital learning resources 10-15 minutes of their time to complete this survey. The survey is available in an English version and is open until 15 October. It can be found at http://bit.ly/reuse2019

The results will feed into activities to be carried out in the area “Towards digital (open) learning materials” of the Dutch Acceleration Plan

We hope for a high response!

Comments on a Twitter chat

Posted on by

On 5 February a Twitter chat was organized by the Alberta OER Journal Club about the paper Ben Janssen and myself have published last year in IRRODL. The paper presented the findings of our research on open sharing and reusing learning resources in Dutch Higher Education. For those unfamiliar with the concept of a Twitter chat: during some time (in this case 1 hour) people discuss a topic via tweets, all using the same hashtag. Often this conversation is guided by questions, a moderator introduces on certain time intervals.

This session used the hashtag #ABOERJC and was organized around five questions on our findings about the gains for sharing and reusing OER, open policies, barriers, organic growth of adopting OER and the recommendations.

    >> The timeline of the chat session
    >> The paper that was discussed

During this session several assumptions and interpretations were made about our findings. Because the session was scheduled on 3:00AM in our timezone, we were not present to take part of the discussion. This blogpost is to add our clarifications and perspectives to the discussion.

One category of motivations for stakeholders to be involved in open sharing and reuse of learning resources was financial (expensive resources). One comment on this finding:

This motivating factor was in the interviews both mentioned with the student perspective in mind (saving them costs) as the institutional perspective (reuse a resource potentially saves money compared to creating the resource from scratch yourself).

Regarding the findings on the barriers, the following discussion took place:

I think this is right for part of the barriers. But especially the more personally oriented barriers (like lack of confidence about the quality or not clear about the “what’s in it for me”) are harder to conquer. This can probably explained by the right level of maturity a teacher should have in being involved with OER. Each level of maturity needs specific actions to bring a teacher to a higher level. Adrian Stagg has described this in more detail in his paper OER adoption: a continuum for practice.

Another finding of our research was the need for a safe experimentation zone for adoption of open sharing and reuse. Interviewees who mentioned this meant that no negative consequences should follow for them when they e.g. inadvertently breach copyright when publishing a resource. Participants in the chat also mentioned another potential drawback in this sense:

This drawback was not mentioned in our interviews, but I am curious to find out if these considerations also exist in the Netherlands.

And finally, a call was made to involve other fields of openness (like Open Science and Open Source) more in the field of OER or Open Educational Practices to widen adoption of OER:

I can only second that: we should be more open about open.

We are grateful to the participants of this chat for their insightful comments!

De OER Research Agenda en vier publicaties

Posted on by

De afgelopen weken is een aantal publicaties rond OER en MOOC’s verschenen die de moeite van het lezen waard zijn. In deze blogpost presenteer ik vier van deze publicaties. Ze kunnen alle ook beschouwd worden als input voor of aanvulling op de research agenda die de OER Research Hub aan het opstellen is. Middels een survey worden vragen voor verdere research verzameld. Op de onlangs gehouden Global Conference van het Open Education Consortium hebben ze de eerste resultaten gepresenteerd. De website van de Hub is under construction, dus deze slides zijn momenteel de enige bron.

Open educational resources and college textbook choices: a review of research on efficacy and perceptions

John Hilton III. Bron
Deze metastudie  adresseert de vraag of OER beter of minder is dan gesloten leermaterialen. Om in deze metastudie te worden meegenomen hanteerde de auteur vijf criteria:

  • OER is de belangrijkste gebruikte bron in de setting bij hoger onderwijs en wordt vergeleken met traditionele bronnen
  • Onderzoek is in een peer-reviewd journal gepubliceerd of maakt deel uit van een onderzoeksrapport van een instelling of is een proefschrift
  • Het onderzoek presenteert data over ofwel perceptie van docent/student van de kwaliteit van OER ofwel over de leeruitkomsten
  • Het onderzoek omvat tenminste 50 deelnemers en bevat duidelijk afgebakende resultaten naar subjecten en opinies over OER en-of effecten op leren
  • Het onderzoek is in het Engels gepubliceerd vóór oktober 2015

De auteur formuleert de resultaten als:

The collective results of the 16 studies discussed in this article provide timely information given the vast amount of money spent on traditional textbooks. Because students and faculty members generally find that OER are comparable in quality to traditional learning resources, and that the use of OER does not appear to negatively influence student learning, one must question the value of traditional textbooks. If the average college student spends approximately $1000 per year on textbooks and yet performs scholastically no better than the student who utilizes free OER, what exactly is being purchased with that $1000?

In de research agenda van de OER Hub wordt de vraagstelling naar effecten van OER op leren in diverse vormen gesteld:

  • What are the benefits of using open resources? (Comparisons with traditional, non-open resources)
  • What value does the “open” (as opposed to “free”) have in improving educational outcomes
  • Does the use of open educational resources lead to better student learning outcomes?
  • Does Open Educational Practices (OEP) create better, more sustainable learning outcomes?

The Advancing MOOCs for Development Initiative: An examination of MOOC usage for professional workforce development outcomes in Colombia, the Philippines, & South Africa

Auteurs: Maria Garrido, Lucas Koepke en Scott Andersen. Bron
Deze publicatie geeft de resultaten van een studie naar effecten van MOOC’s op professionele ontwikkeling in een drietal landen uit de Global South (Colombia, Filippijnen en Zuid Afrika). De studie beantwoordt een aantal deelvragen.

  1. Wie zijn MOOC gebruikers in ontwikkelende landen en met welk doel?
  2. Wie gebruiken MOOC’s niet en waarom?
  3. Wat is het perspectief van overheden op het MOOC landschap?
  4. Wat is het perspectief van werkgevers op het MOOC landschap?

Onder de titel High MOOC completion rates in developing countries zijn de belangrijkste resultaten samengevat (met “!” door mij toegevoegd):

  • Low- and middle-income populations make up 80% of MOOC users in contrast to wealthier populations reported elsewhere.
  • More than four out of five MOOC users only have basic or intermediate level ICT skills, challenging the belief that MOOCs are predominantly taken by people with higher level skills.
  • 49% of MOOC users received certification in a MOOC, and another 30% completed a course. This is far above the single-digit rates reported elsewhere (!)
  • Women are more likely than men to complete a MOOC or obtain certification (!)
  • The main motivations of MOOC users were found to be in gaining specific job skills (61%), preparing for additional education (39%), and obtaining professional certification (37%).
  • Among non-users (aware of MOOCs), lack of time (50%) was by far the largest barrier to MOOC participation. Lack of computer access (4%) or skills (2%) was NOT found to be a barrier.

Onder andere wordt bevestigd wat ook wel vermoed kon worden: “The high completion and certification rates found may be tied to the fact that users in the three countries take MOOCs primarily to advance their education or career, rather than for enjoyment.“. Naast tijdgebrek wordt ook gemeld dat 79% van de non-users niet van het bestaan van MOOC’s op de hoogte was.
Bij het resultaat over Lack of computer access heb ik wel de volgende kanttekening betreffende geldigheid voor alle ontwikkelende landen. Ik denk dat bijvoorbeeld Zuid-Afrika niet representatief is voor geheel Afrika. In 2015 had in meer dan de helft van de landen in Afrika slechts <20% van de bevolking toegang tot internet. Deze landen zijn bijna allemaal gelegen in West- en Midden-Afrika. Voor de drie landen in de survey zijn die percentages: Zuid-Afrika 49%, Colombia 59% en Filippijnen 43% (bron).
De research agenda van de OER Hub adresseert gebruik in ontwikkelende landen met de volgende vragen:

  • Do OER policies make a difference?
  • How can we create a sustainable, public, non-profit economic ecosystem for OER?
  • Does Innovation in open learning widens the global knowledge gap?
  • In developing countries, mindset to share resources is lacking along with the knowledge of Open licenses
  • What are the reasons for the lack of production and uptake of OER in developing countries?
  • Are current understandings of open education (dominated by the Western world/global north) harming educational progress in the global south?
  • Why are governments not mandating publically organisations to release everything under a sensible CC licence that allows attribution and re-purposing not for profit?

Uitgaande van MOOC’s waarbij de leermaterialen onder een open licentie beschikbaar worden gesteld kunnen deze researchvragen mijns inziens worden uitgebreid naar MOOC’s.

Business Models for Opening Up Education

Auteur: Paul Bacsich. Bron

Met een focus op Europa geeft het rapport een overzicht van mogelijke en gerealiseerde business modellen voor met name MOOC’s. Het doel is “to provide guidance for senior managers in higher education institutions, specifically in four Member States of the EU – France, Italy, Spain and UK – when they come to consider whether to deploy MOOCs and related approaches and how to justify such decisions.“.
Enkele resultaten die mij opvielen:

  • De meeste EU-landen hebben activiteiten op het gebied van OER in HO, maar weinig landen hebben een beleid om dit te bevorderen en te financieren
  • In Europa lijkt OER minder aandacht te krijgen dan Open Access en MOOC’s
  • Veel landen hebben geringe activiteiten rondom MOOC´s
  • Sommige landen hebben beleid/financiering om activiteiten rondom MOOC’s te bevorderen. 
  • Activiteiten rondom MOOC’s zijn vaak groter dan kan worden verantwoord vanuit de missie van een instelling en de levensvatbaarheid van business modellen
  • De twee belangrijkste business modellen voor MOOC’s zijn freemium (voor alles wat werkelijk van waarde is voor een lerende moet worden betaald) en loss-leader (kosten worden gedekt door inkomsten uit andere activiteiten die door de MOOC’s worden bevorderd).
  • Twee andere businessmodellen zijn civic role (goed-gefinancierde activiteiten voor instellingen die via MOOC’s hun sociale missie willen uitdragen) en hovering (focus op MOOC’s, wachtend op betere marktcondities of meer support vanuit de overheid voor online afstandsleren)
  • Businessmodellen voor MOOC’s worden beter haalbaar als een instelling hun activiteiten uitbreidt naar beroepsopleidingen of professionele trainingen
  • Wees voorzichtig met toepassen van ervaringen uit de US (met name Silicon Valley) in de Europese context

De research agenda van de OER Hub adresseert dit onderwerp met de volgende vragen:

  • What is the public (and private) return on investment (social, cultural, economic and environmental) for opening up education through more flexible delivery models? 
  • What is the role of publishers in promoting or hindering open education? Also, what is the role of corporations (Google, Apple) and corporate charities (Bill & Melissa Gates Foundation, Hewlett Foundation) in open ed promotion?
  • How to obtain sustainability of institutional approaches to OER use?
  • How do we foster and promote open cooperation?

Open Educational Resources: Policy, Costs and Transformation

Auteurs: Fengchun Miao, Sanjaya Mishra en Rory McGreal. Bron
Een UNESCO/Commonwealth of Learning rapport met een aantal lessen over beleid (open policy), kosten en de bijdrage van OER aan de transformatie naar meer open onderwijs, gebaseerd op 14 case studies. De belangrijkste resultaten uit deze case studies:

  • Zowel top-down beleid als bottom-up initiatieven komen voor, afhankelijk van de context waarin de activiteiten plaatsvinden. Top-down nationaal beleid vereist waardering en erkenning van beleidsmakers voor de potentie van OER. Bottom-up vereist een sterke docentencommunity en betrokkenheid van beleidsmakers van de overheid of een organisatie als de Commonwealth of Learning.
  • Kostenbesparingen hoeven niet alleen door studenten gerealiseerd te worden, maar kunnen ook door instellingen behaald worden door hergebruik van bestaand materiaal, gecombineerd met een efficiënt productieproces voor leermaterialen
  • De OER University is een voorbeeld waarbij kostenbesparingen worden behaald door samenwerking van instellingen, waarbij externe funding niet per se noodzakelijk is om OER duurzaam te krijgen
  • De mindset over copyright is meer en meer aan het veranderen. In steeds meer landen publiceren auteurs hun werk onder een open licentie om betere zichtbaarheid en gebruik ervan te realiseren en daarmee hun eigenaarschap te benadrukken.

Veel van de vragen uit de research agenda die bij de voorgaande publicaties al zijn vermeld worden ook door deze publicatie geadresseerd.

Conclusies

Hoewel een aantal van de resultaten uit deze rapporten voor ingewijden niet verrassend is bieden ze ook nieuwe inzichten. Alle auteurs benadrukken dat deze inzichten verder uitgewerkt en getoetst moeten worden in vervolgonderzoek. De rapporten kunnen bijdragen aan de onderzoeksvragen die momenteel door de OER Hub worden verzameld onder de vlag van de OER Research Agenda.

Hbopener: naar een open hbo-curriculum

Posted on by

Gisteren was voor mij de “dag die je wist dat zou komen”: mijn lectorale rede waarmee ik officieel mijn benoeming tot lector Open Educational Resources bij Fontys Hogeschool ICT heb aanvaard. In meerdere opzichten is deze dag onvergetelijk voor mij geworden.
Het begon bij het eraan voorafgaande symposium. Dagvoorzitter was Ben Janssen van OpenEd Consultancy, sprekers waren emeritus hoogleraar van de UNESCO OER leerstoel Fred Mulder en Michiel van Genuchten, lid van het management team van VitalHealth Software. Met alledrie personen heb ik vele jaren samengewerkt en ik vond het mede daarom een genoegen hen op dit symposium op de bühne te hebben. Daarnaast presenteerde mijn kenniskring zich ook met eerste resultaten en ideeën van onze activiteiten: een onderzoek naar de mening van studenten naar de plannen die FHICT heeft met inzetten van een MOOC in het onderwijs resp. onderzoek dat we willen gaan doen over creatie van OER door studenten en de rol die docenten daarin zullen krijgen.
In mijn eigen rede heb ik een overzicht over het gebied van open onderwijs gegeven, heb ik betoogd waarom juist een hbo-curriculum in het algemeen en dat van FHICT in het bijzonder meer openheid zou moeten nastreven en ben ik ingegaan op de specifieke doelstellingen van mijn lectoraat en de activiteiten die ik wil gaan uitvoeren. Ik onderscheid daarbij 4 categorieën voor onderzoek:

  1. Docenten en OER zijn object van onderzoek. De activiteiten in deze categorie zullen zich primair richten op concrete vraagstukken die in de praktijk van de docent ontstaan bij gebruik en publiceren van OER en andere vormen van open onderwijs. Ervaringen ermee zullen leiden tot requirements voor hulpmiddelen die ontwikkeld kunnen worden. Onderzoek moet duidelijk maken in welke mate hindernissen ervaren worden, hoe de hulpmiddelen bijdragen aan het verkleinen van de hindernissen en (uiteindelijk) of dat inderdaad leidt tot grotere adoptie van OER. Onderzoek naar de rol van de student hierbij behoort ook tot deze categorie.
  2. Het onderwijsproces is object van onderzoek. Activiteiten in deze categorie richten zich met name op het verkrijgen van meer inzicht in hoe OER en andere vormen van open onderwijs kunnen bijdragen aan de verbetering van de kwaliteit van het onderwijs bij FHICT. Meer inzicht hierin kan een positieve invloed hebben op besef van de mogelijkheden van OER en daardoor uiteindelijk een opener curriculum. Onder meer zal daarbij ook aandacht worden gegeven aan effecten op onderwijs voor specifieke doelgroepen.
  3. FHICT / Fontys is object van onderzoek. Komen tot een grotere adoptie van OER en andere vormen van open onderwijs vereisen ook organisatorische maatregelen. Processen zoals zoeken naar en aanpassen van leermaterialen zullen veranderen wanneer die leermaterialen OER zijn. Vraagstukken betreffen het optimaliseren van dergelijke processen:
    • Welke doelstellingen van FHICT en Fontys kunnen mede behaald worden door inzet van vormen van open onderwijs?
    • Wat kunnen we leren van (open) innovatieprocessen in (externe) organisaties om benutten en openbaren van open onderwijs optimaal te krijgen?
  4. Relatie onderwijsinstelling – externe organisatie is object van onderzoek. Het onderzoek dat in deze categorie valt heeft als uitgangspunt dat de externe organisatie een visie heeft op open innovatie en naar middelen zoekt om die visie te realiseren. Vraagstukken hierbij betreffen hoe vormen van open onderwijs de externe organisatie kan helpen die visie te realiseren, in samenwerking met een onderwijsinstelling en wat dit voor gevolgen heeft voor de samenwerking tussen beide organisaties.

>>> Opname van de rede
>>> Publicatie van de lectorale rede
>>> Verslagen van het symposium en de lectorale rede door Wilfred Rubens
>>> Een Storify verslag van symposium en rede door Pierre Gorissen
En helaas. Ondanks vele malen checken en herchecken, ook door anderen, heb ik het eerste foutje in het boekje al ontdekt. Gelukkig niet ernstig en ik ben ook benieuwd of het iemand zal opvallen.
Tenslotte de inspiratie voor de opening van mijn rede. Ook gewoon, omdat ik het een mooi nummer vind.

MOOC research en de waarde voor het hbo

Posted on by

Vorige week donderdag benaderde Karel Kreijns me of ik vandaag op de MOOC researchdag van de Vereniging Onderwijs Research, divisies ICT en HO een presentatie over MOOC-onderzoek in het hbo wilde geven.
In een eerdere blogpost heb ik al eens gemijmerd over de waarde van het publiceren van een MOOC voor een hbo-instelling. Inmiddels zijn er diverse hbo’s die daadwerkelijk een MOOC hebben gepubliceerd, om redenen die in die blogpost werden genoemd en om internationale aandacht te genereren. Maar inmiddels constateer ik ook dat hergebruik van een MOOC veel meer voor de hand ligt dan produceren ervan, juist omdat de meeste hbo-instellingen een regionaal karakter hebben en veel hbo-instellingen sowieso nog geen stappen hebben gezet om hun onderwijs opener te maken. Delen van leermaterialen gebeurt wel, maar veelal binnen de muren van de instellingen, met de eigen collega´s. Publiceren van een MOOC als eerste activiteit op dit gebied is dan, ook vanwege de kosten, wellicht een brug te ver.
Dat bracht mij op de vraag hoe het hbo kan profiteren van research naar MOOC´s, met name als die research zich zou richten op vraagstukken rondom publiceren van een MOOC. Een nadere karakterisering van research op MOOC leerde me dat er grofweg twee typen research bestaan:

  • Research met MOOC als vehikel (MOOC-as-a-vehicle). Het primaire doel van die research is om MOOC’s te gebruiken om meer inzicht te krijgen in educatieve vraagstukken. De resultaten kunnen wel bijdragen aan een hogere kwaliteit MOOC’s, maar zijn ook buiten de MOOC-context bruikbaar. Een voorbeeld van dit type research is het vraagstuk van learning analytics en beïnvloeden van leergedrag. Resultaten van dit type onderzoek kunnen bijdragen aan het beter begrijpen van MOOC’s, maar dat is niet het hoofddoel.
  • Research met MOOC als onderwerp (MOOC-as-a-subject). Het doel van die research is primair het MOOC-fenomeen beter te begrijpen, met name de invloed van Massive en Open. Hierbij komen zowel educatieve vraagstukken als anderssoortige vraagstukken aan bod (zoals juridisch, financieel en productie). Resultaten van dit type onderzoek kunnen bijdragen aan meer inzicht in educatieve vraagstukken in het algemeen, maar dat is niet het hoofddoel.
Vanuit het gezichtspunt van openheid (waaronder ik zowel vrije toegang als het publiceren van de leermaterialen onder een open licentie waaronder de 5R rechten kunnen worden uitgeoefend) geeft dat het volgende raamwerk:

Hoe groener een cel, hoe beter de research aansluit bij vraagstukken rondom openheid die in het hbo leven. Voor het type research waarbij MOOC als een vehikel wordt gebruikt is er geen verschil in belang voor het hbo tussen publiceren en hergebruik.
Een analyse van de 15 papers uit de research track van de vorige week gehouden eMOOCs2015 conferentie leerde me:

  • 4 papers vielen in de categorie MOOC-as-a-vehicle (met onderwerpen als learning analytics, self-directed learning en invloed van taal op leerprestaties)
  • 11 papers vielen in de categorie MOOC-as-a-subject, publish (met onderwerpen als videoproductie, tooling en invloed van EU privacy wetgeving)
  • er waren geen papers in de categorie MOOC-as-a-subject, reuse.
Dat, en de waarnemingen die ik heb betreffende openheid in het algemeen en in het hbo in het bijzonder, brengt mij op een aantal vragen over de waarde van MOOC research voor het hbo waarop ik vooralsnog geen antwoorden heb:
  • Hoe waardevol is MOOC-as-a-subject research in isolatie voor ontwikkeling van kennis over educatie in het algemeen en de invloed van openheid op (kwaliteit van) onderwijs in het bijzonder? Dit mede omdat MOOC een slecht gedefinieerd begrip is (wat is Massive? wat is open?)
  • Hoe kan het hbo (beter) profiteren van MOOC-as-a-subject, publish research?
  • Hoe belangrijk zijn open licenties bij MOOC’s voor het hbo (vanuit de reuse gedachte)?
  • Zou OER-as-a-subject research (zowel publish als reuse) niet beter aansluiten bij de huidige behoefte binnen het hbo?
Voor “mijn” instituut (Fontys Hogeschool ICT) weet ik de antwoorden wel. Ik ben benieuwd naar de antwoorden bij andere instituten, zowel binnen Fontys als daarbuiten.

 

Internationaal onderzoeksnetwerk naar OER

Posted on by

In een eerdere blogpost heb ik verslag gedaan van de meest recente Global Meeting van het Open Education Consortium. Voorafgaand aan dit congres was er een workshop van 1,5 dag van het Global OER Graduate Network (GO-GN). Dit netwerk is vorig jaar opgezet en wordt gecoördineerd door de UNESCO Chair on OER aan de Open Universiteit, bekleed door Prof. Fred Mulder. Fred observeerde dat PhD-researchers naar OER en open education veelal in een geïsoleerde omgeving functioneerden waarbij kennisuitwisseling beperkt plaatsvond. Het GO-GN verbindt aangesloten onderzoekers en hun supervisors in een netwerk. Het netwerk stimuleert ook dat supervisors over en weer optreden als co-promotor bij het onderzoek. De basis is echter dat een onderzoeker en zijn/haar supervisor(s) al werkzaam zijn aan een onderzoeksinstelling, waar ook ter wereld. De overheadkosten voor GO-GN kunnen daardoor laag blijven, omdat er geen onderzoeksfinanciering plaatsvindt binnen GO-GN. Vanuit diverse bronnen zijn grants voor GO-GN verkregen, waardoor het mogelijk is op gezette tijden een face2face workshop te organiseren waarbij de kosten voor de deelnemende onderzoekers kunnen worden vergoed.
De workshop in Ljubljana bestond uit een mix van zestien PhD-researchers en drie supervisors, afkomstig uit Nederland, Spanje, Portugal, Zwitserland, Zuid-Afrika, Chili, USA, Kenia, Zweden en Tsjechië. Acht van hen waren in de fase van opstellen van een researchplan. Tijdens de workshop presenteerden ze hun plannen en kregen feedback en suggesties voor aanvullingen en verbeteringen. Tijdens het congres was er een aparte track waarin de onderzoekers die al wat gevorderd waren met hun onderzoek hun resultaten presenteerden. De onderwerpen waren erg divers en varieerden van onderzoek naar ecosystemen voor open education in gezondheidszorg, kwaliteitszorg voor MOOC’s voor talenonderwijs, gebruik van OER in het hoger onderwijs in Mozambique en Portugal naar impact van internationale organisaties op nationale OER policies.
De komende periode zal de website voor GO-GN worden aangevuld en uitgebreid met functies die meer communicatie tussen de leden onderling mogelijk maakt. Deze wens kwam nadrukkelijk naar voren tijdens de evaluatie van de workshop. Bij die evaluatie werd ik, als nieuwkomer in dit netwerk, geraakt door de dankbaarheid van de researchers. De meesten van hen zitten bij instellingen waar nauwelijks middelen aanwezig zijn om dergelijke uitwisselingen mogelijk te maken. De mogelijkheid tot contact met andere supervisors en mede-researchers werd daarom door hen dankbaar aangegrepen. Daarnaast zal worden gewerkt aan een verdere uitbreiding van het netwerk en zullen aanvragen voor vervolg-grants worden opgesteld.
Uiteraard mocht aan het einde van de workshop de groepsfoto niet ontbreken (attribution to Gino Fransman).

De afbeelding die aan het begin van de blogpost staat is een basis voor een te ontwerpen logo voor GO-GN. Het ontwerp is gemaakt door een van de onderzoekers in het netwerk, Dimitar Poposki.

Ontwerp en uitvoering van een MOOC

Posted on by

Gisteren verscheen een onderzoeksrapport The pedagogy of the Massive Open Online Course: the UK view van twee onderzoekers van de University of Edinburgh, onder de vlag van de Higher Education Academy in Groot Brittanië. De onderzoekers hebben 58 MOOC’s die door universiteiten in de UK worden aangeboden als onderwerp van hun onderzoek genomen. Er wordt geconstateerd dat de rol van de docent in een MOOC veelkoppig is: docent, ontwerper, mentor, marketeer voor je instelling etc. Een van de conclusies luidt:

MOOC pedagogy is not embedded in MOOC platforms, but is negotiated and emergent. Multiple social and material influences converge when MOOC pedagogy is enacted: teacher preferences and beliefs, disciplinary influences, patterns of learner expectation and engagement, and other contextual factors such as institutional teaching culture or the desire to generate analytics. We need to give greater attention to MOOC pedagogy as a socio-material and discipline-informed issue.

Deze conclusie kan ik onderschrijven. Ter illustratie enkele van de ervaringen die ik had met een aantal MOOC’s die ik heb gevolgd cq nog aan het volgen ben (op de platformen van Coursera, EdX en Futurelearn)

  • Op een video van een docent hoorde je de geluiden van een overvliegend vliegtuig en een brandweerwagen met loeiende sirene.
  • Afspelen van de video’s van een docent gaf pas een draaglijke ervaring bij snelheid 1.5
  • Bij meerkeuzevragen zijn er 5 opties, waarbij er meerdere correct zijn. Wanneer je geen idee hebt in welke richting je de oplossing moet zoeken moet je alle (maximaal) 31 combinaties uitproberen om de juiste te vinden, waarna je dan pas de terugkoppeling krijgt waarom dat antwoord correct is. Ik zou liever al wat hints krijgen bij een fout antwoord.
  • Bij een MOOC schrijft de docent een afleiding van een formule met krijt op een bord. Helaas staat hij vóór het bord, waardoor het geschrevene niet te lezen is.
  • De opbouw in moeilijkheidsgraad bij een MOOC over elementaire deeltjes is nogal abrupt, waardoor de stof ineens niet meer te volgen is. De toetsvragen daarna vragen echter alleen naar feitjes die eenvoudig te beantwoorden zijn, maar die het begrip van de stof niet toetsen.
  • Een docent kijkt veelvuldig naar beneden (waarschijnlijk om aantekeningen te bekijken). Dat gaat op den duur irriteren.

Geen misverstand: ik ben heel blij dat ik met gebruikmaking van MOOC’s mijn kennis kan uitbreiden of opfrissen en ik geniet van de leerervaringen. Aanbieden van MOOC’s om te experimenteren en ervaring op te doen met dit fenomeen is een prima zaak, maar besteed dan wel aandacht aan details als die hier genoemd zijn en die eenvoudig te voorkomen zijn. Dat zou de leerervaring volmaakt maken.
 
 

Beyond MOOC's

Posted on by

Deze week publiceerde het Britse onderzoeksinstituut Cetis een white paper Beyond MOOCs: Sustainable Online Learning in Institutions. Mijn collega Wilfred Rubens heeft in zijn blog deze paper besproken. De gevolgtrekkingen die hij daar maakt (beschouw MOOC’s als een proeftuin om te experimenteren met diverse onderwijsinnovaties, om op die manier de basis te leggen voor online leren van een hoge kwaliteit en voor nieuwe instellingsstrategieën rond online leren (inclusief business modellen) en de implicatie die dit heeft (vergelijk MOOC’s niet met reguliere cursussen, maar gebruik de inhoud van MOOCs wel daarvoor) onderschrijf ik.
Als aanvulling op zijn blog heb ik de elementen die in de paper worden onderscheiden (trends, kansen en strategische implicaties) in een figuur bij elkaar gezet. Ze zijn door de auteurs ingedeeld langs twee dimensies (impact en tijdshorizon). Sommige onderscheiden elementen gelden voor de meeste instellingen, andere slechts voor enkele.

Evenals de vorige publicatie over MOOC’s die deze auteurs vorig jaar uitbrachten is ook deze paper een must-read.

Onderzoek naar open en online onderwijs in Nederland

Posted on by

Begin deze week kwam een notitie “Ruminations on Research on Open Educational Resources” beschikbaar. De auteur is Marshall Smith, de architect van het OER-programma van de Hewlett Foundation. Deze private organisatie staat mede aan de wieg van de OER-beweging, met name door de financiële ondersteuning die ze aan veel projecten wereldwijd hebben gegeven. Deze notitie is mede gebaseerd op input op eerdere versies van vele experts wereldwijd, waaronder Fred Mulder en Ben Janssen van de Open Universiteit. De notitie is bedoeld om de vervolgkoers van de Hewlett Foundation te bepalen. Het inventariseert vraagstukken rondom OER waarvoor research zou moeten worden opgezet dan wel uitgebreid. Hij bouwt in deze notitie voort op het werk bij OLNET en de OER Research Hub.
Smith begint de notitie met een rechtvaardiging om specifiek onderzoek naar OER te formuleren en dit niet te beschouwen als een verbijzondering van onderzoek naar educatie in het algemeen:

I explore the hypothesis that the characteristics that define OER potentially “add value” that exceed and/or are different in nature from the effects achieved by a similar piece of non-OER technology or content.

De belangrijkste karakteristiek is de mate van openheid die OER kan hebben. Hij definieert hiervoor vier niveaus van toegang, waarbij een hoger niveau de lagere niveaus omvat:

  • Access level 1.0: vrije toegang (gratis)
  • Access level 2.0: recht op download, kopiëren, verspreiden, delen en hergebruik
  • Access level 3.0: recht op aanpassing
  • Access level 4.0: recht op commercieel gebruik

Wanneer van deze karakterisering wordt uitgegaan kunnen alle vormen van open en online materialen en onderwijs object van research worden gemaakt. Een xMOOC bijvoorbeeld valt veelal onder Access level 1.0, soms level 2.0 of level 3.0.
Smith definieert negen research “buckets”. In de tabel hieronder staan ze genoemd met bij iedere bucket een aantal researchvragen (niet uitputtend)

Bucket Voorbeeld
A: Policy Research – examine the positive and negative factors in the political environment that influence whether or not governments at various levels will create progressive OER policy- examine the characteristics and effectiveness of the variety of educational policies that constrain or enable the use of OER that currently exist in different countries and local jurisdictions
B: Access and Use – do the OER characteristics that distinguish them from commercial products add value?- what creates the “added value?”- how do we document this with valid evidence?
C: Effectiveness—Studies of how OER Improves Efficiency and Learning – Do OER cost less?- Do OER improve achievement?- Do OER improve attainment?
– Do OER that are adapted to fit local needs improve achievement and attainment?
D: Innovation—Investigations into New Ideas and Positive Disruption. – Are OER more likely to become genuinely innovative than profit-driven education technology?- How can OER be used to help solve social and educational problems?
E: Beyond Formal Education: OER used in other domains – What is the role of OER in development and sharing of important and practical information like e.g. in Health Care and Agriculture?- How could OER contribute to solving multisectoral problems like global warming, poverty or lack of educational opportunities in refugee camps?
F: Sustainability – What is the the viability of business models currently in place?
G: Development and Improvement—Studies to Understand and Improve the Processes of Creating, Altering, and Using OER – What development approach (linear, rapid prototyping, collaborative development) works in what situations?- What functions should tools possess to really support development?- Do users actively try to improve the effectiveness of the OER they are using?- What sort of product design best lends itself to easy modification by a technology novice such as a teacher in a typical school?
– What do we know about the use of various grain-sized improvements and adaptations?
H: Implementation—Studies of the Processes of Introducing and Using OER in Classrooms, Schools, Districts and Countries – Who takes responsibility for updating a specific OER?- What can we learn from analysis and examples of good practice?
I: Infrastructure—Research on the Underlying Framework and Health of OER – How do we measure the health of the OER movement?- Are the Creative Commons licenses doing their job?- Is there a reasonable balance between the for-profit world and the open world as well as an understanding of the utility of each?

Deze inventarisatie kan een mooi startpunt zijn om na te denken over onderzoek door Nederlandse instellingen voor hoger onderwijs. Er kunnen dan ook additionele vragen worden geformuleerd die specifiek zijn voor de Nederlandse situatie. Een willekeurige greep (zonder de ambitie hierin volledig te zijn):

  • Welke verschillen in aanpak voor opener onderwijs (buckets G en H) zijn er tussen HBO en WO vanwege verschil in omgeving (veelal regionaal vs. nationaal/mondiaal), publiek (afkomstig van HAVO vs VWO) en focus (praktisch vs theoretisch en research-based)?
  • Hoe kan opener onderwijs de aansluiting tussen VO en het hoger onderwijs verbeteren (bucket C)?
  • Hoe kan opener onderwijs bijdragen aan een leven lang leren (bucket E)?
  • Welke businessmodellen zijn haalbaar en effectief voor HO-instellingen om een duurzaam aanbod van opener onderwijs te realiseren (bucket F)?
Onderzoek naar OER zou (teach as you preach) in samenwerking moeten gebeuren is mijn overtuiging. Het zou daarom goed zijn als belangstellende onderzoekers eens bij elkaar komen om gezamenlijke researchvraagstukken te formuleren, te inventariseren wat er al gebeurt aan onderzoek, waar samenwerking mogelijk is en welke fundings daarvoor kansrijk zijn. Ik wil daartoe actie ondernemen. Belangstellenden voor een dergelijke bijeenkomst kunnen zich bij mij melden: robert.schuwer@ou.nl. Wordt vervolgd!

 
 

OER en kwaliteitsverbetering

Posted on by

Eerder schreef ik al over de noodzaak voor evidence dat claims die de OER-wereld maakt ook daadwerkelijk gerealiseerd worden. De Evidence Hub van OLNET is opgezet om via een crowdsourcing aanpak claims en evidence te verzamelen. En onlangs is de OER Research Hub gelanceerd voor o.a. het verzamelen van onderzoek naar effecten van OER.
Eén van de claims uit de open wereld is dat publiceren van open leermateriaal de kwaliteit van de leermaterialen verhoogt, omdat anderen deze materialen verder verbeteren en de resultaten ervan weer ter beschikking komen aan de wereld onder een open licentie. Zie bv in dit UNESCO rapport op p. 3 “Improving the quality of learning materials through peer review processes“. Deze peer review processen worden ook genoemd in de JISC OER Toolkit als één van de voordelen “availability of quality peer reviewed material to enhance their curriculum“.
Andere aan hogere kwaliteit gerelateerde voordelen die daar worden genoemd zijn “enhanced quality and flexibility of resources” en “support for learner-centred, self-directed, peer-to-peer and social/informal learning approaches“.
Ook de OER Research Hub heeft dit onder de noemer Performance als hypothese geformuleerd: “Use of OER leads to improvement in student performance and satisfaction (OER improve student performance/satisfaction)“.
Ria Jacobi was voor een beleidsstuk dat ze aan het schrijven is op zoek naar evidence voor de claim dat publiceren van OER leidt tot kwaliteitsverbetering van de leermaterialen. En omdat ik bij de Onderwijsdagen een presentatie geef over kwaliteit van OER (15:05-15:50 uur) vond ik het wel de moeite waard hier even in te duiken en te kijken of er in weinig tijd evidence geworden kon worden.
Hogere kwaliteit van leermateriaal is een middel om uiteindelijk te bereiken dat de leerprestaties van studenten verbeteren (zie bv. de blog van David Wiley). De invloed van publiceren of hergebruiken van open leermateriaal in het bijzonder of andere vormen van open education in het algemeen kan via de volgende redenering worden aangegeven:

  1. Gebruik van OER leidt tot hogere kwaliteit van leermaterialen en draagt daarmee bij aan beter onderwijs
  2. Inzet van andere vormen van open education (zoals een MOOC) leidt tot beter onderwijs
  3. Beter onderwijs leidt tot hogere leerprestaties van studenten
Het onderscheid tussen 1 en 2 wordt gemaakt omdat het bij 1 essentieel is dat materialen mogen worden herbewerkt, omdat kwaliteit mede afhangt van de aanpassing aan de context (lokalisatie van de leermaterialen, zie bv. hier). Bij 2 hoeft die eigenschap van open education niet te gelden . Met name de meeste (x)MOOC’s vallen in de categorie van niet aanpasbare open leermaterialen.
Andy Lane van de OU-UK observeerde in deze publicatie uit 2011 dat er nog weinig bekend is over de effecten van open leermaterialen op “teaching practices” (p. 5): “There have been a significant number of publications discussing OER in recent years but little of that discussion has been about the implications for teaching practices”
Ik ga er in de rest van deze post van uit dat de in de redenering aangegeven relaties tussen kwaliteit van leermateriaal, kwaliteit van onderwijs en hogere leerprestaties niet verder onderbouwd hoeven te worden. Ik focus me alleen op de bijdrage die open leermaterialen kan hebben.
De relatie OER, open education en hogere kwaliteit is er op drie punten, die als claims kunnen worden geformuleerd waarvoor dan evidence moet worden verzameld:

  • Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
  • Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden (itt gesloten materialen)
  • Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs

Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
Dit kan twee oorzaken hebben:

A1: doordat anderen de materialen kunnen bewerken wordt het materiaal er beter van en die verbeterde versie kun jij dan weer gebruiken.

A2: omdat je materiaal zichtbaar wordt voor de wereld besteed je meer aandacht aan de kwaliteit van je leermateriaal wat dan leidt tot hogere kwaliteit

Evidence voor A1
Het MIT heeft in hun Open Courseware programma dit effect onderzocht. Zie hier op pagina 214, eerste regel “It enhances the quality of education (..). We have significant data demonstrating these phenomena”. Ook in deze PhD-studie naar het MIT-programma wordt gemeld dat docenten verbeteringen ervaren in de content.
Onderzoek door o.a. David Wiley over de effecten van inzetten van open textbooks gaf de volgende resultaten:

  • 34% van de docenten en 39% van de studenten meldden de kwaliteit van de OER (in de vorm van een open textbook) beter te vinden dan die van commerciële varianten. 11% van de docenten en 6% van de studenten vonden de kwaliteit slechter
  • 33% van de docenten waardeerden de mogelijkheid tot aanpassing van het open textbook

Onderzoek bij het JISC OER-programma, dat van 2008-2012 liep, leerde:
“Significantly, although there are potential time saving benefits inherent in using digital resources, our interviewees spoke about benefits in terms of raising the quality of their courses and the student experience, rather than improving efficiency.”
Evidence voor A2
Hiervoor heb ik tot nu toe alleen evidence via mondelinge communicatie (m.n. met betrokkenen bij het Delft OpenCourseware programma).
Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden
Evidence voor deze claim is te vinden in het eerder vermelde onderzoek van David Wiley: “25% van de respondenten meldden beter voorbereide studenten, 10% meldde slechter voorbereide studenten”. Dat aanpassing van materialen aan de lerende positieve effecten heeft op de leerprestaties is echter niet eigen aan het open zijn van leermaterialen, maar meer algemeen het scheppen van een leeromgeving die optimaal aansluit bij de lerende. Dit ligt buiten de scope van deze post.
Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs
Evidence hiervoor is te vinden in een presentatie die op de net beëindigde OpenEd conferentie is gegeven over preliminary findings waar OER gebruikt worden om studenten een betere leerervaring te geven.
De in de inleiding genoemde OER Reserach Hub geeft geen eenduidige resultaten: “On the impact of OER on student satisfaction, data extracted from surveys conducted with two of our collaborations OpenLearn and the Flipped Learning Network – make apparent this mismatch of beliefs. For example, 63% of educators (n=31) agreed that using OpenLearn improves student satisfaction, an opinion shared by 85% of K12 teachers engaged in flipped learning (n=75). However, just 47% (n=54) of students indicated that using OpenLearn increased their satisfaction with the learning experience.“.
Conclusie
Meer en meer komt er aandacht voor onderzoek naar effecten van OER en andere vormen van open education op de leerprestaties van lerenden. Er is echter al wel evidence te vinden dat die effecten er zijn en dat die veelal positief zijn. Mijn verwachting is dat de Evidence Hub van OLNET en de OER Research Hub waardevolle bronnen van evidence zullen worden.