Author Archive: Robert

OER: the long and winding road

Posted on by

In 2002 begon de William and Flora Hewlett Foundation met het ondersteunen en stimuleren van OER-projecten. Onder meer het MIT Open Courseware programma, Openlearn van de Britse OU, het OpenER-project van “onze” Open Universiteit en de start van het Open Courseware Consortium waren mede mogelijk door grants van de Foundation. Mede hierdoor hebben ze altijd veel invloed gehad op de richting van experimenten en onderzoek. Er ligt nu een nieuw onderzoeksrapport voor met daaraan gekoppeld een plan voor hun acties voor de komende jaren.
Het onderzoek is uitgevoerd door de Boston Consulting Group en is getiteld The Open Education Resources ecosystem. An evaluation of the OER movement’s current state
and its progress toward mainstream adoption. Het is gebaseerd op tientallen interviews met experts en betrokkenen in de OER-wereld en een survey onder 375 K-12-docenten en opleiders (ook uit hoger onderwijs). Puntsgewijs enkele findings en conclusies uit dit onderzoek die gelden voor de Verenigde Staten:

  • Weinig beleid door overheden in de staten op open licenties
  • Sommige staten beginnen nu met adoptie van OER policies
  • Nauwelijks community activiteiten waar het beoordelen van materiaal betreft (slechts 2% van de OER bevat een beoordeling)
  • Breed aanwezig bewustzijn van bestaan van OER, maar use cases zijn onduidelijk. Het is onduidelijk welke effecten OER heeft op (verbetering van) productie van leermaterialen en effectiviteit van leerprocessen.
  • Gefragmenteerd aanbod vanuit diverse repositories en mede daardoor moeilijk vindbaar
  • Tevredenheid over de kwaliteit van gevonden materialen, maar aanpassing aan lokale context wel vaak nodig.
  • Lastig om materialen te remixen door gebrek aan standaarden (zowel technisch als didactisch)
  • Materialen vooral voor hoger onderwijs en voor K-12 wiskunde en science
  • Gebruik van OER veelal als secundair materiaal. Gebruik als primair materiaal blijft achter
  • Huidige inkoopprocessen bevoordelen traditionele leermaterialen
  • Gebrek aan duidelijkheid over eigendomsrechten van leermaterialen hinderen het creëren, remixen en delen
In het plan dat gebaseerd is op de uitkomsten van dit onderzoek worden de volgende positieve effecten met evidence gepresenteerd:
  • Grote kostenreductie
  • Hogere efficiëntie van leren
  • Stimuleren van continue verbetering van instructie en gepersonaliseerd leren
  • Stimuleren van vertalen en contextualisering van content
  • Toegang tot kennis voor iedereen

De plannen zijn gericht op het bereiken van twee hoofddoelen in 2017:

Dit willen ze bereiken door financiële ondersteuning te leveren aan projecten die aan bepaalde voorwaarden voldoen, zoals:

  • Publiceren van materialen onder een open licentie
  • Toegankelijkheid bieden aan een diverse gebruikersgroep
  • Alignment met de Common Core Standard
  • Draagt bij aan inzicht over de effecten van en de resultaten van gepersonaliseerd onderwijs door OER, evenals de invloed van open licenties
Als de twee grootste risico’s voor dit plan zien ze een terugloop in financiering door zowel publieke als private partijen en een verlies van begrip voor, bewustzijn van en interesse in open leermaterialen. Dat laatste zien ze mede veroorzaakt door de opkomst van MOOC’s die hun leermaterialen veelal niet onder een open licentie publiceren, maar wel het adjectief “Open” dragen en daarmee het belang van open in de 4R-betekenis ondermijnen:

One example is the rise of massive online open courses (MOOCs) which have spurred a great deal of attention for the movement. However, most MOOCs interpret “open” as “open access,” meaning that anyone can take the course for free, but they still put the content under very restrictive copyright. While moving from completely closed and proprietary courses to more open access courses is a significant first step in openness, it is important that Universities and MOOC providers move all the way along the Open continuum and actually release the course materials under an open license. It is false to think that one course can education the entire world. If we know anything about learning, it is that effective learning is highly contextualized and personalized. Open licensing of course materials in MOOCs and online courses unlocks the potential of large scale mass customization and adaptation to local contexts across community colleges, developing countries, other institutions, languages and many others. Open licensing also protects academic freedom by inviting educators to modify and improve resources for whatever their intended purposes and contexts are.

Zie ook deze blogpost van Pierre Gorissen over openheid in MOOC’s, deze presentatie van Willem van Valkenburg over de openheid van hun MOOC’s en een blogpost die ik hier eind vorig jaar over schreef.

Wat kan Nederland hiermee?

De studie en het actieplan richten zich voornamelijk op de situatie in de Verenigde Staten. Veel van de resultaten en voorgenomen acties kunnen ook voor Nederland toepasbaar zijn. Onderzoeken van Wikiwijs en Kennisnet leren bijvoorbeeld dat ook in Nederland de mainstreaming van OER minder snel gaat dan verwacht en bevestigen de eerder gemelde barrières. In de US is eerder dit jaar o.a. David Wiley gestart met een bedrijf Lumen Learning, door hem omschreven als A Red Hat for OER. Het richt zich op ondersteuning van onderwijsinstellingen die stappen willen zetten met implementeren van een OER-aanpak. Hoewel financiering van onderwijs in Nederland afwijkt van die in de US (waar veel meer private financiering bestaat) zou een dergelijk bedrijf in Nederland wellicht ook behulpzaam kunnen zijn om OER mainstreaming te maken, naast stimulering door de overheid (bv. via policies die een OER-aanpak minder vrijblijvend maakt dan het nu is) en continue kennisverwerving en -disseminatie door onderzoeksinstellingen, Kennisnet en SURF (bv. via de SIG OER).
Wat dit alles mij wel weer bevestigt: er bestaan geen snelle successen. Ik vind dit heel treffend geformuleerd in een blogpost van Hester Jelgerhuis en Christien Bok van SURF over hun ervaringen bij de onlangs gehouden bestuursreis Open Education. In hun verslag van een bezoek aan Tufts University, die een open education aanpak hebben met een traditie van meer dan 20 jaar, staat de karakterisering (bold door mij toegevoegd)

Het is duidelijk dat dit een ontwikkeling is die niet meer te stoppen is, maar dat het ook ploeteren is om dingen voor elkaar te krijgen, en dat echt leiderschap noodzakelijk is. Tufts laat de resultaten van twintig jaar onverminderde inzet zien. Ze hebben laten zien dat het loont om voorlopers samen te brengen en te ondersteunen, ze vrijheid te bieden om resultaten te boeken.

Een lange en bochtige weg te gaan, zo mooi en treffend geformuleerd door Lennon en McCartney en uitgevoerd door The Beatles.

OER en kwaliteitsverbetering

Posted on by

Eerder schreef ik al over de noodzaak voor evidence dat claims die de OER-wereld maakt ook daadwerkelijk gerealiseerd worden. De Evidence Hub van OLNET is opgezet om via een crowdsourcing aanpak claims en evidence te verzamelen. En onlangs is de OER Research Hub gelanceerd voor o.a. het verzamelen van onderzoek naar effecten van OER.
Eén van de claims uit de open wereld is dat publiceren van open leermateriaal de kwaliteit van de leermaterialen verhoogt, omdat anderen deze materialen verder verbeteren en de resultaten ervan weer ter beschikking komen aan de wereld onder een open licentie. Zie bv in dit UNESCO rapport op p. 3 “Improving the quality of learning materials through peer review processes“. Deze peer review processen worden ook genoemd in de JISC OER Toolkit als één van de voordelen “availability of quality peer reviewed material to enhance their curriculum“.
Andere aan hogere kwaliteit gerelateerde voordelen die daar worden genoemd zijn “enhanced quality and flexibility of resources” en “support for learner-centred, self-directed, peer-to-peer and social/informal learning approaches“.
Ook de OER Research Hub heeft dit onder de noemer Performance als hypothese geformuleerd: “Use of OER leads to improvement in student performance and satisfaction (OER improve student performance/satisfaction)“.
Ria Jacobi was voor een beleidsstuk dat ze aan het schrijven is op zoek naar evidence voor de claim dat publiceren van OER leidt tot kwaliteitsverbetering van de leermaterialen. En omdat ik bij de Onderwijsdagen een presentatie geef over kwaliteit van OER (15:05-15:50 uur) vond ik het wel de moeite waard hier even in te duiken en te kijken of er in weinig tijd evidence geworden kon worden.
Hogere kwaliteit van leermateriaal is een middel om uiteindelijk te bereiken dat de leerprestaties van studenten verbeteren (zie bv. de blog van David Wiley). De invloed van publiceren of hergebruiken van open leermateriaal in het bijzonder of andere vormen van open education in het algemeen kan via de volgende redenering worden aangegeven:

  1. Gebruik van OER leidt tot hogere kwaliteit van leermaterialen en draagt daarmee bij aan beter onderwijs
  2. Inzet van andere vormen van open education (zoals een MOOC) leidt tot beter onderwijs
  3. Beter onderwijs leidt tot hogere leerprestaties van studenten
Het onderscheid tussen 1 en 2 wordt gemaakt omdat het bij 1 essentieel is dat materialen mogen worden herbewerkt, omdat kwaliteit mede afhangt van de aanpassing aan de context (lokalisatie van de leermaterialen, zie bv. hier). Bij 2 hoeft die eigenschap van open education niet te gelden . Met name de meeste (x)MOOC’s vallen in de categorie van niet aanpasbare open leermaterialen.
Andy Lane van de OU-UK observeerde in deze publicatie uit 2011 dat er nog weinig bekend is over de effecten van open leermaterialen op “teaching practices” (p. 5): “There have been a significant number of publications discussing OER in recent years but little of that discussion has been about the implications for teaching practices”
Ik ga er in de rest van deze post van uit dat de in de redenering aangegeven relaties tussen kwaliteit van leermateriaal, kwaliteit van onderwijs en hogere leerprestaties niet verder onderbouwd hoeven te worden. Ik focus me alleen op de bijdrage die open leermaterialen kan hebben.
De relatie OER, open education en hogere kwaliteit is er op drie punten, die als claims kunnen worden geformuleerd waarvoor dan evidence moet worden verzameld:

  • Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
  • Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden (itt gesloten materialen)
  • Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs

Claim A: Publiceren van OER leidt tot hogere kwaliteit van je leermaterialen.
Dit kan twee oorzaken hebben:

A1: doordat anderen de materialen kunnen bewerken wordt het materiaal er beter van en die verbeterde versie kun jij dan weer gebruiken.

A2: omdat je materiaal zichtbaar wordt voor de wereld besteed je meer aandacht aan de kwaliteit van je leermateriaal wat dan leidt tot hogere kwaliteit

Evidence voor A1
Het MIT heeft in hun Open Courseware programma dit effect onderzocht. Zie hier op pagina 214, eerste regel “It enhances the quality of education (..). We have significant data demonstrating these phenomena”. Ook in deze PhD-studie naar het MIT-programma wordt gemeld dat docenten verbeteringen ervaren in de content.
Onderzoek door o.a. David Wiley over de effecten van inzetten van open textbooks gaf de volgende resultaten:

  • 34% van de docenten en 39% van de studenten meldden de kwaliteit van de OER (in de vorm van een open textbook) beter te vinden dan die van commerciële varianten. 11% van de docenten en 6% van de studenten vonden de kwaliteit slechter
  • 33% van de docenten waardeerden de mogelijkheid tot aanpassing van het open textbook

Onderzoek bij het JISC OER-programma, dat van 2008-2012 liep, leerde:
“Significantly, although there are potential time saving benefits inherent in using digital resources, our interviewees spoke about benefits in terms of raising the quality of their courses and the student experience, rather than improving efficiency.”
Evidence voor A2
Hiervoor heb ik tot nu toe alleen evidence via mondelinge communicatie (m.n. met betrokkenen bij het Delft OpenCourseware programma).
Claim B: Gebruik van OER leidt tot betere leerprestaties omdat je dat materiaal kunt aanpassen aan de eigenschappen van de lerenden
Evidence voor deze claim is te vinden in het eerder vermelde onderzoek van David Wiley: “25% van de respondenten meldden beter voorbereide studenten, 10% meldde slechter voorbereide studenten”. Dat aanpassing van materialen aan de lerende positieve effecten heeft op de leerprestaties is echter niet eigen aan het open zijn van leermaterialen, maar meer algemeen het scheppen van een leeromgeving die optimaal aansluit bij de lerende. Dit ligt buiten de scope van deze post.
Claim C: Inzetten van vormen van Open Education leidt tot beter onderwijs
Evidence hiervoor is te vinden in een presentatie die op de net beëindigde OpenEd conferentie is gegeven over preliminary findings waar OER gebruikt worden om studenten een betere leerervaring te geven.
De in de inleiding genoemde OER Reserach Hub geeft geen eenduidige resultaten: “On the impact of OER on student satisfaction, data extracted from surveys conducted with two of our collaborations OpenLearn and the Flipped Learning Network – make apparent this mismatch of beliefs. For example, 63% of educators (n=31) agreed that using OpenLearn improves student satisfaction, an opinion shared by 85% of K12 teachers engaged in flipped learning (n=75). However, just 47% (n=54) of students indicated that using OpenLearn increased their satisfaction with the learning experience.“.
Conclusie
Meer en meer komt er aandacht voor onderzoek naar effecten van OER en andere vormen van open education op de leerprestaties van lerenden. Er is echter al wel evidence te vinden dat die effecten er zijn en dat die veelal positief zijn. Mijn verwachting is dat de Evidence Hub van OLNET en de OER Research Hub waardevolle bronnen van evidence zullen worden.

OER en assessment en certificering van open leren

Posted on by


Na drie jaar opbouwen is vorige week de OER University van start gegaan. In dit initiatief werken universiteiten wereldwijd samen om een programma aan te bieden dat kan leiden tot formele erkenning. De leermaterialen zijn als OER vrij beschikbaar, maar voor de services (zoals certificering) moet wel worden betaald, zij het gereduceerde prijzen ten opzichte van reguliere studenten. Bij het initiatief zijn 37 organisaties betrokken, waaronder Athabasca University (Canada), University of Southern Queensland, Otago Polytechnic (Nieuw Zeeland), de Open Universiteit van Catalonië, maar ook donors en sponsors als de Hewlett Foundation en UNESCO.
In de kern heeft de OERu een verzameling gedeelde services, waarvan sommige om niet en sommige tegen een prijs worden aangeboden:

Door het default aanbieden van assessment en certificering en het kunnen behalen van een Bachelor of Mastergraad werd dit initiatief bij de lancering beschouwd als een alternatief naast de momenteel aangeboden MOOC’s. Zie bijvoorbeeld hier. Bij de lancering van het initiatief verscheen ook een studie van de Commonwealth of Learning “Report on the Assessment and Accreditation of Learners using OER“. Uit het voorwoord:

This report shares the findings and lessons learned from an investigation into the economics of disaggregated models for assessing and accrediting informal learners, with particular attention to the OER University (OERu) consortium. It also relies on data from a small-scale survey conducted by two of the authors on perceptions, practices and policies relating to openness in assessment and accreditation in post-secondary institutions (Murphy & Witthaus, 2012). These investigations include the perceptions of stakeholders in post-secondary education towards the OERu concept, combined with a look at economic models for universities to consider in implementing OER assessment and accreditation policies.

Door gebruik van OER wordt unbundling van assessment en certificering van onderwijs en ondersteuning beter mogelijk dan met gesloten materiaal, omdat het recht op aanpassen van het materiaal aan lokale jurisdicties en verschillende instellingen beter mogelijk wordt dan met materiaal dat door copyright beschermd is.
Erkennen van credits van elders wordt bemoeilijkt door gebrek aan standaardisatie over grenzen heen. In deze zin is het ECTS systeem erg waardevol binnen Europa. Echter, een instellingsbeleid voor het erkennen van credits elders of (breder) een beleid op  EVC is een nodige voorwaarde om dit van de grond te krijgen.
De grootste uitdaging om op OER gebaseerd onderwijs inclusief certificering gerealiseerd te krijgen is betrokkenheid en wil van de staf, zowel voor ondersteuning van activiteiten hierin als voor herontwerp van op OER gebaseerde cursussen. De potentiële voordelen zijn lage kosten voor het toegang en voor het materiaal, betere zichtbaarheid van de instelling en de mogelijkheden voor aanpassen van de content aan de lokale eisen. Op zich zijn dit bekende gegevens, maar deze studie bevestigt het weer eens.
De studie heeft geen aanwijzingen opgeleverd dat aanbieden van open cursussen zou leiden tot een toe- of afname in registraties voor niet-open opleidingen of cursussen.
Het rapport geeft inzicht in het economische model achter de OERu en bevat ook de resultaten van een survey afgenomen bij de participerende instellingen van de OERu. Uit deze survey zijn de volgende resultaten vermeldenswaard:

  • De meest genoemde redenen van de aangesloten instellingen om te participeren in OERu is de zichtbaarheid in een internationaal netwerk van certificerende instellingen en filantropie (vergroten van toegang tot kwalitatief goed hoger onderwijs voor lerenden die anders geen toegang zouden hebben vanwege financiële argumenten).
  • Methoden om credits te geven voor elders uitgevoerde leeractiviteiten zijn examens onder toezicht, testen, “challenge for credit” en procedures om te komen tot erkenning van eerder verworven kennis en competenties (EVC).
  • EVC op basis van een portfolio (90%), cursusgebaseerd portfolio (90%) en geautomatiseerd online assessment (66%) worden beschouwd als de meest waarschijnlijke methoden in de toekomst voor formeel assessment van leerresultaten van open cursussen, leidend tot certificering.
  • EVC procedures kosten 33% tot 68% van de kosten voor een reguliere assessment en certificering (gemeten bij 10 instellingen)

Het rapport bevat enkele scenariostudies naar hergebruik en remix bij unbundling van onderwijs, assessment en certificering van op OER gebaseerd leren, waarbij de beleidsimplicaties voor instellingen worden uitgewerkt. Deze scenario’s lopen van het door één instelling aanbieden van een open cursus parallel aan het reguliere aanbod, aanbieden van assessment voor een open cursus van elders tot aanbieden van assessment voor een open cursus, waarbij ook de assessment van de instelling die de open cursus aanbiedt wordt hergebruikt.
Concluderend: het rapport bundelt een veelheid aan informatie, nuttig voor iedereen die overweegt credits te gaan verlenen op resultaten van open leren.

Twee muzikale MOOC's vergeleken

Posted on by


In de afgelopen maanden heb ik twee Coursera MOOC’s gedaan die beiden een muzikaal onderwerp hadden: “History of Rock, part 1” door John Covack (University of Rochester) en “Exploring Beethoven’s piano sonatas” door Jonathan Biss (Curtis Institute of Music). Behalve dat beide onderwerpen me hobbymatig interesseren, was ik ook benieuwd naar hoe een MOOC over niet-exact onderwerp als muziek opgezet is. Met name de type opdrachten en examens hadden daarbij mijn interesse, maar ook of en hoe gebruik wordt gemaakt van multimedia anders dan alleen video met gesproken tekst.
Allereerst enkele karakteristieken van beide MOOC’s.

History of Rock Beethoven
Doorlooptijd 7 weken 5 weken
Aantal assignments 3 + examen 3
Type assignment Multiple choice Essays met peer review
Aantal registraties 43.000 35.000
Actieve participatie 24.000 18.000
Aantal assignments 8.000 2.000
Aantal participanten in forum 2.000 1.000

Bij beide MOOC’s vertelden de docenten in korte videoclips de inhoud. Maar daarmee hield de overeenkomst tussen beide MOOC’s wel op.
Bij de History of Rock cursus bleef het alleen bij uitgesproken tekst. Hier hadden kosten bespaard kunnen worden door de uitgesproken tekst downloadable ter beschikking te stellen. Deze feature was wel aanwezig bij de Beethovencursus: er was daar de mogelijkheid ondertiteling in te schakelen en de ondertiteling was ook als tekstbestand beschikbaar. Maar bij de laatstgenoemde cursus werden ook hele stukken uit de sonates door de docent “live” ten gehore gebracht om elementen uit zijn betoog te illustreren. Dat was een grote toegevoegde waarde van de video.
Een en ander zal wel te maken hebben met rechtenproblematieken voor de nummers die bij de History of Rock cursus ter sprake kwamen. Ook voor stukken die maximaal 30 seconden duren moet toestemming verkregen worden (in tegenstelling tot wat algemeen gedacht wordt) en dat zal misschien ook per land verschillen. Dat zet een cursus als History of Rock op dat aspect wel op achterstand ten opzichte van een cursus als die over Beethoven: die nummers zijn rechtenvrij en de docent voert het ook zelf uit.
De assignments en het examen bij de History of Rock cursus waren toetsen van pure feitenkennis. Onderstaand een voorbeeld van een vraag ter illustratie:
“Which description of the Wall of Sound best reflects the discussion in the video?”

  • Phil Spector developed the Wall of Sound in mono, not stereo, and it constituted an attempt to get the biggest sound possible in mono.
  • Phil Spector developed the Wall of Sound in stereo in an attempt to capture the clearest mix possible and to permit every single instrument and voice to be heard distinctly.
  • The Wall of Sound was a term used to describe the increasingly larger amplifiers and drum kits appearing onstage during the early 1960s, which when aligned along the back of the stage created a literal wall of sound.
  • Leiber and Stoller developed the Wall of Sound in an attempt to blend classical music and rhythm & blues into a softer pop style.)

De docent heeft over zijn ervaringen bij deze en een “Part 2” cursus een artikel geschreven. Een van zijn conclusies is

My experience has caused me to stop thinking of the MOOC as an alternative to the traditional college course. It is rather something like a very organized series of public lectures based on the structure of a college course. MOOCs are most valuable as a way of bringing the wealth of knowledge we produce and preserve in the academy to the broadest possible public—something, it must be admitted, we probably do not do enough. I use my MOOC video lectures in my regular course at Rochester now; I assign these lectures to students and this frees up class time to focus on particular pieces and discussions that we might not otherwise have gotten to.

Deze conclusie ondersteunt een steeds vaker gehoorde toepassing van MOOC’s voor (eigen) onderwijs: verbeteren van de campuservaring (in dit geval door een flipped classroom aanpak).
Jammer was dat vrij snel na afloop van de cursus de video’s niet meer beschikbaar waren (tenzij je ze van tevoren had gedownload). Dit vanwege een nieuwe sessie van de cursus die in september is gestart. Omdat er ook geen dictaat of andere schriftelijke teksten aanwezig waren kon de stof niet meer worden teruggekeken.
Naast de eerder genoemde muzikale fragmenten die in de cursus te horen waren was het grootste verschil bij de Beethoven cursus t.o.v. de History of Rock cursus de assignments. Bij ieder assignment moest een essay worden geschreven. Dit essay werd nagekeken door drie medestudenten. Wanneer je wilde dat je assignment beoordeeld werd, moest je zelf minimaal drie andere assignments nakijken. De beoordelingscriteria waren vooraf bekend. Meestal waren dat drie criteria, waarbij je bij de beoordeling drie keuzes had: “voldoet niet – voldoet – voldoet meer dan gevraagd”. Tevens was er de mogelijkheid een reactie te schrijven bij de beoordeling. De docent gaf de volgende waarschuwing mee (nadruk door mij aangebracht):

The purpose of the homework assignments is to give you an opportunity to engage with the lecture materials; they should not be a source of stress!
When evaluating your peers’ work, please remember that the course is open to students of all backgrounds. This means not only that the person whose work you are evaluating may be much more or less familiar with Beethoven’s music than you are, but that he or she may have a first language other than English.

De assignments waren erg uitdagend, zeker niet eenvoudig en leidden tot een beter begrip van de leerstof. Een voorbeeld van een assignment ter illustratie:

Listen to one of the nine Beethoven sonatas discussed in the course. Imagining that this is a contemporary work or that you lived when it was a new work, write a review of the piece (NOT the performance), preferably incorporating some of the historical and stylistic questions discussed in the course.

De vorm van review leidde tot veel reacties in het forum. De meest genoemde waren:

  • Doordat in het forum veel input kwam van personen die duidelijk erg thuis waren in het vakgebied gaven diverse deelnemers aan niet de assignments te willen maken vanwege de vrees dat ze dan “afgeschoten” zouden worden wanneer ze door zo’n expert beoordeeld zouden worden.
  • Veel deelnemers gaven aan zich niet competent genoeg te voelen om assignments te beoordelen. Ze beschouwden dit als een taak van een docent en niet van een student.
  • Ettelijke deelnemers beklaagden zich over de beoordelingen. Zij hadden het gevoel goed aan de opdracht te hebben voldaan, maar kregen een magere beoordeling en soms ook een reactie waar ze weinig mee konden.
Bij beide cursussen was ik uiteindelijk een drop-out: hoewel ik de intentie had het certificaat te halen is het niet gelukt (missen van een deadline van een assignment bij de History of Rock cursus resp. tijdgebrek en daardoor missen van een assignment bij de Beethovencursus). Dat doet echter geen afbreuk aan wat ik uiteindelijk bij beide cursussen heb opgestoken en hoe ik ze ervaren heb.

Voor de liefhebber tenslotte: de docent van de Beethovencursus, Jonathan Biss, is zelf een uitstekende pianist. Hier is hij (vanaf 57:14) te zien in een masterclass uit 2005 door Daniël Barenboim, waaraan ook de Chinese pianist Lang Lang meedeed.
 
 
 
 

Open: wat vinden studenten daar nu van?

Posted on by

Gebruik van open leermateriaal en andere vormen van open onderwijs zoals MOOC’s in hoger onderwijs zou uiteindelijk voordeel moeten bieden aan de studenten. Het is daarom opvallend dat hun mening vaak ontbreekt wanneer er door een instelling voor hoger onderwijs beleid wordt ontwikkeld op open onderwijs of wanneer een instelling besluit open leermaterialen te publiceren of materiaal van elders te hergebruiken in het eigen curriculum. In de afgelopen week zijn twee onderzoeksrapporten verschenen over hoe studenten tegen open onderwijs aankijken. Suzanne de Kort heeft, in het kader van een stage bij Wikiwijs, in juni een soortgelijk onderzoek gedaan onder studenten in het hoger onderwijs in Nederland. In deze blogpost zal ik de resultaten uit deze drie onderzoeken met elkaar vergelijken.
Het eerste artikel betreft Learner Experiences with MOOCs and Open Online Learning. In dit open beschikbaar boek beschrijven tien studenten ieder hun ervaringen bij het volgen van een MOOC of andere vormen van open education (zoals een tutorial op Youtube). De cursussen varieerden van statistiek tot mixen van electronische muziek. Twee conclusies zijn getrokken door de initiatiefnemer van dit boekwerk, George Veletsianos:

  • Er is een groot verschil tussen verwachtingen en realiteit van open online leren. Studenten komen grote barrières tegen, maar waarderen aan de andere kant ook de toename in flexibiliteit die open online leren hen biedt. De realiteit zoals die door lerenden wordt ervaren zijn noch zo positief als optimisten vaak doen voorkomen, noch zo negatief als critici vaak suggereren.
  • De onderhavige studie bevat onderdelen van een nog incompleet totaalbeeld van de leerervaringen bij open online leren. Onderzoeken vinden plaats in verschillende contexten en focussen op verschillende aspecten van de leerervaring.
Het tweede artikel is een studie van het Educause Center for Analysis and Research. Het is een breed opgezette studie naar keuzes en voorkeuren van undergraduate studenten. De studie is uitgezet onder 1,6 miljoen studenten, waarvan ruim 113.000 uit 14 landen response gaven. Een aantal vragen ging over open leermaterialen en het aanbod van MOOC’s. Conclusies over dit laatste en nauw eraan gerelateerde onderwerpen:
  • Studenten prefereren een blended leren aanpak en beginnen te experimenteren met MOOC’s.
  • Studenten prefereren hun sociale en leeromgeving gescheiden te houden, ook in hun gebruik van technologie.
  • Studenten zijn matig geïnteresseerd in vroegtijdige studeeraanwijzingen gebaseerd op learning analytics.
71% van de studenten geeft aan wel eens OER te gebruiken, maar voor de meesten is dit gebruik marginaal. 10% geeft aan OER altijd te gebruiken. De studenten geven aanbevelingen aan hun instructeurs om OER te gebruiken omdat het in hun ogen zorgt voor extra hulp bij het leren, extra informatiebronnen en verschillende perspectieven op een onderwerp. De bekendheid met MOOC’s is erg laag (75% heeft er nog nooit van gehoord en slechts 3% heeft er wel eens eentje gevolgd. Hiervan heeft 1/3 (dus 1% van het totaal) de MOOC ook afgemaakt, waarvan de helft (dus 0,5% van het totaal) ook een certificaat heeft behaald. Rond de 16% gaf aan colleges niet te bezoeken als deze online beschikbaar zouden zijn. Er is een infographic beschikbaar waarop resultaten zijn weergegeven.
Het onderzoek van Suzanne de Kort was bedoeld om in kaart te brengen de intentie en daadwerkelijk gebruik van aanvullend digitaal leermateriaal dat niet tot de verplichte stof behoort door studenten in het hoger onderwijs in Nederland. Hierbij was het van belang dat het aanvullend materiaal vrij beschikbaar was. Het hoefde niet per se gepubliceerd te zijn onder een open licentie. De survey had een bruikbare response van 162, redelijk gelijk verdeeld over man/vrouw resp HBO/WO. Hier een samenvatting van de belangrijkste resultaten.
  • 27% van de studenten geeft aan gemiddeld één keer per week op zoek te gaan naar aanvullend digitaal materiaal, 21% geeft aan meerdere keren per week op zoek te gaan. Daartegenover geeft ongeveer 3% aan nooit op zoek te gaan naar aanvullend digitaal materiaal.
  • 59% van de studenten geeft aan het behoorlijk tot heel belangrijk te vinden om aanvullend digitaal materiaal te zoeken
  • De belangrijkste redenen om op zoek te gaan zijn het beter begrijpen van de leerstof (64%), het feit dat het snel en op ieder moment beschikbaar is (51%), tijdsbesparing (bv. door alleen de gezochte samenvatting te leren) (47%) en aanvulling op studie via achtergrondinformatie (44%)
  • De belangrijkste redenen om niet op zoek te gaan zijn twijfel over de betrouwbaarheid van de informatie (63%), verlies van overzicht door overload van informatie (38%) en twijfel over de keuze van het juiste leermateriaal (34%)
  • Studenten gaan het meest op zoek naar bronnen voor opdrachten, extra uitleg en samenvattingen
  • Belangrijkste vindplaats van digitaal materiaal: zoekmachines (86%), via vrienden of studiegenoten (51%) en via tips van docenten (38%).
  • 20% van de studenten kende het fenomeen MOOC. 4% van de studenten had wel eens een MOOC gevolgd en minder dan 1% heeft het afsluitende examen gedaan (zonder een certificaat te behalen).

Uit analyses van relaties tussen intentie en daadwerkelijk gedrag van gebruik van aanvullend digitaal leermateriaal is af te leiden dat het daadwerkelijk gedrag vooral afhangt van de kwaliteit van het materiaal en hoe vroeg ze hiermee in aanraking komen. Tevens is uit de veel genioemde redenen om niet op zoek te gaan af te leiden dat docenten in de rol van curator erg belangrijk zijn om studenten ertoe te bewegen op zoek te gaan naar aanvullend digitaal leermateriaal. Zij moeten studenten stimuleren en ook aangeven waar geschikte bronnen te vinden zijn.
De resultaten over MOOC’s zijn bij alledrie de studies gelijkluidend. Veel studenten kennen het fenomeen niet en slechts heel weinig studenten wagen zich er ook aan.

 

Nationale en EU MOOC-portals: goed idee?

Posted on by

Twee berichten die vandaag mijn aandacht trokken. Allereerst het bericht dat Frankrijk met EdX is overeen gekomen een kopie van hun portalsoftware te gaan gebruiken voor een nationaal MOOC-platform. Dit als onderdeel van een eerder dit jaar door het Ministerie van Onderwijs gestart nationaal initiatief France Université Numérique. Het doel van dit initiatief is een portaal te creëren waar alle Franse universiteiten MOOC’s en andere vormen van online leren kunnen aanbieden. Initieel wordt 12 miljoen euro geïnvesteerd in het platform en creatie van MOOC’s. Eind oktober zullen de eerste 20 cursussen worden aangekondigd. Het doel is te starten in januari 2014.
Het tweede bericht betrof een artikel in The Guardian waarin de auteur, Alex Katsomitros, beargumenteert dat een EU-aanpak van MOOC’s dé mogelijkheid is om een echt Europese universiteit van de grond te krijgen die vele voordelen aan Europa kan bieden. Dit idee sluit goed aan bij het Opening Up Education initiatief dat vorige week door de EU is gelanceerd.
Nationaal, Europees of beiden? Of helemaal niet en het overlaten aan iedere instelling afzonderlijk? En zou een initiatief van het Ministerie van OCW om in Nederland een nationaal MOOC-platform te starten, een goed idee zijn? Voor ieder van de mogelijkheden zijn voor- en nadelen te benoemen. Maar bij een start van een nationaal of EU platform staat één ding buiten kijf: het platform zelf is het meest eenvoudige element in het geheel. Om het echt te laten slagen zijn stimulansen nodig. Voor een nationaal platform in Nederland zullen zowel universiteiten als hogescholen gestimuleerd moeten worden om, liefst gezamenlijk, te komen tot ontwikkeling van MOOC’s (bijvoorbeeld in landelijk “erkende” struikelvakken als wiskunde, statistiek, methoden van onderzoek). Stimuleer dan ook hergebruik van de ontwikkelde MOOC’s (dus accepteer niet het Not invented here syndroom). Publiceer, om dat hergebruik beter mogelijk te maken, het materiaal onder een Creative Commons licentie. En investeer in didactisch rijke MOOC’s, waardoor bijvoorbeeld zelfstandige bestudering van de stof beter mogelijk wordt en je minder afhankelijk bent van cohorten.
Kortom: minder vrijblijvendheid voor de instellingen bij een dergelijk initiatief, of het nu nationaal of op EU-niveau is! Dan en alleen dan is het een prima idee om een dergelijk initiatief te starten.
 

ECTS credits voor MOOC's

Posted on by

Donderdag berichtte het commerciële Duitse MOOC-platform Iversity via hun blog dat er voor twee cursussen die door hen worden aangeboden ook ECTS-credits verdiend kunnen worden. Letterlijk stond er:

Good news for all MOOC students on iversity: From now on, participants can obtain ECTS credits in two of our courses – and more will follow. If you’re enrolled and pass the exam at the end of the course, the professors will issue a certificate that your home university will recognize – all over Europe!

Dat lijkt op het eerste gezicht niet minder dan een kleine revolutie: gratis MOOC’s volgen en dan ook nog credits krijgen die dan overal in Europa erkend worden: zou dit de “disruptive innovation” zijn van de MOOC’s die ons al enige tijd te wachten zou staan? Even verder zoeken naar meer informatie leerde me echter dat de werkelijkheid iets minder prozaïsch is dan een eerste lezing van het blogbericht suggereert.

  • Op de website van de EU staat het volgende over erkenning van ECTS credits door instellingen voor hoger onderwijs: “Although ECTS can help recognition of a student’s studies between different institutions and national education systems, higher education providers are autonomous institutions. The final decisions are the responsibility of the relevant authorities: professors involved in student exchanges, university admission officers, recognition advisory centres (ENIC-NARIC), ministry officials or employers.”. Ofwel: de stellige bewering dat de ECTS-credits die met de MOOC’s verdiend kunnen worden erkend zullen worden door je eigen universiteit behoeft enige nuancering. In de comments bij het blogbericht wordt deze nuancering, op vraag van een lezer, ook al aangebracht door Iversity zelf.
  • Doorklikken naar de beide cursussen leert, dat de ECTS-credits pas verdiend kunnen worden als je een offline examen aflegt op de betreffende instelling. Dat is voorstelbaar, mede omdat ik denk dat acceptatie van de credits door andere universiteiten en hogescholen toch minimaal een examen onder gecontroleerde omstandigheden vereist.
  • Of er aan het behalen van een ECTS-certificaat ook kosten zijn verbonden en zo ja, hoe hoog die kosten dan zijn, wordt nergens duidelijk gemaakt. Navraag hiernaar heeft tot op heden geen reactie opgeleverd. Update 23-9: Ik heb het volgende antwoord gekregen over de kosten: “The course is totally free of charge. However, if you choose to take the proctored exam, it will be subject to a processing fee in order to cover the costs of the examination.”

Ondanks deze nuanceringen en onduidelijkheid over de kosten een mooie nieuwe ontwikkeling. Ik ben ook erg benieuwd naar de effecten van deze ontwikkeling. Omdat de betreffende cursussen Duitstalig zijn, zullen Duitsland, Oostenrijk en Zwitserland waarschijnlijk het meeste merken van eventuele effecten.

MOOC en het einde van de universiteit (of toch niet?)

Posted on by

Dit weekeinde verschenen er twee publicaties over de opkomst van de MOOC en wat dit uiteindelijk voor de huidige universiteit kan betekenen. In het artikel The end of the university? Not likely betoogt Eric Beerkens, senior advisor for international affairs aan de Universiteit Leiden, dat de universiteit van nu er over 25 jaar nog steeds is. Daar tegenover is het artikel  van Jonathan Tapson, Acting Dean of the School of Computing, Engineering and Mathematics aan de University of Western Sydney. Hierin betoogt hij dat de voorspelde “tsunami” waarbij er slechts een paar topuniversiteiten zullen overblijven door de opkomst en verdere ontwikkeling van MOOC’s misschien langzamer komt dan eerder voorspeld, maar dat het over 10 tot 20 jaar wel een feit zal zijn. Juist omdat in beide artikelen een volledig tegengesteld resultaat wordt voorspeld is het leerzaam de argumenten te bekijken die door de auteurs worden gebruikt in hun betoog. In de onderstaande tabel staat naast elkaar de opbouw van het betoog van beiden. Leesaanwijzing: invullingen van twee naast elkaar staande cellen hebben geen verband met elkaar; de keuze het in tabelvorm te presenteren is alleen genomen om in beide kolommen een betooglijn te kunnen weergeven.

Universiteit verdwijnt niet Universiteit verdwijnt wel
Belangrijkste drivers voor verandering:
– wereldwijde massificatie van hoger onderwijs (het John Daniels argument)
– toenemend gebruik van ICT in onderwijs en levering ervan
– voortdurende globalisering van hoger onderwijs		 Gartners hypecycle: gaan MOOC’s die volledig doormaken? En waar staan we nu dan?
De combinatie van deze drivers zouden het einde van “de universiteit” betekenen Waarom zouden traditionele universiteiten niet eenzelfde disruptie meemaken als de muziekindustrie, de reiswereld en de boekhandel?
Echter: er bestaat niet één model van “de universiteit”, maar een grote variëteit (juist door de massificatie van het hoger onderwijs). Er is niet één land in de wereld waarin het traditionele model van een universiteit nog representatief is voor het gehele systeem voor hoger onderwijs in dat land. De non-believers gebruiken twee argumenten:
– Er is geen hoge kwaliteit student-docent en student-student interactie mogelijk via alleen online.
– De uitval bij MOOC’s is erg groot
Zelfs het traditionele model van een universiteit zal overleven (whatever dat model ook is). De traditionele universiteit is een van de meest solide systemen ter wereld. Beide argumenten zijn gebrekkig. De meeste universiteiten bieden nu ook geen student-docent interactie. De Socratische dialoog wordt ook nu nauwelijks gevoerd. En de huidige generatie interacteert liever online dan face2face.
Want: zowel onderzoek als onderwijs is in voortdurende ontwikkeling door veranderingen in de economie en de maatschappij. Misschien langzamer dan gewenst, maar het gebeurt. Het uitvalargument: een klein percentage van een grote massa is nog steeds een grote massa. En vanwege de zero costs voor een student, gekoppeld aan het gemak van een vrijheid in tijd en plaats bij een MOOC is het niet zinvol alleen op slagingspercentages te beoordelen.
Maar in de kern verandert het model niet veel. Ergo: vanwege het gemak en de lage kosten is het niet de vraag òf, maar wanneer de disruptie zal optreden.
Die kern is: organisatie rond vakgebieden, accountability door peer review, vergelijkbare loopbaan- en promotiesystemen, verbinding tussen onderwijs en onderzoek, academische staf verantwoordelijk voor zowel onderzoek als onderwijs, op bachelor en master niveau, de nadruk op face2face onderwijs. Dit bestaat al tientallen, zo niet honderden jaren. Het is naief te denken dat een financiële crisis of een nieuw type toelevering zoals MOOC’s een dergelijk solide systeem en bijbehorende waarden fundamenteel zal veranderen. Om dit te voorspellen wordt een analyse gedaan naar waar MOOC´s nu zitten op de Gartner hype cycle. De MOOC-beweging zou nu het trough of disillusionment ingaan.
Christensen en Eyring noemen die vaste kern het DNA van de universiteit. Starten met een opleiding en de keuze om die online te doen is echter geen impulsbesluit, zoals het kopen van een boek of CD wel is.
Dit DNA verandert niet zo eenvoudig In de US is streven naar een plek op een prestigieuze universiteit belangrijk voor een latere maatschappelijke positie.
Institutionele procedures bepalen wat er gebeurt (geschreven in de genetische code) Vergelijking met Windows en Linux. Windows wordt door de massa verkozen vanwege het comfort van ondersteuning, hoewel de prijs hoger is dan Linux. Linux is leidend in de serverwereld. En nu zie je Android (ook een open source operating system) op steeds meer mobiele devices komen. Uiteindelijk wordt de massamarkt gedomineerd door de goedkoopste optie. En dat gaat uiteindelijk ook gelden voor MOOC’s.
ICT ontwikkelingen zullen over 25 jaar alternatieven laten zien, gericht op specifieke doelgroepen. Traditionele universiteiten zullen die ontwikkelingen ook toepassen in hun systemen. Een schoolverlater van nu heeft nog geen keuze. En ook in de komende jaren zullen jongeren die het kunnen betalen opteren voor Harvard.
Maar dit zal de universiteiten zoals we die nu kennen niet overbodig maken, omdat de kern veel meer is dan slechts productie en transfer van kennis. Studenten komen ook voor de academische ervaring en de graad die hen uiteindelijk een baan oplevert en een zekere status De eerste MOOC-adopters zullen de jongeren en hun ouders zijn voor wie “gratis” een overtuigend argument is. Dit is 99% van de mensheid.
Dat wil niet zeggen dat er geen veranderingen zouden moeten optreden. Maar juist vanwege de DNA van een universiteit is er zelden een revolutie van het type dat zo vaak is voorspeld Uiteindelijk (in 10 tot 20 jaar) zal het besef er zijn dat “gratis” niet synoniem is met “junk”
25 jaar terugkijken en zien wat er veranderd is geeft je ook een idee van de veranderingen voor de komende 25 jaar. En dan zie je opmerkelijk weinig veranderingen in het DNA. En dat zal de komende 25 jaar niet anders zijn. Harvard en Cambridge zullen dan gespaard worden om dezelfde reden waarom er nu mensen ook Rolls Royces kopen.
De middenmaat kan nog 10 jaar vooruit met business as usual. Omdat de meesten in de boards over 10 jaar met pensioen gaan zullen ze het probleem niet serieus nemen.

Wanneer ik beide betogen vergelijk valt me op dat beiden ervaringen uit het verleden gebruiken met een bijbehorende theorie (resp. de DNA-theorie en de Gartner hype-cycle) om die ervaringen te extrapoleren naar de toekomst. Het grote verschil voor mij is echter dat Beerkens (de linkerkolom) daarbij ervaringen uit hetzelfde gebied (nl. de universiteit) gebruikt, waar Tapson ervaringen uit andere gebieden gebruikt (zoals de muziekindustrie of de operating systemen). Dat geeft Tapson de extra “plicht” om te betogen dat die ervaringen ook zo maar op het onderwijs kunnen worden toegepast. En dat betoog is er niet.
De toekomst voorspellen is geen exacte wetenschap. En wellicht worden in beide  beschouwingen veel te weinig elementen meegenomen. Beiden gebruiken een theorie waarvan het maar de vraag is hoe valide die is. Maar omdat Beerkens de argumentatie vanuit het verleden opbouwt vanuit de universiteitcontext en niet vanuit een ander gebied zou ik mijn geld op zijn voorspelling zetten.

Ontwikkelingen in MOOC-land

Posted on by

In een tijdsbestek van twee dagen hebben twee van de grote aanbieders van MOOC’s, EdX en Udacity, activiteiten aangekondigd die de moeite van het volgen waard zijn. Zeker omdat bij beide initiatieven Google betrokken is.
Udacity kondigde de start aan van de Open Education Alliance. Dit initiatief heeft als doel vrij beschikbare cursussen aan te bieden die lerenden bijscholen op de nieuwste technologische ontwikkelingen. Of, in hun woorden (bold aangebracht door mij):

The Open Education Alliance is open to any entity committed to reducing the skills gap through education. Members actively generate new educational pathways that are accessible, affordable, and in many cases free of charge to the students.

In dit initiatief werkt Udacity, naast Google, samen met bedrijven en organisaties als AT&T, NVidia en de Khanacademy. Op de site wordt aangegeven dat belangstellenden kunnen deelnemen door onder andere cursussen mee te ontwikkelen en de certificaten die behaald worden te erkennen. De deelnemende organisaties zullen cursussen aanleveren (leid ik af door de voorbeelden van cursussen van enkele van de bedrijven die op de site vermeld staan) en mogelijk zullen ze ook toegang krijgen tot de opvallende studenten die de cursussen aanleveren (interpreteer ik uit een zin van hun missie “connect learners with opportunities in industry”). Of het allemaal (x)MOOC’s zullen zijn is nog onduidelijk, evenals wanneer er kosten worden berekend aan studenten.
EdX kondigde vandaag een partnership aan met Google. Gezamenlijk zullen ze het open source platform Open EdX (verder) ontwikkelen en deze als basis gebruiken voor een initiatief mooc.org. Deze site zal in 2014 live gaan. Op de site kunnen instellingen voor  hoger(?) onderwijs, for-profit bedrijven en individuele docenten zelf cursussen creëren en hosten (in die zin enigszins vergelijkbaar met het reeds bestaande canvas.net). Daarnaast zullen de partners gezamenlijk onderzoek doen naar hoe studenten leren en hoe leren en onderwijzen op campus en elders optimaal kan worden ondersteund door technologie.
Vragen die bij me opkomen bij deze initiatieven:

  • Gaat de content onder een echt open licentie beschikbaar komen?
  • Zullen de cursussen alleen in de vorm van xMOOC’s gepubliceerd worden of worden ook alternatieven (zoals niet-cohortgewijze vormen) toegestaan?
  • Hoe vrij zullen de cursusaanbieders op de platformen zijn in keuzes die ze maken qua onderwerp, vorm en licentie?
  • Zijn er kosten verbonden aan het publiceren op de platforms?
  • Hoe zit het met eigenaarschap van al het materiaal dat op de platformen gepubliceerd gaat worden?

De toekomst zal meer duidelijkheid hierover geven.

MOOC providers

Posted on by


Via Laura Czerniewicz, director van het OpenUCT Initiative aan de University of Cape Town (lid van het Open Courseware Consortium) kreeg ik een overzichtskaart van MOOC-providers gestuurd. Op deze kaart staan alle aanbieders van MOOC-platformen wereldwijd. Dat zijn er momenteel 19, waarvan 8 uit de VS, 2 in Australië en Duitsland en in Brazilië, Guatemala, Ierland, Groot-Brittanië, China, Spanje  en Nederland (OpenupEd) ieder 1. De kaart is hier te vinden.
Een aantal van deze platforms levert MOOC’s of andere vormen van open education (soms zelfs daarnaast ook halfproducten, zoals TED-talks) die elders worden aangeboden en ondertitelen die dan. Dit gebeurt bijvoorbeeld bij Veduca in Brazilië. Anderen richten zich op de lokale markt en bieden cursussen in de betreffende taal, afkomstig van instellingen uit die regio, zoals Ewant uit China. Ik verwacht dat er meer van dergelijke lokale initiatieven zullen ontstaan, omdat daarbij een belangrijk kwaliteitscriterium voor MOOC’s of open content in het algemeen, aansluiten bij de normen en waarden van de gebruiker, wordt ingevuld. Het nog steeds ontbreken van een echt open licentie bij de meeste van de MOOC’s die door de bekende platforms worden aangeboden maakt namelijk de aanpassing van bestaande MOOC’s van elders aan de lokale context onmogelijk.