De waarde van open en open als waarde

In de maanden juli-december 2016 is, onder de vlag van mijn lectoraat OER bij Fontys Hogeschool ICT, door Ben Janssen en mijzelf een onderzoek uitgevoerd om de volgende vraag te kunnen beantwoorden:

Wat leidt tot c.q. is nodig voor een brede adoptie van delen van open leermaterialen en online cursussen en hergebruiken van open leermaterialen en cursussen door docenten in het bekostigde hoger onderwijs in Nederland?

Bij 4 universiteiten en 6 hogescholen zijn totaal 55 semi-gestructureerde interviews afgenomen met docenten, bestuurders en ondersteuners. Onderwerpen die tijdens de interviews aan bod kwamen betroffen ambities met onderwijs, beleid, opvattingen over openheid in het onderwijs, motieven voor delen en hergebruiken, ervaringen met delen en hergebruiken, hindernissen die werden ondervonden, noodzakelijke randvoorwaarden en invloeden die geïnterviewden vanuit hun omgeving ervaren.
>> Download rapport

Resultaten

Analyse van de interviews gaf de volgende resultaten:

  1. Praktijken van delen en hergebruiken zijn erg divers qua openheid. Lang niet altijd zijn gedeelde leermaterialen toegankelijk voor iedereen, vaak ontbreekt een open licentie en processen als copyright clearing vinden niet altijd plaats;
  2. Delen en hergebruiken van leermaterialen (al dan niet volledig open) gebeurt veel. Hierbij wordt vooral het bereiken van een hogere kwaliteit campusonderwijs nagestreefd;
  3. Feedback op gedeelde materialen is cruciaal voor de motivatie van docenten om structureel materialen te delen;
  4. Structureel delen en hergebruik binnen een instelling heeft meer kans van slagen wanneer het gekoppeld wordt aan andere beleidsthema’s zoals internationalisatie of aan onderwijsinnovaties zoals invoeren van blended leren;
  5. Bij een aantal instellingen is sprake van zich ontwikkelend beleid op het gebied van open delen en hergebruiken van leermaterialen;
  6. Docenten zijn onvoldoende bekend met aanwezigheid danwel inhoud van beleid;
  7. De autonomie van de docent in het bepalen om met delen en hergebruiken aan de slag te gaan wordt als cruciaal gezien en als zodanig herkend en erkend, zowel door bestuur als door docenten zelf;
  8. Delen en hergebruiken moeten uiteindelijk ten goede komen aan de student of een positief effect hebben op de efficiency van het onderwijs. Of en hoe dat daadwerkelijk gerealiseerd moet worden, is vaak nog niet duidelijk;
  9. Docenten geven aan dat stimulering in termen van geld, tijd en ondersteuning essentieel is voor hen om tot structureel gedrag van delen en hergebruiken te komen. Tevens moeten voor hen de antwoorden op de what’s in it for me vraag duidelijk zijn;
  10. Publiceren van MOOC’s wordt ervaren als een versneller voor de adoptie van open delen van materialen en cursussen binnen een instelling;
  11. Acceptatie van open delen en hergebruiken op instellingsniveau, zich uitend in beleid dat vertaald is naar concrete activiteiten en richtlijnen, beïnvloedt brede adoptie ervan door docenten positief.

Aanbevelingen

Op basis van deze resultaten zijn de volgende aanbevelingen geformuleerd om brede adoptie van open delen en hergebruiken te realiseren binnen een instelling:

  1. Maak de meerwaarde van open delen en hergebruiken duidelijk aan docenten;
  2. Zorg bij deze verandering van de beeldvorming rondom open delen en hergebruiken bij docenten voor ondersteuning vanuit de instelling: op ICT-gebied, juridische en onderwijskundige aspecten, facilitering in tijd, aanwezigheid van een veilige experimenteerruimte en een ondersteunende infrastructuur;
  3. Formuleer op faculteits-, instituuts- en instellingsniveau beleid op het gebied van open delen en hergebruiken dat de activiteiten die onder aanbeveling 1 en 2 genoemd worden mogelijk maakt;
  4. Koppel beleid inzake open delen en hergebruiken aan andere thema’s van onderwijsvernieuwing of aan thema’s als internationalisering.

Hoe verder?

In mijn lectoraat wil ik voortbouwen op deze resultaten en aanbevelingen. Zo wil ik verder onderzoeken in hoeverre een verbreding van openheid van materialen naar open pedagogy de what’s in it for me vraag voor docenten mede kan beantwoorden. De workshop die Martijn Ouwehand (TU Delft) en ik hebben ontwikkeld is daarbij een middel.
 

Opstellen van een Open Policy


In juli is een tweetal publicaties verschenen die nuttig kunnen zijn voor onderwijsinstellingen die een beleid op openheid van onderwijs (verder aangeduid als open policy) willen formuleren.
De meest uitgebreide publicatie is de OER Policy Development Tool, ontwikkeld door Amanda Coolidge (BC Campus, Canada) en Daniel DeMarte (Tidewater Community College, USA). Deze toolkit gaat uit van het ontwikkelen van een OER policy. Naast een introductie op de toolkit bevat het een drietal componenten. Ieder van die componenten bevat voorbeelden die een instelling kunnen inspireren of die kunnen worden overgenomen bij het formuleren van een eigen policy:

  • Aannames voor ontwikkelen van een instellingsbrede OER policy (zoals Having an institution-level OER policy signifies support from the leadership, and creates a safe environment for faculty to explore the potential of OER)
  • Onderwerpen voor een policy (doelstellingen, statements, licenties, procedures en verantwoordelijkheden, training en professionalisering, technische formats voor leermaterialen, kwaliteitsborging). Deze component bevat een tool waarmee bij ieder van de onderwerpen één of meer voorbeeldteksten kunnen worden geselecteerd die vervolgens in een draft versie van een policy document worden geplaatst
  • Bronnen met verwijzingen naar achtergrondinformatie (zoals voorbeelden van instellingen met een OER policy)

Ongeveer rond dezelfde tijd publiceerde de Commonwealth of Learning een template voor een OER policy. Dit (Word)document is een synthese van een drietal bestaande open policies op instellingsniveau. Niet verrassend worden daarin grotendeels dezelfde issues geadresseerd als bij de hierboven besproken toolkit. Bevindingen uit de toolkit kunnen worden gecombineerd met elementen uit de template om zo tot een policy-document te komen.
Uiteraard zullen beide publicaties niet tot een “druk-op-de-knop” beleidsdocument leiden. De informatie kan echter wel als input gebruikt worden in (beleids)discussies die moeten voeren tot aanscherpen van gedachten omtrent openheid binnen een onderwijsinstelling.
Beide publicaties ondersteunen formuleren van een OER policy, met OER in de opvatting van UNESCO resp. de Hewlett Foundation. In essentie komt die opvatting neer op (in de UNESCO-formulering)

…teaching, learning and research materials in any medium, digital or otherwise, that reside in the public domain or have been released under an open license that permits no-cost access, use, adaptation and redistribution by others with no or limited restrictions. Open licensing is built within the existing framework of intellectual property rights as defined by relevant international conventions and respects the authorship of the work.

Naast strikt leermaterialen kunnen dat ook open cursussen (al dan niet massive) of open tools zijn. En, vanwege de zinsnede “research materials“, vallen in deze opvatting ook open data, en open access publicaties onder deze noemer. Het is daarom, bij gebruik van deze tools, goed te bedenken dat in de uitwerking alleen de smallere opvatting “leermaterialen” wordt gebruikt. Er ontbreken bijvoorbeeld uitspraken over open delen van (research)data. Tenslotte gaat het in beide tools voornamelijk over delen van leermaterialen en niet of nauwelijks over hergebruik, hoewel in de aannames wel over hergebruik wordt gesproken. Beleidsuitspraken over hergebruik (bijvoorbeeld stimuleren ervan) moeten in mijn opvatting ook onderdeel zijn van een open policy document.
Wanneer deze aandachtspunten meegenomen worden zijn beide tools naar mijn mening goed bruikbaar als ondersteuning bij het formuleren van een open policy.
 

MOOCs Guide for Policy Makers in Developing Countries


Vorige week werd bij UNESCO in Parijs het rapport Making Sense of MOOCs, A Guide for Policy-Makers in Developing Countries gelanceerd. Deze publicatie is een gezamenlijk intiatief van UNESCO en de Commonwealth of Learning. De EADTU kreeg van hen de opdracht voor het schrijven van dit rapport. Darco Jansen werd de hoofdauteur en hij vroeg mij of ik mee wilde schrijven. Ik voldeed graag aan dit eervolle verzoek, mede omdat het schrijven aan een dergelijk rapport een uitstekende gelegenheid is om alle literatuur die daarover beschikbaar is eens gestructureerd op een rijtje te krijgen en via onderlinge discussies en de feedback van de reviewers de eigen kennis te vergroten.
De aanleiding voor het maken van dit rapport is in de abstract als volgt beschreven (nadruk door mij aangebracht):

The Guide is designed to raise general awareness amongst policy makers in developing countries as to how Massive Open Online Courses (MOOCs) might address their concerns and priorities, particularly in terms of access to affordable quality higher education and preparation of secondary school leavers for academic as well as vocational education and training. With very few exceptions, many of the reports on MOOCs already published do not refer to the interest and experience of developing countries, although we are witnessing important initiatives in more and more countries around the world.

Het rapport telt acht hoofdstukken:

  1. MOOCs – Setting the Context
  2. The Opportunities and Challenges of MOOCs for Society
  3. The Possible Benefits of MOOCs for Developing Countries
  4. Quality Assurance for MOOCs
  5. Learner-centred Approaches and the Benefits for Learners
  6. Reuse and Adaptation of MOOCs
  7. Collaboration on MOOC Development and Provision
  8. Business Models for MOOCs
Ieder hoofdstuk kent een opbouw:
  • Policy takeaways (geeft de beleidsmaker de lessen van het betreffende hoofdstuk)
  • Introductie
  • Inhoud

Daarnaast bevat het rapport een bijlage met voorbeelden van Government Business Model Canvases en een glossary met gebruikte terminologie.
Met name in de hoofdstukken 2 en 3 zijn de specifieke kenmerken voor MOOC´s in ontwikkelende landen te vinden:

  • Groot belang van toepassing van MOOC’s voor on the job training.
  • Geen grootschalige toegang tot internet. Dit leidt bijvoorbeeld tot initiatieven waarbij een mobiele telefoon wordt gebruikt voor de interactieve elementen in een MOOCen de materialen worden gedownload in een internetcafé of worden verspreid door middel van DVD’s om offline te bestuderen.
  • Er is weinig ervaring bij lerenden met leren in een digitale omgeving zoals door een MOOC wordt geleverd. Dit vereist goede lokale begeleiding. Omdat docenten deze digial literacy skills vaak ook missen is er een grote professionaliseringsbehoefte in dezen.

Commonwealth of Learning heeft dit eerder al geadresseerd via initiatieven als MOOCs for Development (een MOOC platform dat weinig bandbreedte vereist) en de ontwikkeling van een aantal MOOCs op dat platform (zie overzicht).
Naast deze verschillen zijn er echter ook veel overeenkomsten bij publiceren en gebruik van MOOC’s tussen de ontwikkelende en de ontwikkelde landen. Het rapport kan daarom ook waardevol zijn voor beleidsmakers op nationaal en instellingsniveau in de ontwikkelde landen.

MOOC's en het alfabet


Bij de opkomst van MOOC’s in 2012 was het nog overzichtelijk. Er was de tweedeling in typen: cMOOC resp. xMOOC. In Nederland kon toen een Google zoekactie naar MOOC nog voor enige verwarring zorgen met de site van de Marine OnderOfficieren Club in Den Helder, op nummer 2 of 3 in de zoekresultaten (inmiddels is dit resultaat te vinden op pagina 2 van het resultatenoverzicht). Eind 2013 was de MOOC-wereld al wat diverser geworden (zie de blogpost die ik daar toen over schreef). En nu, vier jaar na de oprichting van Coursera, Udacity en EdX, lijkt het wel of iedere letter van het alfabet inmiddels gekoppeld is aan het acroniem MOOC. De onderstaande tabel geeft een overzicht waarbij ik niet de garantie van volledigheid kan geven.

Type Betekenis
aMOOC
bMOOC A Massive, Open, Online Course to think with eyes and hands Bron
MOOC’s vanuit Barcelona Bron
Blended MOOC Bron
cMOOC MOOC met connectivistische opvatting over leren. De OER-MOOC in meerdere opzichten Bron
dMOOC Geen MOOC: diabetes mellitus out of control Bron
eMOOC MOOC’s van Tecsup (Peru). Voornamelijk engineering onderwerpen Bron
In meervoud een jaarlijkse conferentie over MOOC’s in Europa Bron
fMOOC Fitness MOOC: Interaktion von Senioren mit tragbaren Fitnesstrackern in integrierter MOOC Plattform Bron
gMOOC Game-based learning MOOC Bron
Group MOOC. Vergelijkbaar met een MOOC-cafe Bron
hMOOC Geen MOOC: Hookers Made Out of Cocaine (muziekgezelschap) Bron
iMOOC OU Portugal: didactiek gekenmerkt door: learner-centeredness, flexibility, interaction and digital inclusion Bron
Aanduiding voor een MOOC Mastering American e-Learning, maar ook verwijzend naar het daarvoor ontwikkelde platform Bron
jMOOC MOOC´s uit Japan Bron
kMOOC MOOC’s uit Korea Bron
lMOOC Language MOOC Bron
mMOOC Mechanical MOOC Bron
Mobile MOOC Bron
nMOOC Onduidelijk. Lijkt alleen als hashtag #nMOOC voor te komen Bron
oMOOC online platform voor overheidsmanagers Bron
pMOOC Project-based MOOC Bron
qMOOC quality-centered format of MOOC Bron
rMOOC Project Arts and Reconciliation (alleen als archief beschikbaar) Bron
sMOOC Social MOOC Bron
tMOOC Technology MOOC (uit China) Bron
Theological MOOC Bron
uMOOC MOOC’s van de University of Ulsan (Korea) Bron
Understanding MOOCs (lijkt nu een lege huls) Bron
vMOOC Vocational MOOC Bron
Vishnu MOOC (India) Bron
wMOOC Wissensmanagement MOOC (Duitsland) Bron
xMOOC MOOC met informatieoverdracht van docent naar lerende als belangrijkste didactiek (hoorcollegemodel) Bron
yMOOC Geen MOOC: YM Oceanic Culture and Art Museum (China) Bron
zMOOC

Dit overzicht leert:

  • Alleen de letters a en z zijn nog te gebruiken voor nieuwe typen MOOC’s (als je in de naamgeving uniek wilt zijn). 
  • De afko MOOC is niet uniek voor de wereld van online educatie. Naast de al eerder vermelde club in Den Helder heeft het met een voorvoegsel ook betekenis in de medische wereld, de muziekwereld en de kunstwereld.
  • Het plaatsen van een letter voor het acroniem MOOC zou het product dat het aanduidt onderscheidend moeten maken ten opzichte van andere MOOC’s. Het onderscheidende aspect is echter heel divers, variërend van didactiek (zoals cMOOC, iMOOC), afkomst (zoals bMOOC, jMOOC) tot inhoud (zoals fMOOC en tMOOC)
  • Soms is het (in ieder geval voor mij) erg lastig om de rationale achter de naamgeving te begrijpen, c.q. is die rationale niet vindbaar (zoals nMOOC en rMOOC)

Waar leidt dit toe?

<Update>. Waar ik me in de bovenstaande tabel beperkte tot alleen de 1-lettertoevoegingen, wees Willem van Valkenburg me erop dat er ook nog uitbreidingen met meer letters bestaan: 

</Update>
Voor een buitenstaander (en niet alleen voor hen) wordt het er bij deze ontwikkeling niet eenvoudiger op. MOOC werd al steeds meer een containerbegrip met allerlei verschillende opvattingen over wat eronder moet worden verstaan (zie bijvoorbeeld hier). Het onderscheiden van al deze typen maakt het nog meer een jungle, waardoor discussies en opvattingen over het product alleen maar lastiger worden.
Ik zie steeds meer parallellen tussen deze ontwikkeling en de opkomst, hype en normalisering van expertsystemen in de jaren ´80 van de vorige eeuw. Een expertsysteem kende vele definities, maar in essentie kwamen die neer op: een computerprogramma voor oplossen van problemen waarvoor veel kennis en ervaring nodig is. Experts bezitten die benodigde kennis en ervaring.
Net als bij de MOOC’s waren er ook hier overdreven verwachtingen van deze technologie. Uitspraken van toen als “tap de kennis van een menselijke expert af, zet dit in een expertsysteem en je hebt de expert niet meer nodig” zijn vergelijkbaar met uitspraken als “MOOC’s zorgen ervoor dat over 50 jaar er nog maar 10 universiteiten op deze wereld nodig zijn” (bron).
Uiteindelijk zijn expertsystemen geworden tot wat ze nu zijn: een van de tools in de toolkit van een systeemontwikkelaar; geschikt voor oplossen van problemen met bepaalde kenmerken en ongeschikt voor andere. Die genuanceerde blik op de (on)mogelijkheden van expertsystemen werd in 1988 al geboden door de Harvard Business Review. Tegenwoordig is het begrip expertsysteem zelfs onbekend bij de jongere generatie systeemontwikkelaars, maar zijn de technieken erachter ingebed in de platformen.
Ik verwacht dat iets dergelijks over een paar jaar ook met MOOC´s gaat gebeuren: één van de vele wijzen waarop online onderwijs vorm kan worden gegeven, geschikt voor situaties met specifieke kenmerken, ongeschikt voor andere. Het begrip MOOC zal voor een volgende generatie dan net zo onbekend zijn als expertsysteem voor de huidige generatie is. Dat zal de overzichtelijkheid van het vakgebied wel ten goede komen.

Terugblik op de Open Education Week 2016

(Een verkorte en wat aangepaste versie van deze blogpost is gepubliceerd op SURFspace)
(Op 22 maart is er een update geplaatst met een aanvulling van de statistieken)
Een week na afronding van de jaarlijkse Open Education Week (afgekort tot OEweek) een reflectie op dit fenomeen. Het Open Education Consortium startte hiermee in 2012, dus dit jaar mochten we de vijfde uitgave meemaken. Indertijd geïnspireerd door de al langer bestaande Open Access Week (die jaarlijks in het najaar wordt georganiseerd) is het doel van de Open Education Week (bron):

Open Education Week’s goal is to raise awareness about free and open educational opportunities that exist for everyone, everywhere, right now.

Een centraal informatiepunt is de website openeducationweek.org. Instellingen kunnen daar meldingen maken van activiteiten die in het kader van de OEweek worden georganiseerd en ook projecten en andere bronnen uploaden.
Enkele statistieken:

  • Op de website waren 63 projects & resources gepost, variërend van presentaties van OER-initiatieven tot korte introducties op onderwerpen uit open education. In 2015 waren er 93 van dergelijke resources beschikbaar; een afname van 32%.
  • Er waren 45 lokale events en 66 online events aangemeld bij de organisatie van de OEweek. In 2015 waren er totaal 123 events aangemeld; een afname van 10%.
  • Gedurende de OEweek waren er 635 tweets met de hashtag #openeducationwk (volgens hashtracking.com). Kanttekening: deze tool telt 1500 tweets maximaal (inclusief retweets). Deze grens was terugtellend bereikt op 9 maart 2016.

Omdat het aantal tweets voor 2015 niet bekend is kan geen conclusie worden getrokken over of de belangstelling voor deze week toeneemt of niet. Met name lokale events blijven “onder de radar”. Zo zijn veel van de activiteiten in Nederland en Vlaanderen in dit overzicht niet zichtbaar op de website van de OEWeek.
Jure Cuhalev van het Open Education Consortium stuurde me statistieken uit Google Analytics van webactiviteiten gedurende de OEWeek van 2015 en 2016. Die leerden dat er 40% meer gebruikers en 55% meer pageviews waren in 2016 t.o.v. 2015.
Jure vond twitter statistieken moeilijk te achterhalen en, vanwege spam, ook minder betrouwbaar. Na eerste publicatie van deze blogpost meldde Willem van Valkenburg zich via Twitter:
Dat zou betekenen dat 16% berichten uit Nederland zou komen (238 van de 1500 die hashtracking meldt). Of dat geloofwaardig is betwijfel ik een beetje; het zou het wantrouwen van Jure wel bevestigen als tenminste één van beide statistieken niet correct is.

Eigen ervaringen

Zelf heb ik drie events in Nederland bijgewoond. Op woensdag was ik aanwezig bij de EU High Level Conference “Hoger onderwijs voor de toekomst” (website). Een grote inbreng vanuit Nederland, met name bij de parallelsessies die ik heb gevolgd. De presentatie van Jeff Haywood (University of Edinburgh) vond ik het meest de moeite waard. Onder andere presenteerde hij de 11 aanbevelingen uit een al eerder uitgebrachte studie The Changing Pedagogical Landscapes waarvan hij één van de auteurs was. De onderstaande figuur uit dat rapport (door mij aangepast; zie hierna) is één van de verklaringen waarom beleidsbeslissingen er zolang over doen voordat het het chalk level (zoals Haywood dat noemt) bereikt. Bij iedere stap moeten er win-wins opnieuw worden geformuleerd, zo die er al zijn. In de figuur ontbreken naar mijn mening de pijlen van onder naar boven om te illustreren dat vernieuwing ook een bottom-up aangelegenheid is. In de figuur heb ik die aangegeven met de paarse pijlen.
Donderdag was ik aanwezig bij het seminar, georganiseerd door de TU Delft. Ik hield daar zelf een presentatie over implementatie van OER hergebruik bij Fontys Hogeschool ICT. Tevens nam ik deel aan het levendige, afsluitende debat in Lagerhuisstijl.
Ik sloot de week op vrijdag af met het seminar bij SURF, waarbij de projecten die momenteel onder de stimuleringsregeling worden uitgevoerd enkele tussenresultaten presenteerden. Na de pauze hield de SIG Open Education een netwerkdag met het thema adoptie van open online onderwijs onder de titel “is er leven na de projectsubsidie”. Ik mocht een inleiding geven over adoptiemodellen. Paul Gobee van het LUMC presenteerde een casus waarbij adoptie moeizaam ging. In een brainstorm werden ideeën en activiteiten voorgesteld die hem wellicht een stap verder kunnen brengen in zijn adoptievraagstuk.

Evaluatie

Terugkijkend op de events in Nederland kan ik weinig zeggen over de belangstelling voor de online events. Bij de lokaal georganiseerde events was er veel belangstelling in Delft op donderdagmiddag en viel de belangstelling op vrijdag bij SURF mij wat tegen. Van derden hoorde ik mooie geluiden over de eerste sessie van het MOOC café op woensdag. Verder merkte ik dat deze week meer en meer wordt gebruikt om zaken te lanceren. Zo lanceerde de University of Edinburg op maandag een OER policy (hoewel die al eind januari geformuleerd was). In Nederland publiceerde SURF haar rapport over wet- en regelgeving rondom open online onderwijs op dinsdag. Dit rapport kreeg een warme ontvangst, tot een artikel in Trouw aan toe.
Bij de events die ik bijwoonde was het aandeel usual suspects hoog. Voor hen hoeft het doel van deze week, kweken van meer bewustzijn van (on)mogelijkheden van open onderwijs, niet nog eens te worden benadrukt. De eigenlijke doelgroep, de (in termen van Rogers) early majority, zal vooral via de lokale events worden bereikt. Ik ben daarom wel benieuwd naar de ervaringen daarin.
Uiteindelijk zou in deze week de grond vruchtbaar moeten zijn gemaakt en zaadjes moeten zijn geplant bij instellingen die uiteindelijk moeten uitgroeien naar meer activiteiten op het gebied van open online onderwijs. De tijd zal leren of dat gelukt is.

MOOCs in 2015

In 2013 schreef ik al over Class-Central, een portal waar oorspronkelijk een tamelijk compleet overzicht van MOOC-aanbod van diverse platformen te vinden was (op die compleetheid kom ik later terug). Inmiddels biedt de site veel meer dan alleen een overzicht van aangeboden MOOCs. Eén van de opties is toegang tot diverse publicaties over MOOC’s, hun aanbieders of reviews van aangeboden cursussen. In december 2015 publiceerden ze onder de titel MOOC roundup 2015 een aantal rapporten over de ontwikkeling die MOOC’s hebben doorgemaakt in 2015. De rapporten zijn gebaseerd op data die de portal over de bij hen vindbare MOOC’s heeft verzameld. Soms waren de rapporten elders al gepubliceerd.

Enkele statistieken

Het aantal aangeboden MOOC’s groeide in 2015 met 1800 tot 4200 aangeboden cursussen (cumulatief vanaf de start van de portal in 2012; veel van de cursussen bestaan inmiddels niet meer). Totaal 550 universiteiten hebben bijgedragen aan dat aanbod. 2200 cursussen werden in 2015 voor de eerste keer aangeboden. Op basis van ruim 7000 reviews op het portal was de cursus A Life of Happiness and Fulfillment (afkomstig van de Indian School of Business, via Coursera) de best gewaardeerde.
De figuur hieronder toont hoe de 4200 cursussen verdeeld zijn over verschillende vakgebieden. 38,7% van het aanbod bestaat uit betavakken.

Van de 37 providers waarvan het aanbod vindbaar is, is 53,7% afkomstig van Coursera en EdX samen (in een verhouding van ongeveer 2:1), met Canvas.net als 3e met 6,9% van het aanbod.

Trends

Class-central signaleerde een aantal trends:
2015 lijkt het einde van de vrij beschikbare certificaten te hebben ingeluid, in ieder geval bij Coursera, EdX en Udacity. Een snelle check leerde me dat Canvas.net het aan de aanbieder van een cursus overlaat of het al dan niet een certificaat aanbiedt, al dan niet tegen betaling. Coursera is zelfs zover gegaan dat een beoordeling van opdrachten niet meer beschikbaar is in de gratis versie van een cursus. In een reactie op een tweet hierover medio december vroeg ik me al af wat in zo’n geval een MOOC nog onderscheidt van Open Courseware; iets wat ik me nog steeds afvraag. Vaak is een MOOC dan zelfs minder dan Open Courseware, wanneer de leermaterialen bij een MOOC niet onder een open licentie beschikbaar zijn voor hergebruik en aanpassing.

De door Udacity en Coursera gecreëerde credentials (resp. nanodegrees van Udacity en specializations van Coursera) vormen een steeds grotere bron van inkomsten. Hoewel de marktwaarde van dergelijke credentials nog steeds niet duidelijk is, lijkt dat voor cursisten geen beletsel te vormen om ze te verkrijgen.
Een andere trend is dat meer en meer cursussen (tot ultimo 2015 20% van het aanbod) self-paced beschikbaar is. Dit vergroot uiteraard de flexibiliteit in gebruik ervan. Tenslotte signaleert Class-central dat MOOC’s zich meer en meer ook richten op het voortgezet onderwijs, met name als voorbereiding op hoger onderwijs (proeven aan onderwerp en moeilijkheidsgraad of op niveau krijgen van vereiste kennis).

Hoe compleet is het aanbod op Class-central?

Zoals ik eerder meldde leverde Class-central in 2013 een tamelijk compleet overzicht van MOOC-aanbod. Om te zien of dat nog steeds geldt bekeek ik hun overzicht van 37 providers. Een opvallende afwezige daarin is OpenUpEd. Navraag bij Darco Jansen van EADTU leerde me dat hij dit al had aangekaart bij hen. Een van de redenen van niet aanwezig zijn in de lijst was de opvatting die Class-central heeft over wat een MOOC mag worden genoemd:
Class Central is always looking to list quality MOOCs. (…) We focus on what people expect from ‘MOOCs’, that is courses affiliated with prestigious universities and institutions taught by expert faculty“.
Is die laatste karakterisering hun toetssteen voor “quality MOOCs“? En is aanwezigheid op een MOOC-platform dan voldoende? Canvas.net bijvoorbeeld is een open platform waar iedere instelling en zelfs individu een open cursus kan plaatsen, met een minimale check op kwaliteit van het aanbod. Toch is dat aanbod wel zichtbaar op Class-central. Daarnaast zou ik als gebruiker ook een complete cursus, inclusief vrij beschikbare services als feedback op opgaven en examen verwachten. En of die toets uitgevoerd wordt op het aanbod is mij niet duidelijk.
Ze geven ook aan dat het vraagstuk van ontdekken van goed aanbod voor hen nog niet volledig opgelost is. Dat wordt wat mij betreft onderschreven door een vergelijking van hun providers met een overzicht dat bij moocs.co te vinden is. Niet-Westerse aanbieders als Chinesemooc.org, Ewant (beide uit China), OpenEdu (Rusland) en Veduca (Brazilië), aanwezig bij moocs.co, ontbreken bij Class-central, terwijl platforms als Rwaq, Edraak (beide Midden-Oosten) en NPTel (India) wel bij Class-central voorkomen.
Class-central geeft dus niet meer een volledig overzicht van MOOC-aanbod. Desondanks, ook door de vele extra functies die ze aanbieden, blijft het voor mij wel de beste.

Trendrapport open en online onderwijs 2012 t/m 2015

Op 10 november is tijdens de Onderwijsdagen in Rotterdam het vierde trendrapport open en online onderwijs gepresenteerd. Uit het persbericht van SURF hierover haal ik de volgende zinsnede over de inhoud:

In het trendrapport gaan diverse experts in op recente ontwikkelingen en de uitdagingen van open en online onderwijs voor het Nederlands hoger onderwijs. In artikelen en korte intermezzo’s komen bijvoorbeeld de kansen van open education voor het campusonderwijs aan de orde. Verder is er aandacht voor de mogelijke nieuwe doelgroepen voor open en online onderwijs, hun behoeften en de invulling hiervan door onderwijsorganisaties. Andere onderwerpen die aan bod komen zijn de mogelijkheden aan een online onderwijsaanbod ook een valide online toetsing te verbinden en de behoefte aan een landelijke infrastructuur om deze vormen van onderwijs te ondersteunen. Tot slot is er aandacht voor docentprofessionalisering, voor de uitdagingen op het gebied van learning analytics, voor de rol die bibliotheken kunnen spelen bij de ontwikkeling en inzet van open leermateriaal en voor de verbindingen van open education met bijvoorbeeld open access.

>> Downloaden Trendrapport 2015
In deze blogpost wil ik terugkijken op de vier verschenen trendrapporten en bekijken welke trends er in die vier uitgaven te bespeuren zijn. Ik heb hiertoe van de inhoud van ieder trendrapport een wordle gemaakt op wordle.net. Daarbij heb ik de volgende instellingen gebruikt:

  • Language: remove numbers; all words lowercase; remove common Dutch words
  • Lay out: rounded edges; horizontal; maximum 150 words
  • Font: Kenyan Coffee
  • Color: milk paints

Dit gaf de volgende vier resultaten voor de jaren 2012 t/m 2015. Klik op een figuur voor een grotere versie ervan.

2012 2013
2014 2015

Observaties

Hoewel het algoritme achter Wordle.net niet open beschikbaar is (zie hier voor een uitleg waarom), is de interpretatie van een wordle rechttoe-rechtaan:

  • De (maximaal) 150 woorden die het meeste voorkomen in de tekst worden in de wordle opgenomen
  • Hoe vaker een woord voorkomt in de tekst, hoe meer nadruk (in grootte) het woord krijgt. Ik zal de grootte van het woord in een tekst ten opzichte van de andere woorden verder aanduiden als het relatief belang van dat woord

Op basis van deze interpretatie hier enkele observaties over een aantal kernwoorden voor open en online onderwijs. Bedenk daarbij dat de inhoud van de trendrapporten van 2012, 2013 en 2014 geschreven werd in het najaar van resp. 2011, 2012 en 2013. De inhoud van het huidige trendrapport 2015 is geschreven gedurende de maanden juni-september 2015.

  • Onderwijs krijgt een steeds groter relatief belang gedurende de jaren. Hetzelfde geldt voor leren/learning, maar daar is de groei en het relatief belang minder dan bij onderwijs.
  • Online krijgt een steeds groter relatief belang
  • OER heeft in 2012 het grootste relatief belang. In 2014 is het afwezig; in 2015 keert het weer terug. De afwezigheid in 2014 kan worden verklaard door de switch die de SIG dat jaar gemaakt heeft (van SIG OER naar SIG Open Education), evenals de grote belangstelling voor open en online onderwijs (m.n. MOOC’s) in het jaar dat de artikelen in het rapport werden geschreven (2013). Dit wordt ook geïllustreerd door de bestuursreis die SURF toen heeft georganiseerd rondom het thema open en online onderwijs.
  • MOOC(‘s) is afwezig in 2012, heeft het grootste relatief belang in 2014 en heeft in 2015 een ongeveer evengroot relatief belang als OER. Dit illustreert het groeiend besef dat open en online onderwijs meer is dan aanbieden van een MOOC.
  • Bijna parallel aan de groei van het relatieve belang van MOOC(‘s) is ook de groei van analytics. Het komt niet voor in 2012 en krijgt in de volgende versies steeds meer relatief belang.
  • Docent(en) hebben een wisselend relatief belang dat ook minder is dan student(en). Wellicht een aandachtspunt: voor adoptie van open onderwijs is de docent de belangrijkste stakeholder. Hoe komen de inzichten uit deze trendrapporten bij de docenten?
  • Opvallend is dat qua woordgebruik voornamelijk universiteit(en) of instelling(en) voorkomt. Hogeschool is alleen zichtbaar in 2015, met minder relatief belang dan universiteit(en). Ook dit is een aandachtspunt: de eigenheid van een hbo-instelling vertalen naar kansen en toepassingen voor open en online onderwijs. In eerdere blogposts heb ik daar al eens over gefilosofeerd (hier, hier en hier).

Disclaimer

Bij de bovenstaande observaties kunnen de volgende kanttekeningen worden gemaakt:
  • De tekst die is geanalyseerd omvat ook alle referenties die bij de artikelen voorkomen. Alleen de colofon is steeds buiten beschouwing gelaten. Dat verklaart wellicht het voorkomen van enkele (achter)namen in de verschillende wordles.
  • Bij de observaties is geen rekening gehouden met aanwezigheid van synoniemen. Zo wordt OER ook vaak genoemd als “open leermateriaal”, maar die laatste is niet meegenomen in de beschouwingen. Een handmatige telling in het trendrapport 2014 leerde dat OER 20 keer voorkwam, maar open leermateriaal 32 keer. Ter vergelijking: MOOC(‘s) kwam ruim 300 keer voor in die versie.
  • Voor woorden die zowel in enkelvoud als meervoud voorkomen zouden de relatieve belangen moeten worden opgeteld om een beter beeld te krijgen. Dat is niet gebeurd bij de bovenstaande observaties
  • Om vergelijkingen van groei in relatief belang over de jaren heen te kunnen maken moeten de figuren dezelfde afmetingen hebben. Aan die voorwaarde is voldaan: iedere afbeelding is in full size 812×526 pixels.
  • Voor mij onverklaarbaar is de aanwezigheid van jaartallen in de wordles, hoewel de instelling was “remove numbers”.

Conclusies

Om meer en gedetailleerdere uitspraken te kunnen doen over ontwikkelingen door het tellen van voorkomen van begrippen zou een geavanceerdere methode moeten worden gebruikt dan nu is gebeurd. Het zou bijvoorbeeld ook interessant zijn om te kijken welke woorden “hot” waren in 2012 en nu niet meer voorkomen en andersom. Een snelle analyse van de wordles leert bijvoorbeeld dat ocw (open courseware) voorkomt in 2012, maar daarna niet meer. Andersom is proctoring een term die voor het eerst in 2015 voorkomt.
Wat een dergelijke analyse niet leert is of de samenstellers van de trendrapporten belangrijke ontwikkelingen hebben gemist. Omdat steeds de focus van het hoger onderwijs in Nederland is gekozen zijn bijvoorbeeld ontwikkelingen op het gebied van open textbooks niet zichtbaar. Ook lijkt een onderwerp als hergebruik weinig aandacht te krijgen (is alleen in 2015 zichtbaar), terwijl dit met name in het hbo “onder de radar” veel voorkomt.
De resultaten van dergelijke analyses kunnen in ieder geval, met de eerder genoemde aandachtspunten, voor SURF en de SIG Open Education voldoende input voor een volgende versie opleveren.

 
 

Open jouw opvatting over openheid

Gisteren woonde ik het seminar over MOOC research bij, uitstekend georganiseerd door de VOR, divisies ICT en HO. Over de presentatie die ik daar heb gehouden heb ik gisteren al een blogpost geschreven (slides presentatie).
Tijdens dat symposium werd me weer eens duidelijk dat bij open onderwijs de termen zeer slecht gedefinieerd zijn. Bij de sprekers die de moeite namen te omschrijven wat ze onder het begrip MOOC verstaan kwamen drie opvattingen naar voren:

  1. Een MOOC is een digitale cursus, online aangeboden, met massive deelname, met gratis toegang en de leermaterialen gedeeld onder een open licentie.
  2. Een MOOC is een digitale cursus, online aangeboden, met massive deelname, met gratis toegang (maar leermaterialen niet per se beschikbaar onder een open licentie).
  3. Een MOOC is een digitale cursus, online aangeboden, met 25-700 deelnemers, geen gratis toegang, waarbij deelnemers soms vrije inschrijving hebben en soms in cohorten vanuit één organisatie deelnemen. De spreker noemde deze MOOC een Corporate MOOC.

De lezing waarbij de laatstgenoemde opvatting werd gebruikt was getiteld High completion corporate MOOCs. Gegeven de aandacht voor completion rates binnen MOOC´s is het mooi te vernemen wat ervoor kan zorgen dat deze omhoog gaan. Om de waarde van de findings uit deze presentatie te kunnen beoordelen op geschiktheid voor de eigen situatie is de beschrijving van de door de spreker gebruikte opvatting van een MOOC dan wel essentieel, met name omdat het sterk afwijkt van de beide andere gebruikte opvattingen.
Ook het verschil in opvatting over openheid in een MOOC (het verschil tussen opvatting 1 en opvatting 2) heeft gevolgen. Te verwachten valt dat onderzoek naar omstandigheden waarin herbruikbaarheid van MOOC´s vruchtbaar kan zijn bij opvatting 1 andere resultaten zal geven dan bij opvatting 2.
Eerder dit jaar is er via de sociale media al eens gediscussieerd over te gebruiken terminologie (zie hier en hier). SURF heeft onlangs een eerste versie van een begrippenkader online onderwijs uitgebracht, waarin ook open vormen van online onderwijs worden beschreven.
Dat laatste document is een goede aanzet om te komen tot standaardisatie van begrippen, maar ik denk ook dat veel begrippen al teveel zijn ingeburgerd om daarbij tot één gedeelde en gebruikte opvatting te komen. Ook wereldwijd is de status quo nu eenmaal niet anders.
Op zich valt met deze situatie goed te leven. In veel omstandigheden zal het voor de discussie niet zoveel uitmaken of je bijvoorbeeld bij een MOOC wel of niet leermaterialen verwacht met een open licentie, of als je open onderwijs alleen in de klassieke opvatting opvat. Maar daar waar het wel uitmaakt moeten we in staat zijn om a. te herkennen dat het uitmaakt en b. de door jou gebruikte terminologie te communiceren. Als dan blijkt dat er verschillende opvattingen bestaan is dat de winst die je behaalt: het is vaak niet nodig om tot één gemeenschappelijke opvatting te komen, maar je bent wel in staat om de gevolgen van de verschillen in opvatting te kunnen inschatten. Het eerder genoemde SURF document kan het startpunt zijn voor eenieder om zijn of haar eigen begrippenkader op te bouwen.
Bij bijeenkomsten waar researchresultaten uitgewisseld worden zou een dergelijke communicatie echter een verplicht nummer moeten zijn, zodat de waarde van de resultaten door iedere aanwezige binnen het eigen framework van begrippen kan worden ingeschat.
 

MOOC research en de waarde voor het hbo

Vorige week donderdag benaderde Karel Kreijns me of ik vandaag op de MOOC researchdag van de Vereniging Onderwijs Research, divisies ICT en HO een presentatie over MOOC-onderzoek in het hbo wilde geven.
In een eerdere blogpost heb ik al eens gemijmerd over de waarde van het publiceren van een MOOC voor een hbo-instelling. Inmiddels zijn er diverse hbo’s die daadwerkelijk een MOOC hebben gepubliceerd, om redenen die in die blogpost werden genoemd en om internationale aandacht te genereren. Maar inmiddels constateer ik ook dat hergebruik van een MOOC veel meer voor de hand ligt dan produceren ervan, juist omdat de meeste hbo-instellingen een regionaal karakter hebben en veel hbo-instellingen sowieso nog geen stappen hebben gezet om hun onderwijs opener te maken. Delen van leermaterialen gebeurt wel, maar veelal binnen de muren van de instellingen, met de eigen collega´s. Publiceren van een MOOC als eerste activiteit op dit gebied is dan, ook vanwege de kosten, wellicht een brug te ver.
Dat bracht mij op de vraag hoe het hbo kan profiteren van research naar MOOC´s, met name als die research zich zou richten op vraagstukken rondom publiceren van een MOOC. Een nadere karakterisering van research op MOOC leerde me dat er grofweg twee typen research bestaan:

  • Research met MOOC als vehikel (MOOC-as-a-vehicle). Het primaire doel van die research is om MOOC’s te gebruiken om meer inzicht te krijgen in educatieve vraagstukken. De resultaten kunnen wel bijdragen aan een hogere kwaliteit MOOC’s, maar zijn ook buiten de MOOC-context bruikbaar. Een voorbeeld van dit type research is het vraagstuk van learning analytics en beïnvloeden van leergedrag. Resultaten van dit type onderzoek kunnen bijdragen aan het beter begrijpen van MOOC’s, maar dat is niet het hoofddoel.
  • Research met MOOC als onderwerp (MOOC-as-a-subject). Het doel van die research is primair het MOOC-fenomeen beter te begrijpen, met name de invloed van Massive en Open. Hierbij komen zowel educatieve vraagstukken als anderssoortige vraagstukken aan bod (zoals juridisch, financieel en productie). Resultaten van dit type onderzoek kunnen bijdragen aan meer inzicht in educatieve vraagstukken in het algemeen, maar dat is niet het hoofddoel.
Vanuit het gezichtspunt van openheid (waaronder ik zowel vrije toegang als het publiceren van de leermaterialen onder een open licentie waaronder de 5R rechten kunnen worden uitgeoefend) geeft dat het volgende raamwerk:

Hoe groener een cel, hoe beter de research aansluit bij vraagstukken rondom openheid die in het hbo leven. Voor het type research waarbij MOOC als een vehikel wordt gebruikt is er geen verschil in belang voor het hbo tussen publiceren en hergebruik.
Een analyse van de 15 papers uit de research track van de vorige week gehouden eMOOCs2015 conferentie leerde me:

  • 4 papers vielen in de categorie MOOC-as-a-vehicle (met onderwerpen als learning analytics, self-directed learning en invloed van taal op leerprestaties)
  • 11 papers vielen in de categorie MOOC-as-a-subject, publish (met onderwerpen als videoproductie, tooling en invloed van EU privacy wetgeving)
  • er waren geen papers in de categorie MOOC-as-a-subject, reuse.
Dat, en de waarnemingen die ik heb betreffende openheid in het algemeen en in het hbo in het bijzonder, brengt mij op een aantal vragen over de waarde van MOOC research voor het hbo waarop ik vooralsnog geen antwoorden heb:
  • Hoe waardevol is MOOC-as-a-subject research in isolatie voor ontwikkeling van kennis over educatie in het algemeen en de invloed van openheid op (kwaliteit van) onderwijs in het bijzonder? Dit mede omdat MOOC een slecht gedefinieerd begrip is (wat is Massive? wat is open?)
  • Hoe kan het hbo (beter) profiteren van MOOC-as-a-subject, publish research?
  • Hoe belangrijk zijn open licenties bij MOOC’s voor het hbo (vanuit de reuse gedachte)?
  • Zou OER-as-a-subject research (zowel publish als reuse) niet beter aansluiten bij de huidige behoefte binnen het hbo?
Voor “mijn” instituut (Fontys Hogeschool ICT) weet ik de antwoorden wel. Ik ben benieuwd naar de antwoorden bij andere instituten, zowel binnen Fontys als daarbuiten.

 

Rapport Preparing for the Digital University


Deze week verscheen het rapport Preparing for the Digital University, gemaakt in opdracht van en gefinancierd door de Bill and Melissa Gates Foundation. Een van de hoofdauteurs is George Siemens, executive director van het  Learning Innovation and Networked Knowledge Research Lab aan de University of Arlington in Texas. Hij was in 2008, samen met Stephen Downes, de founding father van de eerste MOOC die er gegeven werd (CK08). Verderop in deze blogpost kom ik hierop terug.
Het rapport is het laatste resultaat van het bredere MOOC Research Initiative (MRI). Dit initiatief beoogt  to explore the potential of MOOCs to extend access to postsecondary credentials through more personalized, more affordable pathways.
De subtitel van het rapport luidt: a review of the history and current state of distance, blended, and online learning. Op deze wijze beogen de auteurs een overzicht te geven van de wetenschappelijke onderzoeken die er tot nu toe hebben plaatsgevonden en die van nut kunnen zijn voor verdere ontwikkeling van MOOC’s en digitaal leren.
Het rapport kent de volgende hoofdstukken

  • The history and state of Distance Education. Uit de door hen bestudeerde research literatuur concluderen ze dat “distance education, when properly planned, designed, and supported by the appropriate mix of technology and pedagogy, is equivalent to, or in certain scenarios more effective than, traditional face-to-face classroom instruction. This highlights the importance of instructional design and the active role of institutions play in providing support structures for instructors and learners.” (accentuering door mij aangebracht). Dit omschrijven ze wat uitgebreider in negen observaties over o.a. studenttevredenheid en kwaliteit van research op dit terrein.
  • The history and state of Blended Learning. Ze omschrijven Blended learning (BL) als een mix van traditioneel face2face onderwijs en online leren. Persoonlijk vind ik dat hier wat snel over het verschil tussen onderwijs en leren wordt heengestapt. Hun conclusie: “The findings suggest that advances in technology have fueled the development of BL from a grassroots practice to an emerging research field. The implementation of BL practices by including both online and f2f modes of delivery positively influence student performance, making BL an attractive educational provision. At present, the field of BL is still dependent on the modes of delivery it is derived from, drawing heavily on OL in both theory and in practice. The field of BL is a dynamically changing area, and much of the critique of the existing research noted here is likely to be rapidly addressed in future work. That being said, a critical overview of the field suggests that it can further mature by adopting a digital learning perspective in its own activities.”
  • The history and state of Online Learning. Hun conclusie: “Except for showing no significant difference in effectiveness of online learning compared to traditional face-to-face settings, the studies within the first theme (RS: comparison of online learning with the traditional classroomalso provided directions for further research, necessary to better understand what practices work best in online settings. Our findings further indicate that contemporary research into online learning almost univocally agrees that structured online discussions with clear guidelines and expectations, well-designed courses with interactive content and flexible deadlines, and continuous instructor involvement that includes the provision of individualized, timely, and formative feedback are the most promising approaches to fostering learning in online environments. However, this also implies a more complex role for the instructor in online settings, and a need for research on instructional strategies that would allow for the development of student self-regulatory skills.” (accentuering door mij aangebracht). Deze conclusie geeft inzicht in de eisen die je aan een online leeromgeving mag stellen, maar lijken me ook nogal vanzelfsprekend. Het illustreert wel de complexiteit van het aanbieden van online leren.
  • The history and state of Credentialling and Assessment. Gegeven het eerder beschreven doel van het MRI is dit een logisch onderdeel van deze studie. In hun studie wijzen ze o.a. op het grote verschil tussen Europa en de US op dit gebied: Europa heeft een Bologna accoord en het daaruit ontstane ECTS systeem. Dat geeft een solide basis voor breder erkennen van elders behaalde studiepunten. Hun conclusie luidt dat in de laatste 20 jaar er een spanning is ontstaan tussen enerzijds de wens naar standaardisatie van hoe credentialsmoeten worden gemeten en anderzijds de vele mogelijkheden die er zijn ontstaan om deze standaardisatie te realiseren. De voornaamste onderzoeksgebieden die zij onderkennen zijn:
    • student engagement and learning success,
    • MOOC design and curriculum,
    • self-regulated learning and social learning,
    • social network analysis and networked learning, and
    • motivation, attitude and success criteria

In hun voorwoord trekken de auteurs al de volgende conclusie:

During the process of completing this report, it became clear to us that a society or academic organization is required to facilitate the advancement and adoption of digital learning research. Important areas in need of exploration include faculty development, organizational change, innovative practices and new institutional models, effectiveness of teaching and learning activities, the student experience, increasing success for all students, and state and provincial policies, strategies, and funding models.

Ofwel: veel activiteiten op diverse gebieden zijn nodig om de verdere ontwikkeling van digitaal leren (al dan niet met MOOC’s) effectief te laten zijn. Wie of wat daarbij het voortouw zou moeten nemen is niet aan te geven, maar gezien de omvang en breedheid van activiteiten denk ik dat nog meer samenwerking, tussen instellingen, tussen instellingen en overheden, nationaal en internationaal, onderzoek én implementatie, noodzakelijk is.
Na het verschijnen van dit rapport verscheen er stevige kritiek van Stephen Downes op de opzet en de gebruikte onderzoeksmethode. Zoals in mijn inleiding al aangegeven waren ze partner in crime in 2008. “This is a really bad study” waren de woorden van Downes. Dit leidde tot een serie blogposts van Downes en Siemens met woord en weerwoord die tot op dit moment loopt en ongetwijfeld nog zal worden voortgezet met nu Siemens aan zet. De discussie spitst zich toe op de volledigheid van de literatuurstudie, onvoldoende onderbouwen van evidence en onvoldoende aandacht geven (in de ogen van Downes) aan de ontwikkelingen, waarvan hij en Siemens aan de wieg stonden. In chronologische volgorde: