Tag Archives: Gen AI

Wordt Open Education Gen-AI Education?

Posted on by

Onlangs gaf David Wiley een webinar met de prikkelende titel Why Open Education Will Become Generative AI Education. In dit webinar beschreef hij de ontwikkeling van het thema OER in de afgelopen 25 jaar en gaf aan welke parallellen hij zag met de huidige ontwikkelingen rond Gen-AI. Daaruit leidde hij af welke invloed Gen-AI kan hebben op OER.

In het webinar leerde ik hoe Gen-AI bestaande issues rond OER kan adresseren, mogelijkheden met OER kan vergroten en mede daardoor gelijkwaardigheid en inclusiviteit van onderwijs kan vergroten. Dit zijn veelbelovende ontwikkelingen. In deze blog bespreek ik het webinar van David en geef vervolgens een reflectie op wat dit voor Nederland kan betekenen en of we, gegeven de titel van het webinar, daadwerkelijk naar een toekomst op weg zijn waarin OER geen rol meer lijkt te spelen ten faveure van Gen-AI.

Webinar

Maken en delen van OER is een middel om het uiteindelijke doel te bereiken: toegang tot onderwijs beter mogelijk maken voor iedere wereldburger (SDG 4 van UNESCO). Dit doel kan nu efficiënter bereikt worden door Gen-AI te gebruiken om een eerste versie van OER te genereren, aan te passen en te remixen.

Huidige bestaande OER en de OER die ontstaat door Gen-AI zo in te zetten noemt hij Traditional OER. Daarnaast maakt Gen-AI ook Generative OER mogelijk: OER, niet ontworpen om direct inzetbaar te zijn in het onderwijs, maar om, als onderdeel van een AI-systeem, OER te genereren. Hij onderscheidt daarbij twee mogelijke vormen:

  • Open prompts: met name prompts om meer complexe leermaterialen te genereren. Hij schat in dat die >1000 woorden kunnen omvatten. Open prompts maakt localizing mogelijk door de prompt aan te passen aan de (lokale) context waarin het te genereren materiaal gebruikt gaat worden. Denk bijvoorbeeld aan toevoegen of aanpassen van een opdracht over de taal van het te genereren materiaal.
  • Open weights: open delen van de gewichten van het achterliggende taalmodel. Daarmee kunnen taalmodellen blijvend aangepast worden voor onderwijsdoeleinden (fine-tuning). Met bepaalde technieken kunnen modellen compacter worden gemaakt, waardoor ze lokaal kunnen worden gebruikt op hardware van de gebruikers (zoals laptops en smartphones), desnoods zonder dat een internetverbinding nog nodig is. Dit draagt bij aan meer gelijkwaardigheid, toegankelijkheid en inclusiviteit van het onderwijs; belangrijke morele waarden voor de open beweging. Gecombineerd met technieken om maar een deel van de gewichten aan te hoeven passen wordt de ecologische voetafdruk van het gebruik van dergelijke modellen verkleind.

Zowel Open prompts als Open weights zouden onder een Creative Commons licentie gedeeld moeten worden die de 5R rechten mogelijk maakt. In feite zijn dat dan twee nieuwe typen OER.

David beschouwt fine-tuning als het remixen van aanwezige data met pedagogische/didactische data. In tegenstelling tot aanpassen van een prompt wordt daarmee blijvende geschiktheid voor onderwijstoepassingen mogelijk.

Zowel Traditional OER als Generative OER kunnen invloed hebben op het onderwijsproces. OER verwijdert copyright beperkingen als een hindernis voor onderwijs. Hierdoor wordt een type onderwijs mogelijk die zonder OER niet of niet praktisch te realiseren is (OER-enabled pedagogy, of, breder, Open pedagogy). Gen-AI verwijdert toegang tot expertise als hindernis voor onderwijs. Analoog aan OER-enabled pedagogy maakt Gen-AI enabled pedagogy onderwijs mogelijk die zonder Gen-AI niet of niet praktisch te realiseren is. Hoe dergelijk onderwijs er dan uitziet, met name gecombineerd met OER, is de moeite waard om verder te onderzoeken.

David komt tot de conclusie dat, wanneer we werkelijk toegang tot onderwijs beter mogelijk willen maken, we de focus moeten verplaatsen van Traditional OER naar Generative OER omdat hiermee zowel een grote verbetering van toegang tot onderwijs als effectiviteit van de mogelijkheden worden bereikt. Wel is het werken met Generative OER meer technisch van aard dan met Traditional OER, maar het heeft ook meer potentieel in aanpakken.

Mijn reflectie

In het webinar presenteert David een redeneerlijn die in mijn ogen reëel en realistisch is. Ontegenzeggelijk is de impact van Gen-AI op efficiency bij het maken van OER. Dat is al eerder door meerdere anderen geconcludeerd en in een eerdere blogpost heb ik dat ook al aangegeven. Die impact is potentieel groot, want “geen of te weinig tijd” is nog steeds een belangrijke hindernis om met OER aan de slag te gaan.

Wat ik mis in het webinar is aandacht voor de bezwaren tegen Gen-AI. Deze zijn al vaker beschreven (zoals privacy issues, bias in de resultaten door bias in de data waarmee de taalmodellen zijn getraind en, daardoor, issues met diversiteit en inclusiviteit), maar lijken meer aandacht in de Europese context te krijgen. Denk bijvoorbeeld aan de GDPR-wetgeving en de Eu-AI act. In de aanloop naar dit webinar ontspon zich op een forum een discussie over de morele waarden van de beweging van OER (The Soul of Open Educational Resources) en hoe (Gen-)AI zich daartoe verhoudt. Voor meer informatie hierover: zie deze blog van Heather Ross en een reactie van Stephen Downes. UPDATE: Martin Weller heeft een mooie reflectie geschreven op het webinar, met een focus op deze morele waarden van OER.

Uiteindelijk moet de impact op het onderwijsproces duidelijk zijn om echte meerwaarde te kunnen bepalen. In de historie van OER heeft het lang geduurd voordat die aandacht er was (Open Pedagogy). We kunnen daarvan leren door nu al aandacht aan GenAI-enabled pedagogy te schenken. Een eerste idee uit de categorie laaghangend fruit in deze blogpost.

Duidelijk is dat, naast de al bestaande skillset voor docenten en onderwijsontwikkelaars, er skills nodig zijn om met Generative OER aan de slag te gaan. De vraag voor mij is of, met name waar het gebruik maken van de Open weights betreft, dit voor iedere onderwijsprofessional haalbaar is of moet zijn. Werken met Open prompts lijkt beter haalbaar voor docenten en onderwijsontwikkelaars op zowel de kortere als de langere termijn.

Ik zie veel potentiële waarde in het streven naar lokale modellen, gebruik makend van Open weights en gevoed door OER. Dit zou ook kunnen leiden tot een lagere ecological footprint, minder afhankelijkheid van Big Tech en beter kunnen voldoen aan de GDPR wetgeving. Als basis voor dergelijke modellen lijken Common Corpus  en GPT-NL interessant. Fine-tuning met OER maken repositories met kwalitatief goede OER noodzakelijk. Traditional OER en de daarbij horende activiteiten zal daarom blijven bestaan naast Generative OER.

Mijn aanbevelingen

Gebaseerd op mijn reflectie heb ik de volgende aanbevelingen:

  • Stimuleer het delen van open prompts. Voeg dit toe in de vocabulaire voor type leermateriaal bij de metadata
  • Blijf investeren in huidige activiteiten rond OER (zoals het doorontwikkelen van repositories, aandacht voor Open Pedagogy en trainingen voor verkrijgen van benodigde skills). Investeer daarnaast in mogelijk maken van Generative OER, zowel Open prompts als Open weights.
  • Onderzoek hoe GenAI-enabled pedagogy ingevuld kan worden. Dit adresseert mede de invalshoek van OER als middel om de waarden waar Open Education voor staat te realiseren (zie ook de blog van Martin Weller).

De momenteel lopende groeifondsprogramma’s Impuls open leermateriaal en NPuls lijken de aangewezen partijen om hierin het voortouw te nemen. Binnen Npuls zouden de transformatiehub Digitale leermaterialen en de pilothub Studiedata en AI dit gezamenlijk kunnen oppakken. Samenwerking met NOLAI voor de invulling van Gen-AI enabled pedagogy ligt voor de hand.

Een aantal van deze aanbevelingen is wellicht, in een breder kader dan OER, al her en der opgepakt. Het zou goed zijn als in die al lopende activiteiten er aandacht komt voor de rol van OER, ook als middel voor realisatie van morele waarden gelijkwaardigheid, diversiteit en inclusiviteit.

Mijn afsluitende conclusie is dat Open Education niet vervangen gaat worden door Gen-AI education, maar dat Gen-AI education een potentieel waardevolle vorm van Open Education gaat worden. Mutatis mutandis zullen Traditional OER niet vervangen worden door Generative OER, maar zullen beide vormen hun waarde hebben in de toekomst.

Bronnen

De presentatie van David Wiley is hier te zien.

Het webinar is mede gebaseerd op twee blogs die hij eerder schreef: How Generative AI Affects Open Educational Resources en Why Generative AI Is More Effective at Increasing Access to Educational Opportunity than OER.

Gen-AI en OER, enkele kennisclips

Posted on by

Photo by GR Stocks on Unsplash

Op verzoek van ORCA.nrw (Open Resources Campus in Nordrhein Westfalen) heb ik onlangs drie korte video’s gemaakt over Generative AI en OER. Deze zijn nu, na wat bewerkingen door hen, open gepubliceerd op een pagina KI (Kennt Ihr schon?).

In de video’s komen achtereenvolgens de mogelijkheden, risico’s en benodigde competenties aan bod. De slides die ik bij iedere video heb gebruikt zijn beschikbaar. Zowel video’s als slides zijn Engelstalig.

Using Gen-AI for Open Educational Practices: Potentials

Slides pptx pdf

Using Gen-AI for OER: Challenges & Risks

Slides pptx pdf

Competences and skills needed for using Gen-AI and OER

Slides pptx pdf

AI & Open Educational Practices | Open Pedagogy

Posted on by

Afbeelding van Annett Zobel via Pixabay

(Update 26 November: an English version is available.)

Vorige week zat ik bij de SURF Onderwijsdagen in een panel, georganiseerd door Marc Dietzenbacher en Tijmen Leurs van de MBO-Raad. Het onderwerp was “AI een boost voor open leermaterialen?”

In de voorbereiding op dit panel heb ik voortgebouwd op een eerder verschenen blog over de impact van (Gen-)AI op open leermaterialen, geschreven door het Zone 42 collectief. Bij de jaarlijkse OEGlobal conferentie medio oktober was er veel aandacht voor dit onderwerp, zowel in het programma als in de wandelgangen. In grote lijnen werden daar dezelfde denkrichtingen gevolgd als in de blog. Veel aandacht was er voor de ethische vraagstukken die samenhangen met de EDI-principes (Equality, Diversity, Inclusion) in onderwijs. Door de vrije toegang en rechten op aanpassing zijn open leermaterialen belangrijke middelen bij het realiseren van deze principes. Daarom pleit ik om, naast de “gewin, gemak, genot”-insteek van gebruik van (Gen-)AI bij open leermaterialen, ook aandacht te geven aan de EDI-insteek. Dat kun je bijvoorbeeld doen door alle, door Gen-AI opgeleverde, resultaten kritisch vanuit de EDI-bril te beschouwen en er, indien nodig, aanpassingen op aan te brengen.

Nauw hieraan gerelateerd zijn de meest recente ontwikkelingen rond ChatGPT custom. Een mooie ontwikkeling met veel potentie, maar het vereist wel een plus-licentie op ChatGPT (à $20 per maand) om dit te kunnen gebruiken. Inzetten hiervan in het onderwijs werpt de inclusievraag op: mag cq wil je studenten verplichten een licentie op deze tool aan te schaffen? Wettelijk gezien moet een instelling een alternatief bieden voor leermateriaal dat wordt gebruikt in het onderwijs. Maar daarnaast spelen, net als bij andere digitale hulpmiddelen, de verplichting tot een verwerkersovereenkomst met de leverancier en de privacy-aspecten van deze tool. Deze tool zou daarom onderdeel moeten worden van het voorgenomen afsprakenstelsel, zoals verwoord in het rapport Verklaring Nationale Aanpak Digitale en Open Leermaterialen.

Zeven principes van Creative Commons

Eén van de vraagstukken rond open leermaterialen en (Gen-)AI betreft het auteursrecht. In dat kader heeft Creative Commons zeven principes  geformuleerd voor het reguleren van generatieve AI-modellen om de belangen van makers, mensen die bouwen op de commons en de belangen van de maatschappij in de duurzaamheid van de commons te beschermen:

  1. Het is belangrijk dat mensen de mogelijkheid blijven houden om bestaande werken te bestuderen en analyseren om nieuwe werken te creëren. De wet moet ruimte blijven laten voor mensen om dit te doen, ook door het gebruik van machines, en tegelijkertijd rekening houden met maatschappelijke zorgen die voortkomen uit de opkomst van generatieve AI.
  2. Alle partijen moeten samenwerken om manieren te definiëren waarop makers en rechthebbenden hun voorkeuren kenbaar kunnen maken met betrekking tot AI-training voor hun auteursrechtelijk beschermde werken. In de context van een afdwingbaar recht moet de mogelijkheid om af te zien van dergelijk gebruik worden beschouwd als het wetgevingsplafond, aangezien opt-in en op toestemming gebaseerde benaderingen grote delen van de commons zouden opsluiten vanwege de buitensporige lengte en reikwijdte van auteursrechtelijke bescherming, evenals het feit dat de meeste werken op geen enkele manier actief worden beheerd.
  3. Daarnaast moeten alle partijen ook samenwerken om de implicaties voor andere rechten en belangen aan te pakken (bv. gegevensbescherming, gebruik van iemands gelijkenis of identiteit). Dit zal waarschijnlijk interventies vereisen via andere kaders dan het auteursrecht.
  4. Er moet speciale aandacht worden besteed aan het gebruik van traditionele kennismaterialen voor het trainen van AI-systemen, inclusief manieren voor beheerders van gemeenschappen om toestemming te verlenen of in te trekken.
  5. Elke wettelijke regeling moet garanderen dat het gebruik van auteursrechtelijk beschermde werken voor het trainen van generatieve AI-systemen voor niet-commerciële doeleinden van algemeen belang, inclusief wetenschappelijk onderzoek en onderwijs, is toegestaan.
  6. Ervoor zorgen dat generatieve AI resulteert in breed gedeelde economische welvaart – de voordelen die ontwikkelaars van AI-modellen halen uit toegang tot de commons en auteursrechtelijk beschermde werken moeten breed gedeeld worden onder alle bijdragers aan de commons.
  7. Om tegenwicht te bieden aan de huidige concentratie van middelen in de handen van een klein aantal bedrijven moeten deze maatregelen worden geflankeerd door overheidsinvesteringen in publieke rekeninfrastructuren die tegemoet komen aan de behoeften van gebruikers van deze technologie in het algemeen belang op wereldwijde schaal. Daarnaast moet er ook publiekelijk geïnvesteerd worden in trainingsdatasets die de hierboven geschetste principes respecteren en als gemeengoed beheerd worden.

Vooral principe 7, benadrukken van het belang van sterke publieke infrastructuren en een sterke rol voor overheden, vind ik belangrijk. Dit past ook goed bij de voortdurende aandacht in Nederland voor beschermen van publieke waarden in het onderwijs. In zijn meest recente blog verwoordt de éminence grise van open afstandsleren, de Canadees Tony Bates, het als volgt (nadruk aangebracht door mij):

Digital learning is not only a goal in itself but more importantly a necessity if higher educational institutions are to produce the kind of students needed in a fast-changing world, but that requires a hard look at the curricula we offer and our teaching methods to make sure they are fit for purpose, as well as adopting new technologies and infrastructures. We need to cut the rhetoric and the hype, and start to re-design thoughtfully and pragmatically our institutions and our teaching for this new emerging world. Digital learning is central to this.
However, we need to act with an understanding that this alone will not be enough. The biggest problem we face after climate change is the increasing divide between the very rich and the rest of us. Tinkering with access, digital learning, and re-design of teaching and institutions will not of itself address this great divide. Digital learning needs to go hand-in-hand with political and economic change if we are to avoid becoming slaves to the mega-rich.

Effect van (Gen-)AI op gebruik van open leermaterialen in het onderwijs

Tijdens de paneldiscussie bij de Onderwijsdagen kwam ook naar voren hoe uiteindelijk studenten de impact van (Gen-)AI en open leermaterialen kunnen ervaren. Dit issue kan worden geformuleerd als:

Welke impact heeft AI op Open Educational Practices en Open Pedagogy?

De begrippen Open Educational Practices en Open Pedagogy worden gebruikt voor die onderwijspraktijken waar open leermaterialen of andere vormen van openheid (zoals open netwerken en open platforms) een essentiële rol spelen (zie hier voor de definities van beide begrippen).

Laaghangend fruit hierbij is gebruik van Gen-AI door studenten bij het maken van open bronnen. Gen-AI zou studenten in dit proces kunnen ondersteunen door het geven van suggesties, de kwaliteit van het schrijven te verbeteren, of eerste concepten van content te genereren.

Twee mooie bronnen die als inspiratie gebruikt kunnen worden om AI in open onderwijsprocessen te gebruiken zijn de volgende:

101 Creative ideas to use AI in education, A crowdsourced collection (link).

Uit het voorwoord van dit in juni van dit jaar verschenen open boek:

“This collection captures where we are at this moment in time with our collective thinking about potential alternative uses and applications of AI that could make a real difference and potentially create new learning, development and opportunities for our students and educators, for all of us. The collection is based on an open invitation to all educators and students to share ideas on how AI tools such as ChatGPT, DALL·E 2, and Midjourney, for example, could be used in inventive ways for learning, teaching and scholarship.

We are mindful of the importance of critical and ethical use of AI in education settings and more generally.”

De plannen van de editors van deze uitgave zijn om komend jaar twee nieuwe uitgaven te publiceren, respectievelijk gericht op onderwijsprofessionals en op studenten die als onderdeel van hun leertraject open beschikbare bronnen creëren. Beide uitgaven zijn crowd-sourced. Tot einde van dit jaar kunnen ideeën worden ingestuurd:

Creative and critical engagement with AI in education (link)

Deze website van het metaLab (at) Harvard is onlangs gelanceerd. Het doel van deze website is: (uit het persbericht)

This project offers:

  • A searchable collection of educator-designed assignments for integrating AI into syllabi, and doing so responsibly and critically
  • Understandable AI concept descriptions designed to outline essential concepts and skills in a streamlined guide
  • Recommendations for educators on how to begin their AI journey in the classroom
  • An interactive tutorial on using large language models
  • A resource list for further AI exploration, including related projects

Hoewel deze website een bredere opzet heeft dan alleen verzamelen van gebruik van AI in het onderwijs, kunnen met name de assignments op deze site inspiratie geven voor AI bij Open Educational Practices en Open Pedagogy. Evenals bij de 101 Creative Ideas wordt ook hier crowd sourcing gebruikt voor het opbouwen van de collectie assignments.

Impact van Gen AI op open leermaterialen

Posted on by

Deze blog is een productie van Zone 42 (Jan-Bart de Vreede (Kennisnet), Ben Janssen (OpenEd Consult) en mij).

Inleiding

Sinds de beschikbaarheid van Chat-GPT eind 2022 zijn zeer veel publicaties verschenen over de impact van deze tool op onderwijs. In het kielzog van Chat-GPT is ook veel belangstelling ontstaan voor allerlei andere op AI gebaseerde tools die in staat zijn kwalitatief hoge output te genereren op vraag van gebruikers. De basis van deze tools zijn de Large Language Models (LLM), neurale netwerken die getraind zijn met grote hoeveelheden data. Deze tools worden aangeduid door het acroniem Gen AI (Generative AI).

Voor deze blog hebben we een groot aantal publicaties bekeken (zie een overzicht onderaan deze blog). Thema’s die in allerlei varianten in deze publicaties worden genoemd:

  • Voorbeelden van hoe Gen AI kan worden ingezet in onderwijs en kan leiden tot varianten op of nieuwe didactische werkvormen. In het rapport Innovating Pedagogy 2023 van de OU-UK wordt Pedagogies using AI tools als één van de 10 trends van 2023 aangeduid. Genoemd worden toepassingen als Personal tutor, Collaboration coach, Study buddy, Exploratorium (a place to explore the world and ignite curiosity by providing tools that enable learners to find, play with, and explore data.) (Kukulska-Hulme et al, 2023).
  • Toetsen en assessments. Gen AI noodt tot herzien van vorm van toetsen om te voorkomen dat toetsresultaten volledig door Gen AI worden gegenereerd door lerenden.
  • Ethische aspecten (afhankelijkheid van grote commerciële spelers, bias in de data, impact op milieu bij doorrekenen van taalmodellen, onduidelijkheid over welke data gebruikt worden, auteursrecht schendingen).
  • Het potentieel van AI om bestaande ongelijkheden in het onderwijs te vergroten. Omdat voor AI-ondersteunde leermaterialen een goede toegang tot het internet benodigd is, bestaat het risico dat mensen zonder een dergelijke toegang niet van dat potentieel gebruik kunnen maken.
  • De achterliggende taalmodellen zijn niet evenredig gevoed met bronnen van over de hele wereld in allerlei talen. Dat leidt tot een bias in de resultaten, omdat niet alle perspectieven van waaruit een onderwerp kan worden benaderd voldoende vertegenwoordigd zijn.

Veel van deze thema’s zijn overigens niet specifiek voor Gen AI, maar zijn ook aandachtspunten bij inzet van EdTech in het onderwijs. Zo is goede toegang tot internet voor de meeste technologieën in het onderwijs een conditio sine qua non.

Maatregelen om ervoor te zorgen dat AI-ondersteunde leermaterialen toegankelijk zijn voor lerenden, ongeacht hun geografische of sociaaleconomische context, zijn dus essentieel voor het bevorderen van kansengelijkheid in het onderwijs.

Impact op open leermaterialen

De thema’s die in de inleiding al genoemd zijn, gelden veelal ook voor open leermaterialen. De specifieke kenmerken van open leermaterialen (vrij beschikbaar en rechten op lokale opslag, (her)gebruik, aanpassing, mixen met andere bronnen en verdere verspreiding) kunnen ervoor zorgen dat er voor open leermaterialen een specifieke impact bestaat. In publicaties worden de volgende thema’s genoemd:

  • Gen AI kan tijd besparen bij ontwikkeling of aanpassing van open leermaterialen. Een voor de hand liggend scenario, bij gebruik van ChatGPT, is dat gegenereerde teksten als eerste draft wordt gebruikt, waarna de menselijke materiedeskundige de draft verder bewerkt. Denk bij aanpassing bijvoorbeeld aan vertaling van de leermaterialen en lokalisatie (bijvoorbeeld door in de opdracht aan ChatGPT voorwaarden te stellen aan de content, zoals “gebruik alleen voorbeelden die in Nederland spelen”).
  • Auteursrechtelijk eigendom van door Gen AI gegenereerde werken is belangrijk bij het delen onder een Creative Commons licentie, en dit laatste is een probleem. Immers: om open leermaterialen te kunnen publiceren onder een open licentie is duidelijkheid over de bronnen die zijn gebruikt bij de ontwikkeling van het werk nodig om een juiste naamsvermelding te kunnen doen. Die duidelijkheid ontbreekt echter veelal.
  • Gepersonaliseerd leren. Sommige AI-algoritmes kunnen aanbevelingen op maat ontwikkelen voor open leermaterialen op basis van de prestaties, leervoorkeuren en ontwikkelingsgebieden van een lerende. Dit betekent dat lerenden open leermaterialen kunnen gebruiken die aan hun eisen voldoen, waardoor het leertraject boeiender en effectiever wordt. De vraag is hier wel of met gebruik van deze algoritmen de privacy van de lerende voldoende gewaarborgd wordt.
  • Van zoeken naar genereren. Zoekmachines voor open leermaterialen proberen leermaterialen op basis van educatieve metadata te indexeren en zo beter vindbaar te maken. Hoe lang duurt het nog voordat het niet zozeer gaat om het vinden van het juiste leermateriaal (vulkanen voor groep 7 van een vrije school) naar het genereren van het leermateriaal op basis van de tekstopdracht (prompt), die dan dus een genereeropdracht gaat worden.
  • Het maken van goede toetsvragen om te kijken of kennis is verworven is een complexe aangelegenheid. Het automatisch kunnen genereren van deze toetsvragen is niet alleen een enorme tijdsbeparing maar kan er ook voor zorgen dat leerlingen een constant veranderende set aan diagnostische vragen tot haar/zijn beschikking heeft om zichzelf te toetsen.

Wat betreft het tweede genoemde thema van auteursrecht beschrijft Kat Walsh (18 augustus 2023) enkele vraagstukken rond het gebruik van content met een Creative Commons licentie. Het grootste risico van de de door haar beschreven vraagstukken vinden wij dat een potentiële tsunami van AI-gegenereerde werken op de commons het moeilijk maakt om relevante en betrouwbare informatie te vinden. Wanneer die werken vervolgens gebruikt gaan worden om taalmodellen verder te trainen kan op termijn een garbage in garbage out situatie ontstaan.

David Wiley (5 juli 2023; 6 juli 2023) geeft een mogelijke uitwerking voor het thema “van zoeken naar genereren”. Hij schetst een scenario waarin een tekstboek vervangen wordt door een verzameling prompts, geformuleerd door een (inhoudsdeskundige) docent, die aan een lerende kan worden gegeven en die ook open gedeeld kan worden. Op basis van die prompts kan een lerende zijn of haar eigen (open) leermateriaal genereren.

Enkele vragen die bij dit idee gesteld kunnen worden:

  1. Voor wie doe je dat: de lerende of de docent? Een docent zou, wanneer deze verzameling prompts open worden gedeeld, die verzameling kunnen aanpassen naar zijn of haar lokale context voordat het aan de lerende wordt gegeven.
  2. Zou je een lerende ook prompts kunnen laten formuleren als aanvulling op of zelfs ter vervanging van de oorspronkelijke verzameling, waardoor je een lerende of groep van lerenden een eigen OER laat genereren?
  3. Kun je bronnen daarbij “sturen”, bijvoorbeeld alleen gebruikmaken van open beschikbare bronnen?
  4. Hoe kun je als docent grip houden op of leeruitkomsten op deze wijze worden behaald? Het is immers onbekend wat het op basis van de prompts gegenereerde resultaat is; dat kan per dag wijzigen. Een mogelijke oplossingsrichting ligt in het maken van een duidelijke koppeling met het curriculum in de prompts. Het PO en VO kan dit realiseren door gebruik te maken van de curriculum informatie die het SLO als open data beschikbaar heeft gesteld.

De vragen 1 en 2 illustreren een mogelijke uitbreiding van de huidige situatie rond het bepalen van de te gebruiken leermaterialen. Veelal schrijft een docent voor welke leermaterialen gebruikt gaan worden (met een onderscheid tussen verplicht en aanbevolen). Daarnaast zullen lerenden op zoek gaan naar aanvullende leermaterialen of (bijvoorbeeld in onderwijsvormen waar veel agency bij de lerende wordt gelegd) zullen lerenden zelf op zoek gaan naar (open) leermaterialen om hun leeruitkomsten te behalen (Schuwer & Baas, 2023).

In feite betekent dit idee dat een verzameling prompts een nieuw type open leermateriaal is. Deze zullen zeker niet op korte termijn bestaande typen open leermaterialen gaan vervangen. Er zijn momenteel mooie open leermaterialen beschikbaar, die vaak gebruik maken van diverse typen content: tekst, simulatie, video, interactieve vragen. De content “sec” zou door Gen AI kunnen worden gegenereerd; de mediakeuze en verwerking daarin (nog?) niet. Het eerder gesignaleerde thema van een mogelijke ondervertegenwoordiging van niet-Westerse bronnen maken reeds bestaande open leermaterialen met een niet gebruikelijk perspectief op een topic des te waardevoller.

Hoe verder?

Gedachtenvorming over issues van gebruiken van Gen AI in het onderwijs, en dus ook specifiek betreffende open leermaterialen, is nog volop gaande.

Wij denken dat het beschikbaar hebben van een kwalitatief hoogwaardige verzameling open leermaterialen misschien nog wel belangrijker is dan ooit. Niet alleen kunnen deze leermaterialen gebruikt worden als voeding voor taalmodellen achter Gen AI, maar het zal volgens ons ook nog een tijd duren voordat Gen AI in staat zal zijn met name de leermaterialen met diverse typen content zodanig te genereren dat slechts weinig menselijke inspanning nodig is om ze bruikbaar te maken voor de onderwijspraktijk. Dit betekent wel dat, nog meer dan momenteel al gebeurt, aandacht nodig is voor het transparant maken van de kwaliteit van een collectie open leermaterialen en deze kwaliteit ook te borgen.

Bestaande kwalitatief hoogwaardige open leermaterialen kunnen ook gebruikt worden om een eigen taalmodel op te bouwen, waardoor de openheid van de door Gen AI gegenereerde content gewaarborgd is. Bij het opbouwen van dat taalmodel moet ervoor worden zorggedragen dat Gen AI bij het genereren van nieuw open leermateriaal in staat is de gebruikte bronnen op correcte wijze te kunnen vermelden.

Wij pleiten ervoor deze taalmodellen landelijk te ontwikkelen. Mogelijk dat dit binnen de programma’s Npuls en Impuls Open Leermaterialen kan plaatsvinden. SURF en Kennisnet zijn in dit scenario gezamenlijk verantwoordelijk voor verder onderhoud van die taalmodellen.

Referenties

In deze blog is op een aantal plaatsen verwezen naar publicaties. Naast die publicaties zijn er ook andere publicaties gebruikt bij het maken van deze blog. Ze zijn hieronder genoemd.

Bozkurt, A. (2023). Generative AI, synthetic contents, open educational resources (OER), and open educational practices (OEP): A new front in the openness landscape. Open Praxis, 15(3), 178-184. https://doi.org/10.55982/openpraxis.15.3.579

Dwivedi, Y. K., Kshetri, N., Hughes, L., Slade, E. L., Jeyaraj, A., Kar, A. K., Baabdullah, A. M., Koohang, A., Raghavan, V., Ahuja, M., Albanna, H., Albashrawi, M. A., Al-Busaidi, A. S., Balakrishnan, J., Barlette, Y., Basu, S., Bose, I., Brooks, L., Buhalis, D., … Wright, R. (2023). Opinion paper: “So what if ChatGPT wrote it?” multidisciplinary perspectives on opportunities, challenges and implications of generative conversational AI for research, practice and policy. International Journal of Information Management, 71, 102642. https://doi.org/10.1016/j.ijinfomgt.2023.102642

Kasneci, E., Seßler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., Gasser, U., Groh, G., Günnemann, S., Hüllermeier, E., Krusche, S., Kutyniok, G., Michaeli, T., Nerdel, C., Pfeffer, J., Poquet, O., Sailer, M., Schmidt, A., Seidel, T., … Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for education. Learning and Individual Differences, 103, 102274. https://doi.org/10.35542/osf.io/5er8f

Kimmons, R., & Irvine, J. (2023). Future directions in OER. Distributed Learning Ecosystems, 183-199. https://doi.org/10.1007/978-3-658-38703-7_10

Kukulska-Hulme, A., Bossu, C., Charitonos, K., Coughlan, T., Deacon, A., Deane, N., Ferguson, R., Herodotou, C., Huang, C-W., Mayisela, T., Rets, I., Sargent, J., Scanlon, E., Small, J., Walji, S., Weller, M., & Whitelock, D. (2023). Innovating Pedagogy 2023: Open University Innovation Report 11. Milton Keynes: The Open University. https://prismic-io.s3.amazonaws.com/ou-iet/4acfab6d-4e5c-4bbd-9bda-4f15242652f2_Innovating+Pedagogy+2023.pdf

Lalonde, C. (6 maart 2023). ChatGPT and open education. BCcampus. https://bccampus.ca/2023/03/06/chatgpt-and-open-education/

Nicolaas, Y. S. (27 juli 2023). Het is tijd om van onze techno-angst af te komen. HUMAN. https://www.human.nl/het-filosofisch-kwintet/interviews/2023/marleen-stikker.html

OER Africa. (28 juli 2023). Three ways artificial intelligence could change how we use open educational resources. https://www.oerafrica.org/content/three-ways-artificial-intelligence-could-change-how-we-use-open-educational-resources

Pelletier, K., Robert, J., Muscanell, N., McCormack, M., Reeves, J., Arbino, N., & Grajek, S. (2023). 2023 EDUCAUSE Horizon Report, Teaching and Learning Edition (Boulder, CO: EDUCAUSE, 2023). https://library.educause.edu/-/media/files/library/2023/4/2023hrteachinglearning.pdf?la=en&hash=195420BF5A2F09991379CBE68858EF10D7088AF5

Schuwer, R., & Baas, M. (2023). Reuse of OER, a Process Model Approach. In D. Otto, G. Scharnberg, M. Kerres, & O. Zawacki-Richter (Eds.), Distributed learning ecosystems: Concepts, resources, and repositories (p. 117–137). Springer Nature. DOI: https://doi.org/10.1007/978-3-658-38703-7_7

Stacey, P. (11 augustus 2023). AI from an open perspective. paulstacey.global. https://paulstacey.global/blog/ai-from-an-open-perspective

Van Wyk, M. M., Adarkwah, M. A., & Amponsah, S. (2023). Why all the hype about ChatGPT? Academics’ views of a chat-based conversational learning strategy at an open distance E-Learning institution. Open Praxis, 15(3), 214-225. https://doi.org/10.55982/openpraxis.15.3.563

Walsh, K. (18 augustus 2023). Understanding CC Licenses and Generative AI. Creative Commons. https://creativecommons.org/2023/08/18/understanding-cc-licenses-and-generative-ai/

Wiley, D. (5 juli 2023). Generative Textbooks. Improving learning. https://opencontent.org/blog/archives/7238

Wiley, D. (6 juli 2023). Generative Textbooks – A Brief Example. Improving learning. https://opencontent.org/blog/archives/7251

Yan, L., Sha, L., Zhao, L., Li, Y., Martinez‐Maldonado, R., Chen, G., Li, X., Jin, Y., & Gašević, D. (2023). Practical and ethical challenges of large language models in education: A systematic scoping review. British Journal of Educational Technology. https://doi.org/10.1111/bjet.13370

ChatGPT en open leermaterialen

Posted on by


Nadat eind november op de blog van OpenAI het bericht van de lancering van versie 3.5 van hun chatbot ChatGPT verscheen, ontstond er een lawine van publicaties, waarbij ook Een Vandaag er aandacht aan wijdde. De sentimenten die uit al die berichten spreken waar het de potentiële invloed op het onderwijs betreft vind ik vergelijkbaar met de MOOC-hype rond 2012:

In deze blog deel ik mijn gedachten over de potentiële rol van ChatGPT bij werken met open leermaterialen. Achtereenvolgens beschrijf ik mijn eerste indrukken, een eerste experiment en (ethische) overwegingen die bij gebruik van deze tool zouden moeten worden meegenomen.

Eerste indrukken

Uit de vele berichten en ook uit eigen experimenten met de tool haalde ik al een aantal plus- en minpunten:

  • + De tool is erg goed in samenvatten en opschonen van teksten. Een zelf geschreven Engelstalige publicatie wist de tool zodanig te herformuleren dat het aantal woorden met 20% werd verminderd, zonder verlies aan informatie. Handig bij het schrijven van papers waar een limiet aan het aantal woorden zit.
  • + De tool is goed in het opzetten van een cursusstructuur. Barend Last heeft hier een mooi stappenplan voor geschreven.
  • +/- De tool is gebaseerd op bronnen uit 2021 of eerder. De meest recente inzichten zijn dus niet meegenomen.
  • – De tool is slecht in referenties, waardoor bronnen waarop een gegenereerd resultaat is gebaseerd onduidelijk blijven. Zelfs expliciet vragen naar referenties in de opdracht aan de tool levert een slecht resultaat op, zoals ik verderop zal illustreren.
  • – Het resultaat is zeker niet 100% accuraat, tot zelfs volkomen onzin. Ik had de opdracht gegeven een biografie over mezelf te schrijven en het resultaat was een prachtig verhaal over een kunstschilder uit de 19e eeuw als naamgenoot, onder meer beroemd door een portret van Koningin Emma uit 1880, eigendom van het Rijksmuseum. Door deze details leverde eigen naspeurwerk op dat dit volkomen uit de kunstmatige duim was gezogen.

Een eerste experiment met open leermaterialen: remix

Omdat ChatGPT goed is in het opzetten van een cursusstructuur wilde ik ervaren hoe goed de tool ondersteunt bij het opzetten en invullen van een open cursus. Meer specifiek was ik benieuwd naar de prestaties bij remix van diverse open bronnen tot een nieuwe open cursus. Deze situatie komt veelvuldig voor in het onderwijs, waar aanpassen van het leermateriaal aan de lokale situatie vaak gewenst is.

In mijn experiment koos ik voor een cursus over de vergelijking van Pell. Daarbij had ik de volgende overwegingen:

  • Het onderwerp komt niet voor in een basiscursus wiskunde. Mijn verwachting is dat er daarom minder open bronnen voor beschikbaar zijn dan voor een meer basic onderwerp (zoals kwadratische vergelijkingen). Dit maakt de potentiële meerwaarde van gebruik van deze tool groter.
  • Ik ben bekend met het onderwerp (mijn afstudeerscriptie voor mijn wiskundestudie ging hierover), waardoor ik de kwaliteit van het door de tool gegenereerde resultaat goed kan inschatten.
  • Het onderwerp is niet afhankelijk van aanwezigheid van recente bronnen.

Omdat het mij bij dit experiment primair ging over de kwaliteit van de inhoud van het resultaat en de mate van openheid van de gebruikte bronnen heb ik geen aandacht besteed aan formuleren van leerdoelen of te gebruiken didactische werkvormen.

Ik gaf de volgende opdracht:

Create a course about Pell’s equation including references. Only use references with a creative commons license.

Dit gaf het volgende resultaat:

Op het eerste gezicht ziet dit er heel behoorlijk uit en brengt het me op meer ideeën dan ik aanvankelijk had. Wanneer ik zelf zo’n cursus zou maken zou ik bijvoorbeeld niet de link met cryptografie hebben gelegd.

Wat betreft gebruik van open bronnen is de quote aan het einde opvallend:

Please note that all the references I provided have a creative commons license, please verify and double check before using it for your course.

Checken van de referenties gaf als resultaat:

  • Referenties 1 en 3 bestaan niet: de links geven een 404-melding en Googlen op de titels en auteurs geven ook geen resultaat.
  • Referenties 2 en 5 hebben dezelfde URL, maar verschillende titels. De URL verwijst naar een semi-open artikel, niet gepubliceerd onder een Creative Commons licentie, over een totaal ander onderwerp. Hetzelfde geldt ook voor referentie 4.

Soortgelijke vervolgopdrachten om per hoofdstuk de inhoud te genereren gaf soortgelijke resultaten: behoorlijke inhoud, maar waardeloze referenties, die geen van alle onder een Creative Commons licentie zijn gepubliceerd.

Conclusie van dit eerste experiment: omdat niet duidelijk is welke bronnen daadwerkelijk gebruikt zijn, kan een eindresultaat ook niet onder een open licentie worden gepubliceerd. De meerwaarde van ChatGPT voor creatie van open leermateriaal via remixen is hierdoor niet aanwezig.

(Ethische) overwegingen bij gebruik van ChatGPT

Meerdere publicaties bevatten kritische vragen over gebruik van deze tool. Een aantal van deze vragen is meer generiek voor inzet van producten van Big Tech in het onderwijs: het gevaar van monopolisering en daarmee te grote invloed op (publiek) onderwijs. Meer specifiek voor inzetten van dergelijke, op grote dataverzamelingen gebaseerde, AI-tools: de onbekendheid met van welke bronnen de data afkomstig zijn en daarmee het risico van vertekening (bias) in de resultaten en het forse energieverbruik dat nodig is om de achterliggende taalmodellen op te bouwen en continu te verrijken. Deze blog van de Nijmeegse hoogleraar Iris van Rooij bevat een prima kritische reflectie.

De onbekendheid van gebruikte bronnen en het onvermogen om bronnen met een open licentie te identificeren zijn voor mij de grootste drempels om deze tool in te zetten bij creatie van open leermateriaal. Mogelijk dat dit in komende versies van ChatGPT verbeterd wordt, of dat alternatieve tools hier beter mee om kunnen gaan, maar voor nu maakt dit de tool voor deze taak ongeschikt.

Een paar weken geleden werd een Professional-versie aangekondigd, waarschijnlijk met een prijs van $42/maand. Dat roept ook de vraag op of en hoelang de gratis versie nog beschikbaar blijft.

Tenslotte: ik verwacht dat ChatGPT en soortgenoten uiteindelijk zullen evolueren naar tools die goed bruikbaar zijn in bepaalde situaties voor specifieke taken. Dat vereist wellicht ook aanpassingen in onderwijsprocessen. Kortom: evolutie en geen revolutie, net als bij de MOOC’s.