ChatGPT en open leermaterialen


Nadat eind november op de blog van OpenAI het bericht van de lancering van versie 3.5 van hun chatbot ChatGPT verscheen, ontstond er een lawine van publicaties, waarbij ook Een Vandaag er aandacht aan wijdde. De sentimenten die uit al die berichten spreken waar het de potentiële invloed op het onderwijs betreft vind ik vergelijkbaar met de MOOC-hype rond 2012:

In deze blog deel ik mijn gedachten over de potentiële rol van ChatGPT bij werken met open leermaterialen. Achtereenvolgens beschrijf ik mijn eerste indrukken, een eerste experiment en (ethische) overwegingen die bij gebruik van deze tool zouden moeten worden meegenomen.

Eerste indrukken

Uit de vele berichten en ook uit eigen experimenten met de tool haalde ik al een aantal plus- en minpunten:

  • + De tool is erg goed in samenvatten en opschonen van teksten. Een zelf geschreven Engelstalige publicatie wist de tool zodanig te herformuleren dat het aantal woorden met 20% werd verminderd, zonder verlies aan informatie. Handig bij het schrijven van papers waar een limiet aan het aantal woorden zit.
  • + De tool is goed in het opzetten van een cursusstructuur. Barend Last heeft hier een mooi stappenplan voor geschreven.
  • +/- De tool is gebaseerd op bronnen uit 2021 of eerder. De meest recente inzichten zijn dus niet meegenomen.
  • De tool is slecht in referenties, waardoor bronnen waarop een gegenereerd resultaat is gebaseerd onduidelijk blijven. Zelfs expliciet vragen naar referenties in de opdracht aan de tool levert een slecht resultaat op, zoals ik verderop zal illustreren.
  • Het resultaat is zeker niet 100% accuraat, tot zelfs volkomen onzin. Ik had de opdracht gegeven een biografie over mezelf te schrijven en het resultaat was een prachtig verhaal over een kunstschilder uit de 19e eeuw als naamgenoot, onder meer beroemd door een portret van Koningin Emma uit 1880, eigendom van het Rijksmuseum. Door deze details leverde eigen naspeurwerk op dat dit volkomen uit de kunstmatige duim was gezogen.

Een eerste experiment met open leermaterialen: remix

Omdat ChatGPT goed is in het opzetten van een cursusstructuur wilde ik ervaren hoe goed de tool ondersteunt bij het opzetten en invullen van een open cursus. Meer specifiek was ik benieuwd naar de prestaties bij remix van diverse open bronnen tot een nieuwe open cursus. Deze situatie komt veelvuldig voor in het onderwijs, waar aanpassen van het leermateriaal aan de lokale situatie vaak gewenst is.

In mijn experiment koos ik voor een cursus over de vergelijking van Pell. Daarbij had ik de volgende overwegingen:

  • Het onderwerp komt niet voor in een basiscursus wiskunde. Mijn verwachting is dat er daarom minder open bronnen voor beschikbaar zijn dan voor een meer basic onderwerp (zoals kwadratische vergelijkingen). Dit maakt de potentiële meerwaarde van gebruik van deze tool groter.
  • Ik ben bekend met het onderwerp (mijn afstudeerscriptie voor mijn wiskundestudie ging hierover), waardoor ik de kwaliteit van het door de tool gegenereerde resultaat goed kan inschatten.
  • Het onderwerp is niet afhankelijk van aanwezigheid van recente bronnen.

Omdat het mij bij dit experiment primair ging over de kwaliteit van de inhoud van het resultaat en de mate van openheid van de gebruikte bronnen heb ik geen aandacht besteed aan formuleren van leerdoelen of te gebruiken didactische werkvormen.

Ik gaf de volgende opdracht:

Create a course about Pell’s equation including references. Only use references with a creative commons license.

Dit gaf het volgende resultaat:

Op het eerste gezicht ziet dit er heel behoorlijk uit en brengt het me op meer ideeën dan ik aanvankelijk had. Wanneer ik zelf zo’n cursus zou maken zou ik bijvoorbeeld niet de link met cryptografie hebben gelegd.

Wat betreft gebruik van open bronnen is de quote aan het einde opvallend:

Please note that all the references I provided have a creative commons license, please verify and double check before using it for your course.

Checken van de referenties gaf als resultaat:

  • Referenties 1 en 3 bestaan niet: de links geven een 404-melding en Googlen op de titels en auteurs geven ook geen resultaat.
  • Referenties 2 en 5 hebben dezelfde URL, maar verschillende titels. De URL verwijst naar een semi-open artikel, niet gepubliceerd onder een Creative Commons licentie, over een totaal ander onderwerp. Hetzelfde geldt ook voor referentie 4.

Soortgelijke vervolgopdrachten om per hoofdstuk de inhoud te genereren gaf soortgelijke resultaten: behoorlijke inhoud, maar waardeloze referenties, die geen van alle onder een Creative Commons licentie zijn gepubliceerd.

Conclusie van dit eerste experiment: omdat niet duidelijk is welke bronnen daadwerkelijk gebruikt zijn, kan een eindresultaat ook niet onder een open licentie worden gepubliceerd. De meerwaarde van ChatGPT voor creatie van open leermateriaal via remixen is hierdoor niet aanwezig.

(Ethische) overwegingen bij gebruik van ChatGPT

Meerdere publicaties bevatten kritische vragen over gebruik van deze tool. Een aantal van deze vragen is meer generiek voor inzet van producten van Big Tech in het onderwijs: het gevaar van monopolisering en daarmee te grote invloed op (publiek) onderwijs. Meer specifiek voor inzetten van dergelijke, op grote dataverzamelingen gebaseerde, AI-tools: de onbekendheid met van welke bronnen de data afkomstig zijn en daarmee het risico van vertekening (bias) in de resultaten en het forse energieverbruik dat nodig is om de achterliggende taalmodellen op te bouwen en continu te verrijken. Deze blog van de Nijmeegse hoogleraar Iris van Rooij bevat een prima kritische reflectie.

De onbekendheid van gebruikte bronnen en het onvermogen om bronnen met een open licentie te identificeren zijn voor mij de grootste drempels om deze tool in te zetten bij creatie van open leermateriaal. Mogelijk dat dit in komende versies van ChatGPT verbeterd wordt, of dat alternatieve tools hier beter mee om kunnen gaan, maar voor nu maakt dit de tool voor deze taak ongeschikt.

Een paar weken geleden werd een Professional-versie aangekondigd, waarschijnlijk met een prijs van $42/maand. Dat roept ook de vraag op of en hoelang de gratis versie nog beschikbaar blijft.

Tenslotte: ik verwacht dat ChatGPT en soortgenoten uiteindelijk zullen evolueren naar tools die goed bruikbaar zijn in bepaalde situaties voor specifieke taken. Dat vereist wellicht ook aanpassingen in onderwijsprocessen. Kortom: evolutie en geen revolutie, net als bij de MOOC’s.

 

 

 

Posted in Open Educational Resources and tagged , .

One Comment

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.