In een eerdere blogpost schreef ik al eens over het kwaliteitssysteem van Wikiwijs. Dit jaar en komend jaar wil ik redacteuren steekproefsgewijs leermateriaal dat in Wikiwijs vindbaar is laten beoordelen op kwaliteit. Deze beoordeling wil ik gebaseerd hebben op een kwaliteits”model” dat aan de volgende eisen voldoet:
- Criteria moeten tamelijk eenvoudig operationaliseerbaar zijn
- Criteria moeten geen uitspraak doen over de toepasbaarheid van materiaal in een specifieke context. Dat betekent bijvoorbeeld dat al dan niet juist toepassen van een visie op (vak)didactiek geen criterium is.
Dat bracht mij op het vraagstuk “welke criteria bepalen minimale kwaliteit van digitaal leermateriaal en hoe moeten die criteria geoperationaliseerd worden?”. De vraag stellend op Twitter (onder de hashtag #durftevragen) leverde een aantal reacties op. Theo Poot wees me op de kwaliteitscriteria van de Onderwijsvernieuwingscooperatie. Muiswerk attendeerde me op een Youtube filmpje over hoe te komen tot de keuze voor digitaal leermateriaal. Verder heeft VO-Content een kwaliteitskader opgesteld. In een E-Xcellence project is enige jaren geleden een studie gedaan naar kwaliteit van e-learning (waarvan kwaliteit van leermateriaal een onderdeel uitmaakt). KlasCement werkt al jaren met redacteuren en via Hans de Four kreeg ik mondeling de criteria waarmee zij een globale kwaliteitstoets uitvoeren.
Dit alles samen leidde tot de formulering van een model waarbij de criteria op twee niveaus worden ingedeeld:
- Niveau 1: minimaal. Wanneer leermateriaal niet voldoet aan één van deze criteria dan wordt via de klachtmeldprocedure van Wikiwijs dit gemeld aan de auteur. Wanneer dit niet leidt tot verbetering dan wordt het materiaal niet vindbaar gemaakt in Wikiwijs.
- Niveau 2: bij voorkeur. Dit zijn eisen waaraan het materiaal liefst zou moeten voldoen, maar die geen reden zijn het materiaal af te keuren.
Op niveau 1 zijn momenteel de volgende criteria met hun operationalisering geformuleerd:
- Geen spelfouten: maximaal 3 spelfouten in steekproef van 100 woorden toegestaan. (Is wat tegenstrijdig, maar die nooit spelfouten maakt moge de eerste steen werpen ;-))
- Goed contrast (bij webpagina’s): lichte achtergrond met voldoende donkere letters
- Afspeelbaar op gebruikelijke pc of Mac: geen installatie van extra tools nodig om materiaal te kunnen gebruiken
- Geen dode links in materiaal aanwezig: geen dode links in steekproef van maximaal 10 links uit het materiaal
- Metadata correct ingevuld: Schooltype, titel, omschrijving, kosten en aggregatieniveau moeten correct zijn
- Copyright cleared (voor materiaal in de eigen repository van Wikiwijs): van alle afbeeldingen en teksten moet duidelijk zijn dat de auteur alle rechten bezit om het onder een open licentie te mogen publiceren.
- Niet verouderd. Dit is al wat lastiger te operationaliseren. Met name gaat het hier om situaties waar het als hinderlijk wordt ervaren dat het materiaal verouderd is. Voorbeeld: gebruik van gulden in plaats van euro bij rekenopgaven. Antivoorbeeld: niet vermelden van overlijden indien een persoon tussen publicatie van materiaal en beoordeling is overleden.
Op niveau 2 zijn criteria o.a. afwezigheid van grammaticale fouten, aanwezigheid van leerdoelen bij een les of lessenreeks en aanwezigheid van bronvermelding.
Het model is nu onder review. Zodra die review gedaan is zullen redacteuren beginnen met hun globale toetsing.
Doe je ook iets met criteria als:
*juistheid informatie
*vakinhoudelijk up to date
*afstemming taal en didactiek op beoogde niveau
*interactiviteit van materiaal en feedback
*praktische bruikbaarheid in div. leeromgevingen
*activerende en uitdagende didactiek
*platformonafhankelijk
*op schermformat geschreven
*inspelen op diverse leerstijlen / meerv. intelligentie
*aansluiten op kerndoelen enz.
*inpasbaarheid in curricula
*toegankelijkheid/BECTA-eisen
*aandacht voor duurzaamheidsaspecten (uitprinten)
*beheer en onderhoud
*feedbackmogelijkheden?
Nee, met de meeste doe ik niets. Mijn doel is een minimaal model waarmee snel voldoen aan de minimale kwaliteit kan worden gecontroleerd. Binnen Wikiwijs hebben we nog steeds het standpunt dat wij geen uitspraken doen over kwaliteit (dat kunnen docenten veel beter en de kwaliteit is ook erg afhankelijk van context van gebruik), maar dat we kwaliteit zichtbaar willen maken (middels rating, review en keurmerkgroepen). Met mijn besluit om toch redacteuren “rond te laten lopen” hoop ik het communityproces van rating en review en indienen van klachten (zodat gericht acties richting collectiehouders genomen kunnen worden) op gang te brengen. De door jou genoemde criteria zijn zeker valide, maar gaan te ver voor mijn doel. Ze zouden wel door een keurmerkgroep “geadopteerd” kunnen worden, zodat materiaal dat aan die criteria voldoet zichtbaar wordt doordat er een keurmerk aan hangt.
Hoi Robert,
een goede stuk over kwaliteitseisen aan onderwijsmateriaal. 2 opmerkingen:
– “afspeelbaar op gebruikelijk pc en mac” wordt zeker binnen het onderwijs verschillende geinterpreteerd. Is flash en silverlight, die veel nodig zijn voor video afspelen, onderdeel van een gebruikelijk pc/mac of niet? Welke browsers zitten op een gebruikelijke pc? en dus hoe is de ondersteuning van html5, css e.d.
– “metadata correct ingevuld” neigt al erg naar inhoudelijke keuring. Volgens mij zou je op niveau 1 alleen moeten zeggen of alle velden zijn ingevuld. Of ze correct zijn, eist inhoudelijke kennis en oordeel, bijvoorbeeld over aggregatieniveau en schooltype.
mvg,
Willem
Hoi Willem,
Het “afspeelbaar zijn” vergt duidelijk nog wat finetuning, gegeven de vragen die je daarover opwerpt. Ik dacht zelf aan een volgende standaard voor video waar vanuit moet worden gegaan:
– IE (minimaal 7.0), Firefox of Chrome cq Safari voor de Mac.
– Flash en Silverlight plugin (is wellicht niet standaard aanwezig, maar is voor de gebruikelijke browsers en Windows en Mac platformen eenvoudig te installeren).
W.b. metadata: de door mij genoemde elementen zijn de elementen waar het meeste op gezocht/gefilterd wordt en waar een fout tot de meeste ergernis leidt. Een gebruiker die bemerkt dat één van deze elementen verkeerd is ingevuld is veelal al terzake kundig (meestal een vakdocent). Ik merk trouwens nu op dat “vakgebied” hier eigenlijk ook tussen moet staan. Die heb ik er inmiddels tussengezet
Beste Robert,
Kwaliteit is een lastig item. En het idee dat Wikiwijs informatie “onvindbaar” gaat maken is natuurlijk onaanvaardbaar. Censuur is ongewenst lijkt me. Stel ik maak het mooiste lesmateriaal ooit gemaakt over een onderwerp. Maar na verloop van tijd lopen de links naar ondersteunende zaken (YouTube enzo) dood. Weg materiaal. Het blijft het beste wat er is, alleen heeft het te veel doodlopende links. Voor mij als maker is dit weinig motiverend en voor de rest van de wereld ook weinig hoopvol.
Het lijkt me goed om bovengenoemde criteria (of andere) mee te nemen in zoekacties (geavanceerde zoekopties of iets dergelijks) maar het onvindbaar maken is niet de manier.
Laat wel elke gebruiker de mogelijkheid hebben om het “afgekeurde” materiaal op te pakken en aan te passen (taalfouten er uit, links weg of aangepast,…) zodat er weer iets moois ontstaat. Zelf ben ik altijd blij met slecht lesmateriaal. Het geeft vaak misconcepties aan, of slechte didactiek (die ik dan kan vermijden).
Van mij mag alle materiaal door anderen beoordeeld worden op bovengenoemde punten en dat mag ook zichtbaar zijn. Maar aanpassingen hoeven er niet direct te komen (auteur heeft het misschien druk) en dat geeft anderen de gelegenheid om de aanpassingen uit te voeren. Lesmateriaal (of delen hiervan) kunnen prima verschillende versies krijgen (zoals in een wiki) lijkt mij. Maar wegmoffelen zal de participatie niet vergroten denk ik.
gr.,
Bernard
Dag Bernard,
Wanneer leermateriaal niet door niveau 1 komt krijgt de auteur een melding en heeft hij/zij de mogelijkheid het aan te passen. Jij pleit voor het dan toch zichtbaar/vindbaar houden van het materiaal. Er wordt aan de andere kant ook geklaagd over de kwaliteit van wat er gevonden wordt (overigens zonder dat klagers dan aangeven wat zij onder “kwaliteit” verstaan). Op deze wijze probeer ik daar verbetering in aan te brengen waarbij de “censuurdrempel” zo laag mogelijk ligt (want dat is voor ons altijd het uitgangspunt geweest). Een alternatief voor onvindbaar maken is het schrijven van een review waar de mankementen in genoemd worden (zoals jij suggereert). Maar daarmee komen de materialen nog steeds voor in de lijst met zoekresultaten en zou het gebruikers kunnen hinderen bij het vinden van geschikt materiaal. Dat wordt dus qua beslissing (onvindbaar maken of tonen met opmerkingen) schipperen tussen Scylla en Charubdis bij de huidige mogelijkheden van het platform.
Oormerken als minder goede kwaliteit kan al wel via de sterrenwaardering maar komt niet op gang. Dat heeft ook pas waarde als er meerdere beoordelingen voor materiaal aanwezig zijn en dat duurt wel even.
Het oppakken van het materiaal door anderen en dit aanpassen en vervolgens een nieuwe verbeterde versie publiceren is voor veel materiaal ook mogelijk.
Tenslotte in het voorbeeld wat jij noemt (mooiste materiaal ooit maar links ontbreken): wat blijft er over van (de kwaliteit van) het materiaal als de links niet meer werken (retorische vraag!)?
Beste Robert,
Bedankt voor je reactie. Het vinden van “goed” lesmateriaal is lastig. Ook buiten Wikiwijs. Wikiwijs richt zich niet op professionele duur betaalde mensen die lesmateriaal gaan ontwikkelen. Maar op docenten die lesmateriaal maken en willen delen. De kwaliteit zal dus altijd wisselend zijn. Voor mij zouden de aangegeven kwaliteitseisen een reden zijn om mijn lesmateriaal niet bij Wikiwijs maar elders te publiceren. En daarmee is het niet binnen Edurep te doorzoeken en misschien wel lastiger te vinden (maar in ieder geval niet onzichtbaar). Misschien spreken “we” (collega’s die buiten Wikiwijs publiceren) dan nog wel een hash tag af (#lesmateriaal) om het zoeken zinvoller te laten zijn.
Wikiwijs richt zich volgens mij op de verkeerde zaken. Volgens Kennisnet zijn er 4 niveau’s voor het ontwerpen van digitaal lesmateriaal: fragmenten/objecten/leseenheden/modules. Wikiwijs richt zich op kwalitatief goede leseenheden. Terwijl docenten die niet zo snel maken. Elke extra hobbel in het proces zal tot een afname leiden van ‘uploads’.
Wel hebben ze een mooie foto (fragment) die ze in Wikiwijs niet kwijt kunnen (en dan maar op Flickr plaatsen) en dus ontstaat er ook niet die ene mooie opgave (object) die gebruik maakt van die foto.
Een mooie toepassing die mij duizenden/miljoenen fragmenten levert (met copyright licenties die toestaan om het te gebruiken) en de mogelijkheid om objecten te maken (een uitleg, een opgave, ..) die ook worden bewaard (met juiste bronvermeldingen) helpt mij meer dan leseenheden die zelden passen bij mijn lessen op mijn school met mijn leerlingen (en dus toch aangepast moeten worden).
Met deze objecten kan ik dan mijn eigen leseenheid maken. En als Wikiwijs bijhoudt in welke leseenheden objecten gebruikt worden is direct de populariteit te meten (en te gebruiken bij zoekacties). En een collega kan mijn leseenheid als kopie krijgen en het aanpassen zodat het goed werkt bij zijn/haar lessen. En objecten die er uit gehaald worden verliezen populariteit, en objecten die erbij komen groeien in populariteit. Objecten die kwalitatief niet kloppen worden genegeerd of aangepast (waarna er een beter object ontstaat).
Misschien is het goed om eens te -laten- onderzoeken wat de “klagers” bedoelen over de lage kwaliteit.
Tot slot (en dan zal ik echt stoppen) vraag ik me af wie de kwaliteitseisen allemaal gaan bijhouden. Als het de gebruikers nu niet lukt een waardering aan te geven (1 klik) dan zullen zij die controle wel niet gaan uitvoeren. En het systeem moet zichzelf toch in stand houden zonder ondersteuningsbureau die elke upload moet beoordelen.
Succes met het oplossen van het kwaliteitsdilemma.
gr.,
Bernard