Les 6 -Eerlijk testen: hoe betrouwbaar is jouw AI-model?

Welkom!

We gaan straks beginnen

Bij het keuzedeel AI

Zet je camera aan, zorg dat je microfoon werkt en pak wat te drinken

1 / 27
volgende
Slide 1: Slide
newEditorICTMBOStudiejaar 1,2

In deze les zitten 27 slides, met interactieve quizzen en tekstslides.

time-iconLesduur is: 60 min
Dit is niet oké

Onderdelen in deze les

Welkom!

We gaan straks beginnen

Bij het keuzedeel AI

Zet je camera aan, zorg dat je microfoon werkt en pak wat te drinken

Dit is het centrale leerdoel voor deze les. De teamvorming en kennismaking zijn belangrijk voor de reeks, maar stuur inhoudelijk vooral op dit doel.

Eerlijk testen van AI-modellen

Les 6 van het keuzedeel Generatieve AI, mbo 3/4. Rustige opening, geen extra uitleg op de cover.

Deze slide heeft geen instructies

Wat ga je vandaag onderzoeken?

Ik kan het effect van één veranderde factor op de prestaties van mijn eigen AI-model onderzoeken.

Tijd: 2 minuten. Benoem mondeling ook de opbrengst van de les: een eigen model, een kleine test en een onderbouwde conclusie. Succescriteria mondeling toelichten: factor benoemen, eerlijk vergelijken, conclusie onderbouwen met resultaten en één voorbeeld.

Welk woord past voor jou bij eerlijk testen van AI?

Gebruik de woorden als korte activatie. Vraag daarna door op opvallende woorden zoals 'betrouwbaar', 'eerlijk', 'testen' of 'vergelijking'.

Wanneer weet je iets zeker?

Je verandert de achtergrond, de belichting én de afstand.

Het model werkt daarna beter.

Weet je dan waardoor dat komt?

Meerdere veranderingen tegelijk maken het lastig om het effect van één veranderde factor te herkennen.

Tijd: 3 minuten. Dit vervangt de interactieve meerkeuze als inhoudelijke ankerdia. Bespreek dat je zonder eerlijke vergelijking niet weet welke verandering het verschil maakte. Alternatieven voor docentnotities: T2 twee testopzetten vergelijken; T3 in een rommelige testopzet aanwijzen welke factoren tegelijk veranderen.

Hoe leert een model?

Classificeren is het voorspellen van een categorie.

Gelabelde voorbeelden → trainen → voorspellen bij nieuwe input → controleren


Voorbeeld:

  • pen hoort bij categorie pen

  • gum hoort bij categorie gum

Tijd: 2 minuten. Leg eenvoudig uit dat labels aangeven bij welke categorie een voorbeeld hoort. Houd het bij het basisidee van classificatie.

Trainingsdata en testdata

Trainingsdata zijn voorbeelden waarmee het model leert.


Testdata zijn andere voorbeelden waarmee jij controleert hoe goed het model werkt.

Houd trainingsvoorbeelden en testvoorbeelden gescheiden.


Een hoge modelscore is geen garantie op een juist antwoord.

Benadruk dat studenten niet testen met voorbeelden die al in de training zaten. Noem dat de getoonde score van het model niet hetzelfde is als betrouwbaar gedrag in nieuwe situaties.

Een eerlijke test

Je wilt weten wat afstand doet met geluidsherkenning.


Veranderen:

  • alleen de afstand tot de microfoon

Gelijk houden:

  • dezelfde persoon

  • hetzelfde geluid

  • dezelfde microfoon

  • dezelfde omgeving

Tijd: 3 minuten. Laat studenten eerst kort stil nadenken waarom je niet tegelijk afstand én achtergrondgeluid verandert. Alternatief: laat studenten in een korte testbeschrijving markeren wat onder 'veranderen' en 'gelijk houden' valt.

Waarom maar één factor?

Als je meerdere dingen tegelijk verandert, kun je het resultaat niet eerlijk uitleggen.

Je zoekt dus naar één veranderde factor.


Gebruik consequent de term 'veranderde factor'. Koppel dit direct aan het leerresultaat en de succescriteria.

Waarom weet je niet waardoor het model beter werkt?

A

Te veel labels

B

Te veel factoren

C

Te veel categorieën

D

Te veel testdata

Sluit aan op de slides over meerdere veranderingen tegelijk en één veranderde factor. De kernmisvatting is dat 'meer data' of 'meer labels' hier het probleem zouden zijn.

Vul de kernwoorden in

Bij classificeren voorspelt een model een categorie. Met trainingsdata leert het model. Met testdata controleer je hoe goed het werkt.

classificeren
categorie
trainingsdata
testdata
modelscore
variatie
patroon
nulmeting

Controleert de basistermen uit de eerste uitlegblokken: classificeren, categorie, trainingsdata en testdata.

Welke ene factor zou jij eerlijk kunnen testen?

Bespreek dat studenten moeten noemen: één veranderde factor en wat gelijk blijft. Goede antwoorden verwijzen naar een eerlijke vergelijking, bijvoorbeeld afstand veranderen en persoon/omgeving gelijk houden.

Kies één tutorial

Afbeeldingen — Bananameter

Geluid — Snap Clap Whistle


Houding — Head Tilt


Tool

https://teachablemachine.withgoogle.com/

Onderdeel van hetzelfde werkblok als dia 8 en 9; samen 15 minuten inclusief kiezen en naar de rooms gaan. Laat studenten kiezen op basis van spullen, apparatuur en voorkeur. Verzin geen extra tutorialstappen; zij volgen de originele bron.

Bouw je eerste model

  • Open jouw tutorial

  • Volg de stappen uit de tutorial

  • Train je eerste model

  • Noteer welke categorieën het model onderscheidt

  • Bewaar een schermafbeelding van je eerste werkende model

Samen met dia 7 en 8 vormt dit één werkblok van 15 minuten. Monitor met de vraag: 'Wat is jouw ene veranderde factor?' Nog niet opnieuw trainen na de eerste vergelijking.

Jouw eigen test

1. Voorspel

Welke verandering zou jouw model lastig vinden? Waarom?

2. Doe een nulmeting

Gebruik 10 nieuwe voorbeelden of testpogingen die niet bij de training hoorden.

3. Verander één factor

Houd de rest zoveel mogelijk gelijk.

Train het model nog niet opnieuw.

Start van het testblok van 10 minuten. Laat studenten vooraf de juiste categorieën bepalen en opschrijven.

Jouw eigen test

4. Test opnieuw

Doe 10 vergelijkbare testpogingen met dezelfde categorieën onder de gewijzigde omstandigheid.

5. Vergelijk

Wat ging beter of slechter?

Welke aanwijzing heb je voor jouw verklaring?

Zorg dat de categorieën in beide testrondes even vaak voorkomen.

Benadruk dat een kleine praktijktest aanwijzingen geeft, geen bewijs voor alle situaties.

Voorbeelden van één veranderde factor

Bananameter

  • verander alleen de achtergrond

  • houd banaan, afstand, positie en belichting gelijk

Snap Clap Whistle

  • verander alleen de afstand tot de microfoon

  • houd persoon, geluidstype, microfoon en omgeving gelijk

Head Tilt

  • verander alleen de afstand tot de camera

  • houd houding, persoon, achtergrond en belichting gelijk

Benoem mondeling: dit zijn mogelijke tests. Studenten kiezen één factor die past bij hun model.

Meer voorbeelden is niet altijd beter

Meer trainingsvoorbeelden maken een model niet automatisch beter.


Wat telt:

  • kwaliteit van de voorbeelden

  • duidelijke labels

  • genoeg variatie

  • voorbeelden die passen bij wat je later wilt testen

Koppel dit aan mogelijke verbeteringen die studenten straks gaan voorstellen.

Deze slide heeft geen instructies

Breakout rooms


Zie canvas voor de opdracht

Noem ook mondeling: kies beeld of geluid als je zelf niet herkenbaar in beeld wilt komen.

Hoe kan je dit toepassen op jouw onderzoeksvraag?

Verwachte elementen: een model kan andere patronen gebruiken dan bedoeld, zoals achtergrond, belichting of opnamekwaliteit. Ook mag genoemd worden dat meer voorbeelden niet automatisch beter zijn; kwaliteit en variatie tellen.

Bouw aan je eindopdracht

Bewaar één eerlijke vergelijking en jouw conclusie in je dossier.


Voeg toe aan je bijlage:

  • tutorialkeuze en schermafbeelding

  • veranderde factor

  • wat je gelijk hield

  • beide testscores

  • één opvallend voorbeeld

  • conclusie en voorgestelde verbetering

Tijd: 3 minuten. Dit is stap 6 van 10 in de eindopdracht. Benoem mondeling de slotvraag: 'Welke keuze heb jij zelf gemaakt of gecontroleerd?' Vooruitblik: volgende les onderzoeken we wat extra klantinformatie doet met een AI-antwoord.

Wat neem jij mee uit deze les?

Reflectie zonder goed of fout. Laat studenten benoemen welk inzicht uit hun eigen test het belangrijkst was.

Wat vond jij het lastigst bij eerlijk testen?

Reflectie zonder goed of fout. Mogelijke richtingen: één factor kiezen, training en test scheiden, of een fout gebruiken als informatie.

Begrippenlijst

classificeren - het voorspellen van een categorie

categorie - de groep waar een voorbeeld volgens het model bij hoort

gelabeld voorbeeld - een voorbeeld waarbij al is aangegeven bij welke categorie het hoort

trainingsdata - voorbeelden waarmee het model leert

testdata - andere voorbeelden waarmee je controleert hoe goed het model werkt

veranderde factor - het ene onderdeel dat je bewust aanpast tijdens een test

nulmeting - de eerste testronde vóór je één factor verandert

Deze slide heeft geen instructies

Begrippenlijst

modelscore - een score of zekerheid die het model laat zien bij een voorspelling

voorspelling - het antwoord van het model over welke categorie het is

betrouwbaarheid - hoe vaak en onder welke omstandigheden een model bruikbare uitkomsten geeft

patroon - een kenmerk dat het model gebruikt om verschillen te herkennen

variatie - verschillen tussen voorbeelden, zoals achtergrond, afstand of belichting

onderbouwing - uitleg die je ondersteunt met resultaten en een concreet voorbeeld

Deze slide heeft geen instructies