Welkom!
We gaan straks beginnen
Bij het keuzedeel AI
Zet je camera aan, zorg dat je microfoon werkt en pak wat te drinken
Welkom!
We gaan straks beginnen
Bij het keuzedeel AI
Zet je camera aan, zorg dat je microfoon werkt en pak wat te drinken
Dit is het centrale leerdoel voor deze les. De teamvorming en kennismaking zijn belangrijk voor de reeks, maar stuur inhoudelijk vooral op dit doel.
Eerlijk testen van AI-modellen
Les 6 van het keuzedeel Generatieve AI, mbo 3/4. Rustige opening, geen extra uitleg op de cover.
This item has no instructions
Wat ga je vandaag onderzoeken?
Ik kan het effect van één veranderde factor op de prestaties van mijn eigen AI-model onderzoeken.
Tijd: 2 minuten. Benoem mondeling ook de opbrengst van de les: een eigen model, een kleine test en een onderbouwde conclusie. Succescriteria mondeling toelichten: factor benoemen, eerlijk vergelijken, conclusie onderbouwen met resultaten en één voorbeeld.
Welk woord past voor jou bij eerlijk testen van AI?
Gebruik de woorden als korte activatie. Vraag daarna door op opvallende woorden zoals 'betrouwbaar', 'eerlijk', 'testen' of 'vergelijking'.
Wanneer weet je iets zeker?
Je verandert de achtergrond, de belichting én de afstand.
Het model werkt daarna beter.
Weet je dan waardoor dat komt?
Meerdere veranderingen tegelijk maken het lastig om het effect van één veranderde factor te herkennen.
Tijd: 3 minuten. Dit vervangt de interactieve meerkeuze als inhoudelijke ankerdia. Bespreek dat je zonder eerlijke vergelijking niet weet welke verandering het verschil maakte. Alternatieven voor docentnotities: T2 twee testopzetten vergelijken; T3 in een rommelige testopzet aanwijzen welke factoren tegelijk veranderen.
Hoe leert een model?
Classificeren is het voorspellen van een categorie.
Gelabelde voorbeelden → trainen → voorspellen bij nieuwe input → controleren
Voorbeeld:
pen hoort bij categorie pen
gum hoort bij categorie gum
Tijd: 2 minuten. Leg eenvoudig uit dat labels aangeven bij welke categorie een voorbeeld hoort. Houd het bij het basisidee van classificatie.
Trainingsdata en testdata
Trainingsdata zijn voorbeelden waarmee het model leert.
Testdata zijn andere voorbeelden waarmee jij controleert hoe goed het model werkt.
Houd trainingsvoorbeelden en testvoorbeelden gescheiden.
Een hoge modelscore is geen garantie op een juist antwoord.
Benadruk dat studenten niet testen met voorbeelden die al in de training zaten. Noem dat de getoonde score van het model niet hetzelfde is als betrouwbaar gedrag in nieuwe situaties.
Een eerlijke test
Je wilt weten wat afstand doet met geluidsherkenning.
Veranderen:
alleen de afstand tot de microfoon
Gelijk houden:
dezelfde persoon
hetzelfde geluid
dezelfde microfoon
dezelfde omgeving
Tijd: 3 minuten. Laat studenten eerst kort stil nadenken waarom je niet tegelijk afstand én achtergrondgeluid verandert. Alternatief: laat studenten in een korte testbeschrijving markeren wat onder 'veranderen' en 'gelijk houden' valt.
Waarom maar één factor?
Als je meerdere dingen tegelijk verandert, kun je het resultaat niet eerlijk uitleggen.
Je zoekt dus naar één veranderde factor.
Gebruik consequent de term 'veranderde factor'. Koppel dit direct aan het leerresultaat en de succescriteria.
Waarom weet je niet waardoor het model beter werkt?
Te veel labels
Te veel factoren
Te veel categorieën
Te veel testdata
Sluit aan op de slides over meerdere veranderingen tegelijk en één veranderde factor. De kernmisvatting is dat 'meer data' of 'meer labels' hier het probleem zouden zijn.
Vul de kernwoorden in
Bij classificeren voorspelt een model een categorie. Met trainingsdata leert het model. Met testdata controleer je hoe goed het werkt.
Controleert de basistermen uit de eerste uitlegblokken: classificeren, categorie, trainingsdata en testdata.
Welke ene factor zou jij eerlijk kunnen testen?
Bespreek dat studenten moeten noemen: één veranderde factor en wat gelijk blijft. Goede antwoorden verwijzen naar een eerlijke vergelijking, bijvoorbeeld afstand veranderen en persoon/omgeving gelijk houden.
Kies één tutorial
Afbeeldingen — Bananameter
Geluid — Snap Clap Whistle
Houding — Head Tilt
Tool
https://teachablemachine.withgoogle.com/
Onderdeel van hetzelfde werkblok als dia 8 en 9; samen 15 minuten inclusief kiezen en naar de rooms gaan. Laat studenten kiezen op basis van spullen, apparatuur en voorkeur. Verzin geen extra tutorialstappen; zij volgen de originele bron.
Bouw je eerste model
Open jouw tutorial
Volg de stappen uit de tutorial
Train je eerste model
Noteer welke categorieën het model onderscheidt
Bewaar een schermafbeelding van je eerste werkende model
Samen met dia 7 en 8 vormt dit één werkblok van 15 minuten. Monitor met de vraag: 'Wat is jouw ene veranderde factor?' Nog niet opnieuw trainen na de eerste vergelijking.
Jouw eigen test
1. Voorspel
Welke verandering zou jouw model lastig vinden? Waarom?
2. Doe een nulmeting
Gebruik 10 nieuwe voorbeelden of testpogingen die niet bij de training hoorden.
3. Verander één factor
Houd de rest zoveel mogelijk gelijk.
Train het model nog niet opnieuw.
Start van het testblok van 10 minuten. Laat studenten vooraf de juiste categorieën bepalen en opschrijven.
Jouw eigen test
4. Test opnieuw
Doe 10 vergelijkbare testpogingen met dezelfde categorieën onder de gewijzigde omstandigheid.
5. Vergelijk
Wat ging beter of slechter?
Welke aanwijzing heb je voor jouw verklaring?
Zorg dat de categorieën in beide testrondes even vaak voorkomen.
Benadruk dat een kleine praktijktest aanwijzingen geeft, geen bewijs voor alle situaties.
Voorbeelden van één veranderde factor
Bananameter
verander alleen de achtergrond
houd banaan, afstand, positie en belichting gelijk
Snap Clap Whistle
verander alleen de afstand tot de microfoon
houd persoon, geluidstype, microfoon en omgeving gelijk
Head Tilt
verander alleen de afstand tot de camera
houd houding, persoon, achtergrond en belichting gelijk
Benoem mondeling: dit zijn mogelijke tests. Studenten kiezen één factor die past bij hun model.
Meer voorbeelden is niet altijd beter
Meer trainingsvoorbeelden maken een model niet automatisch beter.
Wat telt:
kwaliteit van de voorbeelden
duidelijke labels
genoeg variatie
voorbeelden die passen bij wat je later wilt testen
Koppel dit aan mogelijke verbeteringen die studenten straks gaan voorstellen.
This item has no instructions
Breakout rooms
Zie canvas voor de opdracht
Noem ook mondeling: kies beeld of geluid als je zelf niet herkenbaar in beeld wilt komen.
Hoe kan je dit toepassen op jouw onderzoeksvraag?
Verwachte elementen: een model kan andere patronen gebruiken dan bedoeld, zoals achtergrond, belichting of opnamekwaliteit. Ook mag genoemd worden dat meer voorbeelden niet automatisch beter zijn; kwaliteit en variatie tellen.
Bouw aan je eindopdracht
Bewaar één eerlijke vergelijking en jouw conclusie in je dossier.
Voeg toe aan je bijlage:
tutorialkeuze en schermafbeelding
veranderde factor
wat je gelijk hield
beide testscores
één opvallend voorbeeld
conclusie en voorgestelde verbetering
Tijd: 3 minuten. Dit is stap 6 van 10 in de eindopdracht. Benoem mondeling de slotvraag: 'Welke keuze heb jij zelf gemaakt of gecontroleerd?' Vooruitblik: volgende les onderzoeken we wat extra klantinformatie doet met een AI-antwoord.
Wat neem jij mee uit deze les?
Reflectie zonder goed of fout. Laat studenten benoemen welk inzicht uit hun eigen test het belangrijkst was.
Wat vond jij het lastigst bij eerlijk testen?
Reflectie zonder goed of fout. Mogelijke richtingen: één factor kiezen, training en test scheiden, of een fout gebruiken als informatie.
Begrippenlijst
classificeren - het voorspellen van een categorie
categorie - de groep waar een voorbeeld volgens het model bij hoort
gelabeld voorbeeld - een voorbeeld waarbij al is aangegeven bij welke categorie het hoort
trainingsdata - voorbeelden waarmee het model leert
testdata - andere voorbeelden waarmee je controleert hoe goed het model werkt
veranderde factor - het ene onderdeel dat je bewust aanpast tijdens een test
nulmeting - de eerste testronde vóór je één factor verandert
This item has no instructions
Begrippenlijst
modelscore - een score of zekerheid die het model laat zien bij een voorspelling
voorspelling - het antwoord van het model over welke categorie het is
betrouwbaarheid - hoe vaak en onder welke omstandigheden een model bruikbare uitkomsten geeft
patroon - een kenmerk dat het model gebruikt om verschillen te herkennen
variatie - verschillen tussen voorbeelden, zoals achtergrond, afstand of belichting
onderbouwing - uitleg die je ondersteunt met resultaten en een concreet voorbeeld
This item has no instructions