AI, slim bekeken · Havo-vwo 2-3 · 1. Train je eigen model

• New lesson editor
• Digitale geletterdheid
• Middelbare school
• havo, vwo
• Leerjaar 2,3

Introduction

Leerlingen trainen met Teachable Machine een model dat handgebaren herkent, testen het met criteria en met de handen van klasgenoten, en ontdekken wat trainingsdata, testsets, representativiteit en overfitting zijn.

Instructions

Docentenhandleiding Havo-vwo 2-3 les 1, Train je eigen model.pdf

AI, SLIM BEKEKEN

Train je eigen model

Train een gebarenherkenner, test hem op eerlijkheid en ontdek waar hij faalt

HAVO-VWO 2-3 · LES 1 · 50 MIN

AI, slim bekeken: leerlijn AI-geletterdheid. Havo-vwo 2-3, les 1 van 4 (50 minuten). Lijn: snappen.

Kerndoel: VO 21D: experimenteren met het trainen van AI-systemen; beschrijven van de rol en invloed van de kwaliteit en eigenschappen van data (representativiteit); aanvulling havo-vwo: gangbare manieren om AI-systemen te trainen, reflecteren op mogelijkheden en beperkingen.

AILit: Engage 2, Shape 1, Shape 2, Shape 3.

Voorbereiding: Test vooraf Teachable Machine van Google (teachablemachine.withgoogle.com) op een schoollaptop: werkt in de browser zonder account, heeft een webcam nodig. De website is in het Engels. Per tweetal een laptop met webcam. Leerlingen trainen op handgebaren: duim omhoog, duim omlaag, open hand en niets. Spreek af dat alleen handen in beeld komen, geen gezichten. Geen webcams of geen toegang? Doe de training klassikaal op het digibord.

De volledige docentenhandleiding staat als bijlage bij deze les. Image credit: Anthony Da Cruz / Unsplash

HAVO-VWO 2-3 · LES 1 · SNAPPEN

Dit ga je leren

• Ik kan een beeldherkenningsmodel trainen en uitleggen wat trainingsdata, labels en een testset zijn.

• Ik kan een model testen met criteria, ook op eerlijkheid, en uitleggen wat overfitting is.

• Ik kan uitleggen waarom een model met eenzijdige trainingsdata niet voor iedereen even goed werkt.

AI, SLIM BEKEKEN

Lees de doelen voor en vraag wat de leerlingen al weten. Kom er aan het eind van de les op terug.

Hoeveel voorbeelden heeft een computer nodig om een duim omhoog te herkennen?

1

1

2

Ongeveer 10

3

Ongeveer 100

4

Duizenden of meer

AI, SLIM BEKEKEN · HAVO-VWO 2-3 · LES 1 · SNAPPEN

1. Laat stemmen en toon de uitslag. 2. Zeg: 'Dat hangt ervan af. Een model dat vanaf nul leert, heeft er duizenden nodig. Maar vandaag gebruik je een model dat al op heel veel foto's getraind is. Dan zijn enkele tientallen genoeg. Dat ga je zelf ontdekken.' 3. Vraag: 'En heeft het genoeg aan foto's van één hand?' Laat een paar leerlingen gokken. Zeg: 'Dat testen we straks.' Misvatting: een computer leert net zo snel als een mens. Zeg: 'Een kind snapt na een paar keer wat een duim omhoog betekent, bij elke hand.'

HAVO-VWO 2-3 · LES 1 · SNAPPEN

Zo leert een beeldherkenner

• Je maakt klassen: de groepen die het model moet herkennen, zoals duim omhoog, open hand en niets.

• Per klasse geef je voorbeelden: foto's met het goede antwoord erbij, het label.

• Bij het trainen zoekt het model welke patronen in de pixels bij welke klasse horen.

• Voor een nieuw beeld geeft het per klasse een zekerheid, bijvoorbeeld 92 procent duim omhoog.

AI, SLIM BEKEKEN

1. Zeg: 'Dit heet gesuperviseerd leren: leren van voorbeelden waarbij het goede antwoord bekend is.' 2. Vraag: 'Waarom zou je een klasse niets maken?' Verwacht: 'Anders moet het model altijd iets kiezen, ook als er geen hand in beeld is.' 3. Zeg: 'Precies. Een model kent alleen de klassen die jij hebt gemaakt. Maak je een vredesteken, dan kiest het toch een van jouw klassen.' Misvatting: het model ziet wat wij zien. Zeg: 'Het ziet alleen getallen: de kleur van elke pixel. Of die pixels van het gebaar komen of van je mouw, weet het niet.'

Image credit: Vitaly Gariev / Unsplash

HAVO-VWO 2-3 · LES 1 · SNAPPEN

Trainingsset en testset

• De trainingsset zijn de voorbeelden waarvan het model leert.

• De testset zijn voorbeelden die het model nog nooit zag. Daarmee meet je hoe goed het is.

• Vergelijk het met een oefentoets: antwoorden uit je hoofd leren zegt niets over de echte toets.

• Vaak gebruik je ongeveer 80 procent van de data om te trainen en 20 procent om te testen.

AI, SLIM BEKEKEN

1. Lees de bullets voor. 2. Zeg: 'Stel dat je docent de oefentoets als echte toets geeft. Dan haal je misschien een tien, maar weet je of je het snapt?' Verwacht: nee. 3. Zeg: 'Voor een model geldt hetzelfde. Daarom test je straks met nieuwe foto's en met de handen van klasgenoten.' Misvatting: testen is hetzelfde als nog een keer kijken of het werkt. Zeg: 'Testen betekent: bewust zoeken naar situaties en mensen die het model nog niet kent.'

Image credit: YY TEOH / Unsplash

Waarom test je een model met beelden die het nog nooit zag?

A

Om te zien of het ook nieuwe gevallen goed doet

B

Omdat het de oude beelden al vergeten is

C

Omdat testen met veel beelden sneller gaat

D

Om het model zo extra trainingsdata te geven

1. Laat antwoorden en bespreek. 2. Misvatting: wie 'extra trainingsdata' kiest, haalt trainen en testen door elkaar. Zeg: 'Testdata mag je juist niet gebruiken om te trainen, anders is de test niet eerlijk meer.' Wie 'vergeten' kiest, denkt dat een model als een mens vergeet. Zeg: 'Een getraind model verandert niet meer, tot je het opnieuw traint.'

HAVO-VWO 2-3 · LES 1 · SNAPPEN

Train je eigen gebarenherkenner

MET AI

1. Open teachablemachine.withgoogle.com, kies Get Started, Image Project, Standard image model.

2. Maak vier klassen: duim omhoog, duim omlaag, open hand en niets.

3. Eén van jullie is de trainer. Maak per klasse 30 foto's van alleen zijn of haar hand.

4. Klik op Train Model en test in het voorbeeldvenster rechts. Noteer wat opvalt.

14

minute

00

second

+30 s

14 minuten

AI, SLIM BEKEKEN

1. Doe de eerste twee stappen voor op het digibord. 2. Zeg: 'Alleen je hand in beeld, geen gezicht. Je hebt geen account nodig en je slaat het project niet op, dus de foto's blijven op deze laptop.' 3. Zeg: 'Train bewust met maar één hand. Varieer wel: draaien, dichtbij, ver weg.' Bij de klasse niets: lege achtergrond. 4. Wijs op Hold to Record. Trainen duurt meestal minder dan een minuut; laat het tabblad open. 5. Loop rond en vraag: 'Hoe zeker is het model? Wat gebeurt er als je duim half omhoog staat?' Goed resultaat: een model dat de gebaren van de trainer herkent. Geen webcams? Train klassikaal met de hand van één leerling.

HAVO-VWO 2-3 · LES 1 · SNAPPEN

Test je model met criteria

Nauwkeurig

Hoeveel van tien nieuwe testbeelden herkent het goed?

Robuust

Werkt het nog bij ander licht, een drukke achtergrond of een andere afstand?

Eerlijk

Werkt het net zo goed bij een andere hand: andere huidskleur, grootte, een ring?

Zeker

Hoe zeker is het bij twijfelgevallen? Klopt die zekerheid wel?

AI, SLIM BEKEKEN

1. Zeg: 'Vakmensen testen een model niet met een gevoel, maar met criteria. Dat gaan jullie ook doen.' 2. Loop de kaarten langs. 3. Vraag: 'Waarom zou het model slechter werken bij de hand van een ander?' Verwacht: 'Het zag alleen de hand van de trainer: die kleur, die grootte, die mouw.' 4. Zeg: 'Dan was de trainingsset niet representatief. Dat is dezelfde reden waarom echte gezichtsherkenning bij sommige groepen slechter werkte.' Misvatting: 99 procent zeker betekent 99 procent kans dat het klopt. Zeg: 'Een model kan heel zeker en toch fout zijn.'

HAVO-VWO 2-3 · LES 1 · SNAPPEN

Eerlijkheidstest: werkt het voor iedereen?

TWEETALLEN

1. Test tien gebaren met de hand van de trainer. Noteer hoeveel het model er goed heeft.

2. Laat twee klasgenoten van een ander tweetal elk tien gebaren doen. Noteer de scores.

3. Vergelijk: bij welke hand werkt het slechter, en wat is daar anders?

4. Maak extra foto's van die andere handen, train opnieuw en test nog een keer.

8

minute

00

second

+30 s

8 minuten

AI, SLIM BEKEKEN

1. Zeg: 'Je doel is nu niet een goed model, maar uitzoeken voor wie het niet werkt.' 2. Laat tweetallen per hand turven: aantal goed van 10. Meedoen met je hand is vrijwillig. 3. Na 6 minuten vraag je drie tweetallen: 'Bij wie ging het mis?' Verwacht: bij een kleinere of grotere hand, een andere huidskleur, een ring of een andere mouw. Bespreek dat zakelijk: 'Het ligt niet aan die hand, het ligt aan wat er in de data zat.' 4. Vraag: 'Wat hielp na het bijtrainen?' Verwacht: foto's van meer verschillende handen. Zeg: 'Zo werken echte ontwikkelaars ook: per groep testen, ontbrekende data aanvullen, opnieuw trainen.'

HAVO-VWO 2-3 · LES 1 · SNAPPEN

Overfitting: te goed uit je hoofd

• Bij overfitting leert een model de trainingsvoorbeelden te precies, inclusief toevallige details.

• Het scoort dan goed op de trainingsdata, maar slecht in nieuwe situaties.

• Voorbeeld uit onderzoek: een model dat wolf en husky moest onderscheiden, keek vooral naar sneeuw.

• Oplossing: meer variatie in de data, en altijd testen met nieuwe voorbeelden.

AI, SLIM BEKEKEN

1. Koppel aan de eerlijkheidstest: 'Wie zag dat het model de hand van de trainer had geleerd in plaats van het gebaar?' 2. Vertel het wolf-husky-voorbeeld: 'Op bijna alle wolvenfoto's lag sneeuw. Het model leerde dus: sneeuw betekent wolf. Een husky in de sneeuw werd een wolf.' 3. Zeg: 'Het model deed niets fout volgens zijn eigen opdracht. Het vond het makkelijkste patroon dat bij de labels paste: sneeuw, of de kleur van één hand.' Misvatting: overfitting betekent te veel data. Zeg: 'Het gaat juist vaak mis met te weinig of te eenzijdige data.'

Je model herkent de gebaren alleen goed bij jouw eigen hand. Hoe komt dat?

A

Het kreeg te veel verschillende foto's

B

De webcam heeft een te lage resolutie

C

Het leerde ook kenmerken van jouw hand

D

De anderen maken het gebaar net verkeerd

1. Laat antwoorden en bespreek. 2. Zeg: 'Het model heeft kenmerken van jouw hand gekoppeld aan de labels, zoals kleur, grootte of je mouw. Je trainingsset was niet representatief.' 3. Misvatting: wie 'te veel verschillende foto's' kiest, denkt dat variatie het model in de war brengt. Zeg: 'Juist variatie helpt het model om te leren wat echt bij het gebaar hoort.' Wie 'de anderen doen het verkeerd' kiest, legt de fout bij de gebruiker. Zeg: 'Een goed model werkt voor iedereen voor wie het bedoeld is.' Wie 'resolutie' kiest: 'Dan zou het bij jouw hand ook slecht werken.'

HAVO-VWO 2-3 · LES 1 · SNAPPEN

Van klaslokaal naar echte wereld

• Echte modellen trainen op miljoenen voorbeelden, niet op dertig.

• Die voorbeelden worden vaak door mensen gelabeld, soms door laagbetaalde klikwerkers in landen als Kenia.

• Na het trainen blijven ontwikkelaars testen, want de wereld verandert: nieuwe producten, nieuw licht.

• Een fout in een schoolproject is onschuldig. In een auto of ziekenhuis niet.

AI, SLIM BEKEKEN

1. Zeg: 'Wat jullie deden, is in het klein wat grote bedrijven doen.' 2. Vertel: 'Iemand moet al die miljoenen foto's labelen. Dat werk wordt vaak uitbesteed. Journalisten van TIME onthulden in 2023 dat Keniaanse werknemers voor minder dan 2 dollar per uur schokkende teksten labelden om een chatbot veiliger te maken.' 3. Vraag: 'Welke criteria zijn belangrijk voor een model dat voetgangers herkent in een zelfrijdende auto?' Verwacht: robuust (nacht, regen), eerlijk (iedereen herkennen, ook kinderen en rolstoelgebruikers), heel nauwkeurig. Zeg: 'Net als bij jullie handen: test je niet met alle soorten mensen, dan weet je niet voor wie het werkt.'

Stelling: Als een model 95 procent van de testbeelden goed heeft, is het klaar voor gebruik.

1

Eens

2

Oneens

3

Weet ik nog niet

AI, SLIM BEKEKEN · HAVO-VWO 2-3 · LES 1 · SNAPPEN

1. Laat kiezen en vraag om argumenten. Voor: 95 procent is heel goed, mensen maken ook fouten. Tegen: het hangt af van de gevolgen van een fout (spam of een ziekte missen); de 5 procent fouten kunnen steeds dezelfde groep treffen; de testset kan te veel lijken op de trainingsset. 2. Zeg tot slot: 'Een getal zegt pas iets als je weet waarop getest is en wat een fout kost.'

Wat is overfitting?

A

Een model heeft te lang staan rekenen

B

Een model leert de trainingsdata te precies

C

Een model moet te veel klassen herkennen

D

Een model is getraind met gelabelde data

1. Exit-vraag: laat iedereen zelfstandig antwoorden. 2. Misvatting: wie 'gelabelde data' kiest, verwart overfitting met gesuperviseerd leren. Wie 'te lang rekenen' kiest, zit er niet helemaal naast: heel lang trainen op dezelfde data kan overfitting veroorzaken, maar de kern is dat het model de voorbeelden uit het hoofd leert en niet generaliseert. 3. Zeg: 'Onthoud: goed op de oefentoets, slecht op de echte toets.'

HAVO-VWO 2-3 · LES 1 · SNAPPEN

Woorden van vandaag

klasse Een groep die een model moet herkennen, zoals duim omhoog of open hand.

trainingsset De voorbeelden met labels waarvan het model leert.

testset Voorbeelden die het model niet eerder zag, om te meten hoe goed het werkt.

overfitting Een model leert de trainingsvoorbeelden te precies en werkt slecht bij nieuwe gevallen.

representatief De trainingsdata lijken op alle mensen en situaties waarvoor het model bedoeld is.

transfer learning Een al getraind model leert er een nieuwe taak bij met weinig voorbeelden.

AI, SLIM BEKEKEN

Herhaal de woorden kort. Laat leerlingen er een zin mee maken of er een aanwijzen die ze nu beter snappen.