AI, slim bekeken · Havo-vwo 1 · 4. Data bepalen alles

• newEditor
• Digitale geletterdheid
• Middelbare school
• havo, vwo
• Leerjaar 1

Introductie

Leerlingen ontdekken hoe de kwaliteit van data bepaalt wat een AI-systeem doet, bekijken echte voorbeelden van bias, waaronder de toeslagenaffaire, en controleren een dataset met open data van het CBS.

Instructies

Handleiding Havo-vwo 1 les 4, Data bepalen alles.pdf

AI, SLIM BEKEKEN

Data bepalen alles

Scheve data, scheve uitkomst: hoe vooroordelen in AI terechtkomen

HAVO-VWO 1 · LES 4 · 50 MIN

AI, slim bekeken: leerlijn AI-geletterdheid. Havo-vwo 1, les 4 van 4 (50 minuten). Lijn: afwegen.

Kerndoel: VO 21D: beschrijven van de rol en invloed van de kwaliteit en eigenschappen van data voor de werking en resultaten van AI-systemen; reflecteren op beperkingen (havo-vwo); 21C (herkomst, juistheid, volledigheid, open data), 23C.

AILit: Engage 2, Engage 6, Shape 3.

Voorbereiding: Digibord met internet en de AI-chatbot van school. Per groepje een laptop met toegang tot opendata.cbs.nl (CBS StatLine) of data.overheid.nl. Geen internet voor leerlingen? Zet de CBS-cijfers uit de handleiding (materialen) op het bord.

De volledige docentenhandleiding staat als bijlage bij deze les. Image credit: Vitaly Gariev / Unsplash

HAVO-VWO 1 · LES 4 · AFWEGEN

Dit ga je leren

• Ik kan uitleggen waarom de kwaliteit van data bepaalt hoe goed een AI-systeem werkt.

• Ik kan met voorbeelden uitleggen hoe bias in AI ontstaat en wie daar last van heeft.

• Ik kan open data gebruiken om te controleren of een dataset representatief is.

AI, SLIM BEKEKEN

Lees de doelen voor en vraag wat de leerlingen al weten. Kom er aan het eind van de les op terug.

Stelling: Een computer is eerlijker dan een mens, want hij heeft geen vooroordelen.

1

Eens

2

Oneens

3

Weet ik nog niet

AI, SLIM BEKEKEN · HAVO-VWO 1 · LES 4 · AFWEGEN

1. Zeg: 'Weet je nog: een AI-systeem bestaat uit data, algoritmen en hardware. Vandaag zoomen we in op de data.' 2. Laat kiezen en vraag om argumenten. Verwacht eens: 'Een computer heeft geen gevoelens en geen mening.' Oneens: 'Mensen maken de computer.' 3. Zeg: 'Allebei waar. Een computer heeft geen mening, maar leert wel van data die mensen verzameld hebben. Aan het eind van de les kijken we of je van mening bent veranderd.'

HAVO-VWO 1 · LES 4 · AFWEGEN

Garbage in, garbage out

• Een AI-systeem leert alleen van de data die het krijgt. Wat er niet in zit, kent het niet.

• Zitten er fouten of scheefheid in de data, dan neemt het systeem die over.

• Scheefheid in de uitkomst die groepen benadeelt, heet bias.

• Daarom geldt: slechte data erin, slechte uitkomst eruit.

AI, SLIM BEKEKEN

1. Zeg: 'Garbage betekent afval. Stop je afval in een systeem, dan komt er afval uit.' 2. Geef een alledaags voorbeeld: 'Stel, je leert koken alleen uit een kookboek met pastarecepten. Vraagt iemand om soep, dan maak je waarschijnlijk iets met pasta.' 3. Vraag: 'Wat zou een weer-AI doen als hij alleen data van zomers kreeg?' Verwacht: 'Hij voorspelt nooit sneeuw.' Misvatting: bias betekent dat de maker slechte bedoelingen had. Zeg: 'Meestal is het per ongeluk. Juist daarom moet je het actief zoeken.'

Image credit: Stephen Dawson / Unsplash

HAVO-VWO 1 · LES 4 · AFWEGEN

Vier eisen aan goede data

Juist

Kloppen de gegevens en labels? Een kat die als hond gelabeld is, leert het model iets fout.

Volledig

Ontbreken er gevallen? Een spraakherkenner zonder dialecten verstaat veel mensen niet.

Representatief

Zitten alle groepen er eerlijk in, in de juiste verhouding?

Actueel

Zijn de data nog van nu? Prijzen of routes van tien jaar geleden kloppen niet meer.

AI, SLIM BEKEKEN

1. Loop de kaarten langs en vraag bij elke kaart om een eigen voorbeeld. 2. Zeg bij 'representatief': 'Dat betekent dat de data lijken op de mensen voor wie het systeem bedoeld is.' 3. Vraag: 'Een navigatie-app kent een nieuwe wijk niet. Welke eis gaat mis?' Verwacht: actueel of volledig. Zeg: 'Klopt, vaak gaan er meerdere tegelijk mis.' Misvatting: veel data is automatisch goede data. Zeg: 'Een miljoen scheve voorbeelden blijven scheef.'

Een gezichtsherkenner is vooral getraind op lichte mannen. Wat verwacht je?

A

Hij werkt voor iedereen ongeveer even goed

B

Hij herkent daardoor alleen nog maar mannen

C

Meer fouten bij mensen met een donkere huid

D

Hij leert andere gezichten vanzelf wel bij

1. Laat antwoorden en bespreek. 2. Zeg: 'Het systeem heeft veel minder voorbeelden van donkere gezichten gezien, dus het is daar minder goed in.' 3. Misvatting: 'vanzelf bijleren'. Zeg: 'Een model leert alleen bij als iemand nieuwe, gelabelde data toevoegt en opnieuw traint.' Wie 'alleen mannen' kiest, overdrijft: het werkt wel, maar slechter. Op de volgende dia zie je dat dit echt gebeurde.

HAVO-VWO 1 · LES 4 · AFWEGEN

Bias in het echt

• 2018: systemen die op foto's het geslacht bepaalden, zaten bij donkere vrouwen tot bijna 35 procent fout.

• Bij lichte mannen was dat minder dan 1 procent. De trainingsdata bevatten vooral lichte gezichten.

• Amazon stopte met een sollicitatietool die was getraind op cv's van vooral mannen.

• Die tool gaf lagere scores aan cv's met het Engelse woord voor 'vrouwen', zoals bij een schaakclub.

AI, SLIM BEKEKEN

1. Vertel het eerste voorbeeld: 'Onderzoekers Joy Buolamwini en Timnit Gebru testten in 2018 systemen van grote bedrijven. Het onderzoek heet Gender Shades.' 2. Vertel het tweede: 'De tool leerde van wie er de afgelopen tien jaar was aangenomen. Dat waren vooral mannen. Dus leerde hij: mannen zijn goede kandidaten.' 3. Vraag: 'Had de programmeur de tool gezegd vrouwen te benadelen?' Verwacht: nee. Zeg: 'Het zat in de data, in wie er vroeger werd aangenomen. De AI herhaalde het verleden.'

Image credit: Korhan Eser / Unsplash

HAVO-VWO 1 · LES 4 · AFWEGEN

De toeslagenaffaire

• De Belastingdienst gebruikte een risicomodel om aanvragen kinderopvangtoeslag te kiezen voor extra controle.

• Dat model gebruikte onder meer nationaliteit als kenmerk.

• De Autoriteit Persoonsgegevens noemde dat in 2020 discriminerend en onrechtmatig, en gaf later een boete.

• De affaire had meer oorzaken. Duizenden ouders werden ten onrechte als fraudeur behandeld.

AI, SLIM BEKEKEN

1. Zeg: 'Dit gebeurde in Nederland, bij de overheid.' 2. Leg uit: 'Het model gaf aanvragen een risicoscore. Aanvragen met een hoge score werden extra gecontroleerd. Het hebben van een niet-Nederlandse nationaliteit was een van de kenmerken waarop het model lette.' 3. Zeg: 'De AP gaf in 2021 een boete van 2,75 miljoen euro. Ook de harde fraudeaanpak en het gebrek aan menselijke maat speelden een grote rol.' 4. Vraag: 'Waarom is het extra erg als de overheid dit doet?' Verwacht: 'Je kunt niet kiezen voor een andere overheid, en ouders raakten veel geld kwijt.' Wees alert: sommige leerlingen of hun ouders kunnen hierdoor geraakt zijn.

HAVO-VWO 1 · LES 4 · AFWEGEN

Open data: controleren kan iedereen

• Open data zijn gegevens die iedereen gratis mag gebruiken, bijvoorbeeld van het CBS en de overheid.

• Je vindt ze op opendata.cbs.nl (StatLine) en data.overheid.nl.

• Het zijn meestal tellingen en gemiddelden, geen gegevens over herkenbare personen.

• Met open data kun je nagaan of een trainingsset lijkt op de echte bevolking.

AI, SLIM BEKEKEN

1. Open opendata.cbs.nl op het digibord en zoek op 'bevolking geslacht leeftijd'. 2. Laat zien hoe je een tabel opent. Zeg: 'Hier zie je hoe de Nederlandse bevolking is opgebouwd. Dat is je meetlat.' 3. Vraag: 'Waarom staan hier geen namen in?' Verwacht: 'Dat zijn persoonsgegevens.' Zeg: 'Open data zijn bewust zo gemaakt dat je niemand kunt herkennen.' Misvatting: open data zijn altijd goed. Zeg: 'Ook open data kunnen verouderd of onvolledig zijn. Kijk altijd naar het jaar.'

HAVO-VWO 1 · LES 4 · AFWEGEN

Dataset-detectives

GROEPJES

1. Lees de casus van de sportapp op het bord. Wie zitten er in de trainingsdata?

2. Zoek op opendata.cbs.nl hoe de bevolking is verdeeld naar geslacht en leeftijd.

3. Vergelijk: wie ontbreekt in de trainingsdata, en welk advies krijgen zij waarschijnlijk?

4. Bedenk twee manieren om de dataset beter te maken. Schrijf ze op.

12

minute

00

second

add30s

12 minuten

AI, SLIM BEKEKEN

1. Zet de casus op het bord (zie materialen) en maak groepjes van 3 of 4. 2. Zeg: 'Jullie zijn inspecteurs. Is deze app eerlijk voor iedereen?' 3. Loop rond en vraag: 'Wie zou deze app gebruiken en slecht advies krijgen?' Verwacht: vrouwen, ouderen, mensen van het platteland, mensen met een beperking. 4. Na 9 minuten laten twee groepjes hun verbeteringen noemen. Goed resultaat: meer data verzamelen van ontbrekende groepen, en de app per groep testen voordat hij online gaat. Geen internet? Gebruik de CBS-cijfers uit de materialen. Leerlingen mogen de AI-chatbot vragen welke CBS-tabel ze nodig hebben, maar de cijfers halen ze bij het CBS zelf.

Welk probleem zit er in deze data?

Onvolledig/scheef

Onjuist/verouderd

Alleen foto's bij daglicht

Prijzen van tien jaar terug

Alleen volwassen stemmen

Katten gelabeld als hond

Enquête alleen in Randstad

Kaart zonder de nieuwe wijk

AI, SLIM BEKEKEN · HAVO-VWO 1 · LES 4 · AFWEGEN

1. Laat sorteren en bespreek. 2. Vraag bij 'kaart zonder nieuwe wijk': 'Is dat onvolledig of verouderd?' Verwacht: allebei goed te verdedigen. Zeg: 'Klopt. Het gaat niet om het juiste bakje, maar om het zien van het probleem.' 3. Vraag: 'Wat doet een spraakassistent die alleen volwassenen hoorde, als een kind van 8 iets vraagt?' Verwacht: 'Hij verstaat het slecht.' Zeg: 'Wie niet in de data zit, telt niet mee.'

HAVO-VWO 1 · LES 4 · AFWEGEN

Wat kun je eraan doen?

Breder verzamelen

Zorg dat alle groepen voor wie het systeem bedoeld is in de data zitten.

Testen per groep

Kijk niet alleen naar het gemiddelde, maar test of het voor elke groep even goed werkt.

Mens beslist mee

Laat bij belangrijke beslissingen een mens meekijken die kan afwijken.

Open zijn

Vertel welke data gebruikt zijn, zodat anderen fouten kunnen vinden.

AI, SLIM BEKEKEN

1. Koppel de kaarten aan de verbeteringen die de groepjes net noemden: 'Welke van deze hadden jullie al bedacht?' 2. Zeg bij 'testen per groep': 'Een systeem dat gemiddeld 95 procent goed scoort, kan bij een kleine groep toch vaak fout zitten.' 3. Vraag: 'Welke oplossing had bij de toeslagenaffaire geholpen?' Verwacht: nationaliteit niet gebruiken, testen of groepen benadeeld werden, een mens die echt kritisch kijkt. Misvatting: gevoelige kenmerken weglaten is genoeg. Zeg: 'Postcode of naam kunnen er toch naar verwijzen. Daarom test je de uitkomsten.'

HAVO-VWO 1 · LES 4 · AFWEGEN

Zit er bias in een taalmodel?

PROBEER HET ZELF

Schrijf drie korte zinnen over een ingenieur, een verpleegkundige en een piloot. Geef ze allemaal een voornaam.

Thomas is ingenieur en ontwerpt bruggen die tegen storm kunnen. Sanne is verpleegkundige en zorgt met veel geduld voor haar patiënten. Mark is piloot en vliegt elke week naar New York.

AI-ANTWOORD

Praat erover

Welk patroon zie je, en waar komt het vandaan?

AI, SLIM BEKEKEN

Laat leerlingen de vraag stellen aan de AI-chatbot van school, zonder persoonsgegevens. Geen tool beschikbaar: gebruik het voorbeeldantwoord.

Laat eerst voorspellen wat de AI antwoordt; één klik toont het voorbeeldantwoord.

1. Typ de prompt live in de AI-chatbot, of toon dit voorbeeldantwoord. 2. Vraag: 'Welk patroon zie je?' Verwacht: mannen hebben de technische beroepen, de vrouw zorgt. 3. Zeg: 'Een taalmodel leert van enorme hoeveelheden tekst. Als in die teksten ingenieurs vaker mannen zijn, neemt het model dat over.' 4. Geeft de chatbot live een gemengd antwoord? Zeg: 'Makers sturen hun modellen bij om dit soort patronen te verminderen. Dat laat zien dat het een bekend probleem is.' Herhaal de prompt dan eventueel twee keer en kijk of het patroon terugkomt.

Een AI-systeem discrimineert. Wie is verantwoordelijk, en waarom?

AI, SLIM BEKEKEN · HAVO-VWO 1 · LES 4 · AFWEGEN

1. Laat alleen schrijven, lees twee antwoorden voor. 2. Een goed antwoord noemt dat de computer niet verantwoordelijk kan zijn, en wijst mensen aan: de makers (welke data, welke tests), de organisatie die het gebruikt (controle, bezwaar mogelijk maken) en soms de overheid (regels en toezicht). Sterk antwoord: 'De organisatie die het systeem inzet, want die kiest ervoor en moet controleren of het eerlijk werkt.' 3. Vraag tot slot: 'Wie is van mening veranderd over de stelling van het begin?'

Wat betekent representatieve data?

A

De data zijn verzameld door de overheid

B

Het zijn heel veel data, liefst miljoenen

C

Alle groepen zitten er eerlijk in vertegenwoordigd

D

Er staan geen tikfouten of lege vakjes in

1. Exit-vraag: laat iedereen zelfstandig antwoorden. 2. Misvatting: 'heel veel data' en 'geen tikfouten' zijn ook eisen aan goede data, maar gaan over hoeveelheid en juistheid. Representatief gaat over de verhouding tussen groepen. Wie 'overheid' kiest, verwart representatief met officieel. 3. Zeg: 'Representatief betekent: de data lijken op de mensen voor wie het systeem bedoeld is.'

HAVO-VWO 1 · LES 4 · AFWEGEN

Woorden van vandaag

datakwaliteit Hoe juist, volledig, representatief en actueel de data zijn.

bias Scheefheid in data of uitkomsten waardoor een groep benadeeld wordt.

representatief De data lijken op de groep mensen voor wie het systeem bedoeld is.

risicomodel Systeem dat een score geeft om te bepalen wie extra gecontroleerd wordt.

open data Gegevens die iedereen gratis mag gebruiken, zoals cijfers van het CBS.

AI, SLIM BEKEKEN

Herhaal de woorden kort. Laat leerlingen er een zin mee maken of er een aanwijzen die ze nu beter snappen.