AI, slim bekeken · Havo-vwo 2-3 · 2. Hoe werkt een taalmodel?

AI, SLIM BEKEKEN

Hoe werkt een taalmodel?

Tokens, kansen en bijsturing: wat er gebeurt als je een chatbot iets vraagt

HAVO-VWO 2-3 · LES 2 · 50 MIN

1 / 18
suivant
Slide 1: Slide
newEditorDigitale geletterdheidMiddelbare schoolhavo, vwoLeerjaar 2,3

Cette leçon contient 18 diapositives, avec quiz interactifs et diapositives de texte.

time-iconLa durée de la leçon est: 50 min
Signaler cette leçon

Introduction

Leerlingen tellen tokens, spelen met kansen en temperatuur, verklaren waarom een taalmodel hallucineert en onderzoeken wat bijsturing door mensen wel en niet oplost. Ook leren ze drie manieren van machine learning kennen.

Instructions

Éléments de cette leçon

AI, SLIM BEKEKEN

Hoe werkt een taalmodel?

Tokens, kansen en bijsturing: wat er gebeurt als je een chatbot iets vraagt

HAVO-VWO 2-3 · LES 2 · 50 MIN

AI, slim bekeken: leerlijn AI-geletterdheid. Havo-vwo 2-3, les 2 van 4 (50 minuten). Lijn: snappen.

Kerndoel: VO 21D: beschrijven van op statistiek gebaseerde AI-systemen; kritisch interacteren; aanvulling havo-vwo: machine learning en gangbare manieren om AI-systemen te trainen (voortrainen, menselijke feedback), reflecteren op mogelijkheden en beperkingen.

AILit: Engage 2, Engage 3.

Voorbereiding: Digibord met internet en de AI-chatbot van school. Zet een openbare tokenizer-pagina klaar (zoek op 'tokenizer'; controleer vooraf dat die zonder inloggen werkt). Leerlingen werken in tweetallen met een laptop en schoolaccount. Per tweetal een dobbelsteen, of een dobbelsteen-app.

De volledige docentenhandleiding staat als bijlage bij deze les. Image credit: Alan Navarro / Unsplash

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Dit ga je leren

  • Ik kan uitleggen hoe een taalmodel met tokens en kansen een antwoord maakt, en wat temperatuur doet.

  • Ik kan uitleggen waarom voorspellen op kans tot hallucinaties leidt.

  • Ik kan beschrijven hoe een taalmodel getraind en bijgestuurd wordt, en wat die bijsturing wel en niet oplost.

AI, SLIM BEKEKEN

Lees de doelen voor en vraag wat de leerlingen al weten. Kom er aan het eind van de les op terug.

Wat gebeurt er volgens jou als je een vraag typt in een chatbot?

AI, SLIM BEKEKEN · HAVO-VWO 2-3 · LES 2 · SNAPPEN

  1. Zeg: 'Je hoeft het niet te weten. Schrijf op wat je denkt.' 2. Laat invullen en lees voor. Verwacht: zoekt op internet, zoekt in een database, denkt na, snapt je vraag, voorspelt. 3. Zeg: 'Veel mensen denken dat een chatbot het antwoord ergens opzoekt. Aan het eind van de les weet je dat het anders werkt.' Laat het woordweb staan en kom er aan het eind op terug.

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Weet je nog? Het volgende woord

UNPLUGGED

  1. Maak deze zin af met één woord: 'Ik trek mijn jas aan, want het ...'

  2. Vergelijk met je buur. Welk woord kozen de meesten in de klas?

2

minute

00

second

2 minuten

AI, SLIM BEKEKEN

  1. Houd dit kort: dit is ophalen, geen nieuwe opdracht. Lees de zin voor en laat 10 seconden schrijven. 2. Vraag: 'Wie schreef regent? Wie iets anders?' Verwacht: de meesten regent, een paar is koud of waait. 3. Zeg: 'Weet je nog: een taalmodel doet dit ook, steeds het volgende stukje raden. Vandaag kijk je hoe dat precies gaat: in welke stukjes het tekst knipt, hoe het kiest, en waarom het daardoor soms iets verzint.' Misvatting: een taalmodel raadt hele zinnen. Zeg: 'Het raadt steeds één stukje tegelijk.'

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Tokens: tekst in stukjes

  • Een taalmodel knipt tekst in tokens: hele woorden of stukjes van woorden.

  • Een lang woord als 'onvoorspelbaar' kan bijvoorbeeld 'on', 'voor', 'spel' en 'baar' worden.

  • Elk token krijgt een nummer. Het model rekent met die nummers, niet met letters.

  • Nederlands kost vaak meer tokens dan Engels, omdat het model meer Engelse tekst heeft gezien.

AI, SLIM BEKEKEN

  1. Zeg: 'De verdeling in tokens verschilt per model. Dit is een voorbeeld.' 2. Vraag: 'Waarom zou een model een woord in stukjes knippen?' Verwacht: 'Dan kan het ook woorden aan die het nog nooit zag.' Zeg: 'Precies, met een paar tienduizend stukjes kun je bijna elk woord maken.' 3. Zeg: 'Omdat het model tokens ziet en geen losse letters, gaat letters tellen soms mis. Dat testen we aan het eind.' Misvatting: het model leest zoals wij. Zeg: 'Het ziet een rij getallen. Dat ga je zo zelf bekijken.'

Image credit: Natalie Kinnear / Unsplash

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Steeds het volgende token

  • Het model berekent voor elk mogelijk token hoe waarschijnlijk het is dat het volgt.

  • Het kiest er één, vaak een van de waarschijnlijkste, en plakt het erachter.

  • Dan begint het opnieuw, token voor token, tot het antwoord af is.

  • Er zit een beetje toeval in die keuze. Daarom krijg je niet elke keer hetzelfde antwoord.

AI, SLIM BEKEKEN

  1. Teken op het bord: 'Ik trek mijn jas aan, want het ...' met drie pijlen: regent 60 procent, is koud 30 procent, waait 10 procent (verzonnen getallen als voorbeeld). 2. Zeg: 'Het model kiest meestal regent, maar soms is koud. Hoeveel toeval er in die keuze zit, heet de temperatuur. Dat ga je zo zelf uitproberen.' 3. Vraag: 'Waarom krijg je niet elke keer hetzelfde antwoord?' Verwacht: 'Door dat toeval.' Misvatting: het model plant het hele antwoord vooraf. Zeg: 'Het bouwt het antwoord stukje voor stukje op, en elk gekozen stukje bepaalt de kansen voor het volgende.'

Image credit: Brett Jordan / Unsplash

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Tokens tellen

TWEETALLEN

  1. Schrijf een zin van ongeveer tien woorden met een lang samengesteld woord erin. Geen namen.

  2. Voorspel hoeveel tokens het worden. Plak de zin daarna in de tokenizer.

  3. Vertaal de zin naar het Engels en tel opnieuw. Welke kost meer tokens?

  4. Welke woorden werden geknipt, en waar? Klopt dat met lettergrepen?

4

minute

00

second

4 minuten

AI, SLIM BEKEKEN

  1. Laat de tokenizer eerst op het digibord zien met de zin 'Ik trek mijn jas aan, want het regent.' 2. Zeg: 'Typ geen namen of andere gegevens over jezelf. Een eigen verzonnen zin is genoeg.' 3. Loop rond. Wat je vaak ziet: korte, veelvoorkomende woorden zijn één token; lange of Nederlandse woorden worden in stukken geknipt, en niet altijd bij de lettergrepen; de Nederlandse zin kost meer tokens dan de Engelse. 4. Vraag: 'Waarom kost Nederlands meer tokens?' Verwacht: 'Het model zag minder Nederlandse tekst.' Zeg: 'Klopt, en meer tokens betekent meer rekenwerk.' Geen internet? Laat ze hun zin zelf in stukjes knippen zoals op de dia over tokens.

Vul in

Een taalmodel knipt tekst in tokens en voorspelt met patronen uit zijn trainingsdata steeds welk stukje het meest waarschijnlijk volgt.

tokens
trainingsdata
waarschijnlijk
zinnen
zeker
woordenboek

AI, SLIM BEKEKEN · HAVO-VWO 2-3 · LES 2 · SNAPPEN

  1. Laat invullen en bespreek. 2. Misvatting: wie 'zeker' kiest in plaats van 'waarschijnlijk', denkt dat het model zekerheid heeft. Zeg: 'Het werkt met kansen, nooit met zekerheid.' Wie 'woordenboek' kiest, denkt dat het model iets opzoekt. Zeg: 'Het heeft patronen geleerd uit enorm veel tekst, maar zoekt niet in een woordenboek.'

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Kansentabel: speel met temperatuur

TWEETALLEN

  1. Neem het zinsbegin 'Na de laatste les ging Noor ...' en bedenk zes mogelijke volgende woorden.

  2. Verdeel 100 procent over die zes woorden: hoe gewoner het woord, hoe meer procent.

  3. Lage temperatuur: kies drie keer het woord met de hoogste kans. Schrijf de zinnen op.

  4. Hoge temperatuur: gooi drie keer de dobbelsteen (1 tot 6 is woord 1 tot 6). Wat valt op?

6

minute

00

second

6 minuten

AI, SLIM BEKEKEN

  1. Zeg: 'Jullie zijn nu het taalmodel, en jullie bepalen de kansen zelf.' 2. Loop rond. Een goede tabel: naar huis 40, naar de sporthal 20, naar de stad 15, naar haar oma 15, slapen 7, de ruimte in 3. 3. Na 4 minuten vraag je: 'Wat gebeurde er bij lage temperatuur?' Verwacht: drie keer dezelfde, saaie zin. 'En bij de dobbelsteen?' Verwacht: verrassend, soms raar. 4. Zeg: 'Een dobbelsteen geeft elk woord evenveel kans: dat is een extreem hoge temperatuur. Echte chatbots zitten ertussenin: ze trekken volgens de kansen.' 5. Vraag: 'Welke temperatuur wil je voor een verhaal, en welke voor een feitenvraag?' Verwacht: hoog voor een verhaal, laag voor feiten. Misvatting: lage temperatuur maakt het antwoord waar. Zeg: 'Het maakt het voorspelbaar, niet waar.'

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Waarom kansen tot verzinsels leiden

  • Weet je nog? Een hallucinatie is een antwoord dat overtuigend klinkt maar niet klopt.

  • Het model kiest wat waarschijnlijk klinkt. Een verzonnen bron past net zo goed in de zin als een echte.

  • Over zeldzame onderwerpen zag het weinig tekst. De kansen liggen dan dicht bij elkaar en het gokt meer.

  • Het is getraind om altijd verder te schrijven. 'Ik weet het niet' zeggen moet het apart leren.

AI, SLIM BEKEKEN

  1. Zeg: 'Wie vorig jaar de les over prompten en checken had, kent het woord hallucinatie al. Nu kun je verklaren waar het vandaan komt.' 2. Koppel aan de kansentabel: 'Stel dat het model een bron moet noemen. Achternaam, jaartal, titel: elk stukje is waarschijnlijk, maar de combinatie bestaat niet.' 3. Vraag: 'Bij welke vraag verwacht je meer hallucinaties: de hoofdstad van Frankrijk, of de geschiedenis van jullie dorpsvoetbalclub?' Verwacht: de voetbalclub. Zeg: 'Klopt, daarover zag het model weinig tekst.' Misvatting: een hallucinatie is een bug die je kunt repareren. Zeg: 'Het komt voort uit hoe het model werkt. Je kunt het verminderen, niet helemaal uitzetten.'

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Zo wordt een taalmodel gemaakt

1. Voortrainen

Het model leest enorme hoeveelheden tekst en leert het volgende token voorspellen.

2. Voorbeelden

Mensen schrijven goede antwoorden op vragen. Het model leert zo een behulpzame toon.

3. Beoordelen

Mensen kiezen welk antwoord beter is. Het model leert welke antwoorden gewenst zijn.

4. Regels en filters

Extra regels houden gevaarlijke of ongepaste antwoorden tegen.

AI, SLIM BEKEKEN

  1. Zeg: 'Na stap 1 kan het model tekst aanvullen, maar het is nog geen behulpzame chatbot. Het zou op een vraag misschien antwoorden met nog een vraag.' 2. Leg bij stap 3 uit: 'Dit heet reinforcement learning from human feedback. Het model krijgt een soort beloning voor antwoorden die mensen beter vinden.' 3. Vraag: 'Wat betekent het dat mensen bepalen wat een goed antwoord is?' Verwacht: 'Hun keuzes en meningen komen in het model terecht.' Zeg: 'Ja. Wie het model bijstuurt, heeft invloed op wat miljoenen mensen te lezen krijgen.'

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Wat bijsturing wel en niet oplost

  • Wel: antwoorden worden behulpzamer en veiliger, en het model zegt vaker dat het iets niet zeker weet.

  • Niet: het model blijft voorspellen wat waarschijnlijk klinkt. Hallucinaties worden minder, niet nul.

  • Beoordelaars belonen soms wat overtuigend klinkt. Dan gaat het model je naar de mond praten.

  • En de keuzes van de beoordelaars en het bedrijf komen in het model terecht.

AI, SLIM BEKEKEN

  1. Zeg: 'Bij stap 3 van de vorige dia beoordeelden mensen antwoorden. Wat levert dat op?' 2. Lees de bullets voor. 3. Leg het naar de mond praten uit: 'Mensen geven vaak een hogere score aan een antwoord dat zeker klinkt of dat met hen meegaat. Het model leert dan: zo krijg ik een beloning.' 4. Vraag: 'Hoe kun je dat testen?' Verwacht: een fout antwoord voorleggen en vragen of het klopt. 5. Vraag: 'Wie bepaalt eigenlijk wat een goed antwoord is?' Verwacht: de beoordelaars en het bedrijf. Misvatting: met genoeg menselijke feedback verdwijnen alle fouten. Zeg: 'Feedback leert een stijl en grenzen, geen nieuwe feiten en geen garantie op waarheid.'

Mensen beoordelen antwoorden van een taalmodel. Waarom?

A

Zodat het nieuwe feiten uit het nieuws leert

B

Zodat het leert welke antwoorden gewenst zijn

C

Zodat het sneller kan rekenen met tokens

D

Zodat het nooit meer kan hallucineren

  1. Laat antwoorden en bespreek. 2. Misvatting: wie 'nooit meer hallucineren' kiest, overschat de bijsturing. Zeg: 'Het helpt, maar het model blijft voorspellen wat past.' Wie 'nieuwe feiten' kiest, verwart bijsturen met bijleren. Zeg: 'Beoordelaars leren het model vooral een stijl en grenzen, geen nieuwe kennis.'

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Drie manieren van machine learning

Gesuperviseerd

Leren van voorbeelden met labels. Deze foto is een kat, deze mail is spam.

Ongesuperviseerd

Zelf groepen zoeken in data zonder labels, zoals klanten die op elkaar lijken.

Versterkend leren

Proberen, beloond of gestraft worden, bijstellen. Zo leerde AlphaGo het spel Go.

AI, SLIM BEKEKEN

  1. Zeg: 'Een taalmodel gebruikt er meerdere. Het voortrainen lijkt op gesuperviseerd leren, waarbij het volgende token in de tekst het label is. Het beoordelen door mensen is versterkend leren.' 2. Vertel over AlphaGo: 'In 2016 versloeg dit programma een van de beste Go-spelers ter wereld. Het had onder meer miljoenen potjes tegen zichzelf gespeeld.' 3. Vraag: 'Een webwinkel wil zijn klanten in groepen indelen, maar weet niet welke groepen er zijn. Welke manier?' Verwacht: ongesuperviseerd. 4. Vraag: 'Welke manier gebruikte je bij Teachable Machine?' Verwacht: gesuperviseerd, want je gaf labels. Misvatting: versterkend leren betekent dat het model zelf iets wil. Zeg: 'Het past alleen getallen aan op basis van een beloning die mensen hebben ontworpen.'

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Test de grenzen van een taalmodel

MET AI

  1. Vraag naar een nieuwsfeit van deze week. Weet de chatbot het, en noemt hij een bron?

  2. Vraag: hoe vaak komt de letter e voor in 'meeleveren'? Tel zelf na.

  3. Vraag om een samenvatting van een boek dat niet bestaat. Verzin zelf een titel.

  4. Verklaar per test wat er gebeurde met wat je weet over tokens en kansen.

7

minute

00

second

7 minuten

AI, SLIM BEKEKEN

  1. Zeg: 'Log in met je schoolaccount. Je bent nu onderzoeker: je zoekt de grenzen van het systeem.' 2. Wat je vaak ziet: bij het nieuws zegt de chatbot dat hij het niet weet, of hij zoekt online en noemt een bron. Letters tellen gaat soms fout, omdat het model tokens ziet (goede antwoord: 'meeleveren' heeft 5 keer de e). Bij het verzonnen boek geven sommige chatbots een verzonnen samenvatting, andere zeggen dat ze het boek niet kennen. 3. Laat na 5 minuten drie tweetallen vertellen wat ze vonden. Resultaten verschillen per chatbot: dat is een goed gesprekspunt. Geen AI-tool? Bespreek de verwachte uitkomsten hierboven klassikaal.

Stelling: Een taalmodel begrijpt wat het zegt.

1

Eens

2

Oneens

3

Weet ik nog niet

AI, SLIM BEKEKEN · HAVO-VWO 2-3 · LES 2 · SNAPPEN

  1. Laat kiezen en vraag om argumenten. Eens: het geeft zinnige antwoorden op nieuwe vragen, het kan uitleggen en redeneren. Oneens: het voorspelt alleen tokens, het heeft geen ervaringen, het maakt fouten die een mens die het snapt niet zou maken. 2. Zeg tot slot: 'Ook wetenschappers zijn het hier niet over eens. Het hangt af van wat je onder begrijpen verstaat. Wel zeker: het werkt heel anders dan een menselijk brein, en het heeft geen bedoelingen.'

Leg in drie zinnen uit hoe een taalmodel een antwoord maakt.

AI, SLIM BEKEKEN · HAVO-VWO 2-3 · LES 2 · SNAPPEN

  1. Exit-vraag: laat iedereen zelfstandig schrijven. 2. Een goed antwoord noemt: tekst wordt in tokens geknipt; het model voorspelt steeds het volgende token op basis van kansen die het leerde uit enorme hoeveelheden tekst, met wat toeval (temperatuur); mensen hebben het bijgestuurd zodat antwoorden behulpzaam zijn. Sterk antwoord: legt ook uit waarom daardoor hallucinaties ontstaan. 3. Kijk samen terug naar het woordweb van het begin: 'Wat klopte er, en wat weet je nu anders?'

HAVO-VWO 2-3 · LES 2 · SNAPPEN

Woorden van vandaag

taalmodel AI die getraind is om steeds het volgende stukje tekst te voorspellen.

token Een woord of stukje woord waarmee een taalmodel rekent.

temperatuur Instelling voor hoeveel toeval er zit in het kiezen van het volgende token.

hallucinatie Een overtuigend klinkend antwoord dat niet klopt, doordat het model op kans voorspelt.

menselijke feedback Mensen beoordelen antwoorden, zodat het model leert wat gewenst is (RLHF).

versterkend leren Een model leert door te proberen en beloond of gestraft te worden.

AI, SLIM BEKEKEN

Herhaal de woorden kort. Laat leerlingen er een zin mee maken of er een aanwijzen die ze nu beter snappen.