Hoe worden grote taalmodellen gemaakt?

Hoe worden grote taalmodellen gemaakt?

1 / 25
volgende
Slide 1: Slide
newEditorAardrijkskundeBasisschoolGroep 1

In deze les zitten 25 slides, met interactieve quizzen en tekstslides.

Dit is niet oké

Onderdelen in deze les

Hoe worden grote taalmodellen gemaakt?

Wat weet je al over hoe grote computers taal leren?

Leerdoel van deze les

Aan het einde van deze les kun je uitleggen hoe grote taalmodellen, zoals ChatGPT, worden gemaakt en hoe ze leren.

Wat is een groot taalmodel (LLM)?

Een LLM is een computerprogramma dat kan lezen, begrijpen en schrijven zoals een mens. Het leert van veel tekst.

Waar worden LLMs voor gebruikt?

LLMs worden gebruikt voor chatbots, automatische vertalingen, samenvattingen en nog veel meer.

Stap 1: Data verzamelen

Om een LLM te maken, heb je heel veel tekst nodig, zoals boeken, websites en artikelen.

Waar komt de data vandaan?

De data komt vaak uit het internet. Soms worden ook sociale media en nieuwsberichten gebruikt.

Stap 2: Data schoonmaken

Onbelangrijke of foute data wordt weggehaald. Zo leert het model betere zinnen en feiten.

Wat wordt er verwijderd?

Spam, reclame, persoonlijke gegevens en slechte voorbeelden worden weggehaald uit de data.

Stap 3: Het model ontwerpen

Programmeurs maken een soort digitaal 'brein' dat taal kan leren. Dit noemen we het model.

Wat is een model precies?

Een model is een rekenprogramma dat leert patronen te herkennen in tekst.

Stap 4: Het model trainen

Het model krijgt al die tekst te zien en probeert zinnen af te maken of vragen te beantwoorden. Zo wordt het steeds beter.

Wat gebeurt er tijdens het trainen?

Het model maakt veel fouten, leert daarvan en wordt zo steeds slimmer met taal.

Trainen kost veel energie

Modellen trainen kost veel elektriciteit en rekenkracht. Er zijn grote computers voor nodig.

Waarom kost trainen zoveel energie?

Er worden miljarden teksten tegelijk gebruikt. Dat vraagt veel van computers.

Stap 5: Controleren en verbeteren

Programmeurs testen het model. Ze kijken of het goede antwoorden geeft en sturen het soms bij.

Waarom moet je controleren?

Het model kan fouten maken of rare antwoorden geven. Door testen wordt het model betrouwbaarder.

Doe-activiteit: Een zin afmaken

Bedenk zelf een begin van een zin en laat een taalmodel deze afmaken. Wat valt je op aan het antwoord?

Uitdagingen bij het maken van LLMs

Het model moet eerlijk, veilig en duidelijk zijn. Soms kan het verkeerde dingen leren of zeggen.

Hoe houd je LLMs veilig?

Programmeurs gebruiken regels en voorbeelden om het model veilig te maken.

Samenvatting: Hoe wordt een LLM gemaakt?

Van data tot model

LLMs helpen ons met taal en maken veel dingen makkelijker.

Waarom zijn ze belangrijk?

Data verzamelen, schoonmaken, model maken, trainen, testen en verbeteren.

Reflectie

Wat vond je het meest verrassend aan hoe LLMs worden gemaakt?

Schrijf 3 dingen op die je deze les hebt geleerd.

Schrijf 2 dingen op waarover je meer wilt weten.

Stel 1 vraag over iets dat je nog niet zo goed hebt begrepen.