Hoe worden grote taalmodellen gemaakt?
Hoe worden grote taalmodellen gemaakt?
Wat weet je al over hoe grote computers taal leren?
Leerdoel van deze les
Aan het einde van deze les kun je uitleggen hoe grote taalmodellen, zoals ChatGPT, worden gemaakt en hoe ze leren.
Wat is een groot taalmodel (LLM)?
Een LLM is een computerprogramma dat kan lezen, begrijpen en schrijven zoals een mens. Het leert van veel tekst.
Waar worden LLMs voor gebruikt?
LLMs worden gebruikt voor chatbots, automatische vertalingen, samenvattingen en nog veel meer.
Stap 1: Data verzamelen
Om een LLM te maken, heb je heel veel tekst nodig, zoals boeken, websites en artikelen.
Waar komt de data vandaan?
De data komt vaak uit het internet. Soms worden ook sociale media en nieuwsberichten gebruikt.
Stap 2: Data schoonmaken
Onbelangrijke of foute data wordt weggehaald. Zo leert het model betere zinnen en feiten.
Wat wordt er verwijderd?
Spam, reclame, persoonlijke gegevens en slechte voorbeelden worden weggehaald uit de data.
Stap 3: Het model ontwerpen
Programmeurs maken een soort digitaal 'brein' dat taal kan leren. Dit noemen we het model.
Wat is een model precies?
Een model is een rekenprogramma dat leert patronen te herkennen in tekst.
Stap 4: Het model trainen
Het model krijgt al die tekst te zien en probeert zinnen af te maken of vragen te beantwoorden. Zo wordt het steeds beter.
Wat gebeurt er tijdens het trainen?
Het model maakt veel fouten, leert daarvan en wordt zo steeds slimmer met taal.
Trainen kost veel energie
Modellen trainen kost veel elektriciteit en rekenkracht. Er zijn grote computers voor nodig.
Waarom kost trainen zoveel energie?
Er worden miljarden teksten tegelijk gebruikt. Dat vraagt veel van computers.
Stap 5: Controleren en verbeteren
Programmeurs testen het model. Ze kijken of het goede antwoorden geeft en sturen het soms bij.
Waarom moet je controleren?
Het model kan fouten maken of rare antwoorden geven. Door testen wordt het model betrouwbaarder.
Doe-activiteit: Een zin afmaken
Bedenk zelf een begin van een zin en laat een taalmodel deze afmaken. Wat valt je op aan het antwoord?
Uitdagingen bij het maken van LLMs
Het model moet eerlijk, veilig en duidelijk zijn. Soms kan het verkeerde dingen leren of zeggen.
Hoe houd je LLMs veilig?
Programmeurs gebruiken regels en voorbeelden om het model veilig te maken.
Samenvatting: Hoe wordt een LLM gemaakt?
Van data tot model
LLMs helpen ons met taal en maken veel dingen makkelijker.
Waarom zijn ze belangrijk?
Data verzamelen, schoonmaken, model maken, trainen, testen en verbeteren.
Reflectie
Wat vond je het meest verrassend aan hoe LLMs worden gemaakt?
Schrijf 3 dingen op die je deze les hebt geleerd.
Schrijf 2 dingen op waarover je meer wilt weten.
Stel 1 vraag over iets dat je nog niet zo goed hebt begrepen.