Beoordelen in het mbo 4

• pedagogiek
• HBO
• Studiejaar 1

Beoordelen in het mbo

Bijeenkomst 4

Martijn Dozy en Susan Coevert

Mededelingen

Hoe gaat het met de opdrachten. Geef een cijfer van 1 tot en met 10

Programma

Terugblik vorige les

Opdracht 

Lesdoelen 

Toetsmatrijs (eindopdracht deel C). 

Soorten vragen (eindopdracht deel D).

Open vragen (eindopdracht deel D).

Cesuur (eindopdracht deel D).

terugblik

Wat is een voordeel van het gebruik maken van een taxonomie? Er zijn 3 antwoorden mogelijk

1. Het maakt de toets betrouwbaarder
2. Maakt de toets afwisselend
3. Zorgt voor een goede weergave van de lessen
4. De taxonomie zorgt dat er op alle onderdelen vragen worden gesteld.

Wat betekent validiteit?

1. De cesuur is transparant
2. De toets meet wat je wilt meten
3. Het toetsresultaat is bij herhaalde meting hetzelfde
4. De toetsinstructie is duidelijk voor de student

Op de afbeelding hiernaast wordt de gedachte van een student beschreven. Voor welk kwaliteitscriterium is deze gedachte een bedreiging?

1. validiteit
2. betrouwbaarheid

Welke van deze begrippen past NIET bij formatief toetsen?

1. begeleiden
2. kwalificeren
3. zelfsturing
4. feedback

00:27

Dit is een voorbeeld van een toetsvorm die NIET valide is of NIET betrouwbaar?

1. Niet valide
2. Niet betrouwbaar

Opdracht 

• Eindopdracht deel A: Je analyseert het toetsbeleid
  
• Eindopdracht deel B: Je selecteert een toets uit de praktijk waarbij verbetering wenselijk is en je onderbouwt je keuze voor de betreffende toets.
  
• Eindopdracht deel C: Je maakt of optimaliseert een toetsmatrijs en borgt de kwaliteit.
  

Wie heeft opdracht A af?

JA, het is af

Ik ben er aan begonnen

Ik ben er nog niet aan toegekomen

Ben je al ver met opdracht B?

JA, het is af

Ik ben er aan begonnen

Ik ben er nog niet aan toegekomen

• Eindopdracht deel D: Je construeert of verbetert een toets en borgt de kwaliteit.
  
• Eindopdracht deel E: Je maakt of optimaliseert een antwoordmodel of en borgt de kwaliteit.
  
• Eindopdracht deel F: Je maakt een begin met het evalueren van je verbeterslag.
  
• Eindopdracht deel G: Je formuleert een op feedback en theorie gefundeerd verbeterpunt.
  
• Eindopdracht deel H: Je reflecteert op wat je hebt geleerd van het doorlopen van de toetscyclus.

Lesdoelen

Je kan een toetsmatrijs construeren

Je kan toetsvragen met kwaliteitsproblemen herkennen

Je kan open en gesloten vragen construeren

Je kan de cesuur van een toets bepalen.

Toetsmatrijs

Toetsontwerp

Bepaal leerdoelen

Kies toetsvorm → open vragen / gesloten vragen

Maak toetsmatrijs

Formuleer vragen

Maak antwoordmodel (incl. scoring)

Bepaal cesuur (zak-slaaggrens)

Toetsmatrijs

- Hulpmiddel om de toets valide te maken

- Constructive alignment: passen competenties, (niveau van) leerdoelen, toetsvorm en (niveau van) toetsvragen bij elkaar? 

- Kan aanleiding zijn tot aanpassing van verschillende onderdelen

Toetsmatrijs

Optie 1: aparte toetsmatrijs en specificatiemodel.

Toetsmatrijs:                 Doelen, niveaus, weging.

Specificatiemodel:     Doelen, inhoud, niveaus, vragen.

Optie 2: toetsmatrijs en specificatiemodel in een tabel. 

-Doelen, niveaus, inhoud, vragen, weging.

Stappenplan toetsmatrijs

1. Bepaal de onderwerpen die in de toets worden gevraagd aan de hand van de leerdoelen

2. Kies het gewenste vaardigheidsniveau (taxonomie). In dit voorbeeld is Bloom aangehouden

3. Bepaal de punten/weging per onderwerp

4. Stel de vragen per onderwerp vast

5. Verdeel de vragen en de punten over de verschillende vaardigheidsniveaus

https:

Aan de slag 30 min

Analyseer de toetsmatrijs van de ingebrachte toets of stel er een op.

- Zijn de doelen correct geformuleerd?

- Zijn ze correct volgens ingesch

- Is er een weging aangegeven?aald volgens Bloom of andere taxonomie (werkvormen)?

- Lijkt te weging te kloppen met verdeling van vragen in de toets?

- Lijken de toetsvragen de doelen te meten (validiteit)?

Vragen construeren

Constructie van vragen: Soorten vragen 

Open vragen

Gebruik actiewerkwoorden

Bedenk eerst welk antwoord je verwacht

Zorg ervoor dat er geen misverstanden kunnen ontstaan over het te geven antwoord

Geef aan hoe lang het antwoord mag zijn, aantal argumenten enz.

Bij casuïstiek:

Gebruik realistische beroepspraktijk

Houd casus kort en concreet

Stel heldere normantwoorden op

Relateer vragen direct aan casus

Open vragen

Voordelen

Ook hogere cognitieve niveaus (analyseren, evalueren, creëren) zijn goed meetbaar

Levert rijke informatie over redeneerwijze studenten

Toetsontwikkeling kost relatief weinig tijd

Validiteit makkelijker te bereiken

Nadelen

Nakijken kost relatief veel tijd

Risico op onbetrouwbare beoordeling

tips voor openvragen

- Bepaal hoeveel toetsvragen je wilt schrijven. 

- Hiervoor kun je vooraf inschatten hoeveel tijd studenten nodig hebben om de vragen te beantwoorden.

- Gebruik een toetsmatrijs om het aantal te behalen punten en de niveaus van de vragen te bepalen.

- Specificeer ook hoeveel punten studenten maximaal per vraag kunnen krijgen.

- Formuleer eerst het modelantwoord en pas daarna de vraag.

- Schrijf de vragen indien mogelijk samen met collega’s.

- Splits de vraag indien nodig op in twee delen: een inleiding met achtergrondinformatie en daarna de vraag zelf.

- Wees specifiek over wat je in het antwoord verwacht, bijvoorbeeld: “Geef drie redenen voor…”.

- Stel de vraag in de vorm van een opdracht en gebruik hierbij actieve werkwoorden, zoals je idealiter ook in de leerdoelen hebt geformuleerd.

Antwoordmodel

Doel

Verschillen tussen beoordelaars verkleinen

Inhoud

Modelantwoorden

Maximaal aantal punten per vraag en eventueel deelscores

Regels voor beoordeling

Afspraken over nakijken open vragen

Opdracht open vragen

Bekijk de open vragen in jullie toets.

Is er een antwoordmodel aanwezig?

Zijn de vragen concreet? 

Weten de studenten bijvoorbeeld hoeveel kenmerken zij moeten opschrijven?

Is het voor de studenten inzichtelijk hoeveel punten zij kunnen krijgen?

Cesuur

Cesuur = zak-slaaggrens voldoende/onvoldoende

Absolute cesuur (vooraf is de weging vastgesteld)

Hangt niet af van prestaties van de groep

Bijvoorbeeld 60% van totaal aantal punten is voldoende (p.200)

Relatieve cesuur

Afhankelijk van hoe er gepresteerd is door de groep

Bijvoorbeeld bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur

Objectieve cesuur is 50 % goed -> een voldoende

Als je bij meerkeuze de gokkans wilt berekenen zie onderstaande tabel:

Toetssoort Norm + Gokkans = Cesuur

4K toets 50% + (0,25*50%) = 62,5 %

3K toets 50% + (0,33*50%) = 66,7 %

2K toets 50% + (0,50*50%) = 75,0 %

Cesuur

Cijfers

Sinds 1870 Nederlandse cijferschaal

1 als laagste cijfer en 10 als hoogste cijfer

Angelsaksisch A t/m F

Frankrijk 1 t/m 20

Rusland 1 t/m 5

Tools voor cesuur

https://www.cijferrekenaar.nl

https://cijfersberekenen.nl/

Lesdoelen

Je kan een toetsmatrijs construeren

Je kan toetsvragen met kwaliteitsproblemen herkennen

Je kan open vragen construeren

Je kan de cesuur van een toets bepalen.

Volgende keer

Gesloten vragen construeren