Beoordelen in het mbo 4

• pedagogiek
• HBO
• Studiejaar 1

Beoordelen in het mbo

Bijeenkomst 4

Martijn Dozy en Susan Coevert

Check-in

Programma

Terugblik vorige les

Opdracht 

Lesdoelen 

Toetsmatrijs (eindopdracht deel C). 

Soorten vragen (eindopdracht deel D).

Open vragen (eindopdracht deel D) (min 3).

Gesloten vragen (eindopdracht deel D) (min 10).

Cesuur (eindopdracht deel D).

Terugblik

Wat is het voordeel van het gebruik van een taxonomie voor toetsconstructie?

1. Helpt bij maken betrouwbare toets
2. Helpt bij maken validte toets
3. Zorgt voor een toetsing van behandelde stof
4. Het helpt om beoordelen in het MBO te halen.

Opdracht 

Kort gezegd: in een groepje van 3 samenwerken en je gaat een toets (her)ontwerpen

• Eindopdracht deel A: Je analyseert het toetsbeleid
  
• Eindopdracht deel B: Je selecteert een toets uit de praktijk waarbij verbetering wenselijk is en je onderbouwt je keuze voor de betreffende toets.
  
• Eindopdracht deel C: Je maakt of optimaliseert een toetsmatrijs en borgt de kwaliteit.
  

Hoe ver ben je met opdracht A?

JA, het is af

Ik ben er aan begonnen

Ik ben er nog niet aan toegekomen

Hoe ver ben je met opdracht B?

JA, het is af

Ik ben er aan begonnen

Ik ben er nog niet aan toegekomen

Hoe ver ben je met opdracht C?

Ja het is af

Ik ben er aan begonnen

Ik ben er nog niet aan toegekomen

Ben je al verder dan opdracht C?

Nee

Ja

• Eindopdracht deel D: Je construeert of verbetert een toets en borgt de kwaliteit.
  
• Eindopdracht deel E: Je maakt of optimaliseert een antwoordmodel of en borgt de kwaliteit.
  
• Eindopdracht deel F: Je maakt een begin met het evalueren van je verbeterslag.
  
• Eindopdracht deel G: Je formuleert een op feedback en theorie gefundeerd verbeterpunt.
  
• Eindopdracht deel H: Je reflecteert op wat je hebt geleerd van het doorlopen van de toetscyclus.

Lesdoelen

Je kan een toetsmatrijs construeren

Je kan toetsvragen met kwaliteitsproblemen herkennen

Je kan open en gesloten vragen construeren

Je kan de cesuur van een toets bepalen.

Toetsmatrijs

Toetsmatrijs

- Hulpmiddel om de toets valide te maken

- Constructive alignment: passen competenties, (niveau van) leerdoelen, toetsvorm en (niveau van) toetsvragen bij elkaar? 

- Kan aanleiding zijn tot aanpassing van verschillende onderdelen

https:

Toetsmatrijs

Vragen?

Toetsontwerp

Bepaal leerdoelen

Kies toetsvorm → open vragen / gesloten vragen

Maak toetsmatrijs

Formuleer vragen

Maak antwoordmodel (incl. scoring)

Bepaal cesuur (zak-slaaggrens)

Stappenplan toetsmatrijs

1. Bepaal de onderwerpen die in de toets worden gevraagd aan de hand van de leerdoelen

2. Kies het gewenste vaardigheidsniveau (taxonomie). In dit voorbeeld is Bloom aangehouden

3. Bepaal de punten/weging per onderwerp

4. Stel de vragen per onderwerp vast

5. Verdeel de vragen en de punten over de verschillende vaardigheidsniveaus

Aan de slag 30 min

Doel: 

Je kan een toetsmatrijs construeren.

Je kan toetsvragen met kwaliteitsproblemen herkennen

Analyseer de toetsmatrijs van de ingebrachte toets of stel er een op.

- Zijn de doelen correct geformuleerd?

- Zijn ze correct volgens ingeschaald volgens Bloom of andere taxonomie (werkvormen)?

- Is er een weging aangegeven?

- Lijkt te weging te kloppen met verdeling van vragen in de toets?

- Lijken de toetsvragen de doelen te meten (validiteit)?

Vragen construeren

Constructie van vragen: Soorten vragen 

Open vragen

Gebruik actiewerkwoorden

Bedenk eerst welk antwoord je verwacht

Zorg ervoor dat er geen misverstanden kunnen ontstaan over het te geven antwoord

Geef aan hoe lang het antwoord mag zijn, aantal argumenten enz.

Bij casuïstiek:

Gebruik realistische beroepspraktijk

Houd casus kort en concreet

Stel heldere normantwoorden op

Relateer vragen direct aan casus

Open vragen

Voordelen

Ook hogere cognitieve niveaus (analyseren, evalueren, creëren) zijn goed meetbaar

Levert rijke informatie over redeneerwijze studenten

Toetsontwikkeling kost relatief weinig tijd

Validiteit makkelijker te bereiken

Nadelen

Nakijken kost relatief veel tijd

Risico op onbetrouwbare beoordeling

tips voor openvragen

- Bepaal hoeveel toetsvragen je wilt schrijven. 

- Hiervoor kun je vooraf inschatten hoeveel tijd studenten nodig hebben om de vragen te beantwoorden.

- Gebruik een toetsmatrijs om het aantal te behalen punten en de niveaus van de vragen te bepalen.

- Specificeer ook hoeveel punten studenten maximaal per vraag kunnen krijgen.

- Formuleer eerst het modelantwoord en pas daarna de vraag.

- Schrijf de vragen indien mogelijk samen met collega’s.

- Splits de vraag indien nodig op in twee delen: een inleiding met achtergrondinformatie en daarna de vraag zelf.

- Wees specifiek over wat je in het antwoord verwacht, bijvoorbeeld: “Geef drie redenen voor…”.

- Stel de vraag in de vorm van een opdracht en gebruik hierbij actieve werkwoorden, zoals je idealiter ook in de leerdoelen hebt geformuleerd.

Antwoordmodel

Doel

Verschillen tussen beoordelaars verkleinen

Inhoud

Modelantwoorden

Maximaal aantal punten per vraag en eventueel deelscores

Regels voor beoordeling

Afspraken over nakijken open vragen

Opdracht open vragen

Bekijk de open vragen in jullie toets.

Is er een antwoordmodel aanwezig?

Zijn de vragen concreet? 

Weten de studenten bijvoorbeeld hoeveel kenmerken zij moeten opschrijven?

Is het voor de studenten inzichtelijk hoeveel punten zij kunnen krijgen?

Cesuur

Cesuur = zak-slaaggrens voldoende/onvoldoende

Absolute cesuur (vooraf is de weging vastgesteld)

Hangt niet af van prestaties van de groep

Bijvoorbeeld 60% van totaal aantal punten is voldoende (p.200)

Relatieve cesuur

Afhankelijk van hoe er gepresteerd is door de groep

Bijvoorbeeld bovenste 65% slaagt, aantal punten slechtste student van deze 65% is cesuur

Objectieve cesuur is 50 % goed -> een voldoende

Als je bij meerkeuze de gokkans wilt berekenen zie onderstaande tabel:

Toetssoort Norm + Gokkans = Cesuur

4K toets 50% + (0,25*50%) = 62,5 %

3K toets 50% + (0,33*50%) = 66,7 %

2K toets 50% + (0,50*50%) = 75,0 %

Cesuur

Cijfers

Sinds 1870 Nederlandse cijferschaal

1 als laagste cijfer en 10 als hoogste cijfer

Angelsaksisch A t/m F

Frankrijk 1 t/m 20

Rusland 1 t/m 5

Tools voor cesuur

https://www.cijferrekenaar.nl

https://cijfersberekenen.nl/

Lesdoelen

Je kan een toetsmatrijs construeren

Je kan toetsvragen met kwaliteitsproblemen herkennen

Je kan open vragen construeren

Je kan de cesuur van een toets bepalen.

Volgende keer

Gesloten vragen construeren