Toetsing_zonder_ruis_v2

• newEditor
• Communicatie
• Basisschool
• Groep 6

Toetsing zonder ruis

Validiteit, beoordelaarsbias en heldere vraagconstructie
(workshop 2 uur)

Doel & Programma (120 min)

• Begrijpen: validiteit, betrouwbaarheid, transparantie van kennistoetsen

• Herkennen: beoordelaarsbias & ambiguïteit in vragen

• Doen: start met 3–5 nieuwe toetsvragen in importsjabloon (Word)

• Afspraak: per docent ≥20 vragen (weekdeadline) + validatieproces

Wat wil je vandaag eten?

A

Patat

B

Answer B

C

Answer C

D

Answer D

Kwaliteitskader kennistoets

Kernbegrippen

• Validiteit: meet wat je wilt meten (construct).

• Betrouwbaarheid: stabiele, reproduceerbare scores.

• Transparantie: duidelijk voor kandidaat wát en hóe er getoetst wordt.

Praktische implicaties

• Toetsmatrijs en leerdoel-koppeling per item.

• Heldere taal; voorkom jargon en dubbele ontkenningen.

• Analyse achteraf (p-waarde, Rir) en herziening van items.

Beoordelaarsbias: waarom 'goed beoordelen' een vak is

• Mildheid/strengheid (leniency/severity) – structureel te hoog/laag scoren.

• Centrale tendentie – vermijden van extremen, alles rond het midden.

• Halo/horn – één (irrelevant) kenmerk kleurt het totale oordeel.

• Contrast- en volgorde-effect – vorige casus beïnvloedt de volgende.

• Recency/primacy – recente of eerste indruk weegt zwaarder.

• Similarity-to-me – gelijkenis met beoordelaar bevoordeelt.

• Bevestigingsbias/stereotypering – zoeken naar passend bewijs.

• Vermoeidheid, tijdsdruk en normverschuiving (referentieniveau schuift).

De verpleegkundige vertelde de arts dat hij een fout had gemaakt.

Ambiguïteit: vermijd dubbele interpretaties

• “De man slaat de hond met de stok.” → Wie heeft de stok? Wat gebeurt er precies?

• Te vermijden woorden: ‘altijd’, ‘nooit’, ‘in principe’, ‘soms’.

• Vermijd negatieve formulering: “Welke handeling is NIET toegestaan?”

Ambiguïteit uitvergroot (taal maakt gedrag)

• “...en molt hem met een kalasjnikov terwijl hij blaft.”

• Waarom problematisch in toetsvragen: onnodig gewelddadig, irrelevante context, meerdere 'hij'‑referenten.

• Schrijf eenduidig, neutraal en zonder ruis die niet bij het leerdoel hoort.

Anatomie van een goede MC-vraag

Opbouw

• Stam: duidelijke beroepssituatie, 1 vraag.

• Sleutel: één correct antwoord conform leerdoel/wet.

• Afleiders: plausibel maar aantoonbaar fout.

• Feedback: kort en leerdoelgericht.

Checklist

• Eén leerdoel per item; niveau volgens Bloom.

• Geen hints (woordkeuze) of dubbele ontkenningen.

• Opties grammaticaal en qua lengte vergelijkbaar.

• Geen ‘alle bovenstaande’ of ‘geen van bovenstaande’.

Waar gaat het mis? Voorbeelden per categorie

• Validiteit: vraag meet leesvaardigheid ipv kennis.

• Relevantie: irrelevante details (wapentype) sturen de kandidaat.

• Bloom-mismatch: feitje vragen waar toepassing/analyse nodig is.

• Ambigu: twee antwoorden verdedigbaar; onduidelijke norm.

• Negatieve vraag: “Welke is NIET toegestaan?” → omdraaien.

• Absoluten: ‘altijd/nooit’ zonder wettelijke nuance.

• Jargon/afkortingen zonder noodzaak (context onduidelijk).

Voorbeeld (BOA‑bevoegdheid): slecht → beter

Slecht (validiteit laag)

“Welke term hoort bij staande houden?” (A) heterdaad
(B) cautie
(C) opportuniteitsbeginsel
(D) proportionaliteit

Beter (toepassen)

“Je treft een verdachte op heterdaad. Wat is je eerstvolgende bevoegdheid conform Sv?”
(A/B/C/D) + korte feedback per optie

Bloom-niveaus ↔ vraagvorm (Politiecontext)

Niveaus (Bloom)

• Onthouden/Begrijpen – definities, begrippen, kernartikelen.

• Toepassen – kiezen van juiste bevoegdheid in casus.

• Analyseren – onderscheid maken tussen bevoegdheden/voorwaarden.

• Evalueren – afwegen proportionaliteit/subsidiariteit.

• Creëren – (minder in kennistoets) scenario formuleren/rapporteren.

Voorbeelden

• Onthouden: “Wat betekent art. X Sv?”

• Toepassen: “Welke stap is toegestaan in deze situatie?”

• Analyseren: “Welke voorwaarde ontbreekt nog?”

• Evalueren: “Welke maatregel is het meest proportioneel?”

Voorbeelden

Opdracht (fase 1 – 35 min)

• Open het Word-importsjabloon (1 item per pagina).

• Kies 1 domein (PSI of Politieboa).

• Schrijf 3–5 items met feedback (Bloom-niveau noteren).

• Markeer sleutel en motiveer in 1 zin (bron: wet/richtlijn).

Peer feedback (10 min)

• Ruil items en check met de checklist.

• Is er één correct antwoord? Zijn afleiders plausibel?

• Is taal eenduidig en relevant? Niveau passend?

• Noteer verbeterpunten direct in het sjabloon.

Vervolg & kwaliteitsborging

• Iedere docent: ≥20 items inleveren binnen 1 week (Word-sjabloon).

• Interne reviewronde + kalibratie (mini‑normering).

• Validatiecommissie beoordeelt definitief (accept/revise/reject).

• Itemanalyse na pilot (p-waarde, Rir) → herziening.

Bronnen (selectie)

• Cito (2018). Psychometrie in de praktijk – Hoofdstuk Beoordelaarsovereenstemming (bias: halo/horn, mildheid, centrale tendentie, etc.).

• Cito (2018). Toetsen op School (VO/MBO): validiteit, betrouwbaarheid, transparantie.

• SLO (2024–2025). Taxonomie van Bloom (gereviseerde).

• Kennisrotonde (NRO) – diverse Q&A en publicaties over toetsing, professionalisering en AI-gebruik.

• Toetsrevolutie (2016–2023). Formatieve cultuur en subjectiviteit in beoordeling.

Kalibreren met rubrics (5 min)

• Doel: bewustwording van beoordelaarsverschillen + normafstemming

• Kies samen 1 voorbeeldvraag met open antwoord (of casus).

• Scoor individueel: onvoldoende – voldoende – goed.

• Vergelijk scores → bespreek waarom ze verschillen.

• Leg vast: wat verstaan we onder 'voldoende'?

• Kalibratie = samen betekenis geven aan de norm, niet elkaars oordeel gelijk trekken.

Itemanalyse: hou of herzie?