Beoordelen in het mbo 5

• pedagogiek
• HBO
• Studiejaar 1

Beoordelen in het mbo

Bijeenkomst 5

Martijn Dozy en Susan Coevert

Programma

Terugblik vorige les

Opdracht 

Lesdoelen 

Soorten vragen (eindopdracht deel D).

Gesloten vragen (eindopdracht deel D).

Cesuur (eindopdracht deel D).

Terugblik

Welk kwaliteitsaspect van de toets borgt een toetsmatrijs?

1. Betrouwbaarheid
2. Validiteit

Wat is een voordeel van een toets met open vragen?

1. Het is mogelijk om hogere niveaus van Bloom te toetsen dan met gesloten vragen
2. De betrouwbaarheid van de beoordeling is beter gewaarborgd dan bij gesloten vragen

Lesdoelen

- Je kan toetsvragen met kwaliteitsproblemen herkennen

- Je kan  gesloten vragen construeren

Eind opdracht 

• Eindopdracht deel B: Je selecteert een toets uit de praktijk waarbij verbetering wenselijk is en je onderbouwt je keuze voor de betreffende toets.
• Eindopdracht deel C: Je maakt of optimaliseert een toetsmatrijs en borgt de kwaliteit.
• Eindopdracht deel D: Je construeert of verbetert een toets en borgt de kwaliteit.
  
• Eindopdracht deel E: Je maakt of optimaliseert een antwoordmodel of en borgt de kwaliteit.

Constructie van vragen: Soorten vragen 

Niet geprecodeerde vragen

Gesloten vragen niet geprecodeerd

Sorteren

Of sleepvragen in Lessonup

Tekst

Sleep de woorden naar de juiste dans. 

Buikdansen

Tango

Tapdansen

Hacken

Gesloten vragen niet geprecodeerd

Classificeren

Indelen in naar eigenschap of welke hoort er niet bij.

ADHD

ADD

Op de voorgrond

Op de achtergrond

Dagdromen

Snel afgeleid

Afwachtend

Impulsief

Multitasken

1 ding tegelijk

Gesloten vragen niet geprecodeerd

Rangschikken

Piramide van Maslow

Fysiologische behoeften

Veiligheid en zekerheid

Sociale acceptatie

Waardering (en erkenning)

Zelfrealisatie 

1e behoefte

2e behoefte

3e behoefte

4e behoefte

5e behoefte

Meerkeuze vragen= multiple choice

MC vragen

Voordelen

- Lagere cognitieve niveaus (reproduceren, begrijpen, toepassen) zijn goed meetbaar

- Beoordeling kost weinig tijd

- Objectieve (statistische) analyse is relatief makkelijk uitvoerbaar

Nadelen

- Hogere cognitieve niveaus niet meetbaar

- Geen informatie over redeneerwijze studenten

- Groter risico op lagere validiteit

- Ontwikkeling kost relatief veel tijd

Geprecodeerde vragen= MC vragen

Tips

- Vraag bevat maar één probleem

- Vraag is met behulp van bestudeerde stof te beantwoorden

- Formulering leidt niet vanzelf naar juiste antwoord

- Geen meningen / valkuilen / listigheden

- Kort en zakelijk / geen overbodige informatie

- Ontkenningen zijn vet/onderstreept

- Geen dubbele ontkenningen

- Geen woorden als: altijd, soms, nooit enz.

Tips

- Neem bij vragen geen zinnen letterlijk over uit een leerboek.

-  Maak geen onvolledige zinnen die in de alternatieven moeten worden afgemaakt. Stel een vraag in de stam, gebruik daarbij volledige zinnen en sluit af met een vraagteken.

- Gebruik als afleiders ook bekende problemen met de leerstof en veel voorkomende fouten van leerlingen

Wat is er mis met deze vraag?

Een missie:

a. Is de pedagogische visie die een organisatie heeft.

b. Verwoordt wat de organisatie doet

c. Is de kwaliteitszorg van een organisatie

d. Zegt hoe je met de doelgroep moet omgaan en welke opvang je moet bieden

Geprecodeerde vragen= MC vragen

Antwoordalternatieven

Zijn plausibel en ongeveer even lang

Zijn positief geformuleerd

Hebben logische volgorde

Vermijden ‘geen van bovenstaande is juist’

Niet altijd is B het juiste antwoord

Wat is er mis met de volgende vraag?

Het Bernoulli-effect is het verschijnsel dat:

a. heeft te maken met het feit dat de dichtheid van lucht (of een ander gas) afneemt naarmate

 de snelheid van de lucht toeneemt

b. twee vlakken beurtelings van en naar elkaar toe bewegen.

c. water meer massa impliceert als het dichter tot de polen nadert.

d. ijskappen smelten als gevolg van het versterkte broeikaseffect.

Geprecodeerde vragen= MC vragen

Stelling vragen

Dit is een moeilijk vraagtype, zowel om te construeren als om te beantwoorden. Er moet sprake zijn van een samenhang.

Voor studenten lastig omdat ze niet direct kennis toetsen, maar met lees en denk tijd-> liever niet gebruiken

Geprecodeerde vragen= MC vragen

Voorbeeld stellingvraag

Wat geldt voor de volgende beweringen?

1 Er is sprake van een duidelijke samenhang tussen zoutgebruik en de hoogte van de bloeddruk.

2 Het is goed om mensen met verhoogde bloeddruk aan te raden veel zoute pinda’s te eten.

A 1 en 2 zijn juist                    B Alleen 1 is juist

C Alleen 2 is juist                  D 1 en 2 zijn niet juist

Geef aan of de onderstaande stelling juist of onjuist zijn door het goede antwoord te omcirkelen.
Baby’s hebben tot ongeveer anderhalf jaar een opening midden boven op de schedel: de fontanel.
Juist/Onjuist

1. Het doel van de vraag is niet duidelijk
2. De stelling is te lang

Hoe zou je de vraag anders kunnen stellen?

Geef aan of de onderstaande stelling juist of onjuist zijn door het goede antwoord te omcirkelen.

Baby’s hebben tot ongeveer anderhalf jaar een opening midden boven op de schedel: de fontanel.

Juist/Onjuist

Geprecodeerde vragen= MC vragen

Waar/niet waar vragen

Lastig want studenten hebben de neiging om of alles waar te laten zijn of juist niet waar. Soms is een stelling niet specifiek waar of niet waar.

Te weinig antwoord alternatieven dus grote gokkans

Voorbeeld:

In alle slagaders stroomt het bloed van het hart af.

Deze stelling is:

A Waar

B Onwaar

MC: Hoeveel vragen?

Zo veel als nodig is om een representatief beeld van de in de lesstof aangeboden kernonderwerpen te geven

Bij enkel meerkeuzevragen geldt:

2-keuze: minimaal 60-80 vragen

3-keuze: minimaal 45-60 vragen

4-keuze: minimaal 40 vragen

Bij combinatie van open en meerkeuzevragen kunnen dit er minder zijn.

Houd rekening met de beschikbare toets tijd

Opdracht 

Analyseer jullie toets. Welke vragen zijn niet goed geformuleerd? 

Dit is tevens een onderdeel van opdracht B.

Terug 

Wat viel je op aan jullie toetsvragen?

Wie kan een voorbeeld delen?

Vragen

Lesdoelen

- Je kan toetsvragen met kwaliteitsproblemen herkennen

- Je kan gesloten vragen construeren

Volgende keer

CGI gesprekken in het mbo