PROEV werd ontwikkeld door een consortium o.l.v. UGent en UAntwerpen, i.o.v. het Departement Onderwijs en Vorming

Een representatieve evaluatie: aan de slag met een toetsmatrijs

Vanuit de inspectie kregen we een ‘benadert de verwachting’ voor leerlingenevaluatie. Dat kwam in de eerste plaats doordat de toetsen en examens van de vakgroepen die werden doorgelicht onvoldoende representatief waren voor het gevalideerd doelenkader. Evaluatie staat voor dit schooljaar op de agenda. Zo willen we bijvoorbeeld werken met een toetsmatrijs bij het opstellen van examens.
Directeur secundair onderwijs

Beschrijving

De toetsmatrijs (of toetsmatrix) is een hulpmiddel om een representatieve en evenwichtige (summatieve) evaluatie op te stellen. Het is een tabel waarin je aangeeft hoe de vragen verdeeld worden over de leerstof. Je noteert ook de vooropgestelde doelen en eventueel de verschillende beheersingsniveaus. Het vormt een soort blauwdruk van je evaluatie-instrument.

Voordelen

  • Je vermijdt dat je eenzijdig dezelfde leerinhouden, leerdoelen of beheersingsniveaus evalueert.

  • Als je een evaluatie opstelt met een toetsmatrijs, zijn de resultaten betekenisvoller.

  • Een representatieve evaluatie zorgt ervoor dat je correcte, kwalitatieve uitspraken kan doen over de mate waarin leerlingen de leerstof beheersen.

  • Je kan het inzetten wanneer je twee verschillende examens of toetsen wil geven over dezelfde leerstof. Hiermee vergroot de gelijkwaardigheid tussen de twee versies.

  • Het helpt om patronen te herkennen in de resultaten en nauwkeuriger te bepalen welke leerstofonderdelen of beheersingsniveaus de meeste problemen met zich mee brengen.

  • De toetsmatrijs kan dienen als communicatiemiddel om met collega’s, leerlingen of ouders in gesprek te gaan over de inhoud van het examen.

  • Je kan een toetsmatrijs invullen als voorbereiding, alvorens je het evaluatie-instrument opstelt. Ook kan het dienen als controle, om na te gaan hoe evenwichtig en representatief een bestaand evaluatie-instrument is.

  • Door de toetsmatrijs op voorhand te delen (mogelijk in combinatie met een leerstofoverzicht), krijgen leerlingen een beter beeld van het belang van elk leerstofonderdeel. Het verhoogt de transparantie van de evaluatie.

Het opstellen van een toetsmatrijs kan een tijdrovende klus zijn, waardoor het niet voor elke evaluatie haalbaar of wenselijk is. Het is vooral nuttig bij het opstellen van summatieve evaluaties die bestaan uit een groot aantal vragen en zwaarder doorwegen in de beoordeling.

Een beknopt literatuuroverzicht kan je hier vinden.

Bronnen
open

De inhoud in dit overzicht is gebaseerd op volgende bronnen:

  • Berkel, B., Bax, A., & Joosten-ten Brinke, D. (2017). Het toetsproces ontleed. In Berkel, B., Bax, A. & Joosten-ten Brinke, D. (2017) Toetsen in het hoger onderwijs (4de geheel herziene druk). Houten: Bohn Stafleu van Loghum

  • Dochy, F., Heylen, L., & Van de Mosselaer, H. (2002). Assessment in onderwijs. Utrecht: Lemma.

  • KU Leuven. (2020). Toetsmatrijs. Geraadpleegd op 8 december via /onderwijs/evalueren/toetsmatrijs.pdf

Voorbeeld toetsmatrijs 1

Onderstaande toetsmatrijs (tabel 1) kan je eenvoudig invullen in drie stappen:

Stap 1: Bepaal de leerstofonderdelen en doelstellingen of beheersingsniveaus die je wil evalueren. Zet deze tegen elkaar af, waardoor je een toetsmatrijs bekomt die bestaat uit twee assen. Op de horizontale as staan de doelstellingen of beheersingsniveaus vermeld, op de verticale plaats je de leerstofonderdelen. In onderstaand voorbeeld zijn drie hoofdstukken en drie doelstellingen/beheersingsniveaus opgenomen.

Stap 2: Daarna bepaal je het relatieve belang van elk leerstofonderdeel en elk(e) doelstelling of beheersingsniveau. Het eindtotaal moet steeds 100% zijn.

Stap 3: Ten slotte bepaal je de verdeling van de vragen over de verschillende leerstofonderdelen en de doelstellingen of beheersingsniveaus. De verdeling die hieruit voortvloeit, dient vervolgens als leidraad bij het opstellen van de toets of examen.

Tabel 1: Voorbeeld van een toetsmatrijs (gebaseerd op KU Leuven, 2020)

Voorbeeld toetsmatrijs 2

Onderstaande toetsmatrijs (tabel 2) is uitgebreider en iets complexer. Je doorloopt vijf stappen:

Stap 1: Bepaal eerst uit welke onderdelen de leerstof bestaat. Bijvoorbeeld drie hoofdstukken.

Stap 2: Bepaal nadien het relatieve belang van elk van deze onderdelen in de evaluatie. Zo wordt het aantal vragen duidelijk dat je per hoofdstuk zal stellen.

Stap 3: In stap drie leg je vast welke beheersingsniveaus worden geëvalueerd. In ons voorbeeld zijn de zes niveaus van Bloom gebundeld en teruggebracht tot drie niveaus. Dit maakt de toetsmatrijs overzichtelijker en makkelijker te hanteren.

De taxonomie van Bloom is slechts één mogelijke manier om een onderscheid te maken in de verschillende beheersingsniveaus. In de praktijk is het wel de meest gekende en vaakst gehanteerde taxonomie. Het kan de nodige houvast geven om aan de slag te gaan.

Stap 4: Nadien bepaal je het relatieve belang van elk van deze beheersingsniveaus.

Stap 5: Ten slotte leid je af hoe de items of vragen van het evaluatie-instrument zijn verdeeld over de verschillende leerstofonderdelen en de verschillende beheersingsniveaus. Deze verdeling kan opnieuw als leidraad dienen bij het opstellen van het evaluatie-instrument. 

Tabel 2: Voorbeeld van een toetsmatrijs (gebaseerd op Dochy, Heylen & Van de Mosselaer, 2002)

Digitale mogelijkheden

Een toetsmatrijs kan je opstellen aan de hand van eenvoudige softwareprogramma’s zoals Word of Excel.

Bronnen
open

De inhoud is gebaseerd op volgende bronnen:

  • Berkel, B., Bax, A., & Joosten-ten Brinke, D. (2017). Het toetsproces ontleed. In Berkel, B., Bax, A. & Joosten-ten Brinke, D. (2017) Toetsen in het hoger onderwijs (4de geheel herziene druk). Houten: Bohn Stafleu van Loghum

  • Dochy, F., Heylen, L., & Van de Mosselaer, H. (2002). Assessment in onderwijs. Utrecht: Lemma.

  • KU Leuven. (2020). Toetsmatrijs. Geraadpleegd op 8 december via /onderwijs/evalueren/toetsmatrijs.pdf

Het één per één beoordelen van opdrachten van leerlingen, al dan niet aan de hand van vooropgestelde kwaliteitscriteria.
Een evaluatieresultaat is betrouwbaar wanneer het niet wordt beïnvloed door niet-relevante factoren. Het resultaat weerspiegelt de mate waarin een leerling de leerdoelen beheerst.
De zorg die alle leerlingen nodig hebben om zich te kunnen ontplooien en om gebruik te kunnen maken van hun talenten en mogelijkheden.
De mate waarin het werkgeheugen wordt belast. Om het leerproces te bevorderen, dien je de cognitieve belasting te optimaliseren.
Een cluster van kennis, vaardigheden en attitudes die leerlingen in complexe contexten kunnen toepassen.
De neiging om nieuwe informatie zodanig op te zoeken en/of te filteren dat deze de eigen ideeën, opvattingen en/of hypothesen bevestigt.
In een constructief afgestemd onderwijsproces zijn de leerdoelen, de (summatieve) evaluatie en de onderwijs- en leeractiviteiten op elkaar afgestemd.
In een constructief afgestemd onderwijsproces zijn de leerdoelen, de (summatieve) evaluatie en de onderwijs- en leeractiviteiten op elkaar afgestemd.
Een overzicht van de criteria die worden gebruikt om een opdracht te beoordelen. Het geeft aan waaraan een opdracht dient te voldoen en welke aspecten van belang zijn.
Het proactief, positief en planmatig omgaan met verschillen tussen leerlingen (interesses, leerstatus en leerprofiel) met als doel om een maximaal leerrendement voor alle leerlingen te realiseren op het vlak van motivatie, leerwinst en leerefficiëntie.
Het vermogen van leerlingen om informatie van verschillende bronnen te aanvaarden en te gebruiken om de kwaliteit van hun werk te verbeteren.
Het krijgen van te veel feedback waardoor leerlingen overrompeld worden en niet meer aan de slag kunnen met de feedback.
Aanpakken waarmee je het leerproces op de korte termijn bewust bemoeilijkt waardoor leerlingen harder moeten nadenken. Dit is gewenst omdat het op lange termijn voor leerwinst zorgt.
Het beschouwen van intelligentie als iets dat niet vaststaat, maar als iets kneedbaar. Personen met een growth mindset hebben de overtuiging dat capaciteiten ontwikkeld kunnen worden.
De neiging om een persoon (leerling) positief te beoordelen, gebaseerd op één positief aspect.
De neiging om een persoon (leerling) negatief te beoordelen, gebaseerd op één negatief aspect.
De moeilijkheid om je als expert te verplaatsen in de situatie van personen die bepaalde kennis (nog) niet hebben. Hoe meer kennis je hebt, hoe moeilijker om in te schatten hoe het is om deze kennis niet te hebben.
Een mentaal beeld van welk kwaliteitsniveau wordt verwacht, hoe verschillende kwaliteitsniveaus eruitzien en hoe je kan komen tot het nagestreefde kwaliteitsniveau.
De criteria die worden gehanteerd om te beoordelen in hoeverre een evaluatie succesvol was (= evaluatiecriteria, succescriteria).
De leerdoelen omschrijven wat leerlingen moeten kennen en kunnen op het einde van een leerproces. In deze tool wordt onder leerdoelen zowel de eindtermen, leerplandoelen als concrete lesdoelen verstaan die leraren kunnen nastreven.
De wijze waarop leerlingen leren. Verschillen in leerprofiel hebben vooral te maken met de leerstrategieën en de leervoorkeuren voor bepaalde activiteiten.
Wat leerlingen al kennen en kunnen. Verschillen in leerstatus uiten zich voornamelijk op (meta)cognitief vlak, maar gaan ook over verschillen op sociaal-affectief en (psycho)motorisch vlak.
Het spreiden van leermomenten doorheen de tijd om zo tot een hoger leereffect te komen.
Een evaluatie-instrument is valide wanneer het meet wat je beoogt te meten.
De maatregelen die het zorgteam neemt in samenspraak met leerling, ouders en leraren. Het doel is om leerlingen die extra zorg nodig hebben te ondersteunen om de gestelde leerdoelen te bereiken.
Het vertrouwen in de eigen bekwaamheid om een opdracht tot een goed einde te kunnen brengen.
Het vermogen om het eigen leren te plannen, te monitoren en te evalueren.
Het in eigen woorden uitleggen van de leerstof.