PROEV werd ontwikkeld door een consortium o.l.v. UGent en UAntwerpen, i.o.v. het Departement Onderwijs en Vorming

Ik worstel met het evalueren van complexe vaardigheden. Momenteel gebruik ik hier rubrics voor, maar ik bots tegen een aantal zaken. Ik betrap mezelf erop dat sommige scores op basis van criteria niet stroken met mijn buikgevoel. Wat doe ik dan best? Vertrouw ik op de criteria of toch eerder op mijn intuïtie en expertise? Bestaan er andere mogelijkheden?
Leraar communicatiewetenschappen (2e graad secundair onderwijs)

Beschrijving

In de praktijk blijken leraren vooral moeite te hebben met het objectief beoordelen van complexe vaardigheden. Comparatief beoordelen kan hierbij helpen. Dit houdt in dat je de opdrachten van leerlingen (presentaties, verslagen, posters, muziekstukken, enzovoort) in paren met elkaar vergelijkt en telkens de beste opdracht selecteert om uiteindelijk tot een rangschikking van de minst tot meest kwalitatieve opdracht te komen.

Bij een laag aantal opdrachten worden de kwaliteitsverschillen sneller zichtbaar. Hierdoor kan je onmiddellijk een rangschikking maken van de minst tot meest kwalitatieve opdracht.

Voordelen

  • Comparatief beoordelen is eenvoudiger en gaat vlotter dan absoluut beoordelen van afzonderlijke opdrachten.

  • Het sluit beter aan bij de natuurlijke manier van beoordelen: door opdrachten met elkaar te vergelijken, of met een interne standaard, een mentaal model van een kwalitatieve uitvoering.

  • Comparatief beoordelen gebeurt intuïtief. Hierdoor wordt het minder als een lastige klus ervaren.

  • De betrouwbaarheid en validiteit stijgt ten opzichte van een absolute beoordeling. De beoordeling is minder onderhevig aan irrelevante factoren zoals het moment waarop je beoordeelt, je stemming of de volgorde waarin je beoordeelt.

  • Het laat je toe om holistisch te beoordelen. Je bekijkt de opdracht in zijn geheel waardoor je alle relevante aspecten van een opdracht kan meenemen en je je expertise ten volle kan benutten.

  • Op voorwaarde dat leerlingen voldoende kwaliteitsbesef hebben, is het een effectieve methodiek voor co- en peerevaluatie en peerfeedback. Leerlingen hoeven niet te vergelijken met abstracte kwaliteitscriteria, die ze vaak niet eenduidig interpreteren.

  • Leerlingen die peerfeedback geven door comparatief te werken, zien producten van uiteenlopende kwaliteit passeren. Dit draagt bij tot de ontwikkeling van een kwaliteitsbesef.

  • Als leerlingen inzicht hebben in de rangorde van de opdrachten, kunnen ze beter inschatten waar ze zelf staan. Dit kan hun zelfregulatie bevorderen (meer kan je hier lezen).

  • De totale tijd bij comparatief beoordelen is niet langer dan wanneer je evalueert met een rubric.

Een beknopt literatuuroverzicht kan je hier vinden.

Bronnen
open

De inhoud in 'overzicht' en 'aan de slag in de klas' is gebaseerd op volgende bronnen:

  • Bouwer, R., Goossens, M., Mortier, A.V., Lesterhuis, M., & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment: Leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie: Naar een feedbackcultuur in het hoger onderwijs (p. 92-106). Culemborg, NL: Phronese.

  • Goossens, M., Van Gasse, R., Bouwer, R., Lesterhuis, M., & De Maeyer, S. (2021). De 28 meest gestelde vragen over comparatief beoordelen. [EPub]. Antwerpen, België.

  • Laming, D. (2004). Human Judgement: The eye of the beholder. Londen: Thomson Learning.

  • Tai, J., Ajjawi, R., Boud, D., Dawson, P., & Panadero, E. (2017). Developing evaluative judgement: Enabling students to make decisions about the quality of work. Higher Education, 13(2), 1-15.

  • Van Daal, T. (2020). Making a choice is not easy?! Unravelling the task difficulty of comparative judgement to assess student work [Doctoraatsproefschrift, Universiteit Antwerpen].

  • Verhavert, S. Bouwer, R., Donche, V. & De Maeyer, S. (2019). A meta-analysis on the reliability of comparative judgement. Assessment in Education: Principles, Policy & Practice, 26(5), 541-562. /10.1080/0969594X.2019.1602027

Werkwijze om handmatig comparatief te beoordelen en een punt te geven.

Onderstaande werkwijze kan je gebruiken om een beperkt aantal opdrachten (15 à 20) handmatig comparatief te beoordelen. Van zodra je meer dan 20 opdrachten wil rangschikken van minst naar meest kwalitatief, wordt het moeilijker en kan je beter een digitale tool inzetten (Goossens et al., 2021).

  • Voorzie twee ‘ankertaken’ (één van hoge en één van lage kwaliteit) die al een waardeoordeel of punt hebben gekregen. Dit zijn werken van vorige schooljaren of van leerlingen van een andere klas.

Selecteer geen uitgesproken ‘goede’ of ‘slechte’ ankertaken. Kies eerder een opdracht die voor jou een 8/10 waard is en een opdracht die de minimumprestatie symboliseert (bijvoorbeeld 5/10).

Je kan deze opdrachten van verschillende kwaliteit ook gebruiken om de verwachtingen te verhelderen en om een kwaliteitsbesef bij leerlingen te ontwikkelen. Concrete werkvormen kan je hier vinden.

  • Neem alle opdrachten vluchtig door (bekijk alle presentaties of posters, lees alle verslagen, beluister de verschillende composities van leerlingen) en voorzie goed-genoeg-feedback. Organiseer feedback als detectivewerk, duid fouten aan, geef hints, plaats vinkjes naast goede delen en kruisjes naast minder goede, noteer een beknopte algemene beoordeling, enzovoort. Groepeer dan de opdrachten op basis van de algemene kwaliteit: de goede, de middelmatige en de minst goede. Het is belangrijk om hier in deze fase nog geen punt aan vast te pinnen.

Door feedback te geven terwijl je de opdrachten doorneemt, is het geen bijkomend werk. Door de feedback op deze manier te organiseren, activeer je de leerlingen om er daarna écht mee aan de slag te gaan.

  • Vergelijk de verschillende opdrachten en bijhorende feedback met elkaar en rangschik de opdrachten én ankertaken van mindere naar betere kwaliteit. Dit kan je doen door de opdrachten in paren te vergelijken en telkens de beste te selecteren. Dit vergelijkingsproces wordt eenvoudiger door de opdrachten al te groeperen in stap 2.

Je kan samenwerken met een collega die dezelfde opdrachten doorneemt en ook tot een rangschikking komt. Ga in dialoog indien er grote verschillen zijn en doe aanpassingen indien nodig. Dit ‘vierogenprincipe’ verhoogt de betrouwbaarheid.

  • Geef punten op basis van de rangschikking. Dit kan je doen door de plaats van de verschillende opdrachten te bekijken ten opzichte van de ankertaken die al een punt kregen.

Praktijkvoorbeeld: comparatief beoordelen aan de hand van ankertaken

Op KlasCement vind je een voorbeeld van een comparatieve beoordeling, toegepast op de vaardigheid ‘argumentatief schrijven’. Je biedt een aantal taken aan met telkens drie voorbeelden: opdrachten van voldoende niveau, boven het niveau en opdrachten onder het niveau van de eindterm argumentatief schrijven (3e graad ASO). Deze voorbeelden kan je gebruiken als ankertaken om de opdrachten van je leerlingen mee te vergelijken. 

Praktijkvoorbeeld: peerfeedback door taken comparatief te beoordelen

Een werkwijze waarbij leerlingen elkaar peerfeedback geven door verschillende opdrachten met elkaar te vergelijken, vind je hier.

Praktijkvoorbeeld: beoordelen met een rubric én door comparatief te beoordelen

Leraar Frans (3e graad secundair):

Na redelijk wat trial-and-error heb ik nu een werkwijze gevonden die voor mij werkt om de spreekvaardigheid van leerlingen te beoordelen. Het zorgt ervoor dat ik tot een betrouwbaardere score kom, zonder dat het me extra tijd kost.

Aan de hand van eerdere spreekoefeningen bepaal ik zelf de volgorde waarin de leerlingen aan bod komen. Hierbij zorg ik ervoor dat leerlingen met een gelijkaardige score na elkaar aan bod komen.

Ik evalueer aan de hand van een rubric. De verschillende criteria worden apart gescoord, maar ik geef nog geen totaalscore. Hiernaast duid ik ook altijd een medeleerling aan voor peerevaluatie en -feedback. Dit gebruik ik als controle.

Ik controleer nog een tweede keer door een rangschikking te maken van minst goede naar beste mondelinge opdracht. Dit doe ik door steeds te vergelijken met de twee voorgaande spreekopdrachten. Zo maak ik een rangschikking van de ingevulde rubrics. Ik laat me niet leiden door de afzonderlijke criteria, maar bekijk de opdracht in zijn totaliteit en vertrouw op mijn intuïtie.

Op basis van de rangschikking pas ik vaak de totaalscores nog aan. Het komt zeker voor dat de scores op basis van de afzonderlijke criteria niet overeenkomen met de rangschikking.

Digitale mogelijkheden

Van zodra je meer dan 20 opdrachten wil rangschikken van minst naar meest kwalitatief, overweeg je best een tool te hanteren die het comparatief beoordelen ondersteunt. Er bestaan digitale tools die het proces van samenstellen van paren en het berekenen van een rangorde automatiseren. Enkele voorbeelden zijn Comproved, RM Compare en No More Marking.

Comproved laat toe om verschillende soorten opdrachten (teksten, foto’s, korte video’s, geluidsfragmenten) comparatief te beoordelen en te laten voorzien van peerfeedback. Een voordeel van de tool is dat leerlingen meteen zicht krijgen op de plaats van hun opdracht in de rangorde. Daarnaast heeft Comproved nog extra functies specifiek voor peerevaluatie. Zo kunnen leerlingen hun opdrachten anoniem uploaden en kan je ervoor zorgen dat ze hun eigen werk niet zien verschijnen in de vergelijkingen.

Ook RM Compare en No More Marking laten toe om opdrachten comparatief te beoordelen of te voorzien van peerfeedback.

Bronnen
open

De inhoud in 'overzicht' en 'aan de slag in de klas' is gebaseerd op volgende bronnen:

  • Bouwer, R., Goossens, M., Mortier, A.V., Lesterhuis, M., & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment: Leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie: Naar een feedbackcultuur in het hoger onderwijs (p. 92-106). Culemborg, NL: Phronese.

  • Goossens, M., Van Gasse, R., Bouwer, R., Lesterhuis, M., & De Maeyer, S. (2021). De 28 meest gestelde vragen over comparatief beoordelen. [EPub]. Antwerpen, België.

  • Laming, D. (2004). Human Judgement: The eye of the beholder. Londen: Thomson Learning.

  • Tai, J., Ajjawi, R., Boud, D., Dawson, P., & Panadero, E. (2017). Developing evaluative judgement: Enabling students to make decisions about the quality of work. Higher Education, 13(2), 1-15.

  • Van Daal, T. (2020). Making a choice is not easy?! Unravelling the task difficulty of comparative judgement to assess student work [Doctoraatsproefschrift, Universiteit Antwerpen].

  • Verhavert, S. Bouwer, R., Donche, V. & De Maeyer, S. (2019). A meta-analysis on the reliability of comparative judgement. Assessment in Education: Principles, Policy & Practice, 26(5), 541-562. /10.1080/0969594X.2019.1602027

Het één per één beoordelen van opdrachten van leerlingen, al dan niet aan de hand van vooropgestelde kwaliteitscriteria.
Een evaluatieresultaat is betrouwbaar wanneer het niet wordt beïnvloed door niet-relevante factoren. Het resultaat weerspiegelt de mate waarin een leerling de leerdoelen beheerst.
De zorg die alle leerlingen nodig hebben om zich te kunnen ontplooien en om gebruik te kunnen maken van hun talenten en mogelijkheden.
De mate waarin het werkgeheugen wordt belast. Om het leerproces te bevorderen, dien je de cognitieve belasting te optimaliseren.
Een cluster van kennis, vaardigheden en attitudes die leerlingen in complexe contexten kunnen toepassen.
De neiging om nieuwe informatie zodanig op te zoeken en/of te filteren dat deze de eigen ideeën, opvattingen en/of hypothesen bevestigt.
In een constructief afgestemd onderwijsproces zijn de leerdoelen, de (summatieve) evaluatie en de onderwijs- en leeractiviteiten op elkaar afgestemd.
In een constructief afgestemd onderwijsproces zijn de leerdoelen, de (summatieve) evaluatie en de onderwijs- en leeractiviteiten op elkaar afgestemd.
Een overzicht van de criteria die worden gebruikt om een opdracht te beoordelen. Het geeft aan waaraan een opdracht dient te voldoen en welke aspecten van belang zijn.
Het proactief, positief en planmatig omgaan met verschillen tussen leerlingen (interesses, leerstatus en leerprofiel) met als doel om een maximaal leerrendement voor alle leerlingen te realiseren op het vlak van motivatie, leerwinst en leerefficiëntie.
Het vermogen van leerlingen om informatie van verschillende bronnen te aanvaarden en te gebruiken om de kwaliteit van hun werk te verbeteren.
Het krijgen van te veel feedback waardoor leerlingen overrompeld worden en niet meer aan de slag kunnen met de feedback.
Aanpakken waarmee je het leerproces op de korte termijn bewust bemoeilijkt waardoor leerlingen harder moeten nadenken. Dit is gewenst omdat het op lange termijn voor leerwinst zorgt.
Het beschouwen van intelligentie als iets dat niet vaststaat, maar als iets kneedbaar. Personen met een growth mindset hebben de overtuiging dat capaciteiten ontwikkeld kunnen worden.
De neiging om een persoon (leerling) positief te beoordelen, gebaseerd op één positief aspect.
De neiging om een persoon (leerling) negatief te beoordelen, gebaseerd op één negatief aspect.
De moeilijkheid om je als expert te verplaatsen in de situatie van personen die bepaalde kennis (nog) niet hebben. Hoe meer kennis je hebt, hoe moeilijker om in te schatten hoe het is om deze kennis niet te hebben.
Een mentaal beeld van welk kwaliteitsniveau wordt verwacht, hoe verschillende kwaliteitsniveaus eruitzien en hoe je kan komen tot het nagestreefde kwaliteitsniveau.
De criteria die worden gehanteerd om te beoordelen in hoeverre een evaluatie succesvol was (= evaluatiecriteria, succescriteria).
De leerdoelen omschrijven wat leerlingen moeten kennen en kunnen op het einde van een leerproces. In deze tool wordt onder leerdoelen zowel de eindtermen, leerplandoelen als concrete lesdoelen verstaan die leraren kunnen nastreven.
De wijze waarop leerlingen leren. Verschillen in leerprofiel hebben vooral te maken met de leerstrategieën en de leervoorkeuren voor bepaalde activiteiten.
Wat leerlingen al kennen en kunnen. Verschillen in leerstatus uiten zich voornamelijk op (meta)cognitief vlak, maar gaan ook over verschillen op sociaal-affectief en (psycho)motorisch vlak.
Het spreiden van leermomenten doorheen de tijd om zo tot een hoger leereffect te komen.
Een evaluatie-instrument is valide wanneer het meet wat je beoogt te meten.
De maatregelen die het zorgteam neemt in samenspraak met leerling, ouders en leraren. Het doel is om leerlingen die extra zorg nodig hebben te ondersteunen om de gestelde leerdoelen te bereiken.
Het vertrouwen in de eigen bekwaamheid om een opdracht tot een goed einde te kunnen brengen.
Het vermogen om het eigen leren te plannen, te monitoren en te evalueren.
Het in eigen woorden uitleggen van de leerstof.