PROEV werd ontwikkeld door een consortium o.l.v. UGent en UAntwerpen, i.o.v. het Departement Onderwijs en Vorming

Een kwalitatief evaluatiesysteem: aan de slag met kwaliteitscriteria

Op basis van onze toetsen en examens die we opstellen, beslissen we over de toekomst van onze leerlingen. Ik vind dat idee best wel beangstigend. Op de delibererende klassenraden voel ik me altijd onzeker. Heb ik genoeg geëvalueerd en zijn mijn evaluaties volgens de regels van de kunst opgesteld? Dat zijn belangrijke vragen denk ik, want ze hebben een grote impact.
Leraar wiskunde (3e graad secundair onderwijs)

Beschrijving

Een evaluatiesysteem is het geheel aan evaluaties (zowel formatief als summatief) waarmee je uitspraken doet over de beheersing van de leerdoelen door leerlingen. Op basis hiervan neem je belangrijke beslissingen, onder andere in functie van de studievoortgang van leerlingen.

Om zeker te zijn dat je correcte beslissingen neemt, waak je best over de kwaliteit van het evaluatiesysteem. Dit kan aan de hand van tien criteria die de kwaliteit van dit systeem bepalen.

Voordelen

  • Je denkt actief na over de leerdoelen en de evaluatiemethoden waarmee je deze in kaart brengt. Dit zorgt voor een constructieve afstemming tussen de leerdoelen, de onderwijsactiviteiten en de summatieve evaluatie.

  • Op basis van een kwalitatief evaluatiesysteem kan je correcte uitspraken doen over de mate waarin leerlingen de leerdoelen beheersen. Zo neem je correcte beslissingen in functie van de onderwijsloopbaan van leerlingen.

  • Door op een kwalitatieve manier te evalueren, verkleint de invloed van irrelevante contextfactoren waardoor de gelijkheid van kansen vergroot.

Vroeger keek men vooral naar de kwaliteitscriteria validiteit, betrouwbaarheid en transparantie. Rond de eeuwwisseling kwam er een shift van een test- naar een assessmentcultuur waarbij de focus kwam te liggen op complexe vaardigheden, eerder dan op kennis. Deze shift ging samen met een aanpassing en aanvulling van de klassieke kwaliteitscriteria.

Een afzonderlijk evaluatie-instrument kan nooit voldoen aan alle kwaliteitscriteria. Het is wel van belang dat het evaluatiesysteem voldoet aan de verschillende criteria. Het geheel is meer dan de som van de afzonderlijke delen.

Leraren lijken het vooral moeilijk te vinden om rekening te houden met de criteria eerlijkheid, cognitieve complexiteit en authenticiteit/levensechtheid.

Een beknopt literatuuroverzicht kan je hier vinden.

Bronnen
open

De inhoud in dit overzicht is gebaseerd op volgende bronnen:

  • Baartman, L. K. J., Bastiaens, T. J., Kirschner, P. A., & Vleuten, C. P. M. van der (2006). The wheel of competency assessment: Presenting quality criteria for Competency Assessment Programs. Studies in Educational Evaluation, 32(2), 153-170. doi:10.1016/j.stueduc.2006.04.006

  • Birenbaum, M. (2007). Evaluating the assessment: Sources of evidence for quality assurance. Studies in Educational Evaluation, 33(1), 29-49. doi:10.1016/j.stueduc.2007.01.004

  • Harré, K., Smeyers, L., Vanhoof, J., Dattoli, M., & Pinceel, K. (2014). Evaluatiepraktijk op school. 10 pijlers voor een kwaliteitsvolle leerlingenevaluatie. ASP Onderwijs. Brussel: ASP.

  • Tillema, H., Leenknecht, M., & Segers, M. (2011). Assessing assessment quality: Criteria for quality assurance in design of (peer)assessment for learning – A review of research studies. Studies in Educational Evaluation, 37, 25-34. doi:10.1016/j.stueduc.2011.03.004

  • Vanhoof, J., Portael, L., & De Maeyer, S. (2013). Beleid en praktijk inzake leerlingevaluatie in Vlaamse secundaire scholen [Ongepubliceerd artikel]. Universiteit Antwerpen.

Twee manieren om aan de slag te gaan met de kwaliteitscriteria

In de literatuur zijn 10 kwaliteitscriteria terug te vinden. Deze komen hieronder aan bod, samen met een aantal mogelijke werkwijzen. Dit overzicht kan je op twee manieren inzetten:

  1. Bij het opstellen van een nieuw evaluatie-instrument om zo goed mogelijk rekening te houden met de kwaliteitscriteria.

  2. Als toetssteen om je huidige evaluatiesysteem tegen af te zetten. Het verduidelijkt waar je sterk op inzet en met welke criteria je minder rekening houdt. Je leest steeds hoe je aan de slag kan gaan met de verschillende criteria om de kwaliteit van het evaluatiesysteem verder te verhogen.

10 kwaliteitscriteria

1. Geïntegreerde evaluatie

Je integreert instructies en evaluaties, waardoor je evaluaties niet enkel gebruikt om te beoordelen, maar ook om het instructie- en leerproces te verbeteren.

Je zorgt voor een constructieve afstemming tussen de leerdoelen, de onderwijsactiviteiten en de evaluatie.

2. Transparantie

Je zorgt ervoor dat het voor de leerlingen duidelijk is wat, hoe en wanneer je zal evalueren en welke criteria je hiervoor zal hanteren. De leerlingen weten met andere woorden op voorhand wat ze kunnen verwachten en welke rol ze hebben bij de evaluatie.

Op deze manier geef je de leerlingen alle nodige informatie om zich optimaal te kunnen voorbereiden en om de evaluatie succesvol te kunnen uitvoeren.

3. Authenticiteit/levensechtheid

Je vertrekt vanuit levensechte, authentieke situaties. De vragen en opdrachten sluiten aan bij de leefwereld of het toekomstig professioneel leven van leerlingen.

Hoe kan je aan de slag gaan?

  • Meer info en praktische tips kan je hier terugvinden.

4. Cognitieve complexiteit

Je stelt evaluaties op die de leerlingen uitdagen om verschillende cognitieve vaardigheden in te zetten. Je evalueert op een gevarieerde manier, waardoor je denkprocessen uitlokt die leerlingen later in hun dagelijks of professioneel leven nodig zullen hebben.

Hoe kan je aan de slag gaan?

  • Meer info en een overzicht van de beheersingsniveaus en bijhorende handelingswerkwoorden kan je hier terugvinden. 

5. Reproduceerbaarheid

Je zorgt ervoor dat je de evaluatie-instrumenten zodanig opstelt, afneemt en beoordeelt dat de resultaten van leerlingen steeds vergelijkbaar zijn. Dit staat los van de persoon die de evaluatie beoordeelt en het moment waarop je de  leerlingen evalueert.

De resultaten mogen niet beïnvloed worden door toevalligheden of storende factoren.

Hoe kan je aan de slag gaan?

  • Door gebruik te maken van duidelijke kwaliteitscriteria (verzameld in een rubric) bij het beoordelen van complexe opdrachten.

  • Door meerdere beoordelaars in te zetten.

  • Door comparatief te beoordelen.

  • Meer info en tips kan je hier en hier terugvinden. 

6. Representativiteit

Je maakt gebruik van evaluatie-instrumenten en opdrachten die een goede afspiegeling vormen van de inhouden en de leerdoelen die je wil evalueren.

Je evalueert echt wat je wil evalueren.

Hoe kan je aan de slag gaan?

  • Door gebruik te maken van een toetsmatrijs.

  • Meer tips kan je hier terugvinden. 

  • Meer info en een overzicht van de beheersingsniveaus en bijhorende handelingswerkwoorden vind je hier terug. 

7. Eerlijkheid

Je evalueert op een eerlijke manier. Niet-relevante leerlingenkenmerken (geslacht, etnische achtergrond, sociaaleconomische status, en dergelijke) of contextfactoren zijn niet van invloed op de resultaten van leerlingen.

Hoe kan je aan de slag gaan?

8. Betrokkenheid

Je betrekt de leerlingen bij het evaluatieproces door hen een stem te geven. Dit kan op verschillende momenten: voor, tijdens of na de evaluatie.

Op deze manier is de evaluatie de gedeelde verantwoordelijkheid van de leraar en de leerlingen.

9. Verantwoording

Je kan je beoordeling rechtvaardigen en beargumenteren naar collega’s, ouders en leerlingen toe. Het is duidelijk welk prestatieniveau je verwacht en hoe leerlingen dit kunnen bereiken.

10. Impact

Je houdt rekening met de invloed die een evaluatie kan hebben op het (leer)proces van leerlingen.

De impact kan bedoeld of onbedoeld positief of negatief zijn.

Digitale mogelijkheden

Ook indien digitale evaluaties deel uitmaken van het evaluatiesysteem, zijn de 10 kwaliteitscriteria van toepassing.

Bronnen
open

De inhoud op deze pagina is gebaseerd op volgende bronnen:

  • Baartman, L. K. J., Bastiaens, T. J., Kirschner, P. A., & Vleuten, C. P. M. van der (2006). The wheel of competency assessment: Presenting quality criteria for Competency Assessment Programs. Studies in Educational Evaluation, 32(2), 153-170. doi:10.1016/j.stueduc.2006.04.006

  • Birenbaum, M. (2007). Evaluating the assessment: Sources of evidence for quality assurance. Studies in Educational Evaluation, 33(1), 29-49. doi:10.1016/j.stueduc.2007.01.004

  • Harré, K., Smeyers, L., Vanhoof, J., Dattoli, M., & Pinceel, K. (2014). Evaluatiepraktijk op school. 10 pijlers voor een kwaliteitsvolle leerlingenevaluatie. ASP Onderwijs. Brussel: ASP.

  • Tillema, H., Leenknecht, M., & Segers, M. (2011). Assessing assessment quality: Criteria for quality assurance in design of (peer)assessment for learning – A review of research studies. Studies in Educational Evaluation, 37, 25-34. doi:10.1016/j.stueduc.2011.03.004

  • Vanhoof, J., Portael, L., & De Maeyer, S. (2013). Beleid en praktijk inzake leerlingevaluatie in Vlaamse secundaire scholen [Ongepubliceerd artikel]. Universiteit Antwerpen.

Het één per één beoordelen van opdrachten van leerlingen, al dan niet aan de hand van vooropgestelde kwaliteitscriteria.
Een evaluatieresultaat is betrouwbaar wanneer het niet wordt beïnvloed door niet-relevante factoren. Het resultaat weerspiegelt de mate waarin een leerling de leerdoelen beheerst.
De zorg die alle leerlingen nodig hebben om zich te kunnen ontplooien en om gebruik te kunnen maken van hun talenten en mogelijkheden.
De mate waarin het werkgeheugen wordt belast. Om het leerproces te bevorderen, dien je de cognitieve belasting te optimaliseren.
Een cluster van kennis, vaardigheden en attitudes die leerlingen in complexe contexten kunnen toepassen.
De neiging om nieuwe informatie zodanig op te zoeken en/of te filteren dat deze de eigen ideeën, opvattingen en/of hypothesen bevestigt.
In een constructief afgestemd onderwijsproces zijn de leerdoelen, de (summatieve) evaluatie en de onderwijs- en leeractiviteiten op elkaar afgestemd.
In een constructief afgestemd onderwijsproces zijn de leerdoelen, de (summatieve) evaluatie en de onderwijs- en leeractiviteiten op elkaar afgestemd.
Een overzicht van de criteria die worden gebruikt om een opdracht te beoordelen. Het geeft aan waaraan een opdracht dient te voldoen en welke aspecten van belang zijn.
Het proactief, positief en planmatig omgaan met verschillen tussen leerlingen (interesses, leerstatus en leerprofiel) met als doel om een maximaal leerrendement voor alle leerlingen te realiseren op het vlak van motivatie, leerwinst en leerefficiëntie.
Het vermogen van leerlingen om informatie van verschillende bronnen te aanvaarden en te gebruiken om de kwaliteit van hun werk te verbeteren.
Het krijgen van te veel feedback waardoor leerlingen overrompeld worden en niet meer aan de slag kunnen met de feedback.
Aanpakken waarmee je het leerproces op de korte termijn bewust bemoeilijkt waardoor leerlingen harder moeten nadenken. Dit is gewenst omdat het op lange termijn voor leerwinst zorgt.
Het beschouwen van intelligentie als iets dat niet vaststaat, maar als iets kneedbaar. Personen met een growth mindset hebben de overtuiging dat capaciteiten ontwikkeld kunnen worden.
De neiging om een persoon (leerling) positief te beoordelen, gebaseerd op één positief aspect.
De neiging om een persoon (leerling) negatief te beoordelen, gebaseerd op één negatief aspect.
De moeilijkheid om je als expert te verplaatsen in de situatie van personen die bepaalde kennis (nog) niet hebben. Hoe meer kennis je hebt, hoe moeilijker om in te schatten hoe het is om deze kennis niet te hebben.
Een mentaal beeld van welk kwaliteitsniveau wordt verwacht, hoe verschillende kwaliteitsniveaus eruitzien en hoe je kan komen tot het nagestreefde kwaliteitsniveau.
De criteria die worden gehanteerd om te beoordelen in hoeverre een evaluatie succesvol was (= evaluatiecriteria, succescriteria).
De leerdoelen omschrijven wat leerlingen moeten kennen en kunnen op het einde van een leerproces. In deze tool wordt onder leerdoelen zowel de eindtermen, leerplandoelen als concrete lesdoelen verstaan die leraren kunnen nastreven.
De wijze waarop leerlingen leren. Verschillen in leerprofiel hebben vooral te maken met de leerstrategieën en de leervoorkeuren voor bepaalde activiteiten.
Wat leerlingen al kennen en kunnen. Verschillen in leerstatus uiten zich voornamelijk op (meta)cognitief vlak, maar gaan ook over verschillen op sociaal-affectief en (psycho)motorisch vlak.
Het spreiden van leermomenten doorheen de tijd om zo tot een hoger leereffect te komen.
Een evaluatie-instrument is valide wanneer het meet wat je beoogt te meten.
De maatregelen die het zorgteam neemt in samenspraak met leerling, ouders en leraren. Het doel is om leerlingen die extra zorg nodig hebben te ondersteunen om de gestelde leerdoelen te bereiken.
Het vertrouwen in de eigen bekwaamheid om een opdracht tot een goed einde te kunnen brengen.
Het vermogen om het eigen leren te plannen, te monitoren en te evalueren.
Het in eigen woorden uitleggen van de leerstof.