In het kort:
Als leraar krijg je te maken met een veelheid aan data die je evaluaties en vervolgacties mee bepalen.
Data op zich zeggen weinig. Ze krijgen pas betekenis door ze te beoordelen en te interpreteren in de context van de leerdoelen of persoonlijke doelen die je nastreeft.
Formatief handelen is een methode om in de loop van het leerproces beslissingen te nemen die zijn onderbouwd met data.
Je kan het leerproces verder optimaliseren op basis van summatieve evaluatiemomenten aan het einde van het leerproces.
Om data te kunnen omzetten in onderbouwde vervolgacties is het belangrijk dat leraren voldoende datageletterd zijn.
Datageletterdheid omvat een brede waaier aan kennis en vaardigheden.
Om data effectief te interpreteren, vertrek je vanuit de leerdoelen of persoonlijke doelen, hanteer je meerdere databronnen en werk je samen.
Nadat je bent nagegaan in hoeverre de leerlingen de leerdoelen beheersen (actie 2), is de volgende stap het nemen van beslissingen die met data zijn onderbouwd. Dit doe je zowel om het instructie- en leerproces te optimaliseren als om het leren van leerlingen correct te beoordelen. Om recht te doen aan wat leerlingen laten zien en écht kunnen, is een goede balans nodig tussen formatieve en summatieve beslissingen (Figuur 1).
Dit is echter niet eenvoudig. Ten eerste word je als leraar geconfronteerd met een veelheid aan data, zowel tijdens als aan het einde van een leerproces. Dit zijn zowel informele data (observaties, gesprekjes, klasdiscussies, enzovoort) als formele, systematisch verzamelde data (vanuit diagnostische meerkeuzevragen, exit tickets, al dan niet gestandaardiseerde toetsen, examens, groepswerken, enzovoort). Het is jouw taak om met deze variëteit aan data aan de slag te gaan.
Ten tweede zeggen deze data op zich weinig. Je kan er pas mee aan de slag nadat je er betekenis aan hebt gegeven. Met andere woorden: je moet tot een dieper begrip komen door de data te beoordelen en te interpreteren in de context van de vooropgestelde leerdoelen of de persoonlijke doelen die je nastreeft. Bijvoorbeeld: je wil dat alle leerlingen minstens 60% behalen.
Informele data
Tijdens het lesgeven krijg je als leraar een golf van informele data over je heen. Onderzoek in het basisonderwijs wijst uit dat leraren per uur tussen de 200 en 300 interacties hebben met hun leerlingen (Jackson, 1968). Ander onderzoek toont aan dat leraren (lager en secundair onderwijs) 35 tot 50 procent van de lestijd spenderen aan het stellen van vragen (Cotton, 1989). In de Vlaamse context geeft ongeveer 80 procent van de leraren aan dat ze hun leerlingen observeren wanneer ze opdrachten maken en dat ze hierbij mondelinge feedback geven (Van Droogenbroeck et al., 2019).
Zoals het laatste voorbeeld aantoont, beoordeel en interpreteer je informele data vaak onmiddellijk in je hoofd. Dit gebeurt in functie van beslissingen, zoals het eventueel aanpassen van de instructie, het opnieuw uitleggen van de leerstof of het geven van gerichte feedback. Hierdoor is de kwaliteit en de adequaatheid van de beslissingen onder andere sterk afhankelijk van de expertise, de intuïtie, de opvattingen en de persoonlijkheid van jou als leraar. Intuïtie en expertise zijn zeker nodig bij het nemen van beslissingen, maar maken ze niet altijd effectief. Bepaalde veronderstellingen over leerlingen (zowel positief als negatief) kunnen de beslissingen immers kleuren. Hierdoor blijven problemen, misconcepties, foutieve leerstrategieën, enzovoort van leerlingen vaak verborgen tot er een summatieve evaluatie plaatsvindt.
Om meer met data onderbouwde beslissingen te nemen, is er naast informele data ook nood aan formele data die je correct beoordeelt en doelgericht interpreteert. Het is dus niet van belang om gewoon meer data te gebruiken, maar wel om deze data doelbewuster in te zetten.
Formatief handelen om onderbouwde beslissingen te nemen
Formatief handelen is een manier om tijdens het leerproces op een doelgerichte manier data te verzamelen en te gebruiken. Je zet verschillende strategieën in om na te gaan in hoeverre de leerlingen de leerdoelen beheersen. Daarna neem je gefundeerde beslissingen en doe je gerichte aanpassingen in het instructie- en leerproces. Formatief handelen laat toe om de antwoorden en producten van leerlingen snel en effectief te beoordelen en te interpreteren.
Formatief handelen werkt immers proactief. Je denkt vooraf na over de typische misvattingen en (denk)fouten die leerlingen kunnen maken. Je bepaalt met andere woorden op voorhand de mogelijke leerbehoeften van leerlingen. Door hier proactief ook een vervolgstap aan te koppelen, kan je onmiddellijk en gepast reageren van zodra een bepaald probleem zich stelt of leerlingen een bepaalde fout maken.
Om formatief handelen in de praktijk te brengen, heb je voldoende kennis en vaardigheden nodig. In de eerste plaats heb je nood aan een uitgebreid didactisch handelingsrepertoire. Dit stelt je in staat om een geschikt evaluatie-instrument in te zetten, om de beheersing van leerlingen in kaart te brengen. Daarnaast moet je over de nodige vakinhoudelijke kennis beschikken (om de typische misconcepties en denkfouten te identificeren). Je hoort ook voldoende inzicht te hebben in het onderwijsontwerp, om bijvoorbeeld de hoofd- en subdoelen te onderscheiden en de cruciale momenten te bepalen waarop je de beheersing van leerlingen nagaat.
Om formatief te handelen is het niet nodig om een uitgebreide administratie bij te houden. Je gebruikt de verzamelde informatie eerder Snapchatgewijs (Kneyber et al., 2022). De antwoorden en producten van leerlingen hebben hun nut om leerbehoeften te identificeren, maar mogen daarna verdwijnen. Toch kan een minimale administratie interessant zijn om fouten die systematisch terugkomen, in verschillende contexten, bij te houden om erop in te spelen.
Summatieve evaluaties beoordelen
Het leer- en instructieproces kan je verbeteren op basis van summatieve evaluatiemomenten.
Op het einde van een lessenreeks voorzie ik een evaluatie waar ik een punt op zet. Daar laat ik het niet bij. Ik gebruik dit ook als basis om gericht in te grijpen, zodat ik de leerlingen verder kan helpen. Ik leg opnieuw uit, ik geef feedback, ik differentieer.
In Vlaanderen wordt veel summatief geëvalueerd, maar gebeurt er weinig met de data die dit oplevert. Nochtans kunnen deze evaluatiemomenten leiden tot vervolgacties. Hiervoor moet je de data eerst en vooral betrouwbaar en objectief beoordelen. Je hebt een waardeoordeel nodig dat de werkelijke beheersing van leerlingen weergeeft: vaak een resultaat in de vorm van een punt. Niet-relevante kenmerken van de leraar (zoals sympathie, antipathie, strengheid of vooroordelen), de leerling (zoals geslacht, etnische achtergrond of sociaaleconomische status) of de context (zoals de volgorde waarin wordt gecorrigeerd of het moment van corrigeren) mogen dit resultaat zo weinig mogelijk beïnvloeden.
Het beoordelen van gesloten vragen en van eenvoudige invulopdrachten brengt over het algemeen niet zoveel problemen met zich mee. Maar van zodra de complexiteit van de geëvalueerde vaardigheid of competentie stijgt, wordt ook de beoordeling complexer. Wat leraren vaak aanvoelen vanuit hun expertise, is bevestigd in wetenschappelijk onderzoek: bij complexe vaardigheden schort er vaak iets aan de betrouwbaarheid en validiteit van de manier van beoordelen. Grofweg zijn er twee dimensies en twee manieren om complexe vaardigheden te beoordelen:
Analytisch beoordelen: Dit houdt in dat je beoordeelt aan de hand van kwaliteitscriteria (meestal verzameld in een rubric). Je analyseert een complexe vaardigheid tot in detail door de verschillende criteria afzonderlijk te beoordelen. Uiteindelijk tel je de aparte scores op om tot een eindresultaat te komen.
Holistisch beoordelen: Bij een holistische beoordeling bekijk je een complexe vaardigheid of competentie in z’n geheel zonder te focussen op aparte kwaliteitscriteria. Het geheel is meer dan de som van de afzonderlijke delen. Hierbij is het van belang dat je vertrouwt op je expertise. Automatisch neem je meerdere criteria in acht, ook criteria die niet expliciet zijn opgenomen in een criterialijst of rubric.
Absoluut beoordelen: Bij een absolute beoordeling beoordeel je de opdrachten van leerlingen één per één, al dan niet aan de hand van vooropgestelde kwaliteitscriteria.
Comparatief beoordelen: Deze beoordelingsvorm houdt in dat je de opdrachten van leerlingen in paren met elkaar vergelijkt en telkens de beste opdracht selecteert om uiteindelijk tot een rangschikking te komen van de minst tot meest kwalitatieve opdracht. Vervolgens kan je op basis van de rangschikking een punt koppelen aan elke afzonderlijke opdracht.
Deze vier beoordelingsvormen gaan gepaard met verschillende voor- en nadelen (zie Figuur 2). Deze kan je aflezen in de vier kwadranten van de tabel. Hoe wenselijk elke manier van beoordelen is, leer je uit de concrete voorbeelden.
De resultaten van summatieve evaluaties interpreteren
De resultaten van leerlingen die voortvloeien uit een beoordeling, zeggen op zich niet genoeg om aan de slag te gaan. Om onderbouwde beslissingen te nemen, is er verdere interpretatie nodig. Wat willen de resultaten precies zeggen met betrekking tot de leerdoelen? Op welke manieren kan je het leren verder optimaliseren?
Om dergelijke denkoefening tot een goed einde te brengen, moet je voldoende datageletterd zijn. Datageletterdheid is het vermogen om data om te zetten in geschikte vervolgacties, door verschillende soorten data te verzamelen, analyseren en interpreteren. Datageletterdheid combineert kennis en vaardigheden rond data-analyse met die rond vakinhoud en didactiek. Er komt ook kennis van het onderwijsontwerp en de manieren waarop leerlingen leren bij kijken. Daarnaast is je attitude ook van belang. Voldoende geloof in eigen kunnen en de houding ten opzichte van datagebruik bepalen immers mee in hoeverre je data omzet in vervolgacties.
Het belang van data en datageletterdheid kan je zo samenvatten: “without data, teachers do not know the gap between students’ current learning and their learning goals, and without expertise, teachers do not know how to close this gap” (Mandinach & Gummer, 2016).
In de literatuur vind je een heleboel specifieke vaardigheden terug die bepalen in hoeverre leraren datageletterd zijn. Enkele voorbeelden zijn:
De context van leerlingen (zoals klasklimaat, achtergrondkenmerken, lesonderwerp of interesses) en de schoolcontext (zoals lesrooster, overtuigingen schoolteam of visie) in acht nemen.
Relevante en geschikte data(bronnen) kunnen identificeren met een helder leerdoel voor ogen.
Met een brede lens kijken door verschillende soorten data(bronnen) samen te brengen en te gebruiken (zoals punten, observaties of gesprekken).
Een diepgaand begrip hebben van het opstellen en gebruiken van verschillende evaluatievormen (zowel formatief als summatief).
Eenvoudige statistische analyses kunnen uitvoeren (zoals het gemiddelde, de mediaan of de standaardafwijking) om de resultaten van leerlingen beter te begrijpen.
Digitale tools kunnen gebruiken die datagebruik ondersteunen, zoals Excel, leerlingenvolgsystemen, digitale dashboards en andere relevante tools.
Drie tips om onderbouwde beslissingen te nemen
De literatuur reikt een aantal handvatten aan om data effectief om te zetten in vervolgacties. Lees hiervoor de drie onderstaande tips:
Tip 1: Vertrek vanuit de leerdoelen en persoonlijke doelen
Het interpreteren van data gebeurt steeds doelgericht. Vertrekken vanuit leerdoelen, nadenken over relevante tussendoelen, en het identificeren van de nodige kennis en vaardigheden om deze te bereiken, helpen bepalen op welke momenten je de beheersing van leerlingen best nagaat. Het visualiseren van dit leerproces met bijhorende (formatieve en summatieve) evaluatiemomenten (met bijvoorbeeld een mindmap) kan helpen om de resultaten van leerlingen correcter en gerichter te interpreteren in functie van vervolgacties.
Tip 2: Gebruik meerdere databronnen
Het leren van leerlingen is te complex om te kunnen vatten met slechts één databron. Om een correcter en diepgaander beeld te krijgen van de (leer)behoeften van leerlingen, is het nodig meerdere databronnen naast elkaar te leggen, zowel formele als informele. Je kan bijvoorbeeld beter anticiperen op een mindere toets van een leerling door bijkomende informatie te verzamelen. Dit kan via klasobservaties, een informele babbel of een toetsanalyse, waarbij leerlingen reflecteren over hun leerproces. Een leerling die ziek bleek te zijn op de vooravond van een toets zal minder gebaat zijn bij bijkomende instructie dan een leerling die de leerstof nog onvoldoende beheerst.
Tip 3: Werk samen met collega’s
Het interpreteren van en betekenis geven aan data start niet met de data zelf, maar met leraren die hun eigen expertise, overtuigingen en karakter (hun persoonlijk referentiekader) aanspreken om resultaten en observaties te interpreteren. Dezelfde data kunnen verschillende zaken betekenen voor verschillende leraren. Hierdoor is het belangrijk om, waar mogelijk, te overleggen met collega’s. Dergelijke samenwerkingen kunnen immers leiden tot bijkomende of zelfs nieuwe inzichten.
Beck, J.S., & Nunnaley, D. (2021). A continuum of data literacy for teaching. Studies in Educational Evaluation 69. /10.1016/j.stueduc.2020.100871
Bertrand, M., & Marsh, J. A. (2015). Teachers’ sensemaking of data and implications for equity. American Educational Research Journal, 52(5), 861e893.
Biggs, J. (1996). Enhancing teaching through constructive alignment. Higher Education, 32, 347‐364.
Bouwer, R., Goossens, M., Mortier, A.V., Lesterhuis, M., & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment: Leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie: Naar een feedbackcultuur in het hoger onderwijs (p. 92-106). Culemborg, NL: Phronese.
Brookhart, S. M. (2018). Appropriate criteria: Key to effective rubrics. Frontiers in Education, 3(22), /10.3389/feduc.2018.00022.
Coe, R., Rauch, C.J., Kime, S., & Singleton, D. (2020). Great teaching toolkit. Evidence review. Evidence Based Education.
Cotton, K. (1988). Classroom Questioning. Office of Educational Research and Improvement (OERI), New Jersey, US: Northwest Regional Educational Laboratory.
Goffin, E., Janssen, R., & Vanhoof, J. (2022). Teachers’ and school leaders’ sensemaking of formal achievement data: A conceptual review. Review of Education, 10(1), e3334. /10.1002/rev3.3334
Goossens, M., Van Gasse, R., Bouwer, R., Lesterhuis, M., & De Maeyer, S. (2021). De 28 meest gestelde vragen over comparatief beoordelen. [EPub]. Antwerpen, België.
Gulikers, J., & Baartman, L. (2017). Doelgericht professionaliseren: formatieve toetspraktijken met effect! Wat DOET de docent in de klas? Geraadpleegd op: /wp-content/uploads/2015/09/Inhoudelijke-eindrapport_NRO-PPO-405-15-722_DEF.pdf
Gummer & Mandinach. (2015). Building a Conceptual Framework for Data Literacy. Teachers College Record, 117(4),1-22.
Hattie, J. (2012). Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Londen: Routledge.
Herberts, L. (2022, 13 september). “Maar is het nu voldoende meneer?” Een werkvorm om studenten te activeren en hun kwaliteitsbesef te laten groeien. Platform leren van toetsen. Geraadpleegd op 21 oktober 2022, van /maar-is-het-nu-voldoende-meneer-een-werkvorm-om-studenten-te-activeren-en-hun-kwaliteitsbesef-te-laten-groeien/
Jackson, P. W. (1968). Life in Classrooms. New York: Holt, Rinehart and Winston.
Jansen, I. Van Silfhout, G, & Fasoglio, D. (2020). It’s official: leerlingen willen schrijven! Maak ook van jouw leerlingen enthousiaste getalenteerde schrijvers. Leerling klaar? Docent aan het werk. Special schrijfonderwijs van SLO en CITO.
Jonsson, A., & Panadero, E. (2016). The use and design of rubrics to support AfL. In D. Carless (Ed.). Scaling up assessment for learning in higher education (pp. 99–111). Dordrecht: Springer.
Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130–144.
Kippers, W. B., Poortman, C. L., Schildkamp, K., & Visscher, A. J. (2018). Data literacy: What do educators learn and struggle with during a data use intervention? Studies in Educational Evaluation, 56, 21–31. /10.1016/j.stueduc.2017.11.001.
Kneyber, R., Sluijsmans, D., Devid, V., & Wilde López B. (2022). Formatief handelen. Van instrument naar ontwerp. Culemborg: Phronese.
Laveault, D., & Allal, L. (2016), Assessment for Learning: Meeting the Challenge of Implementation, The Enabling Power of Assessment 4. DOI 10.1007/978-3-319-39211-0_1
Mandinach, E. B., & Gummer, E. S. (2016). What does it mean for teachers to be data literate: Laying out the skills, knowledge, and dispositions. Teaching and Teacher Education, 60, 366–376.
Mandinach, E.B., & Schildkamp, K. (2021). Misconceptions about data-based decision making in education: an exploration of the literature. Studies in Educational Evaluation 69. /10.1016/j.stueduc.2020.100842
Panadero, E., & Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review, 9, 129–144.
Panadero, E., & Jonsson, A. (2020). A critical review of the arguments against the use of rubrics. Educational Research Review 30. /10.1016/j.edurev.2020.100329
Schildkamp, K. (2019). Data-based decision-making for school improvement: Research insights and gaps. Educational research, 61(3), 257-273.
Surma, T., Vanhoyweghen, K., Sluijsmans, D., Camp, G., Muijs, D., & Kirschner, P.A. (2019). Wijze lessen. Twaalf bouwstenen voor effectieve didactiek. Meppel: Ten Brink Uitgevers.
Tai, J., Ajjawi, R., Boud, D., Dawson, P., Panadero, E. (2017). Developing evaluative judgement: Enabling students to make decisions about the quality of work. Higher Education, 13(2), 1-15.
Van den Boom-Muilenburg, E., Poortman, C.L., De Vries S., Schildkamp, K., & van Veen, K. (2021). Leiderschap voor onderwijsontwikkeling. Van idee naar duurzame PLG. Culemborg: Phronese, /?p=974
Van Droogenbroeck, F., Lemblé, H., Bongaerts, B., Spruyt, B., Siongers, J., & Kavadias, D. (2020). TALIS 2018 Vlaanderen - Volume II. Brussel: Vrije Universiteit Brussel.
Van Gasse, R. (2018). The drivers and dynamics of data use interactions. Unpacking teacher collaboration. Antwerpen: Universitas.
Van Gasse, R., Vanhoof, J., Mahieu, P., & Van Petegem, P. (2015). Informatiegebruik door schoolleiders en leerkrachten. Garant.
Van Gasse, R. (2021, 23 augustus). Aan de slag met schoolfeedback uit centrale toetsen. Op weg doorheen terminologie en aanpak. Edubron blogt. Geraadpleegd op 13 maart 2023, van /onderzoek/aan-de-slag-met-schoolfeedback/
Vanhoof, J. & Van Petegem, P. (2022). Zelfevaluatie als motor van schoolontwikkeling. Succesfactoren en valkuilen bij het vormgeven aan zelfevaluaties. Antwerpen: Universiteit Antwerpen, Onderzoeksgroep Edubron.
Vanlommel, K., Van Gasse, R., Vanhoof, J., & Van Petegem, P. (2017). Teachers’ decision-making: Data based or intuition driven? International Journal of Educational Research 83, 75-83. /10.1016/j.ijer.2017.02.013
Van Petegem, P. & Vanhoof, J. (2002). Evaluatie op de testbank. Een handboek voor het ontwikkelen van alternatieve evaluatievormen. Mechelen: Wolters Plantyn.
Ysenbaert, J., Van Avermaet, P., & Van Houtte, M. (2020). Evaluatie & diversiteit in het basis- en secundair onderwijs: Eindrapport.
