Aan de slag met resultaten van gestandaardiseerde toetsen: een stappenplan

De directie verwacht dat we elk schooljaar gestandaardiseerde toetsen afnemen bij onze leerlingen. We staan hier als lerarenteam ook volledig achter. We bespreken en interpreteren de resultaten in team en werken samen om aanpassingen te doen als dat nodig blijkt. Vorig schooljaar hebben we op basis van de resultaten ingezet op onze aanpak voor begrijpend lezen.

Leraar lager onderwijs

Beschrijving

Er bestaan verschillende gestandaardiseerde evaluatie-instrumenten om na te gaan in hoeverre leerlingen de eindtermen en ontwikkelingsdoelen bereiken (de OVSG-toetsen, de interdiocesane proeven van het Katholiek Onderwijs Vlaanderen en de netoverschrijdende Vlaamse toetsen).

De resultaten van deze evaluatie-instrumenten ontvangen de scholen in de vorm van schoolfeedback (verzameld in een feedbackrapport). Het doel hiervan is om de interne kwaliteitszorg van scholen te ondersteunen en de onderwijskwaliteit te versterken.

Voordelen

De schoolfeedback geeft een beeld van hoe je als school presteert (bijvoorbeeld ten opzichte van het Vlaamse gemiddelde of ten opzichte van scholen met een vergelijkbare leerlingenpopulatie).
Het stelt schoolteams in staat om aan interne kwaliteitszorg te doen. Ze nemen hun eigen prestaties onder de loep om de beleidsvoering en de concrete klaspraktijken te versterken.
Actief aan de slag gaan met schoolfeedback introduceert een cultuur van samenwerking en reflectie in het schoolteam.

Schoolfeedback biedt geen hapklare conclusies of kant-en-klare opsommingen van sterktes en werkpunten. Schoolteams interpreteren de schoolfeedback en ondernemen zinvolle vervolgacties. Uit doorlichtingsverslagen en onderzoeksrapporten blijkt echter dat er nog groeimogelijkheden zijn: scholen gaan momenteel in beperkte mate aan de slag met schoolfeedback.

Een beknopt literatuuroverzicht kan je hier vinden.

Bronnen

open

De inhoud in 'overzicht' en 'aan de slag in de klas' is gebaseerd op volgende bronnen:

Debryuyne, M., D’hoore, K., Gutwirth, G., Van Acker, G., Vermeulen, W., & Vlietinck, E. (2020). Start to data, get inspired! [Interdisciplinair Project, Universiteit Antwerpen]. Geraadpleegd op 21 maart 2023, van https://start-to-data.jouwweb.be
Dierick, S., Laenen, I., Goffin, E., & Vanhoof, J. (2021). Hoe schoolfeedback doen renderen? Schoolfeedback gebruiken als hefboom voor schoolontwikkeling. In De Man, L., & Denys, K. (2021). Vlaamse toetsen. Waar vandaan en waar naartoe? Brussel: Politeia.
Goffin, E., Janssen, R., & Vanhoof, J. (2022). Teachers’ and school leaders’ sensemaking of formal achievement data: A conceptual review. Review of Education, 10(1), e3334. /10.1002/rev3.3334
Goffin, E., & Vanhoof, J. (2022, 26 augustus). Aandacht voor betekenisgeving: omdat data niet vanzelf-sprekend zijn. Edubron blogt. Geraadpleegd op 13 maart 2023, van /onderzoek/betekenisgeving/
Goffin, E., & Vanhoof, J. (2023, 9 maart). Schoolfeedback bij peilingen en paralleltoetsen als betekenisvolle pijler voor onderwijsontwikkeling. [Powerpoint-slides]. Steunpunt Toetsontwikkeling en Peilingen. Geraadpleegd op 13 maart 2023, van /20-jaar-peilingen-een-terug-en-vooruitblik.
Onderwijsinspectie. (2021). Onderwijsspiegel 2021: jaarlijks rapport van de onderwijsinspectie Retrieved from Brussel: /sites/default/files/atoms/files/OS2021-web.pdf
Schildkamp, K., Poortman, C. L., & Handelzalts, A. (2016). Data teams for school improvement. School Effectiveness and School Improvement, 27(2), 228-254. doi: 10.1080/09243453.2015.1056192
Van den Boom-Muilenburg, E., Poortman, C.L., De Vries S., Schildkamp, K., & van Veen, K. (2021). Leiderschap voor onderwijsontwikkeling. Van idee naar duurzame PLG. Culemborg: Phronese, /?p=974
Van Gasse, R., Vanhoof, J., Mahieu, P., & Van Petegem, P. (2015). Informatiegebruik door schoolleiders en leerkrachten. Garant.
Van Gasse, R. (2021, 23 augustus). Aan de slag met schoolfeedback uit centrale toetsen. Op weg doorheen terminologie en aanpak. Edubron blogt. Geraadpleegd op 13 maart 2023, van /onderzoek/aan-de-slag-met-schoolfeedback/
Vanhoof, J., & Van Petegem, P. (2022). Zelfevaluatie als motor van schoolontwikkeling. Succesfactoren en valkuilen bij het vormgeven aan zelfevaluaties. Antwerpen: Universiteit Antwerpen, Onderzoeksgroep Edubron.

Aan de slag in de klas

Concrete voorbeelden

Neem één van onderstaande feedbackrapporten door. Dit mag vluchtig. Het zal onderstaand stappenplan concreter maken.

Een voorbeeld van een feedbackrapport voor wiskunde (2e graad ASO) (Peilings- en paralleltoetsen):

vb_feedbackrapport_pt_wiskaso2 (.pdf)

Een voorbeeld van een feedbackrapport voor wetenschappen en techniek (basisonderwijs) (Peilings- en paralleltoetsen):

vb_feedbackrapport_pt_wentbao_1vpl (.pdf)

Een voorbeeld van een schoolrapport op het einde van het zesde leerjaar (interdiocesane proeven van het Katholiek Onderwijs Vlaanderen):

anoniem-schoolrapport-van-de-gevalideerde-toetsen-einde-bao---2020 (.pdf)

Concrete casus: bereiken van de eindtermen Nederlands BaO - lezen

Juf Els geeft les in een lagere school met een groot aantal taalzwakke leerlingen.
Haar school voert al verschillende jaren een sterk beleid met een specifieke focus op taal.
Ze werkt intensief samen met haar parallel-collega. Ze hebben duidelijke verwachtingen rond de leesvaardigheden van hun leerlingen.
Vorig schooljaar werd gekozen voor een andere didactische aanpak om de leesvaardigheid van leerlingen verder te versterken.
Zowel juf Els als haar parallel-collega voelen zich goed bij de aanpak. Ze krijgen het idee dat het een positieve impact heeft op de leesvaardigheid van de leerlingen.
De school ontvangt een feedbackrapport met onder andere onderstaande tabel. Met de feedback wil de school nagaan of de aanpak echt resulteert in verbeterde leerlingenresultaten.
Ze gaan aan de slag op basis van onderstaande uitgangspunten en stappenplan (zie verder).

bereiken van de eindtermen Ned BaO - lezen.

Tabel 1: Bereiken van de eindtermen Nederlands BaO - lezen

Vier uitgangspunten

Er zijn vier uitgangspunten om aan de slag te gaan met de resultaten van gestandaardiseerde toetsen:

1. Doelgericht werken

Stel, voor je een gestandaardiseerde toets afneemt, doelen op die je wil bereiken. Waarom neem je de toets af? Waar wil je staan? Welke resultaten wil je bereiken? Deze doelen helpen om betekenis te geven aan de schoolfeedback. Wat betekent de schoolfeedback ten opzichte van de doelen die je nastreeft? Deze doelgerichtheid heeft een aantal voordelen. Het stimuleert een positieve houding en kan leiden tot meer motivatie om met de schoolfeedback aan de slag te gaan. Bovendien wordt het makkelijker om aanpassingen op basis van het feedbackrapport op te volgen en te evalueren.

Het kan ook andersom. De resultaten van gestandaardiseerde toetsen kunnen ook dienen als monitoringsinstrument om de kwaliteit van het onderwijs na te gaan. De schoolfeedback kan dan een aanleiding zijn om (nieuwe) doelen te formuleren die de school wil realiseren.

Een voorbeeld uit de lagere school:

Uit het feedbackrapport van vorig schooljaar bleek dat een groot deel van onze leerlingen de eindtermen voor begrijpend lezen onvoldoende bereikte. We staken de koppen bij elkaar om na te gaan hoe dit kwam en zochten naar manieren om hieraan te werken.

2. Waarderend organiseren

Focus niet enkel op wat misloopt of minder goed gaat. Een negatief beeld staat verandering en vernieuwing in de weg. Waar valkuilen zijn, liggen ook kansen. Besteed aandacht aan het positieve. Welke stappen zijn er al gezet? Door dit te gebruiken als vertrekbasis, kan je het schoolteam enthousiast maken om effectief aan de slag te gaan met het feedbackrapport.

3. Samenwerking

Het interpreteren van en betekenis geven aan schoolfeedback start bij onderwijsprofessionals die hun eigen expertise, rol, overtuigingen en karakter (hun persoonlijk referentiekader) aanspreken om de resultaten te interpreteren. Dezelfde resultaten kunnen verschillende zaken betekenen voor verschillende personen. Dit maakt samenwerking zo cruciaal. Het helpt om je eigen blik te verruimen en om een rijker en genuanceerder beeld te bekomen. Bovendien kan samenwerking ervoor zorgen dat er een gezamenlijk draagvlak ontstaat voor mogelijke veranderingen.

4. Cyclisch en systematisch

Aan de slag gaan met schoolfeedback doe je best cyclisch, waarbij je verschillende stappen systematisch doorloopt.

Het gebruik van schoolfeedback (en datagebruik in het algemeen) is een levend en dynamisch gegeven dat vaak niet te vatten is in een strak stappenplan. Belangrijker dan het chronologisch doorlopen van de verschillende stappen is dat ze elk aan bod komen. Schoolfeedbackgebruik is geen one-size-fits-all-verhaal. Hoe je er concreet mee aan de slag gaat kan er steeds anders uitzien, afhankelijk van de context.

Een stappenplan om aan de slag te gaan met schoolfeedback

Onderstaand stappenplan maakt de vier uitgangspunten concreet door te tonen hoe je effectief aan de slag kan gaan met schoolfeedback (Figuur 1). De illustratie bestaat uit twee cirkels die het gebruik van schoolfeedback voorstellen:

De buitenste cirkel beschrijft het algemene stappenplan en de verschillende noodzakelijke stappen om effectief aan de slag te gaan met schoolfeedback.
Het binnenste cirkel visualiseert de bijkomende interpretatie van verschillende databronnen om een correcte diagnose te stellen.

Figuur 1: Stappenplan om aan de slag te gaan met schoolfeedback (Van Gasse, 2021)

Stap 1: Feedback raadplegen

Naast de schoolfeedback, bevat een feedbackrapport een uitgebreide leeswijzer (zie voorbeelden) waarin de verschillende begrippen en figuren worden toegelicht. Denk goed na over wie je betrekt bij de schoolfeedback. Idealiter stel je een kernteam samen dat bijvoorbeeld bestaat uit de directie, de betrokken leraren en een zorgcoördinator, eventueel ondersteund door een pedagogisch begeleider. In de eerste stap neemt elk lid van het (kern)team het feedbackrapport individueel door.

Stap 2: Verkennen en overleggen

Het kernteam komt een eerste keer bij elkaar. Verken welke informatie de schoolfeedback aan het licht kan brengen en welke niet. Bespreek en inventariseer samen de verwachtingen rond het gebruik van het feedbackrapport.

In deze stap kan je ook de eigen school-en klaswerking rond het getoetste leer- of vakgebied in kaart brengen aan de hand van een zelfreflectie. Wat doen we momenteel en waarom? Wat vinden we daarvan? Wat zijn de sterktes in de eigen werkingen en wat loopt moeizamer? Breng de bevindingen op een systematische manier samen.

Stap 3: Interpreteren

Interpreteer de resultaten door er betekenis aan te geven. Dit is een complex proces dat steeds vertrekt vanuit de specifieke context van de school. Wat betekenen deze resultaten voor onze school, voor onze leerlingen, binnen onze werking? Gelijkaardige schoolfeedback kan in je elke school immers anders interpreteren, bijvoorbeeld op basis van achtergrondkenmerken.

Leraren en directies hanteren een verschillende bril om naar schoolfeedback te kijken. Leg de verschillende oogpunten naast elkaar om tot een dieper en genuanceerder begrip van de resultaten te komen.

Denkoefening

Pas de schoolfeedback (tabel) uit de casus toe op de werkwijzen hieronder. Deze denkoefening kan je samen met een of meerdere collega‘s doen.

Werkwijze 1: Gezamenlijk interpreteren aan de hand van richtvragen

open

Volgende richtvragen helpen om de resultaten te begrijpen:

Wat betekenen de tabellen en figuren in het feedbackrapport precies? Wat valt je meteen op als je de tabellen en figuren bekijkt? Komen de bevindingen van het (kern)team overeen?
Hoe presteert de school in vergelijking met de standaard: de eindtermen?
Hoe presteert de school in vergelijking met anderen: het Vlaamse gemiddelde en scholen met een vergelijkbare leerlingenpopulatie?
Hoe presteert de school in vergelijking met (eventuele) andere metingen?
Komt dit overeen met andere data/resultaten waarover de school beschikt (zoals leerlingenresultaten en observaties)? Wat zie je bevestigd en welke resultaten kan je nuanceren (door bijvoorbeeld storende invloeden of onvoorziene omstandigheden tijdens de toetsafname)?

Volgende richtvragen helpen om de resultaten te beoordelen:

Welke resultaten vindt de school opvallend goed of minder goed?
Stroken de resultaten met de verwachtingen van de school?
Over welke resultaten is de school tevreden? Verwonderd? Bezorgd? Teleurgesteld?

Werkwijze 2: Interpreteren met de ‘placemat-methode’

open

Werkwijze:

Als het kernteam uit meer dan vier personen bestaat, verdeel je de leden in verschillende groepjes van maximum vier personen.
Start het interpretatieproces vanuit een of meerdere duidelijke vragen. Hiervoor kan je bovenstaande richtvragen gebruiken.
De groepsleden noteren hun antwoorden in één van de buitenste velden van de placemat. Hierbij mogen ze nog niet overleggen.
Daarna wordt de placemat in wijzerzin gedraaid, waardoor groepsleden elkaars inbreng kunnen lezen. Nadien volgt een rondje waarbij elk groepslid zijn of haar inbreng presenteert en beargumenteert.
De groepsleden luisteren naar elkaar, vragen door en vullen elkaar aan. Op het einde van deze fase komt elk groepje tot een interpretatie die in het middenvak wordt genoteerd.
Tenslotte volgt een bespreking voor het volledige kernteam om algemene conclusies te trekken.

Een sjabloon voor een placemat kan je hier vinden.

Stap 4: Diagnose stellen

Stel een diagnose door na te denken over de mogelijke oorzaken en verklaringen voor de interpretaties.

Vaak worden voornamelijk externe oorzaken naar voren geschoven (bijvoorbeeld het startniveau van leerlingen). Onderzoek wijst echter uit dat er vaker kwalitatieve vervolgacties ontstaan, als scholen hun eigen klaspraktijken en beleid in vraag durven stellen en kijken naar interne oorzaken.

Mensen hebben de neiging snel conclusies te trekken op basis van hun interpretaties. Dit komt doordat er vaak al assumpties leven die als oorzaak voor bepaalde resultaten aanzien worden. Eerder dan deze assumpties voor ‘waar’ aan te nemen, stel je deze voorop als hypothese om vervolgens dieper te analyseren of deze effectief kloppen.

Werkwijze: Een diagnose stellen met richtvragen

open

Volgende richtvragen helpen om een diagnose te stellen:

Wat zouden de oorzaken van deze resultaten zijn?
In hoeverre kan de klaspraktijk de resultaten verklaren?
In hoeverre kan de schoolwerking de resultaten verklaren?
Welke gevoelens roept dit op?
Welke bijkomende databronnen kan je bekijken om de hypothesen te onderzoeken?

Stap 5: Acties plannen

Zodra de oorzaken voor bepaalde resultaten duidelijk zijn (stap 4), ga je gepaste acties ondernemen. Dit kan je voorbereiden door de acties doelgericht te plannen en vast te leggen in een realistisch actieplan. Dit geeft houvast aan een veranderproces en kan het kernteam (en bij uitbreiding het schoolteam) motiveren om in beweging te komen.

Een sjabloon voor een actieplan:

Werkwijze: Een actieplan opstellen in drie stappen

open

Stap 1: Bepaal een of meerdere prioriteiten

Je kan de prioriteiten vastleggen door een nood aan verbetering te bepalen: “wij hebben nood aan het verbeteren van …, omdat …”. Noteer het resultaat van deze denkoefening in het actieplan (in het sjabloon onder ‘prioriteiten’ en ‘motivering’)

Stap 2: Bepaal de langetermijndoelen

Stel de langetermijndoelen voorop. Waar streven we naar op de lange termijn? Wat is de gewenste situatie? Waarom gaan we doen wat we doen? Noteer deze doelen in de hoofding van het sjabloon. Deze langetermijnvisie kan ook richting geven aan de concrete acties.

Stap 3: Bepaal de doelen op korte termijn

Vertaal het langetermijndoel in concrete acties die je op kortere termijn kan behalen. Wat willen jullie binnen een paar weken bereiken, wat daarna? Leg bij het opstellen van het actieplan ook vast wie de verantwoordelijk draagt voor elke actie, binnen welke situatie de acties plaatsvinden (bijvoorbeeld een personeelsvergadering, een nascholing, …), binnen welke termijn de acties idealiter uitgevoerd worden, welke hulpmiddelen je nodig zal hebben en hoe je de vorderingen zal opvolgen. Het is belangrijk om al bij het opstellen van het actieplan na te denken over de manier waarop je de doeltreffendheid van de acties zal evalueren.

Stap 6: Acties implementeren

Bij het implementeren van het actieplan heb je grofweg twee mogelijkheden:

Je voert de acties onmiddellijk uit in elke betrokken klas of bij alle betrokken leerlingen.
Je voert het actieplan uit op kleinere schaal om uit te proberen of de acties het gewenste effect hebben.

EEN VOORBEELD UIT DE LAGERE SCHOOL

Vorig schooljaar hebben we op basis van de schoolfeedback ingezet op onze aanpak voor begrijpend lezen. Concreet hebben we een buddysysteem georganiseerd waarbij leerlingen van het tweede en vierde leerjaar samen lezen. Hiervoor gebruiken we boekjes met passages op 2 niveaus. De leerlingen lezen elk op hun niveau voor aan elkaar. Nadien lossen ze de bijhorende vraagjes samen op. Op het einde van het schooljaar gaan we deze werkwijze evalueren aan de hand van gestandaardiseerde toetsen, maar ook met observaties, gesprekjes, en toetsresultaten. Als het een positief effect heeft, is het de bedoeling om dit door te trekken naar andere leerjaren.

Stap 7: Acties evalueren

Tenslotte ga je de effectiviteit van de doorgevoerde acties na. Dit kan zowel tussendoor om de vorderingen te monitoren als op het einde van de rit, om het resultaat van het gehele traject in kaart te brengen.

Werkwijze 1: Procesevaluatie aan de hand van drie kleuren

open

Je kan drie kleuren gebruiken om de doelrealisatie te visualiseren en te monitoren in het actieplan:

Groen: De actie is gerealiseerd of het doel is bereikt.
Oranje: We zijn gestart en de actie is in ontwikkeling.
Rood: TO DO.

Werkwijze 2: Productevaluatie aan de hand van een doelenschaal

open

Voorzie een doelenschaal en evalueer door de verschillende acties een score te geven:

+2: De actie is gerealiseerd of het doel is bereikt.
+1: Er is sprake van een positieve verandering richting het doel.
0: De beginsituatie is niet veranderd.
-1: Er is sprake van een achteruitgang tegenover de beginsituatie.

Digitale mogelijkheden

Er bestaan verschillende digitale platformen die je kan consulteren tijdens de interpretatie en het stellen van een diagnose. Leerlingvolgsystemen geven bijvoorbeeld inzicht in de resultaten en de sociaal-emotionele ontwikkeling van leerlingen. Andere voorbeelden zijn ‘dataloep’ en ‘onderwijzer’ waarop je cijfers (over inschrijvingen, leerlingenkenmerken, attesteringen, vroegtijdig schoolverlaten, enzovoort) over het Vlaamse onderwijs kan opzoeken.

Bronnen

open

De inhoud in 'overzicht' en 'aan de slag in de klas' is gebaseerd op volgende bronnen:

Debryuyne, M., D’hoore, K., Gutwirth, G., Van Acker, G., Vermeulen, W., & Vlietinck, E. (2020). Start to data, get inspired! [Interdisciplinair Project, Universiteit Antwerpen]. Geraadpleegd op 21 maart 2023, van https://start-to-data.jouwweb.be
Dierick, S., Laenen, I., Goffin, E., & Vanhoof, J. (2021). Hoe schoolfeedback doen renderen? Schoolfeedback gebruiken als hefboom voor schoolontwikkeling. In De Man, L., & Denys, K. (2021). Vlaamse toetsen. Waar vandaan en waar naartoe? Brussel: Politeia.
Goffin, E., Janssen, R., & Vanhoof, J. (2022). Teachers’ and school leaders’ sensemaking of formal achievement data: A conceptual review. Review of Education, 10(1), e3334. /10.1002/rev3.3334
Goffin, E., & Vanhoof, J. (2022, 26 augustus). Aandacht voor betekenisgeving: omdat data niet vanzelf-sprekend zijn. Edubron blogt. Geraadpleegd op 13 maart 2023, van /onderzoek/betekenisgeving/
Goffin, E., & Vanhoof, J. (2023, 9 maart). Schoolfeedback bij peilingen en paralleltoetsen als betekenisvolle pijler voor onderwijsontwikkeling. [Powerpoint-slides]. Steunpunt Toetsontwikkeling en Peilingen. Geraadpleegd op 13 maart 2023, van /20-jaar-peilingen-een-terug-en-vooruitblik.
Onderwijsinspectie. (2021). Onderwijsspiegel 2021: jaarlijks rapport van de onderwijsinspectie Retrieved from Brussel: /sites/default/files/atoms/files/OS2021-web.pdf
Schildkamp, K., Poortman, C. L., & Handelzalts, A. (2016). Data teams for school improvement. School Effectiveness and School Improvement, 27(2), 228-254. doi: 10.1080/09243453.2015.1056192
Van den Boom-Muilenburg, E., Poortman, C.L., De Vries S., Schildkamp, K., & van Veen, K. (2021). Leiderschap voor onderwijsontwikkeling. Van idee naar duurzame PLG. Culemborg: Phronese, /?p=974
Van Gasse, R., Vanhoof, J., Mahieu, P., & Van Petegem, P. (2015). Informatiegebruik door schoolleiders en leerkrachten. Garant.
Van Gasse, R. (2021, 23 augustus). Aan de slag met schoolfeedback uit centrale toetsen. Op weg doorheen terminologie en aanpak. Edubron blogt. Geraadpleegd op 13 maart 2023, van /onderzoek/aan-de-slag-met-schoolfeedback/
Vanhoof, J., & Van Petegem, P. (2022). Zelfevaluatie als motor van schoolontwikkeling. Succesfactoren en valkuilen bij het vormgeven aan zelfevaluaties. Antwerpen: Universiteit Antwerpen, Onderzoeksgroep Edubron.