In dit artikel presenteer ik een toetsanalyse programma, in de vorm van een spreadsheet, die ik gebruik om mijn onderwijs naar een hoger niveau te tillen.
Met de spreadsheet kan ik vanuit de resultaten van de test nagaan of de toets valide is geweest, en van een voldoende hoog niveau. Daarnaast verkrijg ik data die ik kan gebruiken om mijn leerlingen persoonlijke, waardevolle feedback te geven op hun presteren.
De test matrijs
De spreadsheet wordt gevuld met data. En de eerste data die ingevoerd dienen te worden zijn de scorepunten per toetsvraag. De spreadsheet kent op dit moment een maximum van 18 toetsvragen. Elke vraag kan daarnaast nog gecategoriseerd worden, afhankelijk van het vak van de toets en van de voorkeuren van de docent. Bijkomend voordeel van het vullen van deze matrijs is dat de docent vóór de toetsafname een gedetailleerd overzicht krijgt van de soorten vragen in de toets.
In het voorbeeld is een toets weergegeven met in totaal 33 scorepunten, verdeeld over 10 vragen.
De leerlingscores
De volgende stap bestaat uit het invoeren van de gegevens van de leerlingen en de individueel behaalde scores per vraag. Wanneer ook de email-adressen worden meegenomen kunnen toetsgegevens later makkelijker met de leerlingen gedeeld worden. Door bijvoorbeeld gebruik te maken van de add-on ‘YAMM’ binnen de Google Education omgeving.
Analyse van de groepsresultaten
Na het invullen van alle individuele resultaten zijn een aantal interessante variabelen zichtbaar. Het toetsgemiddelde van de groep, het percentage onvoldoendes. Maar ook de p-waarden en de Rit-waarden van elke afzonderlijke toetsvraag. De Rit-waarde geeft informatie over het discriminerende gehalte van een vraag. Rit-waarden worden relevant bij groepsgroottes van boven de 50 leerlingen.
Je hebt nu een goede indicatie van de validiteit van elk van je toetsvragen. Een p-waarde tussen 0,3 en 0,8 is aan te bevelen, net als een Rit waarde groter dan 0,2. Afwijkingen hiervan lichten in rood op in de spreadsheet.
Daarnaast is voor elk van de gekozen categorieën vragen een klassengemiddelde p-waarde zichtbaar.
Met deze gegevens is de docent in staat om de kwaliteit en betrouwbaarheid van de test tegen het licht te houden. De zwakkere vragen worden nu zichtbaar. Deze kunnen vervolgens vervangen en aangepast worden om zo een verbeterde versie van de toets te creëren voor later gebruik. Ook kunnen (tegenvallende) groepsresultaten bij vragen of categorieën indicaties zijn voor mogelijke verbeter- of aandachtspunten tijdens de lessen.
In het getoonde voorbeeld blijken de leerlingen duidelijk meer moeite gehad te hebben met de kwantitatief geformuleerde vragen (‘bereken…’) dan met de kwalitatief geformuleerde vragen (’Leg uit…’). Als docent zou ik in mijn lessen meer aandacht kunnen gaan geven aan de rekenvragen.
Analyse van de resultaten per leerling
Naast groep gerelateerde scores kan de docent ook de resultaten per leerling bekijken. In de spreadsheet staan de behaalde score en het toetscijfer. Ook de percentielscore is weergegeven, afgerond op tientallen(de leerling heeft het beter gedaan dan … % van deze groep). Let hierbij op de relatief slechtst scorende leerlingen. Deze krijgen de aanduiding ‘<20 o:p=””>
Ook de p-waarde per categorie vraag worden gegenereerd. Dit maakt het mogelijk om per leerling uitspraken te doen over de sterke en zwakke vaardigheden en onderdelen die in de toets aan bod zijn gekomen. Ik deel deze persoonlijke waarden standaard met elk van mijn leerlingen. Via een persoonlijke, en automatisch gegenereerde, mail. En via een evaluatieformulier (hierover méér in een later artikel). Met deze informatie help ik mijn leerlingen met het uitvoeren van een zinnige reflectie op hun eigen voortgang.
Conclusie
De invoering van deze toetsanalyse spreadsheet in mijn dagelijkse praktijk heeft geleid tot vier voordelen:
- Door voorafgaand aan het toetsmoment de toetsmatrijs in te vullen dwing ik mezelf om de kwaliteit van de te geven toets nog eens tegen het licht te houden.
- De toetsresultaten komen bij elkaar te staan in één document. Voor mij leidde dat ertoe dat ik minder fouten ben gaan maken tijdens de het nakijken en verwerken van de toetsen. Aanpassen en terughalen van resultaten gaat ook een stuk sneller. Het invullen van de spreadsheet is een extra inspanning. Maar die wordt later dubbel terugverdiend.
- Ik ben in staat om te reflecteren op de vraag ‘heeft de toets me gebracht wat ik ervan had verwacht’. Ik kan per vraag de kwaliteit ervan inschatten. Het stelt me in staat om de toets te verbeteren voor een eventueel nieuw gebruik.
En het allerbelangrijkst
- Ik ben in staat om relevante, gedetailleerde feedback te geven aan elk van mijn leerlingen. Zodat ik ze zo goed mogelijk kan begeleiden in hun proces van leren leren.
Download HIER een Excelbestand met de evaluatiespreadsheet.
