Dit document bevat gedetailleerde informatie over de beperkingen en berekeningen van de analyse van quizvragen in Classic Quizzes.
Canvas biedt statistieken voor de analyse van quizvragen. Het downloadbare CSV-bestand (comma separated values) met deze analysegegevens helpt docenten en cursusontwerpers de effectiviteit van hun quizvragen te beoordelen. De quizanalyse schat de betrouwbaarheid, moeilijkheidsgraad en onderscheidingsvermogen van meerkeuzevragen en goed/foutvragen.
Itemanalyse levert mogelijk geen resultaten op binnen specifieke quizzen. Hieronder vindt u een aantal beperkingen waarmee u rekening moet houden bij het opstellen van analyserapporten.
- De huidige analyse is ontworpen voor quizzen die dezelfde vragen aan alle leerlingen voorleggen. Als u daarom een CSV-bestand genereert voor itemanalyse van quizzen die gebruikmaken van een vragengroep, zal het CSV-bestand een regel bevatten die elke versie van de quiz vertegenwoordigt.
- Het rapport 'Quiz Item Analysis' ondersteunt momenteel alleen meerkeuzevragen en goed/foutvragen.
- Als een toets meerdere pogingen toestaat, wordt bij de berekening alleen rekening gehouden met de eerste poging van de student (om oefeneffecten uit te sluiten).
- Vragen die blanco zijn gelaten of niet beantwoord zijn, tellen mee als fout bij het bepalen van de eindscore van het examen, maar ze worden niet meegenomen in de berekening van de score per vraag.
- De statistieken bevatten alleen gegevens van studenten die de quiz hebben geprobeerd te maken.
De itemanalyse van Canvas Quiz genereert scores op basis van Cronbachs alfa. Cronbachs alfa meet de interne consistentie, oftewel hoe sterk een set items als groep met elkaar samenhangt. Canvas genereert een alfa-score zolang er twee of meer vragen in de quiz zitten en de variantie groter is dan nul. Een variantie groter dan nul betekent dat twee of meer inzendingen verschillende scores opleveren.
Opmerking: Om optimale baanprestaties te behouden.in de Canvas-interfaceDe maximale waarden voor de berekening zijn 1000 inzendingen of 100 vragen. Een quiz met 200 vragen genereert bijvoorbeeld geen quizstatistieken. Een quiz met 75 vragen genereert echter wel quizstatistieken totdat de quiz 1000 pogingen heeft bereikt.
Resultaten die hoger zijn dan deze maximumwaarden kunt u bekijken door het studentenanalyserapport te downloaden en het CSV-bestand te openen.
Quizanalysemetingen
Betrouwbaarheid
Betrouwbaarheid is een maatstaf voor de interne consistentie van een test. Dit betekent dat als meerdere vragen zijn ontworpen om dezelfde informatie te meten, de testdeelnemer ze op een vergelijkbare manier zal beantwoorden. Als een test bijvoorbeeld de waardering voor ijs meet, zullen studenten die van ijs houden het eens zijn met uitspraken als "Ik vind ijs lekker" en "Ik heb in het verleden van ijs genoten". Diezelfde studenten zullen het ook oneens zijn met uitspraken als "Ik haat ijs".
Moeilijkheid
De moeilijkheidsgraadindex (ook wel p-waarde genoemd) geeft aan hoe moeilijk het is om de vraag correct te beantwoorden. De index wordt berekend als het percentage studenten dat het antwoord correct heeft gegeven. De percentages variëren tussen 0 en 1. Canvas maakt deze berekening met behulp van de punt-biseriële verdeling.
Puntbiseriaal
Een punt-biseriële correlatiecoëfficiënt is een correlatiecoëfficiënt die de relatie weergeeft tussen waargenomen antwoorden op een vraag en wordt met name gebruikt wanneer een dataset dichotoom is, wat betekent dat deze meerdere waarden kan aannemen op basis van correcte en incorrecte antwoorden. Naast de punt-biseriële correlatiecoëfficiënt voor het correcte antwoord, wordt dezelfde berekening gemaakt voor de afleidende/incorrecte antwoorden (ook wel bekend als de afleidende efficiëntie). Idealiter zouden alle incorrecte antwoorden even aantrekkelijk moeten zijn voor de leerlingen die de vraag fout beantwoorden. De scores hiervoor variëren van -1 tot 1.
Discriminatie
De statistieken voor meerkeuzevragen (waar/onwaar) bevatten een itemdiscriminatie-index. Deze index probeert de spreiding van scores te analyseren en verschillen in leerprestaties weer te geven. De index geeft aan hoe goed een enkele vraag onderscheid kan maken tussen leerlingen die goed presteren op een toets en leerlingen die dat niet doen. De index verdeelt leerlingen in drie groepen op basis van hun score op de hele toets en toont deze groepen op basis van wie de vraag correct heeft beantwoord. De leerlingengroepen zijn over het algemeen verdeeld in de bovenste 27%, de middelste 46% en de onderste 27%. Idealiter zouden leerlingen die goed presteren op de toets de vraag correct moeten beantwoorden. Als leerlingen goed presteren op de toets als geheel, maar niet op de betreffende vraag, moet de vraag mogelijk worden herzien.
Een lage discriminatie-index heeft een score van +0,24 of lager; een goede score heeft een score van +0,25 of hoger. Een ideale discriminatie-index laat zien dat leerlingen met een hoge score op de quiz de quizvraag correct beantwoorden, leerlingen met een lage score de quizvraag fout beantwoorden, en leerlingen in het middenbereik aan beide uiteinden. Een discriminatie-index van nul laat zien dat alle leerlingen de quizvraag goed of fout beantwoorden.
CSV-informatie
De CSV-download bevat ook de volgende berekeningen en tellingen:
- vraag ID
- vraagtitel
- antwoord studenten aantal
- aantal studenten met de hoogste scores (studenten in de top 27%)
- middelste aantal leerlingen (leerlingen in de middelste 46%)
- laagste aantal leerlingen (leerlingen in de onderste 27%)
- aantal quizvragen (totaal aantal quizvragen)
- aantal correcte studenten (totaal aantal studenten dat het juiste antwoord heeft gegeven)
- aantal foute studenten (totaal aantal studenten dat het antwoord fout had)
- correcte studentenratio (ratio van studenten die het antwoord goed hadden)
- verkeerde studentenratio (ratio van studenten die het antwoord fout hadden)
- correct aantal beste studenten (studenten in de top 27% die het antwoord goed hadden)
- correct aantal leerlingen in het midden (de middelste 46% die het antwoord goed hadden)
- correct aantal leerlingen met het laagste aantal antwoorden (leerlingen in de onderste 27% die het antwoord goed hadden)
- variantie (van de scores op deze vraag)
- standaarddeviatie (van de scores op deze vraag)
- moeilijkheidsgraadindex
- alfa-score (voor het hele examen)
- punt biseriaal van het juiste antwoord (betrouwbaarheidsindex)
- punt biseriaal van het eerste onjuiste antwoord of afleidende antwoord (gevolgd door het tweede, enz.)
Gebruikers met leesrechten voor SIS-gegevens in de cursus kunnen ook de kolom sis_id in het gedownloade CSV-bestand bekijken.
Deze bron is ook toegankelijk via de volgende Canvas-handleidingen: