Det här dokumentet ger detaljerad information om begränsningar och beräkningar för analys av quizfrågor i Classic Quizzes.
Canvas tillhandahåller statistik för analys av quizfrågor i Canvas. Nedladdningen av CSV-filen (kommaseparerade värden) för quizfrågor hjälper lärare och kursdesigners att bedöma effektiviteten hos sina quizfrågor. Quizanalysen uppskattar tillförlitlighet, svårighetsgrad och urskiljning för flervalsfrågor och sant/falskt-frågor.
Analys av objekt genererar eventuellt inte resultat inom specifika quiz. Här är några begränsningar att beakta i analysrapporter.
- För närvarande är analysen utformad för att fungera med quiz som ger samma frågor till alla elever. Om du genererar CSV-filen för objektanalysen för quiz som hämtar från en frågegrupp, kommer CSV-filen därför att generera en rad som representerar varje version av quizet.
- Rapporten Analys av quizfrågor stöder för närvarande endast flervalsfrågor och sant/falskt-frågor.
- Om ett quiz tillåter flera försök kommer beräkningarna endast att beakta studentens första försök (för att utesluta övningseffekter).
- Frågor som lämnas tomma eller inte besvaras räknas som felaktiga när den totala poängen för provet beräknas, men de exkluderas från beräkningar på frågenivå.
- Statistiken inkluderar endast data för elever som försökte göra quizet.
Analys av Canvas Quiz-frågor genererar poäng baserat på Cronbachs alfa. Cronbachs alfa mäter intern konsistens av hur nära släkt en uppsättning frågor är som grupp. Canvas genererar en alfapoäng så länge det finns två eller fler frågor i quizet och testvariansen är större än noll. En varians större än noll innebär att två eller fler inlämningar ger olika poäng.
Obs:För att bibehålla optimal kursprestandai Canvas-gränssnittet, de maximala värdena för beräkningen är 1000 inskickade frågor eller 100 frågor. Till exempel kommer ett quiz med 200 frågor inte att generera quizstatistik. Däremot kommer ett quiz med 75 frågor att generera quizstatistik tills quizet har nått 1000 försök.
Resultat som är större än dessa maxvärden kan visas genom att ladda ner studentanalysrapporten och visa CSV-filen.
Mätningar av frågesportanalys
Pålitlighet
Reliabilitet är ett mått på testets interna konsistens, vilket innebär att om flera frågor är utformade för att mäta samma information kommer testpersonen att svara på dem på ett liknande sätt. Om till exempel ett test ges för att mäta njutning av glass, bör elever som gillar glass hålla med om påståenden som "Jag gillar glass" och "Jag har tyckt om att äta glass tidigare". Dessa elever bör också inte hålla med om påståenden som "Jag hatar glass".
Svårighet
Svårighetsindex (även känt som p-värde) visar hur svårt det är att svara korrekt på frågan. Indexet beräknas som andelen elever som svarade korrekt. Proportionerna varierar mellan 0 och 1. Canvas gör denna beräkning med poängen biseriell.
Point Biserial
En punktbiseriell är en korrelationskoefficient som relaterar observerade svar på frågor och används särskilt när en datamängd är dikotom, vilket innebär att den kan anta flera värden baserat på korrekta och felaktiga svar. Förutom punktbiserien för det korrekta svaret skapas samma beräkning för distraktorerna/felaktiga svaren (även känd som distraktoreffektivitet). Helst bör alla felaktiga svar på frågan vara lika tilltalande för de elever som missar frågan. Poängen för detta varierar från -1 till 1.
Diskriminering
Quizstatistik för sant/falskt och flervalsfrågor inkluderar ett index för urskiljning av frågor, som försöker titta på en spridning av poäng och återspegla skillnader i elevernas prestationer. Detta mått ger ett mått på hur väl en enskild fråga kan skilja på (eller skilja på) elever som klarar sig bra på ett prov och de som inte gör det. Den delar in eleverna i tre grupper baserat på deras poäng på hela provet och visar dessa grupper efter vem som svarade korrekt på frågan. Elevgrupper delas vanligtvis in i de 27 % bästa, de 46 % i mitten och de 27 % bästa. Helst bör elever som klarade sig bra på provet svara rätt på frågan. Om eleverna klarar sig bra på hela provet men inte på frågan, kan själva frågan behöva revideras.
Lägre diskrimineringspoäng ges +0,24 eller lägre; bra poäng ges +0,25 eller högre. Ett idealiskt diskrimineringsindex visar att elever som fick högre poäng på quizet svarade rätt på quizet frågan, elever som fick lägre poäng på quizet svarade fel på quizet frågan, och elever i mittenintervallet på vardera sidan. Ett diskrimineringsindex på noll visar att alla elever svarade rätt eller fel på quizet frågan.
CSV-information
CSV-nedladdningen innehåller även följande beräkningar och antal:
- fråge-ID
- frågans titel
- besvarade elevantal
- högst elevantal (studenter bland de 27 bästa %)
- antalet elever i mitten (elever i mitten 46 %)
- lägsta elevantal (elever bland de lägsta 27 %)
- antal frågesportfrågor (totalt antal frågesportfrågor)
- korrekt elevantal (antal elever totalt som fick rätt svar)
- felaktigt elevantal (antal elever totalt som svarade fel)
- rätt elevkvot (förhållandet mellan elever som fick rätt svar)
- fel elevkvot (förhållandet mellan elever som svarade fel)
- korrekt antal elever bland de bästa (elever bland de 27 % bästa som fick rätt svar)
- korrekt antal elever i mitten (elever i mitten, 46 % som fick rätt svar)
- korrekt antal elever längst ner (elever bland de 27 % längst ner som fick rätt svar)
- varians (av poäng på denna fråga)
- standardavvikelse (för poäng på denna fråga)
- svårighetsindex
- alfapoäng (för hela provet)
- punktbiseriell för det korrekta svaret (tillförlitlighetsindex)
- punkt biseriell för det första felaktiga svaret eller distraktorn (följt av det andra, etc.)
Användare med behörighet att läsa SIS-data i kursen kan också se sis_id-kolumnen i CSV-nedladdningen.
Denna resurs kan också nås från följande Canvas-guider: