Dette dokument giver detaljerede oplysninger om begrænsninger og beregninger i forbindelse med analyse af quizzer i Classic Quizzes.
Canvas leverer statistik til analyse af quizspørgsmål i Canvas. Download af CSV-filen (kommaseparerede værdier) til analyse af quizspørgsmål hjælper undervisere og kursusdesignere med at måle effektiviteten af deres quizspørgsmål. Quizanalyse estimerer pålidelighed, sværhedsgrad og diskrimination for multiple choice- og sandt/falsk-spørgsmål.
Elementanalyse genererer muligvis ikke resultater inden for specifikke quizzer. Her er et par begrænsninger, der skal overvejes i analyserapporter.
- I øjeblikket er analysen designet til at fungere med quizzer, der leverer de samme spørgsmål til alle studerende. Hvis du genererer CSV-filen for elementanalyse til quizzer, der henter fra en spørgsmålsgruppe, vil CSV-filen derfor generere en linje, der repræsenterer hver version af quizzen.
- Rapporten "Quizelementanalyse" understøtter i øjeblikket kun multiple choice- og sandt/falsk-quizspørgsmål.
- Hvis en quiz tillader flere forsøg, vil beregningerne kun tage elevens første forsøg i betragtning (for at udelukke øvelseseffekter).
- Spørgsmål, der er tomme eller ikke besvares, tæller som forkerte, når den samlede score for eksamen bestemmes, men de er ikke inkluderet i beregninger på spørgsmålsniveau.
- Statistikken omfatter kun data for elever, der forsøgte at tage testen.
Analyse af Canvas Quiz-elementer genererer scorer baseret på Cronbachs alfa. Cronbachs alfa måler intern konsistens af, hvor tæt relaterede et sæt af elementer er som gruppe. Canvas genererer en alfa-score, så længe der er to eller flere spørgsmål i quizzen, og testvariansen er større end nul. En varians større end nul antyder, at to eller flere indsendelser giver forskellige scorer.
Bemærk:For at opretholde optimal banepræstationi Canvas-grænsefladen, de maksimale værdier for beregning er 1000 indsendelser eller 100 spørgsmål. For eksempel vil en quiz med 200 spørgsmål ikke generere quizstatistik. En quiz med 75 spørgsmål vil dog generere quizstatistik, indtil quizzen har nået 1000 forsøg.
Resultater, der er større end disse maksimumværdier, kan ses ved at downloade elevanalyserapporten og se CSV-filen.
Målinger af quizanalyse
Pålidelighed
Reliabilitet er et mål for testens interne konsistens, hvilket betyder, at hvis flere spørgsmål er designet til at måle den samme information, vil testpersonen besvare dem på en lignende måde. Hvis en test f.eks. gives for at måle glæde ved is, bør elever, der kan lide is, være enige i udsagn som "Jeg kan lide is" og "Jeg har nydt at spise is før". Disse elever bør også være uenige i udsagn som "Jeg hader is".
Vanskelighed
Sværhedsindekset (også kendt som en p-værdi) viser, hvor svært det er at besvare spørgsmålet korrekt. Indekset beregnes som andelen af elever, der har svaret korrekt. Andelene ligger mellem 0 og 1. Canvas foretager denne beregning med pointtælleren.
Point Biserial
En punktbiseriel er en korrelationskoefficient, der relaterer observerede svar på elementer og bruges især, når ét datasæt er dikotomt, hvilket betyder, at det kan antage flere værdier baseret på korrekte og forkerte svar. Ud over punktbiserien for det korrekte svar oprettes den samme beregning for distraktorerne/forkerte svar (også kendt som en distraktoreffektivitet). Ideelt set bør alle spørgsmålets forkerte svar være lige tiltalende for de elever, der ikke besvarer spørgsmålet. Scorer for dette spænder fra -1 til 1.
Forskelsbehandling
Quizstatistikker for sandt/falsk- og multiple choice-spørgsmål inkluderer et indeks for diskrimination af elementer, der forsøger at se på en spredning af scorer og afspejle forskelle i elevernes præstationer. Denne måling giver et mål for, hvor godt et enkelt spørgsmål kan skelne (eller skelne) mellem elever, der klarer sig godt til en eksamen, og dem, der ikke gør. Den opdeler eleverne i tre grupper baseret på deres score på hele quizzen og viser disse grupper efter, hvem der besvarede spørgsmålet korrekt. Elevgrupper er generelt opdelt i de øverste 27%, de midterste 46% og de nederste 27%. Ideelt set bør elever, der klarede sig godt til eksamen, svare rigtigt på spørgsmålet. Hvis eleverne klarer sig godt til den samlede eksamen, men ikke på spørgsmålet, skal selve spørgsmålet muligvis revideres.
Lavere diskriminationsscorer er scoret +0,24 eller lavere; gode scorer er +0,25 eller højere. Et ideelt diskriminationsindeks viser elever, der scorede højere på quizzen, hvor de svarede rigtigt på quizzen, elever, der scorede lavere på quizzen, hvor de svarede forkert på quizzen, og elever i midten på hver side. Et diskriminationsindeks på nul viser, at alle elever svarede rigtigt eller forkert på quizzen.
CSV-oplysninger
CSV-downloaden indeholder også følgende beregninger og optællinger:
- spørgsmåls-ID
- spørgsmålstitel
- besvaret elevantal
- højeste elevantal (studerende i top 27%)
- mellemste elevantal (elever i midten 46%)
- nederste elevtal (elever i de nederste 27%)
- antal quizspørgsmål (samlet antal quizspørgsmål)
- korrekt elevantal (antal elever i alt, der fik det rigtige svar)
- forkert elevantal (antal elever i alt, der svarede forkert)
- korrekt elevforhold (forholdet mellem elever, der svarede rigtigt)
- forkert elevforhold (forholdet mellem elever, der svarede forkert)
- korrekt antal studerende i topklasse (studerende i top 27%, der svarede rigtigt)
- korrekt optælling af elever i midten (elever i midten af 46%, der fik svaret rigtigt)
- korrekt antal elever i bunden (elever i de nederste 27%, der fik svaret rigtigt)
- varians (af scorer på dette spørgsmål)
- standardafvigelse (af scorer på dette spørgsmål)
- sværhedsindeks
- alfa-score (for hele eksamen)
- punkt biseriel af det korrekte svar (pålidelighedsindeks)
- punkt biseriel af det første forkerte svar eller distraherende faktor (efterfulgt af det andet osv.)
Brugere med tilladelse til at læse SIS-data i kurset kan også se sis_id-kolonnen i CSV-downloaden.
Denne ressource kan også tilgås fra følgende Canvas-guider: