Dette dokumentet gir detaljert informasjon om begrensninger og beregninger for analyse av quizelementer i Classic Quizzes.
Canvas tilbyr statistikk for analyse av quiz-spørsmål i Canvas. Nedlastingen av CSV-filen (kommaseparerte verdier) for elementanalyse vil hjelpe instruktører og kursdesignere med å måle effektiviteten til quiz-spørsmålene sine. Quizanalyse estimerer pålitelighet, vanskelighetsgrad og diskriminering for flervalgs- og sant/usant-spørsmål.
Elementanalyse genererer kanskje ikke resultater i spesifikke quizer. Her er noen begrensninger å vurdere i analyserapporter.
- For øyeblikket er analysen utformet for å fungere med quizer som gir de samme spørsmålene til alle studenter. Hvis du genererer CSV-filen for elementanalyse for quizer som henter fra en spørsmålsgruppe, vil CSV-filen derfor generere en linje som representerer hver versjon av quizen.
- Rapporten for analyse av quizelementer støtter for øyeblikket bare flervalgsspørsmål og sant/usant-spørsmål.
- Hvis en quiz tillater flere forsøk, vil beregningene bare ta hensyn til studentens første forsøk (for å utelukke øvingseffekter).
- Spørsmål som står blanke eller ikke besvares teller som feil når den totale poengsummen for eksamen beregnes, men de er ekskludert fra beregninger på spørsmålsnivå.
- Statistikken inkluderer bare data for elever som forsøkte å ta testen.
Elementanalyse i Canvas Quiz genererer poengsummer basert på Cronbachs alfa. Cronbachs alfa måler intern konsistens av hvor nært beslektet et sett med elementer er som en gruppe. Canvas genererer en alfapoengsum så lenge det er to eller flere spørsmål i quizen og testvariansen er større enn null. En varians større enn null innebærer at to eller flere innleveringer gir forskjellige poengsummer.
Merk:For å opprettholde optimal løypeytelsei Canvas-grensesnittet, er maksimumsverdiene for beregning 1000 innsendinger eller 100 spørsmål. For eksempel vil ikke en quiz med 200 spørsmål generere quizstatistikk. En quiz med 75 spørsmål vil imidlertid generere quizstatistikk inntil quizen har nådd 1000 forsøk.
Resultater som er større enn disse maksimumsverdiene kan sees ved å laste ned studentanalyserapporten og vise CSV-filen.
Målinger av quizanalyse
Pålitelighet
Reliabilitet er et mål på testens interne konsistens. Det betyr at hvis flere spørsmål er utformet for å måle den samme informasjonen, vil testtakeren svare på dem på en lignende måte. Hvis for eksempel en test gis for å måle hvor mye man liker iskrem, bør elever som liker iskrem være enige i utsagn som «Jeg liker iskrem» og «Jeg har likt å spise iskrem før». Disse elevene bør også være uenige i utsagn som «Jeg hater iskrem».
Vanskelighet
Vanskelighetsindeksen (også kjent som en p-verdi) viser hvor vanskelig det er å svare riktig på spørsmålet. Indeksen beregnes som andelen elever som svarte riktig. Andelene varierer mellom 0 og 1. Canvas foretar denne beregningen med poenget biseriell.
Point Biserial
En punktbiseriell er en korrelasjonskoeffisient som relaterer observerte elementsvar, og brukes spesielt når ett datasett er dikotomt, noe som betyr at det kan anta flere verdier basert på riktige og gale svar. I tillegg til punktbiserien for det riktige svaret, opprettes den samme beregningen for distraherende/gale svar (også kjent som en distraherende effektivitet). Ideelt sett bør alle spørsmålets gale svar være like attraktive for elevene som bommer på spørsmålet. Poengsummene for dette varierer fra -1 til 1.
Diskriminering
Quizstatistikk for sant/usant- og flervalgsspørsmål inkluderer en indeks for elementdiskriminering, som forsøker å se på en spredning av poengsummer og gjenspeile forskjeller i elevenes prestasjoner. Denne målingen gir et mål på hvor godt et enkelt spørsmål kan skille mellom elever som gjør det bra på en eksamen og de som ikke gjør det. Den deler elevene inn i tre grupper basert på poengsummen deres på hele quizen og viser disse gruppene etter hvem som svarte riktig på spørsmålet. Elevgruppene er vanligvis delt inn i de 27 % beste, de 46 % midterste og de 27 % nederste. Ideelt sett bør elever som gjorde det bra på eksamen, svare riktig på spørsmålet. Hvis elevene gjør det bra på den totale eksamenen, men ikke på spørsmålet, må kanskje selve spørsmålet revideres.
Lavere diskrimineringspoengsummer gis på +0,24 eller lavere; gode poengsummer gis på +0,25 eller høyere. En ideell diskrimineringsindeks viser at elever som fikk høyere poengsum på quizen, fikk riktig svar på quizspørsmålet, elever som fikk lavere poengsum på quizen, fikk feil svar, og elever i mellomområdet på hver side. En diskrimineringsindeks på null viser at alle elever fikk riktig eller feil svar på quizspørsmålet.
CSV-informasjon
CSV-nedlastingen inneholder også følgende beregninger og tellinger:
- spørsmåls-ID
- spørsmålstittel
- antall besvarte elever
- høyest studentantall (studenter blant de 27 beste %)
- antall elever i midten (elever i midten 46 %)
- nederste elevtall (elever blant de nederste 27 %)
- antall quizspørsmål (totalt antall quizspørsmål)
- riktig elevtall (antall elever totalt som fikk riktig svar)
- feil elevantall (antall elever totalt som fikk feil svar)
- riktig elevforhold (forholdet mellom elever som fikk riktig svar)
- feil elevforhold (forholdet mellom elever som svarte feil)
- riktig antall elever med flest svar (elever blant de 27 % beste som fikk riktig svar)
- riktig antall elever i midten (elever i midten av 46 % som fikk riktig svar)
- riktig antall elever nederst (elever blant de 27 % nederste som fikk riktig svar)
- varians (av poengsummer på dette spørsmålet)
- standardavvik (av poengsummene på dette spørsmålet)
- vanskelighetsindeks
- alfapoengsum (for hele eksamen)
- punktbiseriell for det riktige svaret (pålitelighetsindeks)
- poengbiserien til det første feil svaret eller distraherende faktoren (etterfulgt av det andre, osv.)
Brukere med tillatelse til å lese SIS-data i kurset kan også se sis_id-kolonnen i CSV-nedlastingen.
Denne ressursen kan også nås fra følgende Canvas-guider: