Dette dokumentet gir omfattende informasjon om den nye rapporten for quizer og elementanalyse, samt tilhørende beregninger. Rapporten inneholder to hoveddeler: Quizanalyse og elementanalyse, som tar for seg følgende emner:
- Samlet oppsummering av quiz-prestasjonen:Gir en oversikt over quizstatistikk, slik at administratorer og instruktører kan få en helhetlig forståelse av studentenes samlede resultater.
- Statistikk for individuelle elementer:Viser statistikk for individuelle elementer som et uavhengig spørsmål.
- Korrelasjon mellom et enkelt element og den totale poengsummen på quizen:Hjelper med å evaluere hvor godt et element bidrar til å måle det underliggende konstruksjonen som vurderes.
Mye av statistikken som er beskrevet inkluderer foreslåtte verdier for å forstå hva du bør se etter. Når det gjelder elementanalyse, finnes det imidlertid ingen universelle svar eller verdiintervaller for å bestemme gyldighet eller akseptable resultater. Institusjonen din kan bruke forskjellige intervaller for å evaluere noen målinger.
Dataekskluderinger i quiz- og elementanalyserapporter
Quiz- og elementanalyserapporten er en forespørselsbasert rapportRapporten inneholder svar mottatt frem til rapporten ble opprettet. Følgende innspill er imidlertidikkeinkludert i rapporten om quiz og elementanalyse:
- Innleveringer som ennå ikke er vurdert av den automatiske vurderingen
- Flere forsøk på quizer
- Note:Bare det siste forsøket på en quiz er inkludert i rapporten
- Spørsmål som ikke har blitt vurdert for minst halvparten av innleveringene
- Merknader:
- Resten av spørsmålene filtreres på nytt for å ekskludere innleveringer med spørsmål uten karakter.
- Maksimalt antall mulige poeng for quizen reduseres for å samsvare med antall poeng for spørsmålene som er inkludert i rapporten.
- Innleveringer lagt til av en instruktør når man forhåndsviser en quiz eller er i studentvisning
Regler for quiz- og elementanalyserapporter
Rapportdata kan vises annerledes på grunn av følgende regler:
- I visse tilfeller kan ikke noen målinger beregnes basert på tilgjengelig inndata. I disse tilfellene viser målingene «Ikke aktuelt» (ikke aktuelt) i stedet for verdien. Hvis for eksempel alle spørsmålene er tilfeldige elementer i en quiz, kan ikke Cronbachs alfa beregnes. På samme måte, hvis det ikke er mulig å segmentere studentene i tre grupper, vildiskrimineringsindekskan ikke beregnes.
- Prosentbaserte målinger avrundes til nærmeste heltall, mens andre målinger avrundes til to desimaler.
Quiz-sammendrag
Denne delen definerer datapunktene som finnes i Quiz-sammendragsdelen av rapporten.
Høy poengsum
Viser den høyeste prosentpoengsummen som ble gitt blant elevene som tok quizen.
Lav poengsum
Viser den laveste prosentpoengsummen som ble gitt blant studentene som tok testen.
Gjennomsnittspoengsum
Viser gjennomsnittlig prosentpoengsum blant elevene som tok testen.
Median poengsum
Viser den midterste verdien av prosentpoengsummene blant elevene som tok testen når alle poengsummene er ordnet i stigende rekkefølge. I motsetning til gjennomsnittspoengsummen, som kan påvirkes av ekstremverdier, påvirkes ikke medianen av uteliggere.
Gjennomsnittlig forløpt tid
Viser gjennomsnittlig tid det tar å fullføre quizen.
Poengfordelingsdiagram
Viser en fordeling av prosentpoengsummene oppnådd blant elevene som tok quizen.
Standardavvik
Hva er standardavvik?
Standardavvik er et mål på det gjennomsnittlige absolutte avviket for poengsummer rundt gjennomsnittet. Et lavt standardavvik indikerer at poengsummene i gjennomsnitt har en tendens til å være nær gjennomsnittet av settet. En høy verdi indikerer at poengsummene i gjennomsnitt varierer mye fra gjennomsnittet av datasettet. Måleenheten for standardavviket bør være den samme som det viste gjennomsnittet. Hvis for eksempel et gjennomsnitt er oppført som en prosentverdi, bør standardavviket også oppføres som en prosentverdi.
Hvordan beregnes standardavviket?
Standardavviket beregnes ved å finne kvadratroten av gjennomsnittet av de kvadrerte forskjellene mellom hver innsending og gjennomsnittet:
hvor 𝑛 er antall svar, 𝜇 er gjennomsnittspoengsummen og 𝑥ᵢ er prosentpoengsummen for den i-te innsendingen.
Hvordan påvirker avvikere en standardavviksverdi?
Uteliggere er poengsummer som er betydelig langt fra gjennomsnittet. Uteliggere kan i stor grad påvirke gjennomsnittet som brukes til å beregne standardavvik. Hvis standardavviket er høyt og uteliggere er til stede, kan det bety at standardavviket ikke representerer den typiske verdien.
Cronbachs alfa
Hva er Cronbachs alfa?
Cronbachs alfa er en intern konsistensmåling som estimerer påliteligheten til en quiz. Verdiene varierer fra 0 til 1, der høyere verdier indikerer større pålitelighet.
Note:Siden Cronbachs alfa måler intern konsistens, vil randomiserte elementer forvrenge verdien, så alle randomiserte elementer i en quiz ekskluderes.
Hvordan beregnes det?
hvor 𝑘 er antall spørsmål, 𝜎ᵢ² er variansen av de i-te spørsmålsresultatene, og 𝜎ₓ² er variansen til quizen.
Hvordan tolker og evaluerer jeg en Cronbachs alfa-verdi?
Verdiene varierer fra 0 til 1, der høyere verdier indikerer større intern konsistens og pålitelighet, noe som betyr at elementene er sterkt korrelert og måler det samme underliggende konstruktet. En verdi på null indikerer at det ikke er noen korrelasjon mellom elementene i det hele tatt, og at de er helt uavhengige av hverandre. Å vite svaret på ett element korrelerer ikke med kunnskapen som trengs for å svare nøyaktig på et annet element i quizen.
Selv om det ikke finnes en streng terskelverdi, anses en verdi på 0,70 eller høyere som akseptabel. Lavere verdier kan være akseptable hvis quizen måler et komplekst emne.
Du kan vurderekorrigert element-total korrelasjonskoeffisientfor å identifisere elementer som kan være mindre korrelert med det underliggende konstruktet som måles. Fjerning av slike elementer kan forbedre Cronbachs alfa.
Begrensninger
Cronbachs alfa vurderer intern konsistens, men garanterer ikke validitet, og den tar heller ikke for seg kvalitet.
Statistikk for individuelle elementer
Gjennomsnittlig opptjente poeng
Viser gjennomsnittlig poengsum oppnådd blant studentene som fikk utdelt elementet.
Median opptjente poeng
Viser den midterste verdien av poengsummene oppnådd blant elever som fikk oppgitt elementet når alle poengsummene er ordnet i stigende rekkefølge. I motsetning til gjennomsnittspoengsummen, som kan påvirkes av ekstremverdier, påvirkes ikke medianen av uteliggere.
Vanskelighetsgrad på elementet
Hva er vanskelighetsgraden på elementet?
Vanskelighetsgraden på oppgaven (også kjent som p-verdi) er andelen deltakere som svarte riktig på oppgaven. Verdiene varierer fra 0 (ingen svarte riktig) til 1 (alle svarte riktig).
Merk:Å beregne vanskelighetsgraden på oppgaven fungerer som et dikotomt spørsmål og ignorerer delvise studiepoeng eller poeng.
Hvordan beregnes det?
Vanskelighetsgraden på oppgaven beregnes ved å dele antallet deltakere som svarte riktig på oppgaven med det totale antallet deltakere. Ved tilfeldige oppgaver inkluderer det totale antallet deltakere kun studentene som mottok oppgaven som en del av quizen sin.
hvor 𝐶 er antall elever som svarte riktig og 𝑇 er det totale antallet elever.
Hvordan tolker og evaluerer jeg en vanskelighetsverdi for et element?
En vanskelighetsgrad på oppgaven nær 1 betyr at de fleste elevene svarte riktig på oppgaven, noe som kan tyde på at oppgaven anses som enkel for elevene eller kanskje ikke utfordrer elevene effektivt. Dette kan være den tiltenkte forventningen hvis en oppgave brukes til å teste mestring. En verdi nærmere 0 antyder at få deltakere svarte riktig på oppgaven, noe som kan tyde på at oppgaven er utfordrende for elevene.
Selv om det ikke finnes noen streng terskel, anses vanligvis elementer med vanskelighetsverdier under 0,30 som for utfordrende, og verdier over 0,85 som for enkle. Hvis vanskelighetsgraden på elementet er for høy eller for lav, bør du vurdere å justere elementet eller gjennomgå formuleringen slik at det bedre samsvarer med det tiltenkte vanskelighetsnivået.
Som med alle andeler eller prosenter kan utvalgsstørrelsen som brukes påvirke vanskelighetsgraden på elementet i stor grad. Når utvalgsstørrelsen er liten, kan noen få innsendinger endre verdien betraktelig, mens når utvalgsstørrelsen er stor, kreves det flere innsendinger med samme poengsum/verdi for å endre den totale vanskelighetsgraden på elementet.
Note:For å få et mer helhetlig bilde av en gjenstand, bør du vurderediskrimineringsindeksog denkorrigert element-total korrelasjonskoeffisient.
Korrelasjonsberegninger
Følgende beregninger hjelper deg med å bedre forstå hvordan individuelle elementer forholder seg til eller korrelerer med den totale poengsummen som gis for quizen og med de andre elementene i quizen.
Korrigert korrelasjonskoeffisient for element-total
Hva er den korrigerte element-total korrelasjonskoeffisienten?
Den korrigerte korrelasjonskoeffisienten for element-total er verdien av Pearson-korrelasjonen som oppnås når en elementskåre korreleres med totalskåren for quizen som elementet er inkludert i. Korreksjonen av den verdien skjer når elementet som korreleres fjernes fra den beregnede totalskåren for å fjerne skjevhet; et element tas bare med i beregningen én gang i stedet for to ganger. Moderne målingsutøvere (dvs. psykometrikere og eksperter på vurderingsevaluering) har en tendens til å bruke denne metrikken oftere enn diskrimineringsindeksen fordi den inkluderer hele poengsumskalaen i stedet for bare å fokusere på de høyeste og laveste verdiene i poengsumområdet.
I hovedsak bidrar denne målingen til å avgjøre om elevene som svarer riktig på spørsmålet (eller scorer høyere på et spørsmål enn andre elever) pleier å være de personene som scorer høyere på resten av testen. Eller omvendt, den viser om de som presterer dårlig på et spørsmål, også pleier å gjøre det dårligere på resten av testen.
Hvordan beregnes det?
Den korrigerte korrelasjonskoeffisienten for element-totalskåre beregnes ved å dele kovariansen mellom elementskåren og testskåren (minus det aktuelle elementet; den korrigerte totalskåren) med produktet av standardavviket for elementet og standardavviket for den korrigerte totalskåren:
hvordekk (element, korrigert totalpoengsum)er kovariansen mellom elementet og den korrigerte totalskåren:
dekk(element, korrigert totalpoengsum)= 𝑛∑(element)(korrigert totalpoengsum- (∑vare)(∑korrigert totalpoengsum)
Hvordan tolker og evaluerer jeg verdien for den korrigerte element-total korrelasjonskoeffisienten?
Denne verdien, i likhet med andre korrelasjonskoeffisienter, varierer fra -1 til +1. Ideelt sett bør elementene sikte mot å oppnå verdier større enn eller lik +0,20. Verdier nær 0 indikerer liten eller ingen sammenheng mellom elementytelse og ytelse på resten av testen. Negative verdier indikerer uventet atferd (f.eks. har de som gjør det bra på et element en tendens til å score lavere på resten av testen og omvendt). På en måte anses denne metrikken som et mer omfattende og sensitivt mål på diskriminering.
Diskrimineringsindeks
Hva er diskrimineringsindeksen?
Diskrimineringsindeksen fokuserer på hvor godt et element skiller mellom individene med høyest og lavest poengsum. Den går fra -1 til +1. En høyere verdi antyder god diskriminering, mens en lavere (eller negativ) verdi antyder dårlig diskriminering.
Hvordan beregnes det?
For å beregne diskrimineringsindeksen beregnes persentilrangeringen til elevene som tok quizen basert på poengsummene, og elevene klassifiseres deretter i tre grupper: Elever på eller under 27. persentil, elever på eller over 63. persentil, og alle i mellom. Vanskelighetsgraden på elementene (p-verdi) beregnes for de øvre og nedre gruppene. Diskrimineringen er forskjellen mellom vanskelighetsgraden på elementene i den øvre og nedre gruppen.
Hvordan tolker og evaluerer jeg verdien fra diskrimineringsindeksen?
I likhet med den korrigerte korrelasjonskoeffisienten mellom element og total, indikerer en høy diskrimineringsindeks at individene som presterer bra på testen, har en tendens til å prestere bra på det bestemte elementet. En lavere diskrimineringsindeksverdi betyr at elementet ikke diskriminerer godt. Et negativt tall betyr at det er en omvendt/uventet sammenheng. Terskler for verdiintervaller varierer, men et generelt sett med retningslinjer er:
Diskrimineringsindeks | Tolkning |
|---|
0,40 og over | Veldig god diskriminering |
0,30–0,39 | God diskriminering |
0,20–0,29 | Rettferdig diskriminering |
0,10–0,19 | Ikke diskriminerende |
Under 0,10 | Dårlig vare |
Negativ | Omvendt forhold |
CSV-filer og JSON-objekter
Hvordan tolker og evaluerer jeg CSV-filen for nye quizer, quizer og elementanalyse?
CSV-filen for New Quizzes’ quiz- og elementanalyserapport inneholder den samme informasjonen som du kan se i Canvas-grensesnittet.
Merknader:
- I motsetning til Canvas-grensesnittet avrundes ikke målinger i CSV-filen.
- Hvis et felt ikke kan beregnes (f.eks. Cronbachs alfa), legges en «N/A»-streng til i cellen.
- Hvis et felt ikke er tilgjengelig i rapporten (f.eks. antall studenter med «Intet svar» for kategoriseringsspørsmålstypen), legges strengen «Ikke støttet» til i cellen.
CSV-filnavnet er quiztittelen og strengen «Quiz- og elementanalyserapport».
De første ni kolonnene er reservert for quizanalysen, og bare én rad er fylt ut.
Kolonneoverskriftene er som følger:
Rapportgenerert:Dato og klokkeslett da rapporten ble generert
Quiztittel:Tittel på quizen
QuizHøyscore:Høy poengsum
QuizLavpoengsum:Lav poengsum
QuizGjennomsnittspoengsum:Gjennomsnittspoengsum
QuizMedianScore:Median poengsum
QuizStandardavvik:Standardavvik
QuizCronbachsAlpha:Cronbachs alfa
QuizGjennomsnittForløpt Tid:Gjennomsnittlig forløpt tid
Fra kolonne ti til slutten er den første raden alltid tom. Deretter representerer hver rad ett element i quizen.
Kolonneoverskriftene er som følger:
Vare-ID:ID for quizelementet
Tittel:Tittel på elementet
Vanskelighetsgrad på element:Vanskelighetsgrad på elementet
Mulige poeng:Maksimalt mulige poeng
Gjennomsnittlig opptjente poeng:Gjennomsnittlig opptjente poeng
Median opptjente poeng:Median opptjente poeng
Diskrimineringsindeks:Diskrimineringsindeks
Korrigert elementtotalkorrelasjon:Korrigert element Total korrelasjonskoeffisient
Varetype:Spørsmålstype
Riktig:Antall elever som svarte riktig på spørsmålet
Feil:Antall elever som svarte feil på spørsmålet
Ingen respons:Antall elever som ikke svarte på oppgaven
Svarfrekvenser:Representasjon av tabellen for svarfrekvenssammendrag
Hvordan leser og tolker jeg AnswerFrequencies-kolonnen?
Tabellen for sammendrag av svarfrekvens er representert i JSON-objekter (JavaScript Object Notation) på grunn av dataenes kompleksitet.Lær mer om JSON.
Følgende JSON-objekt er en representasjon av et kategoriseringsspørsmål:
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
Feltet «svar» er en liste over objekter.
Hvert svar har de samme feltene: «svar» (teksten i svaret) og «kategorier» (en liste over objekter).
Et kategoriobjekt har tre felt:
- «Kategori»-feltet er navnet på kategorien du opprettet
- «Antall»-feltet viser hvor mange elever som har lagt til svar i denne kategorien
- Feltet «riktig» forteller om svaret er satt til denne kategorien som riktig
Note:Du kan se «kategori»: «_distraktorer_» ved hvert svarobjekt. Dette er for de ekstra distraktorene med et prefiks- og postfiks-tegn, for å unngå forvirring hvis du bruker navnet «Distraktorer» som en av kategoriene dine i spørsmålet ditt.