Dette dokument indeholder omfattende oplysninger om rapporten Nye quizzer Quiz og Item Analyse, samt de tilhørende beregninger. Rapporten indeholder to hovedafsnit: Quizanalyse og Itemanalyse, som behandler følgende emner:
- Samlet opsummering af quizpræstationen:Giver et overblik over quizstatistikker, der gør det muligt for administratorer og undervisere at få et holistisk overblik over elevernes samlede præstationer.
- Statistik for individuelle elementer:Viser statistik for individuelle elementer som et uafhængigt spørgsmål.
- Korrelation mellem et individuelt element og quizzens samlede score:Hjælper med at evaluere, hvor godt et element bidrager til at måle den underliggende konstruktion, der vurderes.
Mange af de beskrevne statistikker indeholder foreslåede værdier, så du kan forstå, hvad du skal kigge efter. Med hensyn til elementanalyse er der dog ingen universelle svar eller værdiintervaller til at bestemme gyldighed eller acceptable resultater. Din institution kan bruge forskellige intervaller til at evaluere nogle metrikker.
Dataudelukkelser i quiz- og elementanalyserapporter
Quiz- og elementanalyserapporten er en anmodningsbaseret rapportRapporten indeholder svar modtaget frem til rapportens udarbejdelse. Følgende indlæg er dogikkeinkluderet i rapporten Quiz og Item Analysis:
- Afleveringer, der endnu ikke er blevet evalueret af den automatiske bedømmer
- Flere forsøg på quizzer
- Note:Kun det sidste forsøg på en quiz er inkluderet i rapporten
- Spørgsmål, der ikke er blevet bedømt for mindst halvdelen af afleveringerne
- Noter:
- Resten af spørgsmålene filtreres igen for at ekskludere afleveringer med spørgsmål uden karakter.
- Det maksimalt mulige pointtal for quizzen reduceres, så det matcher antallet af point for de spørgsmål, der er inkluderet i rapporten.
- Afleveringer tilføjet af en underviser ved forhåndsvisning af en quiz eller i elevvisning
Regler for quiz- og elementanalyserapport
Rapportdata kan vises anderledes på grund af følgende regler:
- I visse scenarier kan nogle målinger ikke beregnes ud fra det tilgængelige input. I disse tilfælde viser målinger "N/A" (Ikke relevant) i stedet for værdien. Hvis alle spørgsmål f.eks. er tilfældige elementer i en quiz, kan Cronbachs Alpha ikke beregnes. Tilsvarende, hvis det ikke er muligt at segmentere eleverne i 3 grupper, vildiskriminationsindekskan ikke beregnes.
- Procentbaserede målinger afrundes til nærmeste heltal, mens andre målinger afrundes til to decimaler.
Quizoversigt
Dette afsnit definerer de datapunkter, der kan findes i afsnittet Quizoversigt i rapporten.
Høj score
Viser den højeste procentvise score tildelt blandt elever, der tog quizzen.
Lav score
Viser den laveste procentvise score, der er tildelt blandt de studerende, der tog testen.
Gennemsnitsscore
Viser den gennemsnitlige procentvise score blandt de studerende, der tog testen.
Median score
Viser den midterste værdi af procentvise scorer blandt de elever, der tog quizzen, når alle scorer er arrangeret i stigende rækkefølge. I modsætning til gennemsnitsscoren, som kan påvirkes af ekstreme værdier, påvirkes medianen ikke af outliers.
Gennemsnitlig forløbet tid
Viser den gennemsnitlige tid, det tager at gennemføre quizzen.
Scorefordelingsdiagram
Viser en fordeling af procentvise scorer opnået blandt elever, der tog quizzen.
Standardafvigelse
Hvad er standardafvigelse?
Standardafvigelse er et mål for den gennemsnitlige absolutte afvigelse af scorer omkring middelværdien. En lav standardafvigelse indikerer, at scorerne i gennemsnit har en tendens til at være tæt på middelværdien af sættet. En høj værdi indikerer, at scorerne i gennemsnit varierer meget fra middelværdien af datasættet. Standardafvigelsens måleenhed skal være den samme som den viste middelværdi. Hvis for eksempel et middelværdi er angivet som en procentværdi, skal standardafvigelsen også angives som en procentværdi.
Hvordan beregnes standardafvigelsen?
Standardafvigelsen beregnes ved at finde kvadratroden af gennemsnittet af de kvadrerede forskelle mellem hver indsendelse og middelværdien:
hvor 𝑛 er antallet af svar, 𝜇 er gennemsnitsscoren, og 𝑥ᵢ er den procentvise score for den i-te aflevering.
Hvordan påvirker outliers en standardafvigelsesværdi?
Outliers er scorer, der er betydeligt langt fra middelværdien. Outliers kan have stor indflydelse på middelværdien, der bruges til at beregne standardafvigelsen. Hvis standardafvigelsen er høj, og der er outliers til stede, kan det betyde, at standardafvigelsen ikke repræsenterer den typiske værdi.
Cronbachs Alpha
Hvad er Cronbachs alfa?
Cronbachs Alpha er en intern konsistensmåling, der estimerer pålideligheden af en quiz. Værdierne varierer fra 0 til 1, hvor højere værdier angiver større pålidelighed.
Note:Da Cronbachs Alpha måler intern konsistens, ville randomiserede elementer forvrænge værdien, så alle randomiserede elementer i en quiz er ekskluderet.
Hvordan beregnes det?
hvor 𝑘 er antallet af spørgsmål, 𝜎ᵢ² er variansen af de i-te spørgsmålsscorer, og 𝜎ₓ² er quizzens varians.
Hvordan fortolker og evaluerer jeg en Cronbachs Alpha-værdi?
Værdierne går fra 0 til 1, hvor højere værdier indikerer større intern konsistens og pålidelighed, hvilket betyder, at elementerne er stærkt korrelerede og måler den samme underliggende konstruktion. En værdi på nul indikerer, at der slet ikke er nogen korrelation mellem elementerne, og at de er fuldstændig uafhængige af hinanden. At kende svaret på ét element korrelerer ikke med den viden, der er nødvendig for at besvare et andet element i quizzen korrekt.
Selvom der ikke er en streng tærskel, anses en værdi på 0,70 eller højere for acceptabel. Lavere værdier kan være acceptable, hvis quizzen måler et komplekst emne.
Du kan vurderekorrigeret korrelationskoefficient mellem element og totalat identificere elementer, der muligvis er mindre korrelerede med den underliggende konstruktion, der måles. Fjernelse af sådanne elementer kan forbedre Cronbachs Alpha.
Begrænsninger
Cronbachs Alpha vurderer intern konsistens, men garanterer ikke validitet, og den omhandler heller ikke kvalitet.
Statistik over individuelle elementer
Gennemsnitlige optjente point
Viser den gennemsnitlige pointscore opnået blandt de studerende, der fik udleveret varen.
Median optjente point
Viser den midterste værdi af pointscorer opnået blandt elever, der fik tildelt punktet, når alle scorer er arrangeret i stigende rækkefølge. I modsætning til gennemsnitsscoren, som kan påvirkes af ekstreme værdier, påvirkes medianen ikke af outliers.
Sværhedsgrad af emne
Hvad er emnets sværhedsgrad?
Sværhedsgraden af spørmålet (også kendt som p-værdi) er andelen af deltagere, der besvarede spørmålet korrekt. Værdierne går fra 0 (ingen svarede korrekt) til 1 (alle svarede korrekt).
Bemærk:Beregning af emnets sværhedsgrad fungerer som et dikotomt spørgsmål og ignorerer delvis pointgivning eller point.
Hvordan beregnes det?
Sværhedsgraden af opgaven beregnes ved at dividere antallet af deltagere, der besvarede opgaven korrekt, med det samlede antal deltagere. I tilfælde af tilfældige opgaver inkluderer det samlede antal deltagere kun de studerende, der modtog opgaven som en del af deres quiz.
hvor 𝐶 er antallet af elever, der svarede korrekt, og 𝑇 er det samlede antal elever.
Hvordan fortolker og evaluerer jeg en sværhedsgrad for et element?
En sværhedsgrad for et spørgsmål tæt på 1 betyder, at de fleste elever har besvaret spørgsmålet korrekt, hvilket kan indikere, at spørgsmålet anses for at være let for eleverne eller måske ikke udfordrer eleverne effektivt. Dette kan være den tilsigtede forventning, hvis et spørgsmål bruges til at teste mestring. En værdi tættere på 0 antyder, at få deltagere har besvaret spørgsmålet korrekt, hvilket kan indikere, at spørgsmålet er udfordrende for eleverne.
Selvom der ikke er nogen streng grænse, anses opgaver med sværhedsgrad under 0,30 generelt for at være for udfordrende, og værdier over 0,85 for at være for lette. Hvis sværhedsgraden er for høj eller for lav, bør du overveje at justere punktet eller gennemgå formuleringen, så det bedre matcher det tilsigtede sværhedsniveau.
Som med enhver andel eller procentdel kan den anvendte stikprøvestørrelse have stor indflydelse på varens sværhedsgrad. Når stikprøvestørrelsen er lille, kan et par bidrag ændre værdien betydeligt, hvorimod det, når stikprøvestørrelsen er stor, kræver det flere bidrag med samme score/værdi at ændre den samlede varens sværhedsgrad.
Note:For at få et mere sammenhængende billede af en genstand, overvej at vurderediskriminationsindeksog denkorrigeret korrelationskoefficient mellem element og total.
Korrelationsberegninger
Følgende beregninger hjælper med bedre at forstå, hvordan individuelle punkter hænger sammen med eller korrelerer med den samlede score, der gives for quizzen, og med de andre punkter i quizzen.
Korrigeret korrelationskoefficient for element-total
Hvad er den korrigerede item-total korrelationskoefficient?
Den korrigerede korrelationskoefficient for element-total er værdien af Pearson-korrelationen, der opnås, når en elementscore korreleres med den samlede score for den quiz, som elementet er indeholdt i. Korrektionen af denne værdi sker, når det element, der korreleres, fjernes fra den beregnede samlede score for at fjerne bias; hvorved et element kun tages med én gang i stedet for to gange i metrikken. Moderne målingsudøvere (dvs. psykometrikere og eksperter i vurderingsevaluering) har en tendens til at bruge denne metrik oftere end diskriminationsindekset, fordi den inkorporerer hele scoreskalaen i stedet for kun at fokusere på de højeste og laveste værdier i scoreintervallet.
Denne måleenhed hjælper i bund og grund med at afgøre, om de studerende, der besvarer spørgsmålet korrekt (eller scorer højere på et spørgsmål end andre studerende), har tendens til at være de personer, der scorer højere på resten af testen. Eller omvendt, viser den, om de, der klarer sig dårligt på et spørgsmål, også har tendens til at klare sig dårligt på resten af testen.
Hvordan beregnes det?
Den korrigerede korrelationskoefficient for element-totalscore beregnes ved at dividere kovariansen mellem elementscoren og testscoren (minus det pågældende element; den korrigerede samlede score) med produktet af standardafvigelsen for elementet og standardafvigelsen for den korrigerede samlede score:
hvorcov (element, korrigeret samlet score)er kovariansen mellem elementet og den korrigerede samlede score:
cov(element, korrigeret samlet score)= 𝑛∑(element)(korrigeret samlet score- (∑vare)(∑korrigeret samlet score)
Hvordan fortolker og evaluerer jeg værdien for den korrigerede element-total korrelationskoefficient?
Denne værdi, ligesom andre korrelationskoefficienter, ligger fra -1 til +1. Ideelt set bør elementer sigte mod at opnå værdier større end eller lig med +0,20. Værdier nær 0 indikerer en lille eller ingen sammenhæng mellem elementpræstation og præstation på resten af testen. Negative værdier er tegn på uventet adfærd (f.eks. har de, der klarer sig godt på et element, en tendens til at score lavere på resten af quizzen og omvendt). På en måde betragtes denne metrik som et mere omfattende og følsomt mål for diskrimination.
Diskriminationsindeks
Hvad er diskriminationsindekset?
Diskriminationsindekset fokuserer på, hvor godt et element skelner mellem de individer, der scorer højest og lavest. Det går fra -1 til +1. En højere værdi angiver god diskrimination, mens en lavere (eller negativ) værdi angiver dårlig diskrimination.
Hvordan beregnes det?
For at beregne diskriminationsindekset beregnes de elever, der tog quizzen, rangpercentiler baseret på scorerne, og eleverne klassificeres derefter i 3 grupper: Elever på eller under den 27. percentil, elever på eller over den 63. percentil og alle derimellem. Sværhedsgraden af elementerne (p-værdi) beregnes for den øvre og nedre gruppe. Diskriminationsindekset er forskellen mellem sværhedsgraden af elementerne i den øvre gruppe og den nedre gruppe.
Hvordan fortolker og evaluerer jeg værdien af diskriminationsindekset?
I lighed med den korrigerede item-total korrelationskoefficient indikerer et højt diskriminationsindeks, at de personer, der klarer sig godt på testen, har tendens til at klare sig godt på det specifikke item. En lavere diskriminationsindeksværdi betyder, at itemmet ikke diskriminerer godt. Et negativt tal betyder, at der er en omvendt/uventet sammenhæng. Tærskler for værdiintervaller varierer, men et generelt sæt retningslinjer er:
Diskriminationsindeks | Fortolkning |
|---|
0,40 og derover | Meget god diskriminering |
0,30 - 0,39 | God diskrimination |
0,20 - 0,29 | Retfærdig forskelsbehandling |
0,10 - 0,19 | Ikke diskriminerende |
Under 0,10 | Dårlig vare |
Negativ | Omvendt forhold |
CSV-filer og JSON-objekter
Hvordan fortolker og evaluerer jeg CSV-filen til nye quizzer, quizzer og elementanalyser?
CSV-filen til New Quizzes' quiz- og elementanalyserapport indeholder de samme oplysninger, som du kan se i Canvas-grænsefladen.
Noter:
- I modsætning til Canvas-grænsefladen afrundes metrikker ikke i CSV-filen.
- Hvis et felt ikke kan beregnes (f.eks.: Cronbachs alfa), tilføjes en "N/A"-streng til cellen.
- Hvis et felt ikke er tilgængeligt i rapporten (f.eks. elevantal "Intet svar" for kategoriseringsspørgsmålstypen), tilføjes en streng med teksten "Ikke understøttet" til cellen.
CSV-filnavnet er quizzens titel og strengen "Quiz- og elementanalyserapport".
De første ni kolonner er reserveret til quizanalysen, og kun én række er udfyldt.
Kolonneoverskrifterne er som følger:
Rapportgenereret:Dato og tidspunkt for genereringen af rapporten
Quiztitel:Quiztitel
QuizHighScore:Høj score
QuizLavScore:Lav score
QuizMiddelScore:Gennemsnitsscore
QuizMedianscore:Median score
QuizStandardafvigelse:Standardafvigelse
QuizCronbachsAlpha:Cronbachs alfa
QuizMiddelForløbet Tid:Gennemsnitlig forløbet tid
Fra kolonne ti til slutningen er den første række altid tom. Derefter repræsenterer hver række ét element i quizzen.
Kolonneoverskrifterne er som følger:
Vare-ID:ID for quizelementet
Titel:Varens titel
Sværhedsgrad af element:Sværhedsgrad af emne
Mulige point:Maksimalt mulige point
Gennemsnitlige optjente point:Gennemsnitlige optjente point
Median optjente point:Median optjente point
Diskriminationsindeks:Diskriminationsindeks
Korrigeret vareTotalkorrelation:Korrigeret element Total korrelationskoefficient
Varetype:Spørgsmålstype
Korrekt:Antal elever, der besvarede spørgsmålet korrekt
Forkert:Antal elever, der har besvaret spørgsmålet forkert
Intet svar:Antal elever, der ikke besvarede spørgsmålet
Svarfrekvenser:Repræsentation af tabellen over svarfrekvensoversigten
Hvordan læser og fortolker jeg kolonnen AnswerFrequencies?
Tabellen over svarfrekvensopsummering er repræsenteret i JSON-objekter (JavaScript Object Notation) på grund af dataenes kompleksitet.Lær mere om JSON.
Følgende JSON-objekt er en repræsentation af et kategoriseringsspørgsmål:
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
Feltet "svar" er en liste over objekter.
Hvert svar har de samme felter: "svar" (svarets tekst) og "kategorier" (en liste over objekter).
Et kategoriobjekt har tre felter:
- Feltet "kategori" er navnet på den kategori, du har oprettet
- Feltet "antal" viser, hvor mange elever der har tilføjet svar i denne kategori
- Feltet "korrekt" angiver, om svaret er sat til denne kategori som korrekt
Note:Du kan se "kategori": "_distraktorer_" ved hvert svarobjekt. Dette er for de yderligere distraktorer med et præfiks- og postfiks-tegn for at undgå forvirring, hvis du bruger navnet "Distraktorer" som en af dine kategorier i dit spørgsmål.