Det här dokumentet ger omfattande information om rapporten Nya frågesporter och objektanalys, tillsammans med tillhörande beräkningar. Rapporten innehåller två huvudavsnitt: Frågesportanalys och Objektanalys, som behandlar följande ämnen:
- Övergripande sammanfattning av quizprestationen:Presenterar en översikt över quizstatistik, vilket gör det möjligt för administratörer och instruktörer att få en helhetsbild av elevernas prestationer.
- Statistik för enskilda objekt:Visar statistik för enskilda objekt som en oberoende fråga.
- Korrelation mellan en enskild uppgift och quizets totala poäng:Hjälper till att utvärdera hur väl ett objekt bidrar till att mäta det underliggande konstruktionen som bedöms.
Många av de beskrivna statistikvärdena innehåller föreslagna värden för att förstå vad du bör leta efter. När det gäller objektanalys finns det dock inga universella svar eller värdeintervall för att fastställa giltighet eller acceptabla resultat. Din institution kan använda olika intervall för att utvärdera vissa mätvärden.
Dataundantag i quiz- och objektanalysrapporter
Rapporten Quiz och Objektanalys är en förfrågningsbaserad rapportRapporten innehåller svar som mottagits fram till den tidpunkt då rapporten skapades. Följande inlagor är dockinteingår i rapporten Quiz och Objektanalys:
- Inlämningar som ännu inte har utvärderats av den automatiska bedömaren
- Flera försök för quiz
- Notera:Endast det sista försöket på ett quiz inkluderas i rapporten
- Frågor som inte har betygsatts för minst hälften av inlämningarna
- Anteckningar:
- Resten av frågorna filtreras igen för att exkludera inlämningar med obetygsatta frågor.
- Maximalt antal poäng för quizet reduceras för att matcha antalet poäng för frågorna som ingår i rapporten.
- Inlämningar som lagts till av en lärare vid förhandsgranskning av ett quiz eller i studentvyn
Regler för frågesport och rapport om objektanalys
Rapportdata kan visas annorlunda på grund av följande regler:
- I vissa fall kan vissa mätvärden inte beräknas baserat på tillgänglig indata. I dessa fall visar mätvärdena "N/A" (Ej tillämpligt) istället för värdet. Om till exempel alla frågor är slumpmässiga objekt i ett quiz kan Cronbachs alfa inte beräknas. På samma sätt, om det inte är möjligt att segmentera eleverna i tre grupper,diskrimineringsindexkan inte beräknas.
- Procentbaserade mätvärden avrundas till närmaste heltal, medan andra mätvärden avrundas till två decimaler.
Sammanfattning av frågesporten
Det här avsnittet definierar de datapunkter som finns i avsnittet Quizsammanfattning i rapporten.
Högsta poäng
Visar den högsta procentuella poängen som tilldelats bland eleverna som gjorde quizet.
Lågt betyg
Visar den lägsta procentuella poängen som tilldelats bland eleverna som gjorde quizet.
Medelpoäng
Visar den genomsnittliga procentuella poängen bland eleverna som gjorde quizet.
Medianpoäng
Visar mittvärdet av procentpoängen bland de elever som gjorde quizet när alla poäng är ordnade i stigande ordning. Till skillnad från medelpoängen, som kan påverkas av extremvärden, påverkas inte medianen av extremvärden.
Genomsnittlig förfluten tid
Visar den genomsnittliga tiden det tar att slutföra quizet.
Poängfördelningsdiagram
Visar en fördelning av procentuella poäng som uppnåtts bland eleverna som gjorde quizet.
Standardavvikelse
Vad är standardavvikelse?
Standardavvikelse är ett mått på den genomsnittliga absoluta avvikelsen för poäng runt medelvärdet. En låg standardavvikelse indikerar att poängen i genomsnitt tenderar att ligga nära medelvärdet för datamängden. Ett högt värde indikerar att poängen i genomsnitt varierar kraftigt från medelvärdet för datamängden. Standardavvikelsens måttenhet bör vara densamma som det visade medelvärdet. Om till exempel ett medelvärde anges som ett procentvärde, bör standardavvikelsen också anges som ett procentvärde.
Hur beräknas standardavvikelsen?
Standardavvikelsen beräknas genom att hitta kvadratroten av medelvärdet av de kvadrerade skillnaderna mellan varje inlämning och medelvärdet:
där 𝑛 är antalet svar, 𝜇 är medelpoängen och 𝑥ᵢ är den procentuella poängen för den i:e inlämningen.
Hur påverkar extremvärden ett standardavvikelsevärde?
Extremvärden är värden som är betydligt avvikande från medelvärdet. Extremvärden kan i hög grad påverka medelvärdet som används för att beräkna standardavvikelsen. Om standardavvikelsen är hög och extremvärden förekommer kan det betyda att standardavvikelsen inte representerar det typiska värdet.
Cronbachs alfa
Vad är Cronbachs alfa?
Cronbachs alfa är ett mått på intern konsistens som uppskattar tillförlitligheten hos ett quiz. Värdena varierar från 0 till 1, där högre värden indikerar större tillförlitlighet.
Notera:Eftersom Cronbachs alfa mäter intern konsistens skulle randomiserade objekt snedvrida värdet, så alla randomiserade objekt i ett quiz exkluderas.
Hur beräknas det?
där 𝑘 är antalet frågor, 𝜎ᵢ² är variansen för den i:te frågepoängen och 𝜎ₓ² är variansen för quizet.
Hur tolkar och utvärderar jag ett Cronbachs alfavärde?
Värdena varierar från 0 till 1, där högre värden indikerar större intern konsistens och reliabilitet, vilket innebär att frågorna är starkt korrelerade och mäter samma underliggande konstruktion. Ett värde på noll indikerar att det inte finns någon korrelation alls mellan frågorna och att de är helt oberoende av varandra. Att veta svaret på en fråga korrelerar inte med kunskap som behövs för att korrekt besvara en annan fråga i testet.
Även om det inte finns någon strikt tröskel, anses ett värde på 0,70 eller högre vara acceptabelt. Lägre värden kan vara acceptabla om quizet mäter ett komplext ämne.
Du kan bedömakorrigerad korrelationskoefficient för objekt/totalför att identifiera objekt som kan vara mindre korrelerade med det underliggande konstruktet som mäts. Att ta bort sådana objekt skulle kunna förbättra Cronbachs alfa.
Begränsningar
Cronbachs alfa bedömer intern konsistens, men garanterar inte validitet och tar inte heller hänsyn till kvalitet.
Statistik för enskilda objekt
Genomsnittliga intjänade poäng
Visar den genomsnittliga poängen som uppnåtts bland eleverna som fick uppgiften.
Median intjänade poäng
Visar mittvärdet av poängen som uppnåtts bland elever som fick uppgiften när alla poäng är ordnade i stigande ordning. Till skillnad från medelpoängen, som kan påverkas av extremvärden, påverkas inte medianen av extremvärden.
Objektets svårighetsgrad
Vad är svårighetsgraden för ett objekt?
Svårighetsgraden på uppgiften (även känd som p-värde) är andelen deltagare som svarade rätt på uppgiften. Värdena sträcker sig från 0 (ingen svarade rätt) till 1 (alla svarade rätt).
Obs:Att beräkna uppgiftens svårighetsgrad fungerar som en dikotom fråga och ignorerar delpoäng eller delvisa poäng.
Hur beräknas det?
Svårighetsgraden på uppgiften beräknas genom att dividera antalet deltagare som svarade korrekt på uppgiften med det totala antalet deltagare. När det gäller slumpmässiga uppgifter inkluderar det totala antalet deltagare endast de elever som fick uppgiften som en del av sitt quiz.
där 𝐶 är antalet elever som svarade rätt och 𝑇 är det totala antalet elever.
Hur tolkar och utvärderar jag ett svårighetsvärde för ett objekt?
Ett svårighetsvärde på uppgiften nära 1 innebär att de flesta eleverna svarade korrekt på uppgiften, vilket kan tyda på att uppgiften anses vara lätt för eleverna eller kanske inte utmanar eleverna effektivt. Detta kan vara den avsedda förväntan om en uppgift används för att testa behärskning. Ett värde närmare 0 antyder att få deltagare svarade korrekt på uppgiften, vilket kan tyda på att uppgiften är utmanande för eleverna.
Även om det inte finns någon strikt gräns, anses i allmänhet uppgifter med svårighetsgrad under 0,30 vara för utmanande och värden över 0,85 för lätta. Om uppgiftens svårighetsgrad är för hög eller för låg, överväg att justera uppgiften eller se över formuleringen för att bättre matcha den avsedda svårighetsgraden.
Precis som med alla andelar eller procentsatser kan urvalsstorleken som används påverka svårighetsgraden för uppgiften avsevärt. När urvalsstorleken är liten kan ett fåtal bidrag ändra värdet avsevärt, medan det när urvalsstorleken är stor krävs fler bidrag med samma poäng/värde för att ändra den totala svårighetsgraden för uppgiften.
Notera:För att få en mer sammanhängande bild av ett objekt, överväg att bedömadiskrimineringsindexoch denkorrigerad korrelationskoefficient för objekt/total.
Korrelationsberäkningar
Följande beräkningar hjälper till att bättre förstå hur enskilda uppgifter relaterar till eller korrelerar med den totala poängen som ges för quizet och med de andra uppgifterna i quizet.
Korrigerad korrelationskoefficient för objekt/total
Vad är den korrigerade korrelationskoefficienten för objekt-total?
Den korrigerade korrelationskoefficienten för objekt-total är värdet av Pearson-korrelationen som erhålls när en objektpoäng korreleras med den totala poängen för det quiz som objektet ingår i. Korrigeringen av det värdet sker när objektet som korreleras tas bort från den beräknade totalpoängen för att ta bort bias; ett objekt beaktas endast en gång snarare än två gånger i måttet. Moderna mätutövare (dvs. psykometriker och experter på bedömningsutvärdering) tenderar att använda detta måttenhet oftare än diskrimineringsindex på grund av att det inkluderar hela poängskalan snarare än att bara fokusera på de högsta och lägsta värdena i poängintervallet.
I huvudsak hjälper detta mätvärde till att avgöra om de elever som svarar korrekt på frågan (eller får högre poäng på en fråga än andra elever) tenderar att vara de individer som får högre poäng på resten av testet. Eller omvänt, det visar om de som presterar dåligt på en fråga tenderar att också göra det sämre på resten av testet.
Hur beräknas det?
Den korrigerade korrelationskoefficienten för uppgift-totalpoäng beräknas genom att dividera kovariansen mellan uppgiftspoängen och testpoängen (minus uppgiften i fråga; den korrigerade totalpoängen) med produkten av uppgiftens standardavvikelse och standardavvikelsen för den korrigerade totalpoängen:
varomslag (artikel, korrigerad totalpoäng)är kovariansen mellan objektet och den korrigerade totalpoängen:
cov(item, korrigerad totalpoäng)= 𝑛∑(punkt)(korrigerad totalpoäng- (∑föremål)(∑korrigerad totalpoäng)
Hur tolkar och utvärderar jag värdet för korrelationskoefficienten för den korrigerade objekttotalen?
Detta värde, liksom andra korrelationskoefficienter, varierar från -1 till +1. Helst bör uppgifterna sträva efter att erhålla värden större än eller lika med +0,20. Värden nära 0 indikerar litet eller inget samband mellan uppgiftens prestanda och prestanda på resten av testet. Negativa värden indikerar oväntat beteende (t.ex. de som klarar sig bra på en uppgift tenderar att få lägre poäng på resten av testet och vice versa). På sätt och vis anses detta mått vara ett mer omfattande och känsligt mått på diskriminering.
Diskrimineringsindex
Vad är diskrimineringsindex?
Diskrimineringsindexet fokuserar på hur väl en fråga skiljer mellan individerna med högst och lägst poäng. Det varierar från -1 till +1. Ett högre värde tyder på god diskriminering medan ett lägre (eller negativt) värde indikerar dålig diskriminering.
Hur beräknas det?
För att beräkna diskrimineringsindex beräknas de elever som gjorde quizet i percentilrankning baserat på poängen, och eleverna klassificeras sedan i tre grupper: Elever på eller under den 27:e percentilen, elever på eller över den 63:e percentilen, och alla däremellan. Svårighetsgraden på uppgiften (p-värde) beräknas för den övre och nedre gruppen. Diskrimineringen är skillnaden mellan den övre gruppens svårighetsgrad på uppgiften och den nedre gruppens svårighetsgrad.
Hur tolkar och utvärderar jag värdet för diskrimineringsindex?
I likhet med den korrigerade korrelationskoefficienten mellan objekt och totala värden indikerar ett högt diskrimineringsindex att de individer som presterar bra på testet tenderar att prestera bra på den specifika frågan. Ett lägre diskrimineringsindexvärde innebär att frågan inte urskiljer väl. Ett negativt tal innebär att det finns ett omvänt/oväntat samband. Tröskelvärden för värdeintervall varierar, men en generell uppsättning riktlinjer är:
Diskrimineringsindex | Tolkning |
|---|
0,40 och högre | Mycket bra diskriminering |
0,30–0,39 | Bra diskriminering |
0,20–0,29 | Rättvis diskriminering |
0,10–0,19 | Inte diskriminerande |
Under 0,10 | Dålig vara |
Negativt | Omvänt förhållande |
CSV-filer och JSON-objekt
Hur tolkar och utvärderar jag CSV-filen för nya quiz, quiz och objektanalys?
CSV-filen för New Quizzes quiz- och objektanalysrapport innehåller samma information som du kan se i Canvas-gränssnittet.
Anteckningar:
- Till skillnad från Canvas-gränssnittet avrundas inte mätvärden i CSV-filen.
- Om ett fält inte kan beräknas (t.ex.: Cronbachs alfa) läggs en sträng med texten ”N/A” till i cellen.
- Om ett fält inte är tillgängligt i rapporten (t.ex. elevantal ”Inget svar” för kategoriseringsfrågan) läggs strängen ”Stöds inte” till i cellen.
CSV-filnamnet är quiztiteln och strängen ”Quiz- och objektanalysrapport”.
De första nio kolumnerna är reserverade för quizanalysen och endast en rad är ifylld.
Kolumnrubrikerna är följande:
Rapportgenererad:Datum och tid då rapporten genererades
Quiztitel:Titel på frågesporten
QuizHighPoäng:Hög poäng
QuizLågpoäng:Lågt betyg
QuizMedelpoäng:Medelpoäng
QuizMedianPoäng:Medianpoäng
QuizStandardavvikelse:Standardavvikelse
QuizCronbachsAlpha:Cronbachs alfa
QuizMedelförflutenTid:Genomsnittlig förfluten tid
Från kolumn tio till slutet är den första raden alltid tom. Sedan representerar varje rad ett alternativ i testet.
Kolumnrubrikerna är följande:
Artikel-ID:ID för quiz-objektet
Titel:Artikelns titel
Objektsvårighetsgrad:Objektets svårighetsgrad
Möjliga poäng:Maximalt möjliga poäng
Genomsnittliga intjänade poäng:Genomsnittliga intjänade poäng
Median intjänade poäng:Median intjänade poäng
Diskrimineringsindex:Diskrimineringsindex
Korrigerad Totalkorrelation:Korrigerad punkt Total korrelationskoefficient
Artikeltyp:Frågetyp
Korrekt:Antal elever som svarade rätt på frågan
Felaktigt:Antal elever som svarade fel på frågan
Inget svar:Antal elever som inte svarade på frågan
Svarfrekvenser:Representation av tabellen över svarsfrekvenssammanfattning
Hur läser och tolkar jag kolumnen AnswerFrequencies?
Tabellen för sammanfattning av svarsfrekvens representeras i JSON-objekt (JavaScript Object Notation) på grund av datas komplexitet.Läs mer om JSON.
Följande JSON-objekt är en representation av en kategoriseringsfråga:
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
Fältet ”svar” är en lista med objekt.
Varje svar har samma fält: ”svar” (svarets text) och ”kategorier” (en lista med objekt).
Ett kategoriobjekt har tre fält:
- Fältet ”kategori” är namnet på den kategori du skapade
- Fältet ”antal” visar hur många elever som lagt till svar i den här kategorin
- Fältet ”korrekt” anger om svaret är korrekt i den här kategorin.
Notera:Du kan se ”kategori”: ”_distraktorer_” vid varje svarsobjekt. Detta är för de ytterligare distraktorerna med ett prefix- och postfix-tecken, för att undvika förvirring om du använder namnet ”Distraktorer” som en av dina kategorier i din fråga.