Dit document bevat uitgebreide informatie over het rapport 'Quiz- en itemanalyse' van de nieuwe quizzen, inclusief de bijbehorende berekeningen. Het rapport bestaat uit twee hoofdsecties: Quizanalyse en Itemanalyse, die de volgende onderwerpen behandelen:
- Algemene samenvatting van de quizprestaties:Biedt een overzicht van quizstatistieken, waardoor beheerders en docenten een holistisch beeld krijgen van de algehele prestaties van studenten.
- Individuele itemstatistieken:Toont statistieken voor individuele items als een onafhankelijke vraag.
- Correlatie tussen een individueel item en de totale score van de quiz:Helpt bij het evalueren van de mate waarin een item bijdraagt aan het meten van het onderliggende construct dat wordt beoordeeld.
Veel van de beschreven statistieken bevatten suggesties voor waarden om te begrijpen waar u op moet letten. Wat itemanalyse betreft, bestaan er echter geen universele antwoorden of waardebereiken om de validiteit of acceptabele resultaten te bepalen; uw instelling kan andere bereiken hanteren voor de evaluatie van bepaalde meetwaarden.
Uitsluitingen van gegevens uit quiz- en itemanalyserapporten
Het rapport 'Quiz- en itemanalyse' is een rapport dat op aanvraag wordt verzonden.Het rapport bevat reacties die zijn ontvangen tot het moment van opstellen van het rapport. De volgende inzendingen zijn echter niet opgenomen.nietopgenomen in het rapport 'Quiz- en itemanalyse':
- Inzendingen die nog niet door de automatische beoordelaar zijn geëvalueerd.
- Meerdere pogingen voor de quizzen
- Opmerking:Alleen de laatste poging voor een quiz wordt in het rapport opgenomen.
- Vragen die voor minstens de helft van de inzendingen nog niet zijn beoordeeld.
- Opmerkingen:
- De overige vragen worden opnieuw gefilterd om inzendingen met niet-beoordeelde vragen uit te sluiten.
- Het maximaal aantal punten voor de quiz is verlaagd om overeen te komen met het aantal punten voor de vragen in het rapport.
- Inzendingen toegevoegd door een docent tijdens het bekijken van een quizvoorbeeld of in de studentweergave.
Regels voor quizzen en itemanalyserapporten
Rapportgegevens kunnen afwijkend worden weergegeven vanwege de volgende regels:
- In bepaalde scenario's kunnen sommige statistieken niet worden berekend op basis van de beschikbare gegevens. In deze gevallen wordt "N/A" (Niet van toepassing) weergegeven in plaats van de waarde. Als bijvoorbeeld alle vragen in een quiz willekeurig zijn, kan Cronbach's Alpha niet worden berekend. Evenzo, als het niet mogelijk is om de studenten in 3 groepen te verdelen, kan de Cronbach's Alpha niet worden berekend.discriminatie-indexkan niet berekend worden.
- Op percentages gebaseerde meetwaarden worden afgerond naar het dichtstbijzijnde hele getal, terwijl andere meetwaarden worden afgerond op twee decimalen.
Quizoverzicht
In dit gedeelte worden de gegevenspunten beschreven die te vinden zijn in het gedeelte 'Quizoverzicht' van het rapport.
Hoogste score
Toont de hoogste procentuele score die behaald is onder de studenten die de quiz hebben gemaakt.
Lage score
Toont het laagste percentage dat is behaald door studenten die de quiz hebben gemaakt.
Gemiddelde score
Toont het gemiddelde percentage van de scores van de studenten die de quiz hebben gemaakt.
Mediaanscore
Toont de mediaan van de percentages van de leerlingen die de quiz hebben gemaakt, wanneer alle scores in oplopende volgorde zijn gerangschikt. In tegenstelling tot het gemiddelde, dat beïnvloed kan worden door extreme waarden, wordt de mediaan niet beïnvloed door uitschieters.
Gemiddelde verstreken tijd
Geeft de gemiddelde tijd weer die nodig is om de quiz te voltooien.
Scoreverdelingsgrafiek
Toont de verdeling van de behaalde percentages onder de studenten die de quiz hebben gemaakt.
Standaardafwijking
Wat is de standaarddeviatie?
De standaarddeviatie is een maat voor de gemiddelde absolute afwijking van scores rond het gemiddelde. Een lage standaarddeviatie geeft aan dat de scores gemiddeld dicht bij het gemiddelde van de dataset liggen. Een hoge waarde geeft aan dat de scores gemiddeld sterk variëren ten opzichte van het gemiddelde van de dataset. De meeteenheid van de standaarddeviatie moet dezelfde zijn als die van het weergegeven gemiddelde. Als het gemiddelde bijvoorbeeld als percentage wordt weergegeven, moet de standaarddeviatie dat ook zijn.
Hoe wordt de standaarddeviatie berekend?
De standaarddeviatie wordt berekend door de wortel te trekken van het gemiddelde van de kwadratische verschillen tussen elke inzending en het gemiddelde:
waarbij 𝑛 het aantal reacties is, 𝜇 de gemiddelde score en 𝑥ᵢ het percentage van de i-de inzending.
Welke invloed hebben uitschieters op de standaarddeviatie?
Uitschieters zijn scores die significant van het gemiddelde afwijken. Uitschieters kunnen een grote invloed hebben op het gemiddelde dat gebruikt wordt om de standaarddeviatie te berekenen. Als de standaarddeviatie hoog is en er uitschieters aanwezig zijn, kan dat betekenen dat de standaarddeviatie geen representatieve weergave is van de typische waarde.
Cronbachs alfa
Wat is Cronbachs alfa?
Cronbachs alfa is een maatstaf voor interne consistentie die de betrouwbaarheid van een quiz schat. De waarden variëren van 0 tot 1, waarbij hogere waarden een grotere betrouwbaarheid aangeven.
Opmerking:Omdat Cronbachs alfa de interne consistentie meet, zouden willekeurig gekozen items de waarde vertekenen. Daarom worden alle willekeurig gekozen items in een quiz uitgesloten.
Hoe wordt het berekend?
waarbij 𝑘 het aantal vragen is, 𝜎ᵢ² de variantie van de scores van de i-de vraag is en 𝜎ₓ² de variantie van de quiz is.
Hoe interpreteer en beoordeel ik een Cronbach's Alpha-waarde?
De waarden variëren van 0 tot 1, waarbij hogere waarden een grotere interne consistentie en betrouwbaarheid aangeven. Dit betekent dat de items sterk gecorreleerd zijn en hetzelfde onderliggende construct meten. Een waarde van nul geeft aan dat er helemaal geen correlatie tussen de items bestaat en dat ze volledig onafhankelijk van elkaar zijn. Het antwoord op één item kennen, correleert niet met de kennis die nodig is om een ander item in de quiz correct te beantwoorden.
Hoewel er geen strikte drempelwaarde is, wordt een waarde van 0,70 of hoger als acceptabel beschouwd. Lagere waarden kunnen acceptabel zijn als de quiz een complex onderwerp behandelt.
U kunt de beoordeling uitvoerengecorrigeerde item-totaal correlatiecoëfficiëntOm items te identificeren die mogelijk minder gecorreleerd zijn aan het onderliggende construct dat wordt gemeten. Het verwijderen van dergelijke items zou de Cronbach's Alpha kunnen verbeteren.
Beperkingen
Cronbachs alfa meet de interne consistentie, maar garandeert geen validiteit en zegt ook niets over de kwaliteit.
Individuele itemstatistieken
Gemiddeld aantal verdiende punten
Toont de gemiddelde score die behaald is door de leerlingen die de opdracht hebben gekregen.
Gemiddeld aantal verdiende punten
Toont de mediaan van de behaalde puntenscores van de leerlingen die de betreffende opdracht hebben gekregen, wanneer alle scores in oplopende volgorde zijn gerangschikt. In tegenstelling tot de gemiddelde score, die beïnvloed kan worden door extreme waarden, wordt de mediaan niet beïnvloed door uitschieters.
Moeilijkheidsgraad van het item
Wat is itemmoeilijkheid?
De moeilijkheidsgraad van een vraag (ook wel p-waarde genoemd) is het percentage deelnemers dat de vraag correct heeft beantwoord. De waarden variëren van 0 (niemand heeft correct geantwoord) tot 1 (iedereen heeft correct geantwoord).
Opmerking: Bij het berekenen van de moeilijkheidsgraad van een item wordt een dichotome vraag gesteld, waarbij geen rekening wordt gehouden met gedeeltelijke punten of punten.
Hoe wordt het berekend?
De moeilijkheidsgraad van een vraag wordt berekend door het aantal deelnemers dat de vraag correct heeft beantwoord te delen door het totale aantal deelnemers. In het geval van willekeurig gekozen vragen, omvat het totale aantal deelnemers alleen de studenten die de vraag als onderdeel van hun quiz hebben gekregen.
waarbij 𝐶 het aantal studenten is dat het juiste antwoord heeft gegeven en 𝑇 het totale aantal studenten is.
Hoe interpreteer en beoordeel ik een waarde voor de moeilijkheidsgraad van een item?
Een moeilijkheidsgraad dicht bij 1 betekent dat de meeste studenten de vraag correct hebben beantwoord. Dit kan erop wijzen dat de vraag als gemakkelijk wordt beschouwd of dat de studenten niet voldoende worden uitgedaagd. Dit kan de beoogde verwachting zijn als een vraag wordt gebruikt om de beheersing van de stof te toetsen. Een waarde dichter bij 0 suggereert dat weinig deelnemers de vraag correct hebben beantwoord. Dit kan erop wijzen dat de vraag uitdagend is voor de studenten.
Hoewel er geen strikte drempelwaarde is, worden items met een moeilijkheidsgraad lager dan 0,30 over het algemeen als te moeilijk beschouwd en items met een moeilijkheidsgraad hoger dan 0,85 als te makkelijk. Als de moeilijkheidsgraad te hoog of te laag is, kunt u overwegen het item aan te passen of de formulering te herzien, zodat deze beter aansluit bij het beoogde moeilijkheidsniveau.
Net als bij elke verhouding of elk percentage, kan de gebruikte steekproefomvang de moeilijkheidsgraad van een item sterk beïnvloeden. Bij een kleine steekproef kunnen enkele inzendingen de waarde aanzienlijk veranderen, terwijl bij een grote steekproef meer inzendingen met dezelfde score/waarde nodig zijn om de algehele moeilijkheidsgraad van het item te veranderen.
Opmerking:Om een completer beeld van een product te krijgen, kunt u overwegen om het volgende te beoordelen:discriminatie-indexen degecorrigeerde item-totaal correlatiecoëfficiënt.
Correlatieberekeningen
De volgende berekeningen helpen om beter te begrijpen hoe individuele items zich verhouden tot de totale score die voor de quiz wordt toegekend en tot de andere items in de quiz.
Gecorrigeerde item-totaal correlatiecoëfficiënt
Wat is de gecorrigeerde item-totaal correlatiecoëfficiënt?
De gecorrigeerde item-totaalcorrelatiecoëfficiënt is de waarde van de Pearson-correlatie die wordt verkregen wanneer een itemscore wordt gecorreleerd met de totale score van de quiz waartoe dat item behoort. De correctie op deze waarde wordt toegepast door het gecorreleerde item uit de berekende totale score te verwijderen om vertekening te voorkomen; een item wordt dus slechts één keer in plaats van twee keer meegenomen in de berekening. Moderne meetdeskundigen (zoals psychometrici en experts in evaluatie van assessments) gebruiken deze maatstaf vaker dan de discriminatie-index, omdat deze de gehele scoreschaal omvat in plaats van zich alleen te richten op de hoogste en laagste waarden binnen het scorebereik.
Deze meetwaarde helpt in wezen te bepalen of de leerlingen die een vraag correct beantwoorden (of hoger scoren dan andere leerlingen) over het algemeen ook hoger scoren op de rest van de toets. Of omgekeerd, of leerlingen die slecht presteren op een vraag, over het algemeen ook minder goed presteren op de rest van de toets.
Hoe wordt het berekend?
De gecorrigeerde item-totaalscore correlatiecoëfficiënt wordt berekend door de covariantie van de itemscore en de testscore (minus het betreffende item; de gecorrigeerde totaalscore) te delen door het product van de standaarddeviatie van het item en de standaarddeviatie van de gecorrigeerde totaalscore:
waar cov (item, gecorrigeerde totale score)is de covariantie van het item en de gecorrigeerde totaalscore:
cov(item, gecorrigeerde totale score)= 𝑛∑(item)(gecorrigeerde totale score)- (∑item)(∑gecorrigeerde totale score)
Hoe moet ik de gecorrigeerde item-totaal correlatiecoëfficiënt interpreteren en evalueren?
Deze waarde, net als andere correlatiecoëfficiënten, varieert van -1 tot +1. Idealiter zouden items waarden van +0,20 of hoger moeten behalen. Waarden dicht bij 0 duiden op weinig tot geen verband tussen de prestatie op een item en de prestatie op de rest van de toets. Negatieve waarden wijzen op onverwacht gedrag (bijvoorbeeld: degenen die goed presteren op een item scoren doorgaans lager op de rest van de toets en omgekeerd). In zekere zin wordt deze maatstaf beschouwd als een meer omvattende en gevoelige maatstaf voor discriminatie.
Discriminatie-index
Wat is de discriminatie-index?
De discriminatie-index meet hoe goed een item onderscheid maakt tussen de hoogst en laagst scorende personen. De waarde varieert van -1 tot +1. Een hogere waarde duidt op een goede discriminatie, terwijl een lagere (of negatieve) waarde wijst op een slechte discriminatie.
Hoe wordt het berekend?
Om de discriminatie-index te berekenen, worden de studenten die de quiz hebben gemaakt, ingedeeld in percentielen op basis van hun scores. Vervolgens worden de studenten in drie groepen ingedeeld: studenten op of onder het 27e percentiel, studenten op of boven het 63e percentiel, en alle studenten daartussenin. De itemmoeilijkheid (p-waarde) wordt berekend voor de bovenste en onderste groepen. De discriminatie is het verschil tussen de itemmoeilijkheid van de bovenste groep en die van de onderste groep.
Hoe interpreteer en beoordeel ik de waarde van de discriminatie-index?
Net als bij de gecorrigeerde item-totaalcorrelatiecoëfficiënt, geeft een hoge discriminatie-index aan dat personen die goed presteren op de test, doorgaans ook goed presteren op het betreffende item. Een lagere discriminatie-indexwaarde betekent dat het item niet goed discrimineert. Een negatief getal duidt op een omgekeerde/onverwachte relatie. Drempelwaarden variëren, maar een algemene richtlijn is:
Discriminatie-index | Interpretatie |
|---|
0,40 en hoger | Zeer goede discriminatie |
0,30 - 0,39 | Goede discriminatie |
0,20 - 0,29 | Eerlijke discriminatie |
0,10 - 0,19 | Niet discriminerend |
Onder 0,10 | Slecht product |
Negatief | Omgekeerde relatie |
CSV-bestanden en JSON-objecten
Hoe interpreteer en beoordeel ik het CSV-bestand voor de analyse van nieuwe quizzen en items?
Het CSV-bestand voor het rapport 'Quiz- en itemanalyse' van nieuwe quizzen bevat dezelfde informatie als die u in de Canvas-interface kunt zien.
Opmerkingen:
- Anders dan in de Canvas-interface worden de meetwaarden in het CSV-bestand niet afgerond.
- Als een veld niet kan worden berekend (bijv. Cronbach's alfa), wordt de tekst "N/A" aan de cel toegevoegd.
- Als een veld niet beschikbaar is in het rapport (bijvoorbeeld het aantal studenten met "Geen antwoord" voor een categorisatievraag), wordt de tekst "Niet ondersteund" aan de cel toegevoegd.
De naam van het CSV-bestand bestaat uit de titel van de quiz en de tekst "Quiz and Item Analysis Report".
De eerste negen kolommen zijn gereserveerd voor de quizanalyse en slechts één rij is ingevuld.
De kolomkoppen zijn als volgt:
Rapport gegenereerd:Datum en tijd waarop het rapport is gegenereerd
QuizTitel:Titel van de quiz
QuizHighScore:Hoge score
QuizLowScore:Lage score
Quizgemiddelde score:Gemiddelde score
QuizMedianScore:Mediaanscore
QuizStandaardafwijking:Standaardafwijking
QuizCronbachsAlpha:Cronbachs alfa
QuizMeanElapsedTime:Gemiddelde verstreken tijd
Vanaf kolom tien tot het einde is de eerste rij altijd leeg. Elke rij vertegenwoordigt vervolgens één vraag uit de quiz.
De kolomkoppen zijn als volgt:
ArtikelID:ID van het quizitem
Titel:Titel van het item
ItemMoeilijkheidsgraad:Moeilijkheidsgraad van het item
Mogelijke punten:Maximaal aantal punten mogelijk
Gemiddelde verdiende punten:Gemiddeld aantal verdiende punten
Gemiddeld aantal verdiende punten:Gemiddeld aantal verdiende punten
Discriminatie-index:Discriminatie-index
Gecorrigeerde itemtotaalcorrelatie:Gecorrigeerde item-totaal correlatiecoëfficiënt
Artikeltype:Vraagtype
Juist: Aantal studenten dat de vraag correct heeft beantwoord
Onjuist:Aantal studenten dat de vraag incorrect heeft beantwoord
Geen reactie:Aantal studenten dat de vraag niet heeft beantwoord
Antwoordfrequenties:Weergave van de samenvattende tabel met antwoordfrequenties
Hoe lees en interpreteer ik de kolom 'Antwoordfrequenties'?
De tabel 'Antwoordfrequentieoverzicht' wordt vanwege de complexiteit van de gegevens weergegeven in JSON-objecten (JavaScript Object Notation).Leer meer over JSON.
Het volgende JSON-object is een weergave van een categorisatievraag:
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
Het veld "answers" is een lijst met objecten.
Elk antwoord heeft dezelfde velden: het "antwoord" (de tekst van het antwoord) en "categorieën" (een lijst met objecten).
Een categorieobject heeft drie velden:
- Het veld 'categorie' is de naam van de categorie die je hebt aangemaakt.
- Het veld 'aantal' geeft aan hoeveel studenten antwoorden aan deze categorie hebben toegevoegd.
- Het veld 'correct' geeft aan of het antwoord in deze categorie als correct is ingesteld.
Opmerking:Bij elk antwoordobject zie je “category”: “_distractors_”. Dit is voor de extra afleidende antwoorden met een voor- en achtervoegsel, om verwarring te voorkomen als je de naam “Distractors” als een van je categorieën in je vraag gebruikt.