Dieses Dokument enthält umfassende Informationen zum Bericht „Neue Quizze – Quiz- und Aufgabenanalyse“ sowie zu den zugehörigen Berechnungen. Der Bericht gliedert sich in zwei Hauptabschnitte: Quizanalyse und Aufgabenanalyse. Diese behandeln folgende Themen:
- Gesamtübersicht der Quizleistung:Bietet einen Überblick über die Quizstatistiken und ermöglicht es Administratoren und Dozenten, die Gesamtleistung der Studierenden ganzheitlich zu erfassen.
- Statistiken zu einzelnen Artikeln:Zeigt Statistiken für einzelne Elemente als unabhängige Frage an.
- Korrelation zwischen einem einzelnen Item und der Gesamtpunktzahl des Quiz:Hilft dabei, zu beurteilen, wie gut ein Item zur Messung des zugrunde liegenden Konstrukts beiträgt, das bewertet wird.
Viele der beschriebenen Statistiken enthalten Richtwerte, um zu verdeutlichen, worauf Sie achten sollten. Im Hinblick auf die Item-Analyse gibt es jedoch keine allgemeingültigen Antworten oder Wertebereiche zur Bestimmung der Validität oder akzeptabler Ergebnisse; Ihre Institution kann zur Bewertung bestimmter Kennzahlen unterschiedliche Bereiche verwenden.
Datenausschlüsse im Bericht zur Quiz- und Aufgabenanalyse
Der Bericht zur Quiz- und Item-Analyse ist ein anfragebasierter Bericht.Der Bericht enthält alle bis zum Zeitpunkt seiner Erstellung eingegangenen Antworten. Folgende Einsendungen wurden jedoch nicht berücksichtigt:nichtIm Bericht zur Quiz- und Aufgabenanalyse enthalten:
- Einreichungen, die noch nicht vom automatischen Bewertungssystem bewertet wurden
- Mehrere Versuche für Quizze
- Notiz:Nur der letzte Versuch eines Quiz wird im Bericht berücksichtigt.
- Fragen, die bei mindestens der Hälfte der Einsendungen noch nicht bewertet wurden
- Anmerkungen:
- Die verbleibenden Fragen werden erneut gefiltert, um Einsendungen mit unbewerteten Fragen auszuschließen.
- Die maximal erreichbare Punktzahl für das Quiz wurde reduziert, um sie der Punktzahl der im Bericht enthaltenen Fragen anzupassen.
- Eingereichte Beiträge eines Dozenten bei der Vorschau eines Quiz oder in der Studierendenansicht
Regeln für Quiz- und Item-Analyseberichte
Die Berichtsdaten können aufgrund der folgenden Regeln unterschiedlich angezeigt werden:
- In bestimmten Szenarien lassen sich einige Kennzahlen anhand der verfügbaren Eingabedaten nicht berechnen. In diesen Fällen wird anstelle des Wertes „N/A“ (Nicht anwendbar) angezeigt. Wenn beispielsweise alle Fragen eines Quiz zufällig angeordnet sind, kann Cronbachs Alpha nicht berechnet werden. Ebenso wenig kann der Wert berechnet werden, wenn eine Aufteilung der Studierenden in drei Gruppen nicht möglich ist.Diskriminierungsindexkann nicht berechnet werden.
- Prozentuale Kennzahlen werden auf die nächste ganze Zahl gerundet, während andere Kennzahlen auf zwei Dezimalstellen gerundet werden.
Quizzusammenfassung
In diesem Abschnitt werden die Datenpunkte definiert, die im Abschnitt „Quizzusammenfassung“ des Berichts zu finden sind.
Höchstpunktzahl
Zeigt die höchste prozentuale Punktzahl an, die von allen Schülern erzielt wurde, die am Quiz teilgenommen haben.
Niedrige Punktzahl
Zeigt die niedrigste prozentuale Punktzahl an, die von allen Schülern erreicht wurde, die an dem Quiz teilgenommen haben.
Mittelwert
Zeigt den durchschnittlichen Prozentsatz der Schüler an, die am Quiz teilgenommen haben.
Medianwert
Zeigt den mittleren Prozentwert der erreichten Punktzahlen aller Studierenden an, die am Quiz teilgenommen haben, wenn alle Punktzahlen in aufsteigender Reihenfolge angeordnet sind. Im Gegensatz zum Mittelwert, der durch Ausreißer beeinflusst werden kann, wird der Median nicht durch Ausreißer verfälscht.
Mittlere verstrichene Zeit
Zeigt die durchschnittliche Zeit an, die zum Absolvieren des Quiz benötigt wurde.
Punkteverteilungsdiagramm
Zeigt die Verteilung der prozentualen Punktzahlen der Schüler an, die am Quiz teilgenommen haben.
Standardabweichung
Was ist die Standardabweichung?
Die Standardabweichung ist ein Maß für die durchschnittliche absolute Abweichung der Werte vom Mittelwert. Eine niedrige Standardabweichung bedeutet, dass die Werte im Durchschnitt nahe am Mittelwert liegen. Ein hoher Wert bedeutet, dass die Werte im Durchschnitt stark vom Mittelwert abweichen. Die Maßeinheit der Standardabweichung sollte mit der des Mittelwerts übereinstimmen. Wird der Mittelwert beispielsweise als Prozentwert angegeben, sollte auch die Standardabweichung als Prozentwert angegeben werden.
Wie wird die Standardabweichung berechnet?
Die Standardabweichung wird berechnet, indem die Quadratwurzel aus dem Durchschnitt der quadrierten Differenzen zwischen jeder einzelnen Einsendung und dem Mittelwert ermittelt wird:
wobei 𝑛 die Anzahl der Antworten, 𝜇 der Mittelwert und 𝑥ᵢ der prozentuale Anteil der i-ten Einsendung ist.
Wie beeinflussen Ausreißer den Wert der Standardabweichung?
Ausreißer sind Werte, die deutlich vom Mittelwert abweichen. Sie können den Mittelwert, der zur Berechnung der Standardabweichung verwendet wird, stark beeinflussen. Ist die Standardabweichung hoch und sind Ausreißer vorhanden, repräsentiert sie möglicherweise nicht den typischen Wert.
Cronbachs Alpha
Was ist Cronbachs Alpha?
Cronbachs Alpha ist ein Maß für die interne Konsistenz, das die Zuverlässigkeit eines Quiz schätzt. Die Werte reichen von 0 bis 1, wobei höhere Werte eine höhere Zuverlässigkeit anzeigen.
Notiz:Da Cronbachs Alpha die interne Konsistenz misst, würden randomisierte Items den Wert verfälschen; daher werden alle randomisierten Items in einem Quiz ausgeschlossen.
Wie wird es berechnet?
wobei 𝑘 die Anzahl der Fragen, 𝜎ᵢ² die Varianz der i-ten Fragenpunktzahlen und 𝜎ₓ² die Varianz des Quiz ist.
Wie interpretiere und bewerte ich einen Cronbachs Alpha-Wert?
Die Werte reichen von 0 bis 1, wobei höhere Werte eine höhere interne Konsistenz und Reliabilität anzeigen. Dies bedeutet, dass die Items stark korreliert sind und dasselbe zugrunde liegende Konstrukt messen. Ein Wert von null bedeutet, dass keinerlei Korrelation zwischen den Items besteht und sie völlig unabhängig voneinander sind. Die Kenntnis der Antwort auf ein Item korreliert nicht mit dem Wissen, das zur korrekten Beantwortung eines anderen Items im Quiz erforderlich ist.
Es gibt zwar keinen festen Grenzwert, aber ein Wert von 0,70 oder höher gilt als akzeptabel. Niedrigere Werte können akzeptabel sein, wenn der Test ein komplexes Thema abfragt.
Sie können diekorrigierter Item-Gesamt-KorrelationskoeffizientUm Items zu identifizieren, die möglicherweise weniger stark mit dem zugrunde liegenden, gemessenen Konstrukt korrelieren, kann das Entfernen solcher Items Cronbachs Alpha verbessern.
Einschränkungen
Cronbachs Alpha beurteilt die interne Konsistenz, garantiert aber weder die Validität noch die Qualität.
Statistiken zu einzelnen Artikeln
Durchschnittlich erzielte Punkte
Zeigt die durchschnittliche Punktzahl der Schüler an, denen der jeweilige Test vorgelegt wurde.
Median der erzielten Punkte
Zeigt den mittleren Punktwert aller Schüler an, die die Aufgabe bearbeitet haben, wenn alle Punktzahlen in aufsteigender Reihenfolge angeordnet sind. Im Gegensatz zum Mittelwert, der durch Ausreißer beeinflusst werden kann, wird der Median nicht durch Ausreißer beeinflusst.
Schwierigkeitsgrad des Artikels
Was ist der Schwierigkeitsgrad eines Gegenstands?
Die Itemschwierigkeit (auch p-Wert genannt) gibt den Anteil der Teilnehmer an, die das Item richtig beantwortet haben. Die Werte reichen von 0 (niemand hat richtig geantwortet) bis 1 (alle haben richtig geantwortet).
Notiz: Die Berechnung des Schwierigkeitsgrades einer Aufgabe erfolgt als dichotome Frage und ignoriert Teilpunkte oder Punktevergabe.
Wie wird es berechnet?
Der Schwierigkeitsgrad einer Aufgabe wird berechnet, indem die Anzahl der Teilnehmenden, die die Aufgabe richtig beantwortet haben, durch die Gesamtzahl der Teilnehmenden geteilt wird. Bei randomisierten Aufgaben umfasst die Gesamtzahl der Teilnehmenden nur diejenigen Studierenden, denen die Aufgabe im Rahmen des Tests gestellt wurde.
wobei 𝐶 die Anzahl der Schüler ist, die richtig geantwortet haben, und 𝑇 die Gesamtzahl der Schüler ist.
Wie interpretiere und bewerte ich den Schwierigkeitsgrad einer Aufgabe?
Ein Schwierigkeitswert nahe 1 bedeutet, dass die meisten Schüler die Aufgabe richtig beantwortet haben. Dies kann darauf hindeuten, dass die Aufgabe als einfach empfunden wird oder die Schüler nicht ausreichend fordert. Dies kann die beabsichtigte Erwartung sein, wenn die Aufgabe zur Überprüfung des Lernfortschritts eingesetzt wird. Ein Wert nahe 0 deutet hingegen darauf hin, dass nur wenige Teilnehmer die Aufgabe richtig beantwortet haben, was darauf hindeuten kann, dass die Aufgabe für die Schüler anspruchsvoll ist.
Es gibt zwar keinen festen Grenzwert, aber im Allgemeinen gelten Aufgaben mit einem Schwierigkeitsgrad unter 0,30 als zu schwierig und solche mit einem über 0,85 als zu einfach. Ist der Schwierigkeitsgrad zu hoch oder zu niedrig, sollte die Aufgabe angepasst oder die Formulierung überarbeitet werden, um sie besser an das gewünschte Schwierigkeitsniveau anzupassen.
Wie bei jeder Proportion oder Prozentangabe kann die Stichprobengröße den Schwierigkeitsgrad einer Aufgabe erheblich beeinflussen. Bei einer kleinen Stichprobe können wenige Einsendungen den Wert stark verändern, während bei einer großen Stichprobe mehr Einsendungen mit demselben Ergebnis/Wert erforderlich sind, um den Gesamtschwierigkeitsgrad der Aufgabe zu verändern.
Notiz:Um ein umfassenderes Bild eines Artikels zu erhalten, sollten Sie folgende Aspekte bewerten:Diskriminierungsindexund diekorrigierter Item-Gesamt-Korrelationskoeffizient.
Korrelationsberechnungen
Die folgenden Berechnungen helfen dabei, besser zu verstehen, wie einzelne Elemente mit der Gesamtpunktzahl des Quiz und mit den anderen Elementen des Quiz zusammenhängen bzw. korrelieren.
Korrigierter Item-Gesamt-Korrelationskoeffizient
Was ist der korrigierte Item-Gesamt-Korrelationskoeffizient?
Der korrigierte Item-Gesamt-Korrelationskoeffizient ist der Wert der Pearson-Korrelation, der sich ergibt, wenn ein Itemwert mit dem Gesamtwert des Tests, aus dem das Item stammt, korreliert wird. Die Korrektur dieses Wertes erfolgt, indem das zu korrelierende Item aus dem berechneten Gesamtwert entfernt wird, um Verzerrungen zu eliminieren; dadurch wird ein Item in der Metrik nur einmal anstatt zweimal berücksichtigt. Moderne Messpraktiker (d. h. Psychometriker und Experten für die Bewertung von Tests) verwenden diese Metrik häufiger als den Trennschärfeindex, da sie die gesamte Werteskala einbezieht und sich nicht nur auf die höchsten und niedrigsten Werte im Wertebereich konzentriert.
Im Wesentlichen hilft diese Kennzahl dabei festzustellen, ob die Schüler, die eine Aufgabe richtig beantworten (oder bei einer Aufgabe besser abschneiden als andere Schüler), tendenziell auch im restlichen Test besser abschneiden. Oder umgekehrt, ob diejenigen, die bei einer Aufgabe schlecht abschneiden, tendenziell auch im restlichen Test schlechter abschneiden.
Wie wird es berechnet?
Der korrigierte Item-Gesamt-Score-Korrelationskoeffizient wird berechnet, indem die Kovarianz des Item-Scores und des Test-Scores (abzüglich des betreffenden Items; der korrigierte Gesamt-Score) durch das Produkt der Standardabweichung des Items und der Standardabweichung des korrigierten Gesamt-Scores dividiert wird:
Wo cov (Item, korrigierte Gesamtpunktzahl)ist die Kovarianz des Einzelwertes und des korrigierten Gesamtwerts:
cov(Item, korrigierte Gesamtpunktzahl)= 𝑛∑(Item)(korrigierte Gesamtpunktzahl)- (∑ Artikel)(∑korrigierte Gesamtpunktzahl)
Wie interpretiere und bewerte ich den Wert des korrigierten Item-Gesamt-Korrelationskoeffizienten?
Dieser Wert liegt, wie andere Korrelationskoeffizienten auch, zwischen -1 und +1. Idealerweise sollten die Items Werte von mindestens +0,20 erreichen. Werte nahe 0 deuten auf einen geringen oder gar keinen Zusammenhang zwischen der Itemleistung und der Gesamtleistung im Test hin. Negative Werte weisen auf unerwartetes Verhalten hin (z. B. erzielen Personen, die in einem Item gut abschneiden, tendenziell niedrigere Punktzahlen im restlichen Test und umgekehrt). In gewisser Weise gilt diese Kennzahl als umfassenderes und aussagekräftigeres Maß für die Trennschärfe.
Diskriminierungsindex
Was ist der Diskriminierungsindex?
Der Diskriminierungsindex misst, wie gut ein Item zwischen den Personen mit den höchsten und niedrigsten Punktzahlen differenziert. Er reicht von -1 bis +1. Ein höherer Wert deutet auf eine gute, ein niedrigerer (oder negativer) Wert auf eine schlechte Diskriminierung hin.
Wie wird es berechnet?
Zur Berechnung des Trennschärfeindexes werden die Perzentilränge der Testteilnehmer anhand ihrer Punktzahl ermittelt und die Schüler anschließend in drei Gruppen eingeteilt: Schüler unterhalb des 27. Perzentils, Schüler oberhalb des 63. Perzentils und alle dazwischen. Die Aufgabenschwierigkeit (p-Wert) wird für die obere und die untere Gruppe berechnet. Die Trennschärfe ergibt sich aus der Differenz zwischen der Aufgabenschwierigkeit der oberen und der unteren Gruppe.
Wie interpretiere und bewerte ich den Wert des Diskriminierungsindex?
Ähnlich wie beim korrigierten Item-Gesamt-Korrelationskoeffizienten deutet ein hoher Trennschärfeindex darauf hin, dass Personen, die im Test gut abschneiden, tendenziell auch bei dem jeweiligen Item gut abschneiden. Ein niedrigerer Trennschärfeindex bedeutet, dass das Item schlecht differenziert. Ein negativer Wert bedeutet, dass ein umgekehrter/unerwarteter Zusammenhang besteht. Die Schwellenwerte für die Wertebereiche variieren, aber folgende allgemeine Richtlinien gelten:
Diskriminierungsindex | Interpretation |
|---|
0,40 und höher | Sehr gutes Unterscheidungsvermögen |
0,30 - 0,39 | Gute Unterscheidungsfähigkeit |
0,20 - 0,29 | Faire Diskriminierung |
0,10 - 0,19 | Nicht diskriminierend |
Unter 0,10 | Mangelhafter Artikel |
Negativ | Umgekehrte Beziehung |
CSV-Dateien und JSON-Objekte
Wie interpretiere und bewerte ich die CSV-Datei für die Quiz- und Item-Analyse neuer Quizze?
Die CSV-Datei für den Bericht „Quiz- und Item-Analyse“ der neuen Quizze enthält die gleichen Informationen, die Sie auch in der Canvas-Oberfläche sehen können.
Anmerkungen:
- Im Gegensatz zur Canvas-Oberfläche werden die Messwerte in der CSV-Datei nicht gerundet.
- Kann ein Feld nicht berechnet werden (z. B. Cronbachs Alpha), wird der Zelle die Zeichenkette „N/A“ hinzugefügt.
- Wenn ein Feld im Bericht nicht verfügbar ist (z. B. die Anzahl der Schüler mit „Keine Antwort“ beim Fragetyp Kategorisierung), wird der Zelle die Zeichenfolge „Nicht unterstützt“ hinzugefügt.
Der Name der CSV-Datei setzt sich aus dem Quiztitel und der Zeichenfolge „Quiz- und Item-Analysebericht“ zusammen.
Die ersten neun Spalten sind für die Quiz-Auswertung reserviert, nur eine Zeile ist ausgefüllt.
Die Spaltenüberschriften lauten wie folgt:
Bericht erstellt:Datum und Uhrzeit der Berichtserstellung
Quiztitel:Titel des Quiz
QuizHighScore:Höchstpunktzahl
QuizLowScore:Niedrige Punktzahl
QuizMittelwert:Mittelwert
QuizMedianScore:Medianwert
QuizStandardabweichung:Standardabweichung
QuizCronbachsAlpha:Cronbachs Alpha
Mittlere Quizzeit:Mittlere verstrichene Zeit
Von Spalte zehn bis zum Ende ist die erste Zeile immer leer. Jede Zeile repräsentiert dann einen Punkt im Quiz.
Die Spaltenüberschriften lauten wie folgt:
Artikel-ID:ID des Quizeintrags
Titel:Titel des Artikels
Schwierigkeitsgrad des Gegenstands:Schwierigkeitsgrad des Artikels
Mögliche Punkte:Maximal erreichbare Punktzahl
Durchschnittlich verdiente Punkte:Durchschnittlich erzielte Punkte
MedianErreichtePunkte:Median der erzielten Punkte
Diskriminierungsindex:Diskriminierungsindex
Gesamtkorrelation der korrigierten Elemente:Korrigierter Item-Gesamtkorrelationskoeffizient
Artikeltyp:Fragetyp
Richtig: Anzahl der Schüler, die die Frage richtig beantwortet haben
Falsch:Anzahl der Schüler, die die Frage falsch beantwortet haben
Keine Antwort:Anzahl der Studierenden, die die Frage nicht beantwortet haben
Antworthäufigkeiten:Darstellung der Tabelle „Zusammenfassung der Antworthäufigkeiten“
Wie lese und interpretiere ich die Spalte „Antworthäufigkeiten“?
Die Tabelle „Antworthäufigkeitsübersicht“ wird aufgrund der Komplexität der Daten in JSON-Objekten (JavaScript Object Notation) dargestellt.Erfahren Sie mehr über JSONDie
Das folgende JSON-Objekt stellt eine Kategorisierungsfrage dar:
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
Das Feld „Antworten“ ist eine Liste von Objekten.
Jede Antwort hat die gleichen Felder: die „Antwort“ (den Text der Antwort) und die „Kategorien“ (eine Liste von Objekten).
Ein Kategorieobjekt hat drei Felder:
- Das Feld „Kategorie“ enthält den Namen der von Ihnen erstellten Kategorie.
- Das Feld „Anzahl“ zeigt an, wie viele Schüler Antworten in dieser Kategorie hinzugefügt haben.
- Das Feld „richtig“ gibt an, ob die Antwort dieser Kategorie als richtig zugeordnet wurde.
Notiz:Bei jedem Antwortobjekt sehen Sie die Kategorie „_Distraktoren_“. Dies dient der Kennzeichnung der zusätzlichen Distraktoren mit einem Präfix und einem Suffix, um Verwechslungen zu vermeiden, falls Sie den Namen „Distraktoren“ als Kategorie in Ihrer Frage verwenden.