Dieses Dokument enthält detaillierte Informationen zu den Grenzen und Berechnungen der Quizitemanalyse in Classic Quizzes.
Canvas bietet Statistiken zur Quizanalyse für Quizfragen in Canvas. Die heruntergeladene CSV-Datei mit den Item-Analysen hilft Dozenten und Kursentwicklern, die Effektivität ihrer Quizfragen einzuschätzen. Die Quizanalyse ermittelt Zuverlässigkeit, Schwierigkeitsgrad und Trennschärfe für Multiple-Choice- und Richtig/Falsch-Fragen.
Die Item-Analyse liefert möglicherweise keine Ergebnisse innerhalb bestimmter Quizze. Im Folgenden werden einige Einschränkungen aufgeführt, die bei der Auswertung von Analyseberichten zu berücksichtigen sind.
- Die Analyse ist derzeit so konzipiert, dass sie mit Quizzen funktioniert, die allen Studierenden dieselben Fragen stellen. Wenn Sie also die CSV-Datei für die Item-Analyse von Quizzen erstellen, die Fragen aus einer Fragengruppe verwenden, enthält die CSV-Datei für jede Quizversion eine eigene Zeile.
- Der Bericht zur Quiz-Item-Analyse unterstützt derzeit nur Multiple-Choice- und Richtig/Falsch-Quizfragen.
- Wenn ein Quiz mehrere Versuche zulässt, werden bei der Berechnung nur die ersten Versuche des Schülers berücksichtigt (um Übungseffekte auszuschließen).
- Nicht beantwortete oder unbeantwortete Fragen werden bei der Ermittlung der Gesamtpunktzahl der Prüfung als falsch gewertet, jedoch nicht in die Berechnungen auf Fragenebene einbezogen.
- Die Statistiken umfassen nur Daten von Schülern, die versucht haben, den Test zu absolvieren.
Die Item-Analyse von Canvas Quiz generiert Werte basierend auf Cronbachs Alpha. Cronbachs Alpha misst die interne Konsistenz und gibt an, wie eng die Items als Gruppe miteinander korrelieren. Canvas generiert einen Alpha-Wert, sobald das Quiz mindestens zwei Fragen enthält und die Testvarianz größer als null ist. Eine Varianz größer als null bedeutet, dass zwei oder mehr Einsendungen zu unterschiedlichen Ergebnissen führen.
Notiz: Um eine optimale Kursleistung zu gewährleistenin der Canvas-OberflächeDie Maximalwerte für die Berechnung betragen 1000 Einreichungen oder 100 Fragen. Beispielsweise werden bei einem Quiz mit 200 Fragen keine Quizstatistiken generiert. Ein Quiz mit 75 Fragen hingegen generiert Quizstatistiken, bis 1000 Versuche erreicht wurden.
Ergebnisse, die diese Maximalwerte überschreiten, können durch Herunterladen des Studentenanalyseberichts und Anzeigen der CSV-Datei eingesehen werden.
Quizanalyse-Messungen
Zuverlässigkeit
Die Reliabilität ist ein Maß für die interne Konsistenz eines Tests. Das bedeutet, dass Testpersonen, die mehrere Fragen zur Messung derselben Information stellen, diese in ähnlicher Weise beantworten werden. Beispielsweise sollten Schüler, die Eis mögen, Aussagen wie „Ich mag Eis“ und „Ich habe in der Vergangenheit gerne Eis gegessen“ zustimmen, wenn ein Test die Vorliebe für Eiscreme misst. Gleichzeitig sollten sie Aussagen wie „Ich hasse Eiscreme“ ablehnen.
Schwierigkeit
Der Schwierigkeitsindex (auch p-Wert genannt) gibt an, wie schwer es ist, die Frage richtig zu beantworten. Er wird als Anteil der Studierenden berechnet, die die Frage richtig beantwortet haben. Die Werte liegen zwischen 0 und 1. Canvas verwendet hierfür die punktbiseriale Methode.
Punktbiseriale
Die punktbiseriale Korrelationskurve ist ein Korrelationskoeffizient, der die beobachteten Antworten auf eine Aufgabe in Beziehung setzt und insbesondere dann verwendet wird, wenn ein Datensatz dichotom ist, d. h. er kann je nach richtigen und falschen Antworten unterschiedliche Werte annehmen. Zusätzlich zur punktbiserialen Korrelationskurve der richtigen Antwort wird dieselbe Berechnung für die Ablenker/falschen Antworten durchgeführt (auch als Ablenkereffizienz bekannt). Idealerweise sollten alle falschen Antworten für die Schüler, die die Frage falsch beantwortet haben, gleichermaßen attraktiv sein. Die Werte hierfür liegen zwischen -1 und 1.
Diskriminierung
Die Quizstatistik für Richtig/Falsch- und Multiple-Choice-Fragen beinhaltet einen Trennschärfeindex, der die Streuung der Ergebnisse analysiert und Unterschiede in den Schülerleistungen widerspiegelt. Dieser Index gibt an, wie gut eine einzelne Frage zwischen leistungsstarken und leistungsschwachen Schülern unterscheiden kann. Die Schüler werden anhand ihrer Gesamtpunktzahl im Quiz in drei Gruppen eingeteilt und nach der richtigen Antwort auf die jeweilige Frage dargestellt. Die Schülergruppen werden üblicherweise in die besten 27 %, die mittleren 46 % und die leistungsschwächsten 27 % unterteilt. Idealerweise sollten Schüler, die in der Prüfung gut abgeschnitten haben, die Frage richtig beantworten. Wenn Schüler in der Gesamtprüfung gut abgeschnitten haben, aber bei der Frage nicht, sollte die Frage selbst überarbeitet werden.
Niedrige Diskriminierungswerte liegen bei +0,24 oder darunter; gute Werte bei +0,25 oder darüber. Ein idealer Diskriminierungsindex zeigt, dass Schüler mit höheren Testergebnissen die Quizfrage richtig beantwortet haben, Schüler mit niedrigeren Testergebnissen die Frage falsch beantwortet haben und Schüler mit mittleren Werten im oberen oder unteren Bereich liegen. Ein Diskriminierungsindex von null bedeutet, dass alle Schüler die Quizfrage entweder richtig oder falsch beantwortet haben.
CSV-Informationen
Der CSV-Download enthält außerdem die folgenden Berechnungen und Zählungen:
- Frage-ID
- Fragetitel
- Anzahl der beantworteten Schüler
- Anzahl der besten Schüler (Schüler in den besten 27 %)
- Mittlerer Anteil der Schüler (46 %)
- Anzahl der Schüler mit den niedrigsten Noten (die 27 Schüler mit den niedrigsten Noten).
- Anzahl der Quizfragen (Gesamtzahl der Quizfragen)
- Anzahl der Schüler mit der richtigen Antwort (Anzahl der Schüler insgesamt, die die Antwort richtig gegeben haben)
- Anzahl der Schüler mit falschen Antworten (Anzahl der Schüler insgesamt, die die Antwort falsch gegeben haben)
- Verhältnis der richtigen Antworten (Anteil der Schüler, die die richtige Antwort gegeben haben)
- Fehlerquote (Anteil der Schüler, die die Antwort falsch gegeben haben)
- Anzahl der korrekten Antworten der besten Schüler (Schüler, die zu den besten 27 % gehören, die die Antwort richtig gegeben haben)
- korrekte mittlere Schülerzahl (Anteil der Schüler im mittleren Bereich: 46 %, die die richtige Antwort gegeben haben)
- Korrekte Anzahl der Schüler im unteren Bereich (Schüler in den unteren 27 %, die die Antwort richtig gegeben haben)
- Varianz (der Ergebnisse bei dieser Frage)
- Standardabweichung (der Punktzahlen bei dieser Frage)
- Schwierigkeitsindex
- Alpha-Wert (für die gesamte Prüfung)
- Punktbiseriale Verteilung der richtigen Antwort (Zuverlässigkeitsindex)
- Punktbiseriale Abfolge der ersten falschen Antwort oder des ersten Ablenkers (gefolgt von der zweiten usw.)
Benutzer, die über die Berechtigung zum Lesen von SIS-Daten im Kurs verfügen, können auch die Spalte sis_id im CSV-Download anzeigen.
Diese Ressource kann auch über die folgenden Canvas-Anleitungen aufgerufen werden: