Ce document fournit des informations détaillées sur les limitations et les calculs d'analyse des questions dans les quiz classiques.
Canvas fournit des statistiques d'analyse des questions de quiz. Le fichier CSV (valeurs séparées par des virgules) contenant ces analyses permet aux enseignants et aux concepteurs de cours d'évaluer l'efficacité de leurs questions. L'analyse des quiz évalue la fiabilité, la difficulté et le pouvoir discriminant des questions à choix multiples et des questions vrai/faux.
L'analyse des items peut ne pas générer de résultats pour certains questionnaires. Voici quelques limitations à prendre en compte dans les rapports d'analyse.
- L'analyse actuelle est conçue pour fonctionner avec des questionnaires qui posent les mêmes questions à tous les étudiants. Par conséquent, si vous générez le fichier CSV d'analyse des items pour des questionnaires utilisant un groupe de questions, ce fichier contiendra une ligne pour chaque version du questionnaire.
- Le rapport d'analyse des éléments de questionnaire ne prend actuellement en charge que les questions à choix multiples et les questions vrai/faux.
- Si un questionnaire autorise plusieurs tentatives, les calculs ne prendront en compte que la première tentative de l'étudiant (afin d'éliminer les effets d'entraînement).
- Les questions laissées sans réponse ou restées sans réponse sont comptabilisées comme fausses dans le calcul du score total de l'examen, mais elles sont exclues des calculs au niveau de chaque question.
- Les statistiques ne comprennent que les données des étudiants qui ont tenté de passer le test.
L'analyse des questions du questionnaire Canvas génère des scores basés sur le coefficient alpha de Cronbach. Ce coefficient mesure la cohérence interne, c'est-à-dire le degré de corrélation entre les questions d'un ensemble. Canvas génère un score alpha dès lors que le questionnaire comporte au moins deux questions et que la variance du test est supérieure à zéro. Une variance supérieure à zéro signifie que deux soumissions ou plus produisent des scores différents.
Note: Pour maintenir des performances optimales sur le parcoursdans l'interface CanvasLes valeurs maximales pour le calcul sont de 1 000 soumissions ou 100 questions. Par exemple, un questionnaire comportant 200 questions ne générera pas de statistiques. En revanche, un questionnaire comportant 75 questions générera des statistiques jusqu’à ce qu’il atteigne 1 000 tentatives.
Les résultats supérieurs à ces valeurs maximales peuvent être consultés en téléchargeant le rapport d'analyse des étudiants et en visualisant le fichier CSV.
Mesures d'analyse du questionnaire
Fiabilité
La fiabilité est une mesure de la cohérence interne du test ; autrement dit, si plusieurs questions sont conçues pour mesurer les mêmes informations, les personnes testées y répondront de manière similaire. Par exemple, si un test vise à mesurer le plaisir procuré par la crème glacée, les élèves qui aiment la crème glacée devraient être d'accord avec des affirmations telles que « J'aime la crème glacée » et « J'ai déjà mangé de la crème glacée avec plaisir ». Ces mêmes élèves devraient également être en désaccord avec des affirmations telles que « Je déteste la crème glacée ».
Difficulté
L'indice de difficulté (ou p-valeur) indique la difficulté à répondre correctement à la question. Il est calculé en fonction de la proportion d'étudiants ayant répondu correctement. Les proportions varient entre 0 et 1. Canvas effectue ce calcul à l'aide de la fonction bisériale ponctuelle.
Point Bisériel
Le coefficient bisérial ponctuel est un coefficient de corrélation qui met en relation les réponses observées à un item et est particulièrement utilisé lorsque les données sont dichotomiques, c'est-à-dire qu'elles peuvent prendre plusieurs valeurs selon qu'il s'agit de réponses correctes ou incorrectes. Outre le coefficient bisérial ponctuel de la réponse correcte, le même calcul est effectué pour les distracteurs/réponses incorrectes (également appelé efficacité des distracteurs). Idéalement, toutes les réponses incorrectes à la question devraient être tout aussi attrayantes pour les étudiants qui se trompent. Les scores pour ce coefficient varient de -1 à 1.
Discrimination
Les statistiques des quiz de type vrai/faux et à choix multiples incluent un indice de discrimination, qui analyse la dispersion des scores et reflète les différences de réussite scolaire. Cet indicateur mesure la capacité d'une question à distinguer les élèves performants de ceux qui le sont moins. Il répartit les élèves en trois groupes selon leur score global au quiz et affiche ces groupes en fonction du pourcentage de bonnes réponses. On distingue généralement les 27 % meilleurs élèves, les 46 % moyens et les 27 % les moins bons. Idéalement, les élèves ayant obtenu de bons résultats à l'examen devraient répondre correctement à la question. Si un élève réussit bien l'examen dans son ensemble mais échoue à la question, il peut être nécessaire de la revoir.
Les scores de discrimination faibles sont de +0,24 ou moins ; les bons scores sont de +0,25 ou plus. Un indice de discrimination idéal indique que les élèves ayant obtenu un score élevé au quiz répondent correctement à la question, ceux ayant obtenu un score faible répondent incorrectement, et que les élèves se situent dans la moyenne. Un indice de discrimination nul signifie que tous les élèves répondent correctement ou incorrectement à la question.
Informations CSV
Le fichier CSV téléchargé fournit également les calculs et décomptes suivants :
- ID de la question
- titre de la question
- nombre d'étudiants ayant répondu
- nombre d'étudiants les plus performants (étudiants parmi les 27 % meilleurs)
- nombre d'élèves du milieu (46 % d'élèves du milieu)
- nombre d'étudiants les plus faibles (étudiants dans les 27 % les plus faibles)
- Nombre total de questions du quiz
- nombre d'élèves ayant donné la bonne réponse (nombre total d'élèves ayant donné la bonne réponse)
- Nombre d'élèves ayant donné une mauvaise réponse (nombre total d'élèves ayant donné une mauvaise réponse)
- Taux d'élèves corrects (proportion d'élèves ayant donné la bonne réponse)
- Taux d'élèves ayant donné une mauvaise réponse (proportion d'élèves ayant donné une mauvaise réponse)
- nombre d'élèves ayant obtenu la meilleure réponse (élèves faisant partie des 27 % meilleurs qui ont donné la bonne réponse)
- nombre d'élèves du milieu correct (46 % des élèves du milieu qui ont donné la bonne réponse)
- nombre d'élèves ayant obtenu la bonne réponse (élèves faisant partie des 27 % les moins bien classés).
- variance (des scores à cette question)
- écart type (des scores à cette question)
- indice de difficulté
- score alpha (pour l'ensemble de l'examen)
- bisérialisme ponctuel de la bonne réponse (indice de fiabilité)
- bisériale pointée de la première réponse incorrecte ou distracteur (suivie de la deuxième, etc.)
Les utilisateurs autorisés à lire les données SIS du cours peuvent également consulter la colonne sis_id dans le fichier CSV téléchargé.
Cette ressource est également accessible depuis les guides Canvas suivants :