Ce document fournit des informations complètes sur le rapport d'analyse des questionnaires et des items des nouveaux quiz, ainsi que sur les calculs associés. Le rapport comprend deux sections principales : l'analyse des questionnaires et l'analyse des items, qui abordent les sujets suivants :
- Résumé global des résultats au quiz :Présente un aperçu des statistiques des quiz, permettant aux administrateurs et aux instructeurs d'appréhender globalement les performances des étudiants.
- Statistiques individuelles des articles :Affiche les statistiques de chaque article sous forme de question indépendante.
- Corrélation entre un élément individuel et le score total du questionnaire :Permet d'évaluer dans quelle mesure un élément contribue à la mesure du construit sous-jacent évalué.
Bon nombre des statistiques décrites incluent des valeurs suggérées pour vous aider à comprendre ce que vous devez rechercher. Cependant, en matière d'analyse des items, il n'existe pas de réponses universelles ni de plages de valeurs permettant de déterminer la validité ou les résultats acceptables ; votre établissement peut utiliser des plages différentes pour évaluer certaines mesures.
Exclusions de données du rapport d'analyse des questionnaires et des items
Le rapport d'analyse des questionnaires et des items est un rapport disponible sur demande.Le rapport inclut les réponses reçues jusqu'à sa date de création. Toutefois, les contributions suivantes sont exclues.pasinclus dans le rapport d'analyse des questionnaires et des items :
- Les soumissions qui n'ont pas encore été évaluées par le correcteur automatique
- Plusieurs tentatives pour les quiz
- Note:Seul le dernier essai pour un quiz est inclus dans le rapport.
- Questions qui n'ont pas été notées pour au moins la moitié des soumissions
- Remarques :
- Les questions restantes sont à nouveau filtrées afin d'exclure les soumissions contenant des questions non notées.
- Le nombre maximal de points possibles pour le quiz est réduit pour correspondre au nombre de points attribués aux questions incluses dans le rapport.
- Éléments ajoutés par un enseignant lors de la prévisualisation d'un questionnaire ou en mode étudiant
Règles relatives aux questionnaires et aux rapports d'analyse des questions
Les données du rapport peuvent s'afficher différemment en raison des règles suivantes :
- Dans certains cas, certaines métriques ne peuvent être calculées à partir des données disponibles. Elles affichent alors « N/A » (Non applicable) au lieu de leur valeur. Par exemple, si toutes les questions d'un questionnaire sont des éléments aléatoires, le coefficient alpha de Cronbach ne peut être calculé. De même, s'il est impossible de répartir les étudiants en trois groupes,indice de discriminationne peut être calculé.
- Les indicateurs exprimés en pourcentage sont arrondis à l'entier le plus proche, tandis que les autres indicateurs sont arrondis à deux décimales.
Résumé du quiz
Cette section définit les points de données qui figurent dans la section « Résumé du questionnaire » du rapport.
Meilleur score
Affiche le pourcentage de score le plus élevé obtenu parmi les étudiants ayant passé le quiz.
Score faible
Affiche le pourcentage le plus bas obtenu parmi les étudiants ayant passé le quiz.
Score moyen
Affiche le score moyen en pourcentage des étudiants ayant passé le quiz.
Score médian
La médiane représente la valeur centrale des scores en pourcentage parmi les étudiants ayant passé le quiz, lorsque tous les scores sont classés par ordre croissant. Contrairement à la moyenne, qui peut être influencée par les valeurs extrêmes, la médiane n'est pas affectée par les valeurs aberrantes.
Temps moyen écoulé
Affiche le temps moyen nécessaire pour terminer le quiz.
Tableau de répartition des scores
Affiche la répartition des scores en pourcentage obtenus par les étudiants ayant passé le quiz.
Écart type
Qu'est-ce que l'écart type ?
L'écart type mesure la dispersion absolue moyenne des scores autour de la moyenne. Un écart type faible indique que, en moyenne, les scores sont proches de la moyenne de l'ensemble de données. Une valeur élevée indique que, en moyenne, les scores s'écartent fortement de la moyenne. L'unité de mesure de l'écart type doit être la même que celle de la moyenne. Par exemple, si la moyenne est exprimée en pourcentage, l'écart type doit également l'être.
Comment calcule-t-on l'écart type ?
L'écart type est calculé en trouvant la racine carrée de la moyenne des carrés des différences entre chaque soumission et la moyenne :
où 𝑛 est le nombre de réponses, 𝜇 est le score moyen et 𝑥ᵢ est le score en pourcentage de la i-ème soumission.
Comment les valeurs aberrantes affectent-elles la valeur de l'écart type ?
Les valeurs aberrantes sont des scores très éloignés de la moyenne. Elles peuvent fortement influencer la moyenne utilisée pour calculer l'écart type. Si l'écart type est élevé et que des valeurs aberrantes sont présentes, cela peut signifier qu'il ne représente pas la valeur typique.
Alpha de Cronbach
Qu’est-ce que l’alpha de Cronbach ?
L’alpha de Cronbach est une mesure de cohérence interne qui estime la fiabilité d’un questionnaire. Les valeurs varient de 0 à 1, les valeurs les plus élevées indiquant une plus grande fiabilité.
Note:Comme le coefficient alpha de Cronbach mesure la cohérence interne, les items randomisés fausseraient la valeur ; par conséquent, tous les items randomisés d’un questionnaire sont exclus.
Comment est-ce calculé ?
où 𝑘 est le nombre de questions, 𝜎ᵢ² est la variance des scores de la i-ème question et 𝜎ₓ² est la variance du quiz.
Comment interpréter et évaluer la valeur de l'alpha de Cronbach ?
Les valeurs varient de 0 à 1, les valeurs les plus élevées indiquant une plus grande cohérence interne et une meilleure fiabilité : les items sont alors fortement corrélés et mesurent le même construit sous-jacent. Une valeur de zéro indique une absence totale de corrélation entre les items, qui sont donc totalement indépendants. Connaître la réponse à un item ne permet pas de répondre correctement à un autre item du questionnaire.
Bien qu'il n'existe pas de seuil strict, une valeur de 0,70 ou plus est considérée comme acceptable. Des valeurs inférieures peuvent être acceptables si le questionnaire porte sur un sujet complexe.
Vous pouvez évaluer lecoefficient de corrélation item-total corrigéafin d’identifier les éléments qui pourraient être moins corrélés au construit sous-jacent mesuré. La suppression de ces éléments pourrait améliorer le coefficient alpha de Cronbach.
Limites
L’alpha de Cronbach évalue la cohérence interne, mais ne garantit ni la validité ni la qualité.
Statistiques individuelles des articles
Moyenne des points gagnés
Affiche le score moyen obtenu par les élèves ayant reçu l'élément.
Points médians obtenus
La médiane représente la valeur médiane des scores obtenus par les étudiants ayant passé l'exercice, une fois tous les scores classés par ordre croissant. Contrairement à la moyenne, qui peut être influencée par les valeurs extrêmes, la médiane n'est pas affectée par les valeurs aberrantes.
Niveau de difficulté de l'élément
Qu'est-ce que la difficulté d'un objet ?
La difficulté d'une question (également appelée valeur p) correspond à la proportion de participants ayant répondu correctement. Les valeurs varient de 0 (aucune réponse correcte) à 1 (toutes les réponses étaient correctes).
Note: Le calcul de la difficulté de l'item fonctionne comme une question dichotomique et ignore les points ou crédits partiels.
Comment est-ce calculé ?
Le niveau de difficulté d'une question est calculé en divisant le nombre de participants ayant répondu correctement par le nombre total de participants. Dans le cas de questions aléatoires, le nombre total de participants ne comprend que les étudiants ayant reçu cette question dans le cadre de leur questionnaire.
où 𝐶 est le nombre d'élèves qui ont répondu correctement et 𝑇 est le nombre total d'élèves.
Comment interpréter et évaluer la valeur de difficulté d'un élément ?
Une valeur de difficulté proche de 1 signifie que la plupart des étudiants ont répondu correctement à la question, ce qui peut indiquer que la question est considérée comme facile ou qu'elle ne représente pas un défi suffisant pour les étudiants. Cela peut correspondre à l'objectif recherché si la question est utilisée pour évaluer la maîtrise des compétences. Une valeur proche de 0 suggère que peu de participants ont répondu correctement, ce qui peut indiquer que la question est difficile pour les étudiants.
Bien qu'il n'existe pas de seuil strict, on considère généralement que les questions dont le niveau de difficulté est inférieur à 0,30 sont trop difficiles, et celles dont le niveau est supérieur à 0,85, trop faciles. Si le niveau de difficulté d'une question est trop élevé ou trop faible, il est conseillé de l'ajuster ou de revoir sa formulation afin de mieux correspondre au niveau de difficulté souhaité.
Comme toute proportion ou tout pourcentage, la taille de l'échantillon utilisé peut grandement influencer la mesure de la difficulté de l'item. Lorsque la taille de l'échantillon est petite, quelques soumissions peuvent modifier considérablement la valeur, tandis que lorsque la taille de l'échantillon est grande, il faut davantage de soumissions avec le même score/la même valeur pour modifier la difficulté globale de l'item.
Note:Pour obtenir une image plus complète d'un article, envisagez d'évaluer leindice de discriminationet lecoefficient de corrélation item-total corrigé.
Calculs de corrélation
Les calculs suivants permettent de mieux comprendre comment chaque élément est lié ou corrélé au score total attribué au questionnaire et aux autres éléments du questionnaire.
Coefficient de corrélation item-total corrigé
Quel est le coefficient de corrélation item-total corrigé ?
Le coefficient de corrélation item-total corrigé correspond à la valeur de la corrélation de Pearson obtenue lorsqu'on corrèle le score d'un item avec le score total du questionnaire dont il est extrait. La correction de cette valeur intervient lorsque l'item corrélé est retiré du score total calculé afin d'éliminer un biais ; ainsi, l'item n'est comptabilisé qu'une seule fois au lieu de deux dans le calcul. Les spécialistes modernes de la mesure (psychométriciens et experts en évaluation des évaluations) ont tendance à privilégier cette mesure à l'indice de discrimination, car elle prend en compte l'ensemble de l'échelle de score plutôt que de se concentrer uniquement sur les valeurs extrêmes.
En résumé, cet indicateur permet de déterminer si les étudiants qui répondent correctement à une question (ou qui obtiennent un score plus élevé à cette question que les autres étudiants) ont tendance à obtenir de meilleurs résultats au reste du questionnaire. Ou inversement, il permet de montrer si ceux qui réussissent mal à une question ont également tendance à moins bien réussir au reste du questionnaire.
Comment est-ce calculé ?
Le coefficient de corrélation corrigé entre le score de l'item et le score total est calculé en divisant la covariance du score de l'item et du score du test (moins l'item en question ; le score total corrigé) par le produit de l'écart type de l'item et de l'écart type du score total corrigé :
où cov (élément, score total corrigé)est la covariance de l'item et du score total corrigé :
cov(item, score total corrigé)= 𝑛∑(élément) (score total corrigé)- (∑ article)(∑score total corrigé)
Comment interpréter et évaluer la valeur du coefficient de corrélation item-total corrigé ?
Cette valeur, comme les autres coefficients de corrélation, varie de -1 à +1. Idéalement, les items devraient viser des valeurs supérieures ou égales à +0,20. Les valeurs proches de 0 indiquent une corrélation faible, voire nulle, entre la performance à un item et la performance au reste du test. Les valeurs négatives révèlent un comportement inattendu (par exemple, les personnes obtenant de bons résultats à un item ont tendance à obtenir des scores plus faibles au reste du questionnaire, et inversement). En un sens, cette mesure est considérée comme un indicateur de discrimination plus complet et plus sensible.
Indice de discrimination
Qu'est-ce que l'indice de discrimination ?
L'indice de discrimination mesure la capacité d'un item à différencier les individus ayant obtenu les scores les plus élevés et les plus faibles. Il varie de -1 à +1. Une valeur élevée indique une bonne discrimination, tandis qu'une valeur faible (ou négative) indique une mauvaise discrimination.
Comment est-ce calculé ?
Pour calculer l'indice de discrimination, les étudiants ayant passé le test sont classés par percentile en fonction de leurs scores, puis répartis en trois groupes : ceux dont le score est inférieur ou égal au 27e percentile, ceux dont le score est supérieur ou égal au 63e percentile, et ceux dont le score se situe entre les deux. La difficulté des questions (valeur p) est calculée pour les deux groupes. La discrimination correspond à la différence entre la difficulté des questions du groupe supérieur et celle du groupe inférieur.
Comment interpréter et évaluer la valeur de l'indice de discrimination ?
À l'instar du coefficient de corrélation item-total corrigé, un indice de discrimination élevé indique que les individus qui réussissent bien au test ont tendance à bien réussir à l'item en question. Un indice de discrimination faible signifie que l'item est peu discriminant. Une valeur négative indique une relation inversée ou inattendue. Les seuils des plages de valeurs varient, mais voici quelques lignes directrices générales :
Indice de discrimination | Interprétation |
|---|
0,40 et plus | Très bonne discrimination |
0,30 - 0,39 | Bonne discrimination |
0,20 - 0,29 | discrimination équitable |
0,10 - 0,19 | Non discriminatoire |
En dessous de 0,10 | Article de mauvaise qualité |
Négatif | Relation inversée |
Fichiers CSV et objets JSON
Comment interpréter et évaluer le fichier CSV pour l'analyse des nouveaux quiz et des items ?
Le fichier CSV du rapport d'analyse des quiz et des items des nouveaux quiz contient les mêmes informations que celles visibles dans l'interface Canvas.
Remarques :
- Contrairement à l'interface Canvas, les métriques ne sont pas arrondies dans le fichier CSV.
- Si un champ ne peut pas être calculé (par exemple : l’alpha de Cronbach), la mention « N/A » est ajoutée à la cellule.
- Si un champ n'est pas disponible dans le rapport (par exemple, le nombre d'étudiants « Pas de réponse » pour le type de question de catégorisation), la mention « Non pris en charge » est ajoutée à la cellule.
Le nom du fichier CSV est composé du titre du questionnaire et de la chaîne de caractères « Rapport d'analyse du questionnaire et des questions ».
Les neuf premières colonnes sont réservées à l'analyse du questionnaire et une seule ligne est remplie.
Les en-têtes de colonnes sont les suivants :
Rapport généré :Date et heure de génération du rapport
Titre du quiz :Titre du quiz
QuizHighScore :Meilleur score
QuizLowScore :Score faible
Score moyen du quiz :Score moyen
Score médian du quiz :Score médian
Écart-type du quiz :Écart type
QuizCronbachsAlpha :Alpha de Cronbach
Temps moyen écoulé du quiz :Temps moyen écoulé
De la dixième colonne jusqu'à la fin, la première ligne est toujours vide. Ensuite, chaque ligne représente une question du questionnaire.
Les en-têtes de colonnes sont les suivants :
ID de l'article :Identifiant de l'élément de quiz
Titre: Titre de l'article
Difficulté de l'article :Niveau de difficulté de l'élément
Points possibles :Points maximums possibles
Points gagnés moyens :Moyenne des points gagnés
Points gagnés médians :Points médians obtenus
Indice de discrimination :Indice de discrimination
Corrélation totale de l'élément corrigé :Coefficient de corrélation total des éléments corrigé
Type d'article :Type de question
Correct: Nombre d'élèves ayant répondu correctement à la question
Incorrect :Nombre d'étudiants ayant répondu incorrectement à la question
Aucune réponse :Nombre d'étudiants qui n'ont pas répondu à la question
Fréquences de réponse :Représentation du tableau récapitulatif de la fréquence des réponses
Comment lire et interpréter la colonne AnswerFrequencies ?
Le tableau récapitulatif de la fréquence des réponses est représenté sous forme d'objets JSON (JavaScript Object Notation) en raison de la complexité des données.Apprenez-en davantage sur JSON.
L'objet JSON suivant représente une question de catégorisation :
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
Le champ « réponses » est une liste d’objets.
Chaque réponse comporte les mêmes champs : la « réponse » (le texte de la réponse) et les « catégories » (une liste d’objets).
Un objet catégorie possède trois champs :
- Le champ « catégorie » correspond au nom de la catégorie que vous avez créée.
- Le champ « nombre » indique combien d’étudiants ont ajouté des réponses à cette catégorie.
- Le champ « correct » indique si la réponse est considérée comme correcte dans cette catégorie.
Note:Vous pouvez voir « category: “_distractors_” » sur chaque réponse. Cela concerne les distracteurs supplémentaires précédés et suivis d'un suffixe, afin d'éviter toute confusion si vous utilisez le nom « Disctractors » comme catégorie dans votre question.