Lors de la réalisation d'une évaluation à cycle rapide (ECR) , examinez vos objectifs afin de déterminer le rapport d'ECR à générer. Que cherchez-vous à accomplir avec cette recherche ? Vous pouvez avoir plusieurs objectifs. La définition de vos objectifs de recherche orientera le rapport d'ECR et influencera la collecte, l'analyse et les conclusions des données. En sélectionnant ces objectifs, vous circonscrivez le champ d'application et la portée de votre recherche.
Les responsables de l'éducation définissent souvent des objectifs de recherche dans les domaines suivants :
L'analyse dans ces domaines permet de déterminer :
- comment un produit de technologie éducative est utilisé
- comment les utilisateurs suivent les directives d'utilisation recommandées
- L'utilisation accrue d'un produit de technologie éducative est-elle liée à de meilleurs résultats d'apprentissage ?
- que les élèves qui utilisent un produit de technologie éducative obtiennent de meilleurs résultats que les autres élèves
- économies potentielles
Objectifs de l'analyse d'utilisation
Objectif 1 : Comprendre comment mon produit de technologie éducative est utilisé
Souhaitez-vous mieux comprendre l'utilisation des technologies éducatives dans votre établissement ou votre circonscription ? La mise en œuvre des produits peut varier considérablement selon leur utilisation et leur accessibilité. Comprendre dans quelle mesure un produit est utilisé et par qui constitue une première étape essentielle pour évaluer l'efficacité des technologies éducatives dans votre contexte. Selon la date de disponibilité des données relatives à vos produits numériques, vous pouvez générer ces rapports mensuellement ou tous les deux ou trois mois afin d'analyser l'utilisation de chaque produit.
Objectif 2 : Comprendre comment les utilisateurs respectent les consignes d’utilisation recommandées
Les utilisateurs étaient-ils censés interagir avec un produit numérique éducatif d'une manière particulière ? Souhaitez-vous savoir s'ils ont respecté ces attentes ? Un fournisseur de produit ou un responsable pédagogique peut définir des objectifs d'utilisation pour un produit numérique éducatif (par exemple, cinq heures par semaine). Si vous souhaitez savoir combien d'utilisateurs ont atteint ce niveau recommandé, cet objectif de recherche est fait pour vous. À l'instar du premier objectif, ces rapports peuvent être générés mensuellement ou tous les quelques mois, selon la fréquence de mise à disposition des données.
Objectifs de l'analyse des résultats
Objectif 3 : Comprendre si une utilisation accrue de mon produit est liée à de meilleurs résultats d’apprentissage
Souhaitez-vous savoir si une utilisation accrue d'un outil numérique éducatif est liée à de meilleurs résultats d'apprentissage ? Voulez-vous identifier les niveaux d'utilisation optimaux pour vos utilisateurs ? Ce type de rapport d'évaluation comparative de l'expérience (RCE) inclut uniquement les utilisateurs ayant bénéficié de l'outil numérique éducatif ou de l'intervention (par exemple, des résultats sans groupe de comparaison) afin d'examiner les liens entre l'utilisation de l'outil et un indicateur de résultat (par exemple, les notes obtenues à un test de mi-année). Vous pourrez ainsi analyser l'évolution de l'apprentissage au fil du temps et déterminer si l'utilisation de l'outil est liée à cette évolution. Cet objectif correspond à l'un de nos rapports RCE les plus courants et peut être généré aussi souvent que vous disposez de données.
Objectif 4 : Déterminer si les élèves qui utilisent mon produit obtiennent de meilleurs résultats que les autres élèves.
Souhaitez-vous savoir s'il existe une différence de résultats entre les utilisateurs qui utilisent un produit numérique éducatif et ceux qui ne l'utilisent pas (par exemple, les résultats d'un groupe témoin) ? Existe-t-il des niveaux d'utilisation optimaux pour vos utilisateurs ayant utilisé le produit numérique éducatif ? Dans ce type de rapport d'évaluation de l'efficacité des données (EED), vous incluez les utilisateurs qui reçoivent un produit numérique éducatif ou une intervention (par exemple, un groupe de traitement/intervention) et comparez leurs résultats à ceux des utilisateurs qui ne reçoivent pas le même produit ou la même intervention (par exemple, un groupe témoin) afin de déterminer s'il existe des différences entre les groupes. Il s'agit de l'approche la plus rigoureuse pour comprendre l'efficacité des produits numériques éducatifs ; nous recommandons donc d'examiner d'abord les objectifs précédents avant d'établir ce type de rapport EED. Vous pouvez générer ce type de rapport EED aussi souvent que vous disposez de résultats.
Le critère de résultat fait référence au résultat éducatif d'intérêt, qui doit être une mesure sur laquelle l'intervention pourrait avoir un impact (par exemple, l'évaluation des compétences en lecture et en écriture dans le cadre d'une intervention en littératie). Généralement, ce critère doit être une mesure quantitative présentant une fiabilité et une validité élevées, comme les scores obtenus à des tests standardisés. Dans les rapports d'analyse des résultats des études comparatives d'impact environnemental (ECE), l'analyse inclut des covariables qui tiennent compte des données externes susceptibles d'influencer le résultat (par exemple, les résultats au prétest).
Objectif de l'analyse des coûts
Objectif 5 : Comprendre les économies potentielles pour mon produit
Souhaitez-vous connaître les économies potentielles pour votre produit ? Après avoir analysé l’utilisation de votre produit numérique éducatif au fil du temps, vous pourrez identifier les opportunités de réduction des coûts lorsque les produits sont peu ou pas utilisés.
Les rapports RCE permettent d'obtenir des informations sur l'ensemble de la population de votre établissement ou de votre district, ou sur différentes sous-populations (par exemple, par niveau scolaire ou par sexe). La population correspond au groupe de participants (par exemple, les élèves) inclus dans vos analyses. La population d'intérêt peut être très large ou se limiter à un sous-groupe particulier de participants, comme les élèves d'un même établissement ou d'un même niveau scolaire, les élèves ayant des niveaux de performance différents, ou encore les élèves s'identifiant à un sexe, une origine ethnique ou un statut particulier. Pour les rapports RCE, vous pouvez créer des groupes d'élèves en fonction de la mise en œuvre de votre produit et du contexte d'utilisation au sein de votre organisation. Votre responsable RCE peut vous aider à définir ces groupes.