Pour réaliser une évaluation à cycle rapide (RCE™) dans LearnPlatform, vous avez besoin de différents fichiers de données. Selon vos objectifs de recherche, quatre principaux types de données sont requis :
- Données d'utilisation
- Données du système d'information étudiant (SIS)
- Données sur les résultats
- données de tarification
Les données que vous collectez déjà ou que vous prévoyez de collecter fournissent les informations dont votre équipe a besoin pour atteindre ses objectifs. Une seule donnée peut suffire (par exemple, des données d'utilisation), ou plusieurs types de données peuvent être nécessaires (par exemple, des données sur les résultats). En effet, différentes données répondent à différentes questions. L'équipe d'assistance de LearnPlatform est à votre disposition pour vous aider à déterminer les données dont vous aurez besoin.
Le moteur d'évaluation sécurisé et à cycle rapide de LearnPlatform traite les données, ainsi que d'autres données provenant de votre district (telles que les informations démographiques et les résultats des évaluations). L'analyse conjointe des données d'utilisation du programme et d'autres données permet d'identifier les axes d'amélioration de sa mise en œuvre pour de meilleurs résultats.
Remarques :
L'équipe de recherche de LearnPlatform est là pour vous accompagner tout au long de ce travail, de la planification à la recherche des fichiers de données mentionnés dans ce document. Cela inclut également le nettoyage des données, l'exécution de vos tests d'exécution de code (RCE) et la fourniture des rapports de synthèse associés. Le rôle principal de votre équipe est de nous aider à accéder aux données nécessaires et à utiliser les résultats pour prendre des décisions. Contactez support-lp@instructure.com .
Données d'utilisation
Les données d'utilisation représentent le niveau d'engagement d'un utilisateur (par exemple, un étudiant) avec l'outil pédagogique. Ces données (également appelées indicateurs d'utilisation) comprennent notamment le temps passé sur le système (en minutes), le nombre de jours d'utilisation, le nombre total de connexions, le nombre total de leçons tentées, le nombre de leçons terminées et le nombre de leçons maîtrisées.
Les fournisseurs de solutions numériques éducatives permettent souvent aux administrateurs d'exporter les données d'utilisation. Selon l'outil choisi, il peut être nécessaire de contacter directement l'administrateur de votre district ou le fournisseur pour obtenir ces données.
Liste de contrôle des données d'utilisation
❏ Mes données sont-elles au niveau de l'utilisateur ?
❏ Les données incluent-elles l'utilisation par la population cible ?
❏ Mes données contiennent-elles des identifiants utilisateur qui correspondent à ceux de mes autres fichiers ?
❏ Mes données couvrent-elles uniquement les deux semaines précédant la fin de ma période de test ? (si vous effectuez une analyse des résultats)
❏ Mes données comportent-elles au moins une mesure claire ? (ex. : temps total en minutes, leçons terminées)
Remarques :
- Ces données doivent être accessibles au niveau de l'utilisateur. Les données au niveau du district ou de l'établissement scolaire ne conviennent pas à une évaluation comparative des résultats (RCE).
- Une seule métrique d'utilisation est nécessaire pour exécuter une RCE.
- Notre équipe peut vous aider à déterminer si les données d'utilisation d'un fournisseur sont appropriées pour une RCE.
Données SIS
Les données des systèmes d'information scolaire (SIS) comprennent les identifiants des élèves et des données démographiques. Par exemple : l'identifiant de l'élève, son niveau scolaire, son établissement, son origine ethnique, son sexe, son statut en matière d'éducation spécialisée et son statut de bénéficiaire de repas gratuits ou à prix réduit.
RCE utilise les données SIS de deux manières :
- Pour tenir compte des différences dans l'analyse principale : l'évaluation en cycle rapide (ECR) utilise les données du SIS comme covariable dans l'analyse principale, car les différences de données du SIS entre les élèves, les classes ou les écoles peuvent influencer les résultats de l'étude. Par exemple, le groupe témoin pourrait compter davantage d'élèves bénéficiant de services d'éducation spécialisée. En incluant un indicateur de services d'éducation spécialisée, nous pouvons neutraliser cette variation entre les groupes afin qu'elle n'influence pas les résultats.
- Pour examiner les différences de résultats par sous-groupes : l’évaluation à cycle rapide (ECR) permet d’analyser les résultats globaux et ceux de sous-groupes spécifiques. L’intégration des données du système d’information scolaire (SIS) permet d’approfondir l’étude de l’utilisation et des performances au sein des sous-groupes du SIS (par exemple, niveau scolaire, sexe, établissement). Par exemple, l’utilisation du produit numérique éducatif a-t-elle permis d’obtenir de meilleurs résultats d’apprentissage selon le niveau scolaire ?
Pour recueillir des données SIS, vous devrez peut-être contacter l'administrateur SIS ou le gestionnaire de données de votre district pour accéder aux données ou pour les inclure dans le processus de découverte des données.
Liste de contrôle des données de résultats
❏ Mes données sont-elles au niveau de l'utilisateur ?
❏ Dans la population d'intérêt ?
❏ Mes données contiennent-elles des identifiants utilisateur qui correspondent à ceux de mes autres fichiers ?
❏ Mes résultats sont-ils cohérents avec ma période de test ?
❏ Existe-t-il une colonne de scores clairement visible ?
Liste de contrôle des données démographiques
❏ Mes données sont-elles au niveau de l'utilisateur ?
❏ Dans la population d'intérêt ?
❏ Mes données contiennent-elles des identifiants utilisateur qui correspondent à ceux de mes autres fichiers ?
❏ Mes données SIS contiennent-elles des identifiants démographiques intéressants ?
Remarque : Bien que les données SIS soient facultatives lors d’une étude comparative randomisée contrôlée (ECR), quel que soit votre objectif de recherche, inclure autant de données SIS que nécessaire permet d’éliminer l’influence d’autres variables et de s’assurer que les effets observés sont attribuables à l’intervention. Votre équipe peut collaborer avec LearnPlatform pour déterminer la meilleure utilisation des données SIS.
Données sur les résultats
Les données de résultats mesurent les performances scolaires que le produit numérique éducatif prétend influencer. Pour réaliser une analyse des résultats avec LearnPlatform (c’est-à-dire une analyse établissant un lien entre l’utilisation du produit numérique éducatif et l’apprentissage des élèves), notre équipe de recherche demandera un indicateur de résultats standardisé, fiable et valide . Afin d’examiner l’impact des technologies éducatives sur l’apprentissage des élèves, nous recommandons d’utiliser un indicateur de résultats représentatif de leur réussite scolaire.
Les données de résultats comprennent notamment les scores aux évaluations standardisées, la moyenne cumulative ou l'assiduité. Il existe deux principaux types de données de résultats :
- Avant l'intervention : Performances ou scores avant l'utilisation du produit numérique éducatif. Ces données sont utilisées comme covariable dans les analyses comparatives de cas (ACC) afin de tenir compte des différences de performance des élèves avant que l'intervention (c.-à-d. le produit numérique éducatif) ne soit mise à leur disposition.
- Après l'intervention : Résultats ou scores obtenus après l'utilisation du produit numérique éducatif. Ces données nous permettent d'examiner les performances des élèves et l'impact de l'intervention.
L’analyse des résultats peut aider votre équipe à répondre à diverses questions de recherche. Deux types courants d’analyses des résultats sont décrits ci-dessous :
- Sans groupe de comparaison : examinez la relation entre l’utilisation des produits de technologie éducative et les résultats obtenus après l’intervention.
- Avec un groupe de comparaison : examiner si les élèves qui utilisent le produit de technologie éducative obtiennent de meilleurs résultats que les autres élèves, en fonction des résultats obtenus après l’intervention.
Pour accéder aux données de résultats, la plupart des systèmes d'évaluation offrent un accès facile aux rapports destinés aux utilisateurs. Il vous faudra peut-être contacter le responsable des évaluations de votre district pour obtenir ces rapports. Votre collègue de l'équipe RCE peut également vous aider en vous fournissant des exemples de données.
Données de tarification
Les données de tarification comprennent le coût de l'abonnement ou de la licence du produit numérique éducatif, calculé par étudiant ou par établissement. Elles peuvent également inclure d'autres coûts directs et indirects liés à l'utilisation du produit (par exemple, la formation continue, les heures de travail du personnel). L'intégration de ces données dans les analyses d'utilisation et de résultats est facultative.
Les tarifs sont généralement intégrés à votre catalogue de produits lors de la mise en œuvre technique. Vous pouvez également soumettre les informations de coût lors de la configuration de l'environnement de test (RCE) si elles n'ont pas déjà été communiquées à LearnPlatform. Dans ce cas, il vous faudra peut-être contacter une personne au sein de votre organisation qui dispose des informations d'achat concernant l'outil numérique éducatif qui vous intéresse. LearnPlatform peut également vous aider à déterminer le coût approximatif par utilisateur si celui-ci n'est pas clairement indiqué sur la facture du fournisseur.
Données indisponibles ou inaccessibles
Il existe de nombreuses raisons pour lesquelles des données peuvent être indisponibles. Parfois, les données sont inaccessibles car le fournisseur n'a pas autorisé l'accès ou ne collecte pas de données actuellement. D'autres fois, les données sont présentées de manière inutilisable (par exemple, un décompte agrégé des activités réalisées par district au lieu de données au niveau de l'utilisateur).
Si les données nécessaires ne sont pas disponibles, il se peut que la question de recherche ne puisse être résolue. C’est pourquoi il est important de vérifier les données disponibles lors de la formulation de votre objectif de recherche. Votre équipe de recherche et d’évaluation des compétences (REC) peut vous accompagner tout au long de ce processus ou vous proposer d’autres solutions pour vous permettre d’obtenir le maximum d’informations possible.