Les groupes d'utilisateurs sont des sous-ensembles d'étudiants regroupés selon leur utilisation d'un produit numérique éducatif (par exemple, faible, modérée ou élevée). L'évaluation en cycle rapide (ECR) génère statistiquement ces groupes à partir des habitudes d'utilisation naturelles grâce à un algorithme avancé. Cet algorithme détermine le nombre optimal de groupes en fonction des similarités d'utilisation totale du produit (par exemple, le nombre total de minutes d'utilisation). L'ECR compare ensuite les habitudes d'utilisation et l'efficacité du produit au sein de ces groupes.
Qu’est-ce qu’un essai (ou projet pilote) et comment est-il intégré dans l’évaluation en cycle rapide (RCE) ?
Un essai (ou projet pilote) utilise une enquête fondée sur la recherche pour aider les utilisateurs à recueillir les commentaires et les points de vue des enseignants concernant l'efficacité perçue des technologies éducatives. Il permet aux parties prenantes de générer des données qualitatives et quantitatives (par exemple, des notes attribuées au produit selon les critères fondamentaux de la grille d'évaluation LearnPlatform et des commentaires libres) auprès des enseignants d'un établissement, d'un district ou d'un État. Outre les commentaires sur le produit provenant d'enseignants vérifiés sur LearnPlatform, RCE intègre les résultats de l'essai dans la section « Commentaires » du rapport RCE, permettant ainsi aux utilisateurs de mieux comprendre comment leurs enseignants et les membres de la communauté LearnCommunity évaluent le produit selon les critères fondamentaux jugés les plus importants lors de l'essai, de l'achat ou de l'utilisation d'une technologie éducative.
Comment l'RCE divise-t-elle l'échantillon en groupes de traitement et de contrôle ?
- Conception de l'étude contrôlée : Dans une étude contrôlée, les groupes de traitement et de contrôle (ou de comparaison) sont déterminés par l'établissement scolaire ou le district. Si un établissement scolaire ou un district répartit les élèves dans les groupes de traitement et de contrôle (par randomisation ou non), ces groupes prédéfinis sont utilisés dans l'analyse comparative avec effets aléatoires (ACEA).
- Conception d'étude comparative : De nombreux établissements scolaires et districts optent pour une mise en œuvre généralisée des technologies éducatives plutôt que de mener un essai (ou une étude pilote) selon une méthodologie expérimentale. Une autre possibilité consiste à fournir des données historiques pour évaluer l'utilisation et l'impact des technologies éducatives sans avoir préalablement utilisé de méthodologie de recherche. Dans ce cas, les groupes expérimentaux sont composés d'élèves ayant utilisé le produit numérique, et les groupes témoins, d'élèves ne l'ayant pas utilisé.
- Plan d'étude corrélationnel : Les études corrélationnelles ne comportent pas de groupe témoin. Elles incluent uniquement un groupe expérimental ayant bénéficié de l'intervention. Dans ce type d'étude, l'analyse corrélationnelle des résultats (ACR) examine la relation entre l'utilisation d'un produit et un résultat pédagogique, tout en contrôlant statistiquement les covariables.
L’évaluation comparative des résultats (RCE) tient-elle compte de la variété des variables ayant une incidence sur l’efficacité des technologies éducatives ?
Outre l'impact des technologies éducatives sur la réussite scolaire, d'autres facteurs influencent l'efficacité de toute intervention, tels que la qualité de l'enseignement et les différences démographiques ou de réussite entre les élèves. L'analyse de la complexité relative (RCE) permet de prendre en compte les variables liées aux élèves, aux classes et aux établissements, comme le niveau scolaire, les performances antérieures, les caractéristiques démographiques des élèves et bien d'autres facteurs. La RCE intègre toutes les covariables présentes dans les données et ajuste statistiquement la taille de l'effet en conséquence.
L'examen des quintiles de performance permet à RCE de déterminer si un produit edtech démontre sa capacité à réduire l'écart de réussite scolaire.
- Plans d'étude comparatifs/de contrôle : Au sein des groupes de traitement et de contrôle, les élèves sont d'abord répartis en quintiles selon leurs performances antérieures (par exemple, leur moyenne générale avant l'intervention, leur score à un test précédent). L'analyse de la robustesse des résultats (ARR) calcule ensuite la taille de l'effet au sein de chaque groupe de réussite, démontrant ainsi l'efficacité d'un produit numérique éducatif pour les élèves de différents niveaux (c'est-à-dire la différence moyenne standardisée entre les scores post-test des élèves de chaque niveau). Les produits numériques éducatifs présentant une taille d'effet positive et importante pour les élèves ayant historiquement de faibles performances sont susceptibles de contribuer à réduire l'écart de réussite. Par exemple, dans le cadre d'un plan d'étude comparatif ou de contrôle, si l'ARR révèle que les tailles d'effet d'un produit numérique éducatif sont positives et plus élevées pour les élèves des quintiles de réussite les plus faibles, alors ce produit démontre une efficacité potentielle pour réduire l'écart de réussite.
- Plans d'étude corrélationnels : RCE répartit les élèves en quintiles selon leurs performances antérieures. Ensuite, une taille d'effet est calculée au sein de chaque groupe, démontrant la relation entre l'utilisation du produit et les résultats des élèves au post-test. Des tailles d'effet positives indiquent qu'une utilisation accrue du produit est généralement associée à de meilleurs résultats, tandis que des tailles d'effet négatives indiquent le contraire. Par exemple, dans un plan d'étude corrélationnel, si RCE constate une taille d'effet négative pour un produit chez les élèves du quintile de réussite le plus faible, cela signifie qu'une utilisation plus importante du produit est associée à des scores plus faibles au post-test pour ce groupe d'élèves.
Comment les résultats sont-ils communiqués aux parties prenantes ?
Les administrateurs disposent d'une flexibilité et d'un contrôle complets pour partager les résultats au sein de leur organisation et avec les principales parties prenantes. LearnPlatform leur permet de partager les rapports RCE, les résultats des évaluations des enseignants et les tableaux de bord d'utilisation via une URL unique et/ou au format imprimé. Ils peuvent définir des autorisations de connexion pour permettre à chaque type d'utilisateur d'accéder aux résultats qui le concernent. De plus, tous les graphiques et affichages visuels du RCE peuvent être exportés (par exemple, aux formats PNG, JPEG ou SVG).