Équivalence de référence
L’objectif de cette étude est d’évaluer la similarité des caractéristiques de deux groupes ou plus (par exemple, groupe de traitement/intervention et groupe témoin) au début de l’étude, afin de comparer l’effet de l’intervention sur ces groupes. Lors de la comparaison des effets d’une intervention sur deux groupes ou plus, on suppose que ces groupes sont équivalents en termes de performance, de données démographiques ou d’autres caractéristiques cibles avant l’intervention (c’est-à-dire à l’inclusion), de sorte que toute différence observée ultérieurement puisse être attribuée à l’intervention.
L'établissement d'une équivalence initiale permet d'isoler l'effet de l'intervention sur le traitement, tout en éliminant les facteurs de confusion et les influences externes. Par exemple, si le groupe de traitement compte davantage d'élèves plus performants que le groupe témoin au début de l'étude, l'équivalence initiale pourrait être compromise. Dans ce cas, l'effet de l'intervention ne peut être isolé et les résultats seraient considérés comme biaisés.
Analyse de clusters
Une méthode statistique permettant de répartir les participants (par exemple, les élèves, les écoles) en groupes pertinents en fonction de leurs caractéristiques communes (par exemple, l'utilisation d'un produit). Les caractéristiques des participants d'un même groupe diffèrent significativement de celles des participants des autres groupes.
Groupe de comparaison
Le groupe de participants à une étude qui ne reçoit pas de traitement/intervention ou qui reçoit un traitement/intervention différent, et qui est donc comparé au groupe de participants qui a reçu le traitement/l'intervention (c'est-à-dire le groupe de traitement).
Intervalle de confiance
Une plage de valeurs estimées à partir d'un échantillon susceptible de contenir la valeur réelle de la population. Par exemple, si la valeur estimée dans l'échantillon se situe entre 0,40 et 0,60 avec un niveau de confiance de 90 %, on peut conclure que si l'on prélève plusieurs échantillons de la population, dans 90 % des cas, la valeur estimée se situera entre 0,40 et 0,60. Autrement dit, il y a 90 % de chances que la valeur moyenne de la population soit comprise entre 0,40 et 0,60.
Niveau de confiance
La probabilité que les intervalles de confiance observés contiennent la valeur réelle pour la population. Le niveau de confiance est défini par le chercheur et exprimé en pourcentage. Par exemple, un niveau de confiance de 90 % indique que si l'on prélève plusieurs échantillons d'une population, 90 % des intervalles contiendront la valeur réelle pour cette population.
Facteur de confusion
Un facteur ou une variable d'une étude qui influence, au moins partiellement, la relation entre les variables indépendantes (traitement/intervention) et dépendantes (résultat d'apprentissage). Omettre de prendre en compte ou d'éliminer l'influence de variables confusionnelles potentielles (par exemple, en tant que covariable) limite la fiabilité et la validité de l'étude. Par exemple, lorsqu'on examine si les élèves utilisant un produit (groupe de traitement/intervention) progressent davantage que ceux qui ne l'utilisent pas (groupe témoin), un facteur confusionnel pourrait être le niveau scolaire moyen des élèves de chaque groupe avant le traitement. Toute différence de niveau scolaire moyen entre les groupes avant le traitement peut influencer leur progression après le traitement. Par conséquent, ne pas inclure cette différence dans l'analyse ou l'éliminer avant le traitement faussera les résultats.
Corrélation
Une mesure statistique de la relation (amplitude et direction) entre deux variables — la mesure dans laquelle une variable change par rapport à une autre variable.
Coefficient de corrélation
Le coefficient de corrélation mesure la direction et l'intensité de la relation statistique entre deux variables. Il peut varier de -1,00 (corrélation négative) à +1,00 (corrélation positive), 0 indiquant l'absence de relation. Par exemple, si le coefficient de corrélation entre la fréquence d'utilisation d'un produit et la réussite est de 0,80, on peut conclure que ces variables sont fortement (intensité) et positivement corrélées. Autrement dit, plus la fréquence d'utilisation du produit augmente, plus le niveau de réussite augmente également.
rapport coût-efficacité
L'analyse coût-efficacité évalue l'efficacité relative d'un traitement ou d'une intervention par rapport à son coût. Plus précisément, elle consiste en un ensemble de techniques permettant de comparer les coûts (directs et indirects) d'un traitement ou d'une intervention à son efficacité. Généralement, cette analyse aboutit à une valeur qui se situe dans un quadrant allant de « coût élevé, faible efficacité » à « faible coût, forte efficacité ».
Covariable
Les covariables sont des facteurs susceptibles d'influencer les résultats d'une étude. On suppose généralement que les niveaux des covariables sont identiques pour tous les participants (par exemple, les élèves) de l'étude (par exemple, le groupe de traitement/intervention et les groupes témoins). Ainsi, toute différence observée entre les groupes peut être attribuée au traitement ou à l'intervention. Les covariables peuvent être incluses dans l'analyse à deux fins différentes. Une covariable peut présenter un intérêt principal. Dans ce cas, une analyse de sous-groupes peut être menée afin de déterminer son effet sur les résultats de l'étude. Par exemple, le niveau scolaire peut présenter un intérêt principal et être considéré comme une covariable lors de l'étude de l'impact d'une intervention sur les résultats des élèves. Par ailleurs, les covariables peuvent être incluses dans une analyse pour éviter les biais. Lorsque les covariables sont des facteurs externes, leur contrôle statistique permet de neutraliser (ou d'éliminer) leur influence et d'exclure d'éventuels facteurs de confusion. Parmi les covariables courantes, on trouve le statut socio-économique, le sexe, le niveau scolaire, les résultats antérieurs et la localisation de l'établissement.
Variable dépendante
Un facteur qui représente le résultat d'intérêt. Les variables dépendantes sont également appelées variables de réponse, variables de résultat ou variables expliquées. Parmi les variables dépendantes courantes figurent différents types de résultats scolaires, tels que la réussite scolaire.
Évaluation pédagogique
L'évaluation d'une intervention éducative, en cours ou achevée, vise à déterminer dans quelle mesure ses objectifs ont été atteints. Des méthodologies spécifiques permettent d'évaluer l'efficacité et l'impact d'une intervention, ainsi que son utilité et son rapport coût-efficacité.
Taille de l'effet
La taille de l'effet est une mesure quantitative de l'intensité de la relation entre une ou plusieurs variables ou groupes au sein d'une population. Elle permet d'évaluer l'impact d'une intervention donnée en standardisant l'ampleur de son effet, ce qui rend les résultats comparables dans de nombreux contextes. La taille de l'effet peut prendre différentes formes, la plus courante étant la différence moyenne standardisée (par exemple, le g de Hedges) entre les groupes. Lorsqu'on examine un seul groupe, on utilise une autre forme de mesure de la taille de l'effet (par exemple, la corrélation ou la régression), qui évalue la relation entre la variable indépendante (par exemple, l'utilisation des technologies éducatives) et la variable dépendante (par exemple, la réussite scolaire).
g de Hedge
Le g de Hedges est une mesure spécifique de l'ampleur de l'effet, basée sur la différence moyenne standardisée entre deux groupes ou plus (par exemple, un groupe de traitement/intervention et un groupe témoin). Il renseigne sur l'impact d'une intervention donnée en indiquant l'ampleur de son effet. Le g de Hedges est plus robuste aux effets des petits échantillons. Sa valeur peut varier de +1 (effet positif) à -1 (effet négatif).
Variable indépendante
Une variable indépendante est un facteur susceptible d'influencer un autre facteur (la variable dépendante). Généralement, on manipule la variable indépendante afin d'examiner dans quelle mesure ses différents niveaux (par exemple, l'utilisation des technologies éducatives) permettent de prédire ou d'influencer les variations de la variable dépendante (par exemple, la réussite scolaire). Les variables indépendantes sont également appelées variables prédictives ou variables explicatives.
Intervention
Le processus d'application d'un traitement auprès des utilisateurs afin d'en examiner l'efficacité. Les interventions peuvent inclure des technologies éducatives, des activités en classe, des outils d'apprentissage numériques, des approches pédagogiques et des pratiques d'enseignement.
Lieu
La situation géographique de l'école ou du district, notamment en ce qui concerne sa position sur l'échelle entre ville, banlieue, petite ville ou zone rurale.
Marge d'erreur
Une approximation statistique de la marge d'erreur d'échantillonnage associée à la taille de l'effet d'une étude, qui indique la probabilité que la valeur estimée à partir d'un échantillon représente fidèlement la valeur réelle de l'ensemble de la population. Plus la marge d'erreur est grande, moins on a confiance dans la proximité de la valeur estimée de l'étude avec la valeur réelle de la population.
Correspondance
Un ensemble de procédures statistiques permet d'identifier des groupes de participants appariés au sein des groupes d'étude (par exemple, groupes de traitement/intervention et de comparaison). Les participants sont appariés (et comparés par la suite) lorsqu'ils présentent des caractéristiques ou attributs sensiblement équivalents, mesurés par les covariables (par exemple, sexe, origine ethnique, performances antérieures). Théoriquement, cette procédure d'appariement aboutit à des groupes d'étude approximativement équivalents, ce qui réduit la probabilité que des facteurs externes ou confondants soient à l'origine des effets du traitement.
Résultat
Tout critère, résultat ou variable de réponse pédagogique utilisé pour mesurer un résultat d'apprentissage d'intérêt dans le cadre d'une évaluation rapide. Les résultats peuvent inclure des mesures cognitives classiques (p. ex., notes aux tests, données du carnet de notes), des mesures non cognitives (p. ex., estime de soi, esprit critique, compétences du XXIe siècle, persévérance) ou des résultats pédagogiques alternatifs tels que l'assiduité, le maintien dans les cours et le taux de diplomation. Le résultat doit correspondre à ce que l'intervention (p. ex., produit numérique éducatif) est censée améliorer.
Posttest
Une mesure quantitative de la variable de résultat (par exemple, les scores de réussite) effectuée après la mise en œuvre de l'intervention.
Puissance (statistique)
La puissance statistique d'une étude lui permet de détecter la valeur réelle (par exemple, une différence entre des groupes ou la relation entre des variables) de la population à partir de l'échantillon. Une puissance statistique élevée augmente la probabilité de détecter les effets d'une intervention. À l'inverse, une faible puissance statistique peut empêcher l'étude de détecter ces effets. La puissance statistique est influencée par : a) le niveau de confiance (par exemple, un intervalle de confiance de 95 %) de l'estimation ; b) l'ampleur de l'effet (par exemple, la taille de l'effet) que l'on cherche à détecter (les effets plus importants sont plus faciles à détecter) ; et c) la taille de l'échantillon. La puissance statistique varie de 0 à 1,00, les experts suggérant une valeur de 0,80 comme seuil de puissance suffisante.
Prétest
Une mesure quantitative de la variable de résultat (par exemple, les scores de réussite) effectuée avant la mise en œuvre de l'intervention.
Affectation aléatoire
La randomisation est une technique d'affectation aléatoire des participants aux différents groupes d'étude (par exemple, groupe de traitement/intervention et groupe témoin), garantissant ainsi à chaque participant une chance égale d'être inclus dans un groupe donné. Condition nécessaire à la validité expérimentale (par exemple, essai contrôlé randomisé), la randomisation renforce la validité interne de l'étude en assurant l'équivalence des groupes avant l'intervention (équivalence initiale). Lorsque la randomisation est impossible, des mesures spécifiques permettent de vérifier l'équivalence initiale et de limiter l'influence des différences entre les groupes.
Essai contrôlé randomisé
Dans ce type d'étude, les participants (élèves, enseignants, etc.) sont répartis aléatoirement entre un groupe d'intervention et un groupe témoin. On peut ainsi supposer que les groupes sont équivalents pour toutes les variables, à l'exception du traitement. Le traitement est administré au groupe d'intervention, tandis qu'il est refusé au groupe témoin.
Dosage recommandé
La dose recommandée correspond à la quantité ou à la fréquence d'exposition nécessaire à l'efficacité d'un traitement ou d'une intervention. Par exemple, le produit EdTech A peut recommander 10 modules par semaine, et le produit EdTech B, 50 minutes d'utilisation par jour. On parle aussi parfois de posologie recommandée, de posologie prescrite ou de recommandation d'utilisation.
Quantile
Un quantile est un groupe obtenu en divisant un échantillon en sous-groupes approximativement égaux après avoir ordonné les données de la plus petite à la plus grande valeur. On peut déterminer un nombre quelconque de quantiles pour un ensemble de valeurs ; les quantiles les plus courants sont les terciles (trois groupes), les quartiles (quatre groupes) et les quintiles (cinq groupes). Par exemple, la partition d'un ensemble de valeurs en quintiles donne cinq groupes approximativement égaux, chaque quintile contenant environ 20 % des valeurs totales.
Conception quasi-expérimentale
Un plan de recherche quasi expérimental, dont les méthodes et procédures satisfont à la plupart des conditions d'une véritable expérience, ne prévoit cependant pas d'assignation aléatoire des participants aux conditions d'étude. L'assignation aléatoire étant souvent difficile, voire impossible, à mettre en œuvre, les plans quasi expérimentaux sont fréquemment utilisés en recherche en éducation. Avec une méthodologie appropriée, ils se révèlent très efficaces pour répondre aux questions de recherche.
Taille de l'échantillon
Le nombre de participants (par exemple, élèves, enseignants, écoles) inclus dans votre étude. Si vous avez plusieurs sous-échantillons, la taille totale de l'échantillon correspond à la somme des tailles de ces sous-échantillons. Par exemple, si vous avez 250 participants dans votre groupe de comparaison (n = 250) et 250 dans votre groupe de traitement/intervention (n = 250), la taille totale de votre échantillon est de 500 (N = 500).
Échantillonnage
Le processus de sélection des participants (par exemple, élèves, enseignants, établissements scolaires) pour un échantillon au sein d'une population cible. La généralisation des résultats d'une étude dépend de la représentativité de l'échantillon par rapport à la population.
Conditions d'étude
Le groupe d'étude (par exemple, groupe de traitement/intervention, groupe de comparaison) auquel appartient le participant.
Groupe de traitement
Le groupe de participants à une étude qui reçoit un traitement ou une intervention est comparé au(x) groupe(s) de participants qui n'ont pas reçu le traitement ou qui ont reçu une intervention différente (par exemple, le groupe témoin). Le groupe de traitement est également appelé groupe expérimental ou groupe d'intervention.
Métrique d'utilisation
Mesure du degré d'utilisation ou d'exposition au traitement ou à l'intervention par le participant (par exemple, un étudiant). Par exemple, l'indicateur d'utilisation d'un produit de technologie éducative pourrait correspondre au nombre de connexions de l'étudiant, au temps passé à utiliser le produit, au nombre de modules complétés ou au pourcentage du programme d'études achevé.
Variable
Tout facteur mesurable, tel qu'une caractéristique, un usage ou un résultat scolaire, est une variable. Une variable peut prendre plusieurs valeurs représentant ses attributs uniques. Par exemple, la variable « genre » peut prendre plusieurs valeurs (homme, femme, autre). Il existe de nombreux types de variables, notamment les variables indépendantes, les variables dépendantes, les variables médiatrices, les variables modératrices et les covariables.