Os clusters de uso são subconjuntos de alunos agrupados com base na frequência com que utilizam um produto de tecnologia educacional (por exemplo, uso baixo, uso moderado ou uso alto). A Avaliação de Ciclo Rápido (RCE) gera estatisticamente esses clusters com base em padrões de uso naturais, utilizando um algoritmo avançado. O algoritmo identifica o número ideal de clusters com base em similaridades no uso total do produto (por exemplo, total de minutos de uso do produto de tecnologia educacional). A RCE compara os padrões de uso e a eficácia do produto entre esses clusters de uso.
O que é um ensaio clínico (ou piloto) e como ele se integra à Avaliação de Ciclo Rápido (ACR)?
Um teste (ou piloto) utiliza uma pesquisa baseada em evidências para ajudar os usuários a coletar feedback e insights de educadores sobre a percepção da eficácia da tecnologia educacional. Ele permite que as partes interessadas gerem dados qualitativos e quantitativos (ou seja, notas do produto com base nos critérios principais da Rubrica de Avaliação da LearnPlatform e comentários abertos) de educadores de toda uma escola, distrito ou estado. Além do feedback do produto obtido de educadores verificados na LearnPlatform, o RCE integra os resultados do teste na seção de Feedback do relatório do RCE, permitindo que os usuários entendam melhor como seus educadores e os membros da LearnCommunity avaliam o produto nos critérios principais considerados mais importantes ao experimentar, comprar ou usar um produto de tecnologia educacional.
Como o RCE divide a amostra em grupos de tratamento e controle?
- Desenho de estudo controlado: Em um estudo controlado, os grupos de tratamento e controle (ou comparação) são determinados pela escola ou distrito. Se uma escola ou distrito designa os alunos para os grupos de tratamento e controle (seja por meio de alocação aleatória ou não), esses grupos predefinidos são utilizados no estudo controlado randomizado (ECR).
- Desenho de estudo comparativo: Muitas escolas e distritos optam por implementar tecnologias educacionais em larga escala, em vez de realizar um teste (ou projeto piloto) por meio de um desenho experimental. Como alternativa, escolas e distritos podem fornecer dados históricos para avaliar o uso e o impacto das tecnologias educacionais sem terem empregado previamente um desenho de pesquisa. Nesses casos, os grupos de tratamento são compostos por alunos que utilizaram o produto tecnológico, e os grupos de controle são compostos por alunos que não o utilizaram.
- Estudo correlacional: Estudos correlacionais não incluem um grupo de controle. Esses estudos incluem apenas um grupo de tratamento que recebeu a intervenção. Nesses estudos, a análise de escolha discreta (RCE) examina a relação entre o uso do produto e um resultado educacional, controlando estatisticamente as covariáveis.
A metodologia RCE leva em consideração a variedade de variáveis que impactam a eficácia da tecnologia educacional?
Além dos efeitos da tecnologia educacional no desempenho dos alunos, existem outros fatores que impactam a eficácia de qualquer intervenção, como a qualidade do ensino e as diferenças demográficas ou de desempenho dos alunos. O RCE (Research Cycle Examination) tem a capacidade de considerar variáveis do aluno, da turma e da escola, como nível de escolaridade, desempenho anterior, dados demográficos dos alunos e muitos outros fatores. O RCE leva em conta todas as covariáveis incluídas nos dados e ajusta estatisticamente o tamanho do efeito de acordo.
A análise dos quintis de desempenho permite à RCE determinar se um produto de tecnologia educacional demonstra capacidade para reduzir a lacuna de desempenho.
- Desenhos de estudo comparativos/controlados: Primeiramente, dentro dos grupos de tratamento e controle, os alunos são agrupados em quintis com base em seu desempenho anterior (por exemplo, média geral de notas antes da intervenção, pontuação em testes anteriores). A RCE então calcula o tamanho do efeito em cada grupo de desempenho, demonstrando a eficácia de um produto de tecnologia educacional para alunos em diferentes níveis de desempenho (ou seja, a diferença média padronizada entre as pontuações pós-teste dos alunos em cada nível de desempenho). Produtos de tecnologia educacional que apresentam um tamanho de efeito grande e positivo para alunos com histórico de baixo desempenho são produtos que podem ajudar a reduzir a disparidade de desempenho. Por exemplo, em um desenho de controle ou comparativo, se a RCE constatar que os tamanhos de efeito para um produto de tecnologia educacional são positivos e maiores para alunos nos quintis de baixo desempenho, então esse produto demonstra potencial para reduzir a disparidade de desempenho.
- Estudos correlacionais: A RCE agrupa os alunos do grupo de tratamento em quintis com base em seu desempenho anterior. Em seguida, calcula-se o tamanho do efeito em cada grupo de desempenho, demonstrando a relação entre o uso do produto e o desempenho dos alunos no pós-teste. Tamanhos de efeito positivos indicam que, à medida que o uso aumenta, o desempenho geralmente aumenta, enquanto tamanhos de efeito negativos indicam que, à medida que o uso aumenta, o desempenho geralmente diminui. Por exemplo, em um estudo correlacional, se a RCE encontrar um tamanho de efeito negativo para um produto para alunos no quintil de menor desempenho, isso indica que um maior uso do produto está relacionado a pontuações mais baixas no pós-teste para esse grupo específico de alunos.
Como os resultados são compartilhados com as partes interessadas?
Os administradores têm total flexibilidade e controle para compartilhar resultados em suas organizações e com as principais partes interessadas. O LearnPlatform oferece aos administradores a possibilidade de compartilhar relatórios do RCE, resultados de feedback de professores e painéis de controle de uso com um URL exclusivo para o relatório e/ou em formato impresso. Os administradores podem definir permissões de login para permitir que cada tipo de usuário acesse os resultados relevantes para si/para sua função. Além disso, todos os gráficos e visualizações do RCE podem ser exportados (por exemplo, PNG, JPEG ou SVG).