Para executar uma Avaliação de Ciclo Rápido (RCE™) no LearnPlatform, você precisa de vários arquivos de dados. Dependendo dos seus objetivos de pesquisa, existem quatro tipos principais de dados necessários:
- Dados de utilização
- Dados do Sistema de Informação Estudantil (SIS)
- Dados de resultados
- Dados de preços
Os dados que você já está coletando ou planejando coletar fornecem as informações necessárias para que sua equipe alcance seus objetivos. Um único tipo de dado pode ser suficiente (por exemplo, dados de uso) ou mais de um tipo de dado pode ser necessário (por exemplo, dados de resultados). Isso ocorre porque dados diferentes respondem a perguntas diferentes. A equipe de suporte da LearnPlatform está disponível para ajudá-lo a determinar quais dados você precisará.
O mecanismo de avaliação de ciclo rápido e com segurança de dados da LearnPlatform processa os dados juntamente com outros dados do seu distrito (como informações demográficas e notas de avaliações). Avaliar os dados de uso do programa em conjunto com outros dados ajuda a determinar como melhorar a implementação para obter melhores resultados.
Notas:
A Equipe de Pesquisa da LearnPlatform está aqui para apoiar este trabalho em todas as etapas, desde o planejamento com você até o suporte na descoberta dos arquivos de dados mencionados neste documento. Isso também inclui qualquer limpeza de dados necessária, a execução de suas execuções de código aberto (RCEs) e o fornecimento de quaisquer relatórios de resumo associados. As principais funções da sua equipe são nos ajudar a acessar os dados de que precisamos e, em seguida, usar os resultados para tomar decisões. Entre em contato com support-lp@instructure.com .
Dados de utilização
Os dados de utilização representam o grau de participação ou interação de um usuário (por exemplo, um aluno) com a ferramenta de tecnologia educacional. Exemplos de dados de utilização (também chamados de métricas de utilização) incluem minutos de uso do sistema (MOS), dias de uso, número total de logins, total de lições tentadas, número de lições concluídas e número de lições dominadas.
Os fornecedores de tecnologia educacional geralmente permitem que os administradores exportem dados de uso. Dependendo da ferramenta escolhida, pode ser necessário entrar em contato diretamente com o administrador distrital responsável ou com a empresa de tecnologia educacional para obter esses dados.
Lista de verificação de dados de utilização
❏ Meus dados são de nível de usuário?
❏ Os dados incluem o uso pela população de interesse?
❏ Meus dados possuem IDs de usuário que correspondem aos meus outros arquivos?
❏ Meus dados abrangem apenas um período de 2 semanas antes do término do meu período de testes? (caso esteja executando uma análise de resultados)
❏ Meus dados possuem pelo menos uma métrica clara? (ex.: tempo total em minutos, lições concluídas)
Notas:
- Esses dados devem estar disponíveis no nível do usuário. Dados em nível de distrito ou escola não são apropriados para uso em um RCE (Research Experiences and Learning).
- Apenas uma métrica de uso é necessária para executar uma execução remota de código (RCE).
- Nossa equipe pode ajudá-lo a determinar se os dados de uso de um fornecedor são adequados para uma execução remota de código (RCE).
Dados SIS
Os dados do Sistema de Informação Estudantil (SIS) consistem em identificadores de alunos e dados demográficos. Exemplos de dados incluem número de matrícula, série, escola, raça/etnia, gênero, situação de educação especial e elegibilidade para merenda escolar gratuita ou com desconto.
A RCE utiliza os dados do SIS de duas maneiras:
- Para levar em conta as diferenças na análise principal : a Avaliação de Ciclo Rápido (RCE) utiliza dados do SIS como covariável na análise principal, pois as diferenças no SIS entre alunos, turmas ou escolas podem influenciar o resultado do estudo. Por exemplo, o grupo de comparação pode ter mais alunos recebendo serviços de educação especial. Ao incluir um indicador para serviços de educação especial, podemos levar em conta essa variação entre os grupos, de modo que ela não influencie os resultados.
- Para analisar as diferenças nos resultados por subgrupos: a Avaliação de Ciclo Rápido (RCE) permite examinar os resultados gerais e os resultados para subgrupos específicos. A inclusão de dados do Sistema de Informação Acadêmica (SIS) permite analisar detalhadamente o uso e o desempenho dentro de subgrupos do SIS (por exemplo, nível escolar, gênero, escola). Por exemplo, o uso do produto de tecnologia educacional resultou em melhores resultados de aprendizagem com base no nível escolar?
Para coletar dados do SIS, talvez seja necessário entrar em contato com o administrador do SIS ou o gerente de dados do seu distrito para obter acesso aos dados ou para incluí-los no processo de descoberta de dados.
Lista de verificação de dados de resultados
❏ Meus dados são de nível de usuário?
❏ Na população de interesse?
❏ Meus dados possuem IDs de usuário que correspondem aos meus outros arquivos?
❏ Meus resultados estão de acordo com o período de teste?
❏ Existe uma coluna clara com as pontuações?
Lista de verificação de dados demográficos
❏ Meus dados são de nível de usuário?
❏ Na população de interesse?
❏ Meus dados possuem IDs de usuário que correspondem aos meus outros arquivos?
❏ Meus dados do SIS contêm identificadores demográficos de interesse?
Nota: Embora os dados do SIS sejam opcionais na execução de um RCE, independentemente dos seus objetivos de pesquisa, incluir o máximo de dados do SIS possível pode ajudar a eliminar os efeitos de outras variáveis, aumentando a confiança de que os efeitos podem ser atribuídos à intervenção. Sua equipe pode trabalhar com a LearnPlatform para determinar a melhor forma de utilizar os dados do SIS.
Dados de Resultados
Os dados de resultados medem os impactos educacionais que o produto de tecnologia educacional alega proporcionar. Para realizar uma análise de resultados com o LearnPlatform (ou seja, uma análise que relaciona o uso do produto de tecnologia educacional à aprendizagem do aluno), nossa equipe de pesquisa solicitará uma medida de resultado padronizada, confiável e válida . Para examinar como a tecnologia educacional impacta a aprendizagem do aluno, recomendamos o uso de uma medida de resultado que represente o desempenho do aluno.
Exemplos de dados de resultados incluem notas em avaliações padronizadas, média geral de notas (GPA) ou frequência escolar. Existem dois tipos principais de dados de resultados:
- Pré-intervenção: Desempenho ou pontuações antes do uso do produto de tecnologia educacional. Usamos esses dados como covariável em experimentos de escolha aleatória (RCEs) para levar em consideração as diferenças no desempenho dos alunos antes da intervenção (ou seja, o produto de tecnologia educacional) estar disponível para eles.
- Pós-intervenção: Desempenho ou pontuações após o uso do produto de tecnologia educacional. Usamos esses dados para examinar o desempenho e o impacto dos alunos após receberem a intervenção.
Existem diversas questões de pesquisa que uma Análise de Resultados pode ajudar sua equipe a responder. Dois tipos comuns de Análises de Resultados são descritos abaixo:
- Sem um grupo de comparação : examine a relação entre o uso de produtos de tecnologia educacional e o resultado pós-intervenção.
- Com um grupo de comparação: examinar se os alunos que utilizam o produto de tecnologia educacional têm um desempenho superior ao dos outros alunos, com base nos resultados obtidos após a intervenção.
Para localizar os dados de resultados, a maioria dos sistemas de avaliação oferece acesso fácil aos relatórios em nível de usuário. Pode ser necessário entrar em contato com o diretor de avaliação do seu distrito para obter acesso a esses relatórios. O membro da sua equipe de RCE também pode ajudá-lo, fornecendo dados de exemplo.
Dados de preços
Os dados de preços incluem o custo da assinatura ou licença do produto de tecnologia educacional, com preço por aluno ou local. Os dados de preços também podem incluir outros custos diretos e indiretos associados à aquisição do produto (por exemplo, desenvolvimento profissional, horas da equipe). Os dados de preços podem ser incluídos nas Análises de Uso e Resultados, mas não são obrigatórios.
Normalmente, os preços são inseridos na sua biblioteca de produtos durante a implementação técnica. Como alternativa, as informações de custo podem ser enviadas durante a configuração do RCE, caso ainda não tenham sido compartilhadas com a LearnPlatform. Se optar por essa abordagem, talvez seja necessário entrar em contato com alguém da sua organização que tenha informações de compra para a ferramenta edtech de seu interesse. A LearnPlatform também pode ajudá-lo a determinar o custo aproximado por usuário, caso essa informação não esteja clara na fatura do fornecedor.
Dados indisponíveis ou inacessíveis
Existem muitos motivos pelos quais os dados podem não estar disponíveis. Às vezes, os dados são inacessíveis porque o fornecedor não concedeu acesso ou não está coletando dados no momento. Outras vezes, os dados são apresentados de forma inadequada (por exemplo, uma contagem agregada de atividades concluídas por distrito em vez de dados em nível de usuário).
Caso os dados necessários não estejam disponíveis, a questão de pesquisa pode não ser respondida. Por isso, é importante verificar quais dados estão disponíveis ao formular seu objetivo de pesquisa. Sua equipe do RCE pode apoiá-lo durante todo esse processo ou fornecer opções alternativas para que você obtenha o máximo de informações possível.