Este documento fornece informações detalhadas sobre as limitações e os cálculos da análise de itens de questionários em Questionários Clássicos.
O Canvas fornece estatísticas de análise de itens para as questões dos questionários. O download do arquivo CSV (valores separados por vírgula) da análise de itens ajudará instrutores e criadores de cursos a avaliar a eficácia de suas questões. A análise de questionários estima a confiabilidade, a dificuldade e a discriminação para questões de múltipla escolha e verdadeiro/falso.
A análise de itens pode não gerar resultados em questionários específicos. Aqui estão algumas limitações a serem consideradas nos relatórios de análise.
- Atualmente, a análise foi projetada para funcionar com questionários que apresentam as mesmas perguntas a todos os alunos. Portanto, se você gerar o arquivo CSV de análise de itens para questionários que utilizam um grupo de perguntas, o arquivo CSV gerará uma linha representando cada versão do questionário.
- O relatório de Análise de Itens do Questionário atualmente suporta apenas questões de múltipla escolha e verdadeiro/falso.
- Se um questionário permitir múltiplas tentativas, os cálculos considerarão apenas a primeira tentativa do aluno (para eliminar os efeitos da prática).
- Questões deixadas em branco ou não respondidas contam como incorretas no cálculo da pontuação total da prova, mas são excluídas dos cálculos individuais de cada questão.
- As estatísticas incluem apenas dados dos alunos que tentaram fazer o teste.
A análise de itens do questionário do Canvas gera pontuações com base no alfa de Cronbach. O alfa de Cronbach mede a consistência interna, ou seja, o quão relacionados os itens de um conjunto estão enquanto grupo. O Canvas gera uma pontuação alfa desde que haja duas ou mais perguntas no questionário e a variância do teste seja maior que zero. Uma variância maior que zero implica que duas ou mais submissões produzem pontuações diferentes.
Observação: Para manter o desempenho ideal do curso.na interface CanvasOs valores máximos para cálculo são 1000 envios ou 100 perguntas. Por exemplo, um questionário com 200 perguntas não gerará estatísticas. No entanto, um questionário com 75 perguntas gerará estatísticas até atingir 1000 tentativas.
Resultados superiores a esses valores máximos podem ser visualizados baixando o relatório de Análise do Aluno e visualizando o arquivo CSV.
Medidas de análise do questionário
Confiabilidade
A confiabilidade é uma medida da consistência interna do teste, ou seja, se várias questões forem elaboradas para medir a mesma informação, o participante responderá a elas de maneira semelhante. Por exemplo, se um teste for aplicado para medir o prazer em comer sorvete, os alunos que gostam de sorvete devem concordar com afirmações como "Eu gosto de sorvete" e "Eu já gostei de comer sorvete antes". Esses alunos também devem discordar de afirmações como "Eu odeio sorvete".
Dificuldade
O índice de dificuldade (também conhecido como valor p) mostra o quão difícil é responder à pergunta corretamente. O índice é calculado como a proporção de alunos que responderam corretamente. As proporções variam entre 0 e 1. O Canvas realiza esse cálculo utilizando a função ponto-bisserial.
Bisserial pontual
A correlação bisserial pontual é um coeficiente de correlação que relaciona as respostas observadas a um item e é especialmente útil quando um conjunto de dados é dicotômico, ou seja, pode assumir múltiplos valores com base em respostas corretas e incorretas. Além da correlação bisserial pontual da resposta correta, o mesmo cálculo é feito para as alternativas incorretas (também conhecido como eficiência da alternativa incorreta). Idealmente, todas as alternativas incorretas da questão devem ser igualmente atraentes para os alunos que erraram a questão. Os valores para essa eficiência variam de -1 a 1.
Discriminação
As estatísticas dos questionários de Verdadeiro/Falso e Múltipla Escolha incluem um índice de discriminação do item, que busca analisar a distribuição das pontuações e refletir as diferenças no desempenho dos alunos. Essa métrica fornece uma medida de quão bem uma única questão consegue diferenciar (ou discriminar) entre os alunos que se saem bem na prova e aqueles que não se saem bem. Ela divide os alunos em três grupos com base na pontuação geral do questionário e exibe esses grupos de acordo com quem respondeu corretamente à questão. Os grupos de alunos são geralmente divididos em 27% dos melhores, 46% dos alunos com desempenho intermediário e 27% dos alunos com desempenho inferior. Idealmente, os alunos que se saíram bem na prova deveriam acertar a questão. Se os alunos se saem bem na prova geral, mas não na questão específica, a própria questão pode precisar ser revisada.
Índices de discriminação baixos correspondem a +0,24 ou menos; índices bons correspondem a +0,25 ou mais. Um índice de discriminação ideal mostra os alunos que obtiveram pontuação mais alta no teste acertando a questão, os alunos que obtiveram pontuação mais baixa errando a questão e os alunos em uma faixa intermediária, em ambos os lados. Um índice de discriminação igual a zero indica que todos os alunos acertaram ou erraram a questão.
Informações em CSV
O download do arquivo CSV também fornece os seguintes cálculos e contagens:
- ID da pergunta
- título da pergunta
- contagem de alunos respondidos
- Número de alunos com melhor desempenho (alunos entre os 27% melhores)
- contagem de alunos do meio (46% dos alunos estão na faixa intermediária)
- número de alunos com pior desempenho (alunos nos 27% com pior desempenho)
- Número total de perguntas do quiz
- Número total de alunos que acertaram a resposta (número total de alunos que responderam corretamente)
- Número de alunos com respostas incorretas (número total de alunos que erraram a resposta)
- Proporção de alunos corretos (proporção de alunos que acertaram a resposta)
- Proporção de alunos com resposta incorreta (proporção de alunos que erraram a resposta)
- Número de alunos que acertaram (alunos que estão entre os 27% melhores que responderam corretamente)
- Contagem de alunos com a média correta (46% dos alunos que acertaram a resposta)
- Número de alunos com pior desempenho (alunos nos 27% inferiores que acertaram a resposta)
- variância (das pontuações nesta questão)
- desvio padrão (das pontuações nesta questão)
- índice de dificuldade
- Pontuação alfa (para o exame completo)
- bisserial pontual da resposta correta (índice de confiabilidade)
- ponto biserial da primeira resposta incorreta ou distrator (seguido pela segunda, etc.)
Os usuários com permissão para ler os dados do SIS no curso também podem visualizar a coluna sis_id no arquivo CSV baixado.
Este recurso também pode ser acessado nos seguintes Guias do Canvas: