Este documento fornece informações completas sobre o relatório de Análise de Questionários e Itens dos Novos Questionários, juntamente com os cálculos associados. O relatório inclui duas seções principais: Análise de Questionários e Análise de Itens, que abordam os seguintes tópicos:
- Resumo geral do desempenho no teste:Apresenta uma visão geral das estatísticas dos questionários, permitindo que administradores e instrutores compreendam o desempenho geral dos alunos de forma holística.
- Estatísticas individuais do item:Exibe as estatísticas de itens individuais como uma pergunta independente.
- Correlação entre um item individual e a pontuação total do questionário:Ajuda a avaliar o quão bem um item contribui para medir o construto subjacente que está sendo avaliado.
Muitas das estatísticas descritas incluem valores sugeridos para ajudar você a entender o que deve procurar. No entanto, em termos de análise de itens, não existem respostas universais ou intervalos de valores para determinar a validade ou resultados aceitáveis; sua instituição pode usar intervalos diferentes para avaliar algumas métricas.
Exclusões de dados do questionário e do relatório de análise de itens
O relatório de Análise de Questionários e Itens é um relatório gerado mediante solicitação.O relatório inclui as respostas recebidas até o momento de sua elaboração. No entanto, as seguintes submissões sãonãoIncluído no relatório de Questionário e Análise de Itens:
- Trabalhos que ainda não foram avaliados pelo sistema de avaliação automática.
- Múltiplas tentativas para questionários
- Observação:Apenas a última tentativa de um teste está incluída no relatório.
- Questões que não foram avaliadas em pelo menos metade das submissões.
- Notas:
- As questões restantes são filtradas novamente para excluir envios com questões não avaliadas.
- A pontuação máxima possível para o questionário foi reduzida para corresponder ao número de pontos das questões incluídas no relatório.
- Envio de questionários adicionado pelo instrutor ao visualizar um questionário ou na visualização do aluno.
Regras do Questionário e do Relatório de Análise de Itens
Os dados do relatório podem ser exibidos de forma diferente devido às seguintes regras:
- Em certos cenários, algumas métricas não podem ser calculadas com base nos dados disponíveis. Nesses casos, as métricas exibem “N/A” (Não Aplicável) em vez do valor. Por exemplo, se todas as perguntas de um questionário forem itens aleatórios, o Alfa de Cronbach não poderá ser calculado. Da mesma forma, se a segmentação dos alunos em 3 grupos não for viável, oíndice de discriminaçãoNão pode ser calculado.
- As métricas baseadas em porcentagem são arredondadas para o número inteiro mais próximo, enquanto as demais métricas são arredondadas para duas casas decimais.
Resumo do Quiz
Esta seção define os pontos de dados que podem ser encontrados na seção Resumo do Questionário do relatório.
Pontuação máxima
Exibe a maior porcentagem de acertos entre os alunos que fizeram o teste.
Pontuação baixa
Exibe a menor porcentagem de acertos obtida entre os alunos que fizeram o teste.
Pontuação média
Exibe a porcentagem média de acertos entre os alunos que fizeram o teste.
Pontuação mediana
Exibe o valor mediano da porcentagem de acertos entre os alunos que fizeram o teste, quando todas as notas são organizadas em ordem crescente. Ao contrário da média, que pode ser influenciada por valores extremos, a mediana não é afetada por valores discrepantes.
Tempo médio decorrido
Exibe o tempo médio gasto para concluir o questionário.
Gráfico de Distribuição de Pontuação
Exibe a distribuição das porcentagens de acertos obtidas pelos alunos que fizeram o teste.
Desvio padrão
O que é desvio padrão?
O desvio padrão é uma medida do desvio absoluto médio das pontuações em torno da média. Um desvio padrão baixo indica que, em média, as pontuações tendem a estar próximas da média do conjunto. Um valor alto indica que, em média, as pontuações variam bastante em relação à média do conjunto de dados. A unidade de medida do desvio padrão deve ser a mesma da média apresentada. Por exemplo, se a média for apresentada como um valor percentual, o desvio padrão também deverá ser apresentado como um valor percentual.
Como é calculado o desvio padrão?
O desvio padrão é calculado encontrando a raiz quadrada da média dos quadrados das diferenças entre cada envio e a média:
onde 𝑛 é o número de respostas, 𝜇 é a pontuação média e 𝑥ᵢ é a pontuação percentual da i-ésima submissão.
Como os valores discrepantes afetam o valor do desvio padrão?
Valores discrepantes são pontuações significativamente distantes da média. Esses valores podem influenciar bastante a média usada para calcular o desvio padrão. Se o desvio padrão for alto e houver valores discrepantes, isso pode significar que o desvio padrão não representa o valor típico.
Alfa de Cronbach
O que é o Alfa de Cronbach?
O Alfa de Cronbach é uma medida de consistência interna que estima a confiabilidade de um questionário. Os valores variam de 0 a 1, sendo que valores mais altos indicam maior confiabilidade.
Observação:Como o Alfa de Cronbach mede a consistência interna, itens aleatórios distorceriam o valor; portanto, todos os itens aleatórios em um questionário são excluídos.
Como é calculado?
onde 𝑘 é o número de perguntas, 𝜎ᵢ² é a variância das pontuações da i-ésima pergunta e 𝜎ₓ² é a variância do teste.
Como interpretar e avaliar o valor do Alfa de Cronbach?
Os valores variam de 0 a 1, sendo que valores mais altos indicam maior consistência interna e confiabilidade, o que significa que os itens estão fortemente correlacionados e medem o mesmo construto subjacente. Um valor zero indica que não há nenhuma correlação entre os itens e que eles são totalmente independentes entre si. Saber a resposta para um item não significa ter o conhecimento necessário para responder corretamente a outro item do teste.
Embora não haja um limite estrito, um valor de 0,70 ou superior é considerado aceitável. Valores mais baixos podem ser aceitáveis se o questionário avaliar um tópico complexo.
Você pode avaliar ocoeficiente de correlação item-total corrigidoIdentificar itens que possam estar menos correlacionados com o construto subjacente que está sendo medido. A remoção desses itens poderia melhorar o Alfa de Cronbach.
Limitações
O Alfa de Cronbach avalia a consistência interna, mas não garante a validade, nem aborda a qualidade.
Estatísticas de itens individuais
Média de Pontos Obtidos
Exibe a pontuação média obtida pelos alunos que responderam à questão.
Pontos médios obtidos
Exibe o valor mediano da pontuação obtida pelos alunos que responderam à questão, quando todas as pontuações são organizadas em ordem crescente. Ao contrário da média, que pode ser influenciada por valores extremos, a mediana não é afetada por valores discrepantes.
Dificuldade do item
O que é a dificuldade do item?
A dificuldade do item (também conhecida como valor p) é a proporção de participantes que responderam ao item corretamente. Os valores variam de 0 (ninguém respondeu corretamente) a 1 (todos responderam corretamente).
Observação: O cálculo da dificuldade do item funciona como uma questão dicotômica e ignora créditos ou pontos parciais.
Como é calculado?
A dificuldade do item é calculada dividindo-se o número de participantes que responderam corretamente ao item pelo número total de participantes. No caso de itens aleatórios, o número total de participantes inclui apenas os alunos que receberam o item como parte do teste.
onde 𝐶 é o número de alunos que responderam corretamente e 𝑇 é o número total de alunos.
Como interpreto e avalio o valor de Dificuldade de um Item?
Um valor de dificuldade próximo de 1 significa que a maioria dos alunos respondeu corretamente, o que pode indicar que o item é considerado fácil para os alunos ou que não os desafia de forma eficaz. Essa pode ser a expectativa pretendida se o item for usado para avaliar o domínio de um conteúdo. Um valor próximo de 0 sugere que poucos participantes responderam corretamente, o que pode indicar que o item é desafiador para os alunos.
Embora não haja um limite estrito, geralmente itens com valores de dificuldade abaixo de 0,30 são considerados muito desafiadores e valores acima de 0,85 são considerados muito fáceis. Se a dificuldade do item for muito alta ou muito baixa, considere ajustar o item ou revisar a redação para melhor corresponder ao nível de dificuldade pretendido.
Assim como qualquer proporção ou porcentagem, o tamanho da amostra utilizada pode influenciar significativamente a métrica de dificuldade do item. Quando o tamanho da amostra é pequeno, algumas poucas submissões podem alterar consideravelmente o valor, enquanto que, quando o tamanho da amostra é grande, são necessárias mais submissões com a mesma pontuação/valor para alterar a dificuldade geral do item.
Observação:Para obter uma visão mais completa de um item, considere avaliar oíndice de discriminaçãoe ocoeficiente de correlação item-total corrigido.
Cálculos Correlacionais
Os cálculos a seguir ajudam a entender melhor como os itens individuais se relacionam ou se correlacionam com a pontuação total atribuída ao questionário e com os demais itens do questionário.
Coeficiente de correlação item-total corrigido
Qual é o coeficiente de correlação item-total corrigido?
O coeficiente de correlação item-total corrigido é o valor da correlação de Pearson obtido quando a pontuação de um item é correlacionada com a pontuação total do questionário do qual esse item faz parte. A correção desse valor ocorre quando o item correlacionado é removido do cálculo da pontuação total para eliminar o viés; contabilizando o item apenas uma vez, em vez de duas, na métrica. Profissionais de avaliação modernos (isto é, psicometristas e especialistas em avaliação) tendem a usar essa métrica com mais frequência do que o índice de discriminação, devido ao fato de ela incorporar toda a escala de pontuação, em vez de se concentrar apenas nos valores mais altos e mais baixos da faixa de pontuação.
Essencialmente, essa métrica ajuda a determinar se os alunos que respondem corretamente à questão (ou que obtêm uma pontuação mais alta nessa questão do que os outros alunos) tendem a ser os que obtêm pontuações mais altas no restante do teste. Ou, inversamente, mostra se aqueles que têm um desempenho ruim em uma questão também tendem a ter um desempenho ruim no restante do teste.
Como é calculado?
O coeficiente de correlação item-total corrigido é calculado dividindo-se a covariância da pontuação do item e da pontuação do teste (menos o item em questão; a pontuação total corrigida) pelo produto do desvio padrão do item e do desvio padrão da pontuação total corrigida:
onde cov (item, pontuação total corrigida)é a covariância entre o item e a pontuação total corrigida:
cov(item, pontuação total corrigida)= 𝑛∑(item)(pontuação total corrigida)- (∑item)(∑pontuação total corrigida)
Como interpreto e avalio o valor do Coeficiente de Correlação Item-Total Corrigido?
Esse valor, assim como outros coeficientes de correlação, varia de -1 a +1. Idealmente, os itens devem buscar obter valores maiores ou iguais a +0,20. Valores próximos de 0 indicam pouca ou nenhuma relação entre o desempenho no item e o desempenho no restante do teste. Valores negativos são indicativos de comportamento inesperado (por exemplo, aqueles que se saem bem em um item tendem a pontuar mais baixo no restante do teste e vice-versa). De certa forma, essa métrica é considerada uma medida de discriminação mais abrangente e sensível.
Índice de Discriminação
O que é o Índice de Discriminação?
O índice de discriminação avalia a capacidade de um item em diferenciar os indivíduos com as pontuações mais altas dos indivíduos com as pontuações mais baixas. Ele varia de -1 a +1. Um valor mais alto sugere boa discriminação, enquanto um valor mais baixo (ou negativo) indica baixa discriminação.
Como é calculado?
Para calcular o índice de discriminação, os alunos que fizeram o teste são classificados em percentis com base em suas pontuações e, em seguida, divididos em três grupos: alunos no percentil 27 ou abaixo, alunos no percentil 63 ou acima e todos os demais. A dificuldade do item (valor p) é calculada para os grupos superior e inferior. A discriminação é a diferença entre a dificuldade do item no grupo superior e a dificuldade no grupo inferior.
Como interpretar e avaliar o valor do Índice de Discriminação?
Semelhante ao coeficiente de correlação item-total corrigido, um alto índice de discriminação indica que os indivíduos com bom desempenho no teste tendem a ter bom desempenho também no item específico. Um valor baixo de índice de discriminação significa que o item não está discriminando bem. Um número negativo significa que há uma relação inversa/inesperada. Os limites para os intervalos de valores variam, mas um conjunto geral de diretrizes é:
Índice de discriminação | Interpretação |
|---|
0,40 e acima | Ótima discriminação |
0,30 - 0,39 | Boa discriminação |
0,20 - 0,29 | Discriminação justa |
0,10 - 0,19 | Sem discriminação |
Abaixo de 0,10 | Produto de má qualidade |
Negativo | Relação invertida |
Arquivos CSV e objetos JSON
Como interpretar e avaliar o arquivo CSV para a análise de questionários e itens dos novos questionários?
O arquivo CSV do relatório de Análise de Questionários e Itens do New Quizzes inclui as mesmas informações que você pode visualizar na interface do Canvas.
Notas:
- Diferentemente da interface Canvas, as métricas não são arredondadas no arquivo CSV.
- Se um campo não puder ser calculado (por exemplo: Alfa de Cronbach), a expressão "N/A" será adicionada à célula.
- Se um campo não estiver disponível no relatório (por exemplo, "Sem resposta" para o tipo de pergunta de categorização), a mensagem "Não suportado" será adicionada à célula.
O nome do arquivo CSV é o título do questionário e a string “Relatório de Análise do Questionário e dos Itens”.
As nove primeiras colunas são reservadas para a análise do questionário e apenas uma linha é preenchida.
Os cabeçalhos das colunas são os seguintes:
Relatório gerado:Data e hora em que o relatório foi gerado.
Título do Quiz:Título do questionário
QuizHighScore:Pontuação alta
QuizLowScore:Pontuação baixa
Pontuação média do questionário:Pontuação média
Pontuação mediana do questionário:Pontuação mediana
Desvio padrão do questionário:Desvio padrão
QuizCronbachsAlpha:Alfa de Cronbach
Tempo médio decorrido do questionário:Tempo médio decorrido
Da décima coluna em diante, a primeira linha está sempre vazia. Em seguida, cada linha representa um item do questionário.
Os cabeçalhos das colunas são os seguintes:
ID do item:ID do item do questionário
Título: Título do item
Dificuldade do item:Dificuldade do item
Pontos possíveis:Pontuação máxima possível
Pontuação média obtida:Média de Pontos Obtidos
Pontos médios obtidos:Pontos médios obtidos
Índice de discriminação:Índice de Discriminação
CorrelaçãoTotalDoItemCorrigida:Coeficiente de correlação item-total corrigido
Tipo de item:Tipo de pergunta
Correto: Número de alunos que responderam corretamente à questão.
Incorreto:Número de alunos que responderam incorretamente à questão.
Sem resposta:Número de alunos que não responderam à questão
Frequências de resposta:Representação da tabela de resumo da frequência de respostas
Como faço para ler e interpretar a coluna AnswerFrequencies?
A tabela Resumo da Frequência de Respostas é representada em objetos JSON (JavaScript Object Notation) devido à complexidade dos dados.Saiba mais sobre JSON.
O seguinte objeto JSON representa uma questão de categorização:
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
O campo “respostas” é uma lista de objetos.
Cada resposta possui os mesmos campos: a “resposta” (o texto da resposta) e as “categorias” (uma lista de objetos).
Um objeto de categoria possui três campos:
- O campo “categoria” é o nome da categoria que você criou.
- O campo “contagem” mostra quantos alunos adicionaram respostas a esta categoria.
- O campo “correto” indica se a resposta está definida como correta para esta categoria.
Observação:Você pode ver a categoria “_distractors_” em cada objeto de resposta. Isso se refere aos Distratores Adicionais, com um sinal de prefixo e sufixo, para evitar confusão caso você utilize o nome “Distractors” como uma das categorias da sua pergunta.