Este documento proporciona información detallada sobre las limitaciones y los cálculos del análisis de elementos del cuestionario en los cuestionarios clásicos.
Canvas proporciona estadísticas de análisis de ítems para las preguntas de los cuestionarios. La descarga del archivo CSV (valores separados por comas) del análisis de ítems ayudará a los instructores y diseñadores de cursos a evaluar la efectividad de sus preguntas. El análisis de ítems estima la confiabilidad, la dificultad y la discriminación de las preguntas de opción múltiple y de verdadero/falso.
Es posible que el análisis de ítems no genere resultados en cuestionarios específicos. A continuación, se presentan algunas limitaciones que deben tenerse en cuenta en los informes de análisis.
- Actualmente, el análisis está diseñado para funcionar con cuestionarios que plantean las mismas preguntas a todos los estudiantes. Por lo tanto, si genera el archivo CSV de análisis de ítems para cuestionarios que extraen información de un grupo de preguntas, el CSV generará una línea que representa cada versión del cuestionario.
- Actualmente, el informe de análisis de elementos del cuestionario solo admite preguntas de opción múltiple y de verdadero/falso.
- Si una prueba permite múltiples intentos, los cálculos solo considerarán el primer intento del estudiante (para descartar efectos de práctica).
- Las preguntas que se dejan en blanco o no se responden cuentan como incorrectas al determinar la puntuación total del examen, pero se excluyen de los cálculos a nivel de pregunta.
- Las estadísticas solo incluyen datos de los estudiantes que intentaron realizar la prueba.
El análisis de ítems del cuestionario de Canvas genera puntuaciones basadas en el alfa de Cronbach. El alfa de Cronbach mide la consistencia interna de la relación entre un conjunto de ítems como grupo. Canvas genera una puntuación alfa siempre que haya dos o más preguntas en el cuestionario y la varianza de la prueba sea mayor que cero. Una varianza mayor que cero implica que dos o más preguntas generan puntuaciones diferentes.
Nota: Para mantener un rendimiento óptimo del cursoen la interfaz de CanvasLos valores máximos para el cálculo son 1000 envíos o 100 preguntas. Por ejemplo, un cuestionario con 200 preguntas no generará estadísticas. Sin embargo, un cuestionario con 75 preguntas generará estadísticas hasta que alcance los 1000 intentos.
Los resultados superiores a estos valores máximos se pueden ver descargando el informe de análisis de estudiantes y viendo el archivo CSV.
Mediciones del análisis del cuestionario
Fiabilidad
La fiabilidad es una medida de la consistencia interna del examen, lo que significa que si varias preguntas están diseñadas para medir la misma información, el examinado las responderá de forma similar. Por ejemplo, si se realiza un examen para medir el gusto por el helado, los estudiantes a quienes les gusta el helado deberían estar de acuerdo con afirmaciones como «Me gusta el helado» y «He disfrutado comiendo helado en el pasado». Esos estudiantes también deberían estar en desacuerdo con afirmaciones como «Odio el helado».
Dificultad
El índice de dificultad (también conocido como valor p) muestra la dificultad de responder correctamente la pregunta. Se calcula como la proporción de estudiantes que respondieron correctamente. Las proporciones oscilan entre 0 y 1. Canvas realiza este cálculo con el biserial puntual.
Biserial puntual
Un biserial puntual es un coeficiente de correlación que relaciona las respuestas observadas a los ítems y se utiliza especialmente cuando un conjunto de datos es dicotómico, lo que significa que puede tomar múltiples valores según las respuestas correctas e incorrectas. Además del biserial puntual de la respuesta correcta, se crea el mismo cálculo para las respuestas distractoras/incorrectas (también conocido como eficiencia distractora). Idealmente, todas las respuestas incorrectas de la pregunta deberían ser igualmente atractivas para los estudiantes que no responden. Las puntuaciones para esto varían de -1 a 1.
Discriminación
Las estadísticas de los cuestionarios de Verdadero/Falso y de Opción Múltiple incluyen un índice de discriminación de ítems, que intenta observar una dispersión de puntajes y reflejar las diferencias en el logro estudiantil. Esta métrica proporciona una medida de qué tan bien una sola pregunta puede diferenciar (o discriminar) entre los estudiantes que obtienen buenos resultados en un examen y los que no. Divide a los estudiantes en tres grupos según su puntaje en todo el cuestionario y muestra esos grupos según quién respondió la pregunta correctamente. Los grupos de estudiantes generalmente se dividen como el 27% superior, el 46% medio y el 27% inferior. Idealmente, los estudiantes que obtuvieron buenos resultados en el examen deberían responder la pregunta correctamente. Si los estudiantes obtienen buenos resultados en el examen general pero no en la pregunta, es posible que sea necesario revisar la pregunta en sí.
Las puntuaciones de discriminación más bajas se obtienen con +0,24 o menos; las puntuaciones buenas se obtienen con +0,25 o más. Un índice de discriminación ideal muestra que los estudiantes con mayor puntuación en el cuestionario acertaron la pregunta, los estudiantes con menor puntuación se equivocaron y los estudiantes en el rango medio, a ambos lados. Un índice de discriminación de cero muestra que todos los estudiantes acertaron o se equivocaron en la pregunta.
Información CSV
La descarga CSV también proporciona los siguientes cálculos y recuentos:
- ID de la pregunta
- título de la pregunta
- Conteo de estudiantes respondidos
- Número de estudiantes con mayor rendimiento (estudiantes en el 27% superior)
- Número de estudiantes de nivel medio (estudiantes en el nivel medio 46%)
- recuento de estudiantes más bajo (estudiantes en el 27% inferior)
- recuento de preguntas del cuestionario (número total de preguntas del cuestionario)
- recuento correcto de estudiantes (número total de estudiantes que respondieron correctamente)
- recuento de estudiantes equivocados (número total de estudiantes que respondieron incorrectamente)
- proporción correcta de estudiantes (proporción de estudiantes que respondieron correctamente)
- proporción de estudiantes equivocados (proporción de estudiantes que respondieron incorrectamente)
- recuento correcto de los mejores estudiantes (estudiantes en el 27% superior que respondieron correctamente)
- Número correcto de estudiantes del medio (el 46 % de los estudiantes del medio acertaron la respuesta)
- recuento correcto de estudiantes de abajo (estudiantes en el 27% inferior que respondieron correctamente)
- varianza (de las puntuaciones en esta pregunta)
- desviación estándar (de las puntuaciones en esta pregunta)
- índice de dificultad
- Puntuación alfa (para todo el examen)
- punto biserial de la respuesta correcta (índice de confiabilidad)
- punto biserial de la primera respuesta incorrecta o distractor (seguido de la segunda, etc.)
Los usuarios con permiso para leer datos SIS en el curso también pueden ver la columna sis_id en la descarga CSV.
También se puede acceder a este recurso desde las siguientes Guías de Canvas: