Este documento proporciona información completa sobre el informe de Análisis de Cuestionarios y Elementos de Nuevos Exámenes, junto con los cálculos asociados. El informe consta de dos secciones principales: Análisis del Cuestionario y Análisis de Elementos, que abordan los siguientes temas:
- Resumen general del desempeño del cuestionario:Presenta una descripción general de las estadísticas de los exámenes, lo que permite a los administradores e instructores comprender el desempeño general de los estudiantes de manera integral.
- Estadísticas de artículos individuales:Muestra estadísticas de elementos individuales como una pregunta independiente.
- Correlación entre un elemento individual y la puntuación total del cuestionario:Ayuda a evaluar qué tan bien un elemento contribuye a medir el constructo subyacente que se está evaluando.
Muchas de las estadísticas descritas incluyen valores sugeridos para comprender qué debe buscar. Sin embargo, en términos de análisis de ítems, no existen respuestas universales ni rangos de valores para determinar la validez o los resultados aceptables; su institución podría usar diferentes rangos para evaluar algunas métricas.
Exclusiones de datos del informe de análisis de ítems y cuestionarios
El informe de análisis de cuestionarios y elementos es un informe basado en solicitudesEl informe incluye las respuestas recibidas hasta el momento de su elaboración. Sin embargo, las siguientes presentaciones son...noincluido en el informe de análisis de ítems y cuestionarios:
- Envíos que aún no han sido evaluados por el calificador automático
- Múltiples intentos para los cuestionarios
- Nota:En el informe solo se incluye el último intento de un cuestionario.
- Preguntas que no han sido calificadas en al menos la mitad de las presentaciones
- Notas:
- El resto de las preguntas se filtran nuevamente para excluir los envíos con preguntas sin calificar.
- El máximo de puntos posibles para el cuestionario se reduce para que coincida con el número de puntos de las preguntas incluidas en el informe.
- Envíos agregados por un instructor al obtener una vista previa de un cuestionario o en la vista de Estudiante
Reglas para los informes de análisis de ítems y cuestionarios
Los datos del informe pueden mostrarse de forma diferente debido a las siguientes reglas:
- En ciertos casos, algunas métricas no se pueden calcular con base en la información disponible. En estos casos, las métricas muestran "N/A" (No Aplicable) en lugar del valor. Por ejemplo, si todas las preguntas de un cuestionario son aleatorias, no se puede calcular el Alfa de Cronbach. De igual manera, si no es posible segmentar a los estudiantes en tres grupos,índice de discriminaciónNo se puede calcular.
- Las métricas basadas en porcentajes se redondean al número entero más cercano, mientras que otras métricas se redondean a dos decimales.
Resumen del cuestionario
Esta sección define los puntos de datos que se pueden encontrar en la sección Resumen del cuestionario del informe.
Puntuación alta
Muestra el porcentaje de puntuación más alto otorgado entre los estudiantes que realizaron la prueba.
Puntuación baja
Muestra el porcentaje de puntuación más bajo otorgado entre los estudiantes que realizaron la prueba.
Puntuación media
Muestra el puntaje porcentual promedio entre los estudiantes que realizaron la prueba.
Puntuación media
Muestra el valor medio de las puntuaciones porcentuales de los estudiantes que realizaron el cuestionario cuando todas las puntuaciones se ordenan en orden ascendente. A diferencia de la puntuación media, que puede verse afectada por valores extremos, la mediana no se ve afectada por valores atípicos.
Tiempo medio transcurrido
Muestra el tiempo promedio que lleva completar la prueba.
Gráfico de distribución de puntuaciones
Muestra una distribución de los puntajes porcentuales obtenidos entre los estudiantes que realizaron la prueba.
Desviación estándar
¿Qué es la desviación estándar?
La desviación estándar mide la desviación absoluta promedio de las puntuaciones con respecto a la media. Una desviación estándar baja indica que, en promedio, las puntuaciones tienden a estar cerca de la media del conjunto. Un valor alto indica que, en promedio, las puntuaciones varían considerablemente con respecto a la media del conjunto de datos. La unidad de medida de la desviación estándar debe ser la misma que la media mostrada. Por ejemplo, si la media se expresa como un porcentaje, la desviación estándar también debe expresarse como un porcentaje.
¿Cómo se calcula la desviación estándar?
La desviación estándar se calcula encontrando la raíz cuadrada del promedio de las diferencias al cuadrado entre cada envío y la media:
donde 𝑛 es el número de respuestas, 𝜇 es la puntuación media y 𝑥ᵢ es la puntuación porcentual del i-ésimo envío.
¿Cómo afectan los valores atípicos a un valor de desviación estándar?
Los valores atípicos son puntuaciones significativamente alejadas de la media. Pueden influir considerablemente en la media utilizada para calcular la desviación estándar. Si la desviación estándar es alta y hay valores atípicos, esto puede significar que no representa el valor típico.
Alfa de Cronbach
¿Qué es el Alfa de Cronbach?
El Alfa de Cronbach es una medida de consistencia interna que estima la fiabilidad de un cuestionario. Los valores varían de 0 a 1; los valores más altos indican una mayor fiabilidad.
Nota:Dado que el Alfa de Cronbach mide la consistencia interna, los elementos aleatorios distorsionarían el valor, por lo que se excluyen todos los elementos aleatorios de una prueba.
¿Cómo se calcula?
donde 𝑘 es el número de preguntas, 𝜎ᵢ² es la varianza de los puntajes de la pregunta i-ésima y 𝜎ₓ² es la varianza del cuestionario.
¿Cómo interpreto y evalúo un valor de Alfa de Cronbach?
Los valores van de 0 a 1. Los valores más altos indican mayor consistencia interna y fiabilidad, lo que significa que los ítems están fuertemente correlacionados y miden el mismo constructo subyacente. Un valor de cero indica que no existe correlación alguna entre los ítems y que son totalmente independientes entre sí. Conocer la respuesta a un ítem no se correlaciona con el conocimiento necesario para responder con precisión a otro ítem del cuestionario.
Aunque no existe un umbral estricto, se considera aceptable un valor de 0,70 o superior. Valores inferiores pueden ser aceptables si el cuestionario evalúa un tema complejo.
Puedes evaluar lacoeficiente de correlación artículo-total corregidoPara identificar elementos que podrían estar menos correlacionados con el constructo subyacente que se mide. Eliminar dichos elementos podría mejorar el Alfa de Cronbach.
Limitaciones
El Alfa de Cronbach evalúa la consistencia interna, pero no garantiza la validez ni aborda la calidad.
Estadísticas de artículos individuales
Puntos ganados promedio
Muestra la puntuación media obtenida entre los estudiantes a quienes se les entregó el artículo.
Puntos ganados promedio
Muestra el valor medio de las puntuaciones obtenidas por los estudiantes que recibieron el ítem, cuando todas las puntuaciones se ordenan en orden ascendente. A diferencia de la puntuación media, que puede verse afectada por valores extremos, la mediana no se ve afectada por valores atípicos.
Dificultad del objeto
¿Qué es la dificultad del objeto?
La dificultad del ítem (también conocida como valor p) es la proporción de participantes que respondieron correctamente al ítem. Los valores van de 0 (nadie respondió correctamente) a 1 (todos respondieron correctamente).
Nota: El cálculo de la dificultad del elemento funciona como una pregunta dicotómica e ignora los créditos o puntos parciales.
¿Cómo se calcula?
La dificultad de la pregunta se calcula dividiendo el número de participantes que la respondieron correctamente entre el número total de participantes. En el caso de preguntas aleatorias, el número total de participantes incluye solo a los estudiantes que recibieron la pregunta como parte de su cuestionario.
donde 𝐶 es el número de estudiantes que respondieron correctamente y 𝑇 es el número total de estudiantes.
¿Cómo interpreto y evalúo el valor de dificultad de un objeto?
Un valor de dificultad de un ítem cercano a 1 significa que la mayoría de los estudiantes respondieron correctamente, lo que podría indicar que el ítem se considera fácil o que podría no ser un desafío efectivo para los estudiantes. Esta podría ser la expectativa si un ítem se utiliza para evaluar el dominio del tema. Un valor cercano a 0 sugiere que pocos participantes respondieron correctamente, lo que podría indicar que el ítem es desafiante para los estudiantes.
Si bien no existe un límite estricto, generalmente los ítems con una dificultad inferior a 0,30 se consideran demasiado desafiantes, mientras que los superiores a 0,85 se consideran demasiado fáciles. Si la dificultad del ítem es demasiado alta o demasiado baja, considere ajustar el ítem o revisar la redacción para que se ajuste mejor al nivel de dificultad deseado.
Como cualquier proporción o porcentaje, el tamaño de la muestra puede influir considerablemente en la métrica de dificultad del ítem. Cuando el tamaño de la muestra es pequeño, unas pocas entregas pueden cambiar considerablemente el valor, mientras que cuando el tamaño de la muestra es grande, se necesitan más entregas con la misma puntuación/valor para cambiar la dificultad general del ítem.
Nota:Para obtener una imagen más coherente de un artículo, considere evaluar laíndice de discriminacióny elcoeficiente de correlación artículo-total corregido.
Cálculos correlacionales
Los siguientes cálculos ayudan a comprender mejor cómo los elementos individuales se relacionan o correlacionan con la puntuación total otorgada para el cuestionario y con los demás elementos del cuestionario.
Coeficiente de correlación artículo-total corregido
¿Qué es el coeficiente de correlación artículo-total corregido?
El coeficiente de correlación ítem-total corregido es el valor de la correlación de Pearson que se obtiene cuando la puntuación de un ítem se correlaciona con la puntuación total del cuestionario del que forma parte dicho ítem. La corrección de ese valor se produce cuando el ítem que se correlaciona se elimina de la puntuación total calculada para eliminar el sesgo; contabilizando un ítem solo una vez en lugar de dos veces en la métrica. Los profesionales de la medición moderna (es decir, psicometristas y expertos en evaluación) tienden a utilizar esta métrica con más frecuencia que el índice de discriminación debido a que incorpora toda la escala de puntuación en lugar de centrarse solo en los valores más altos y más bajos del rango de puntuación.
En esencia, esta métrica ayuda a determinar si los estudiantes que responden correctamente a una pregunta (o que obtienen una puntuación más alta en una pregunta que otros estudiantes) tienden a ser los que obtienen una puntuación más alta en el resto del cuestionario. O, por el contrario, muestra si quienes obtienen un rendimiento bajo en una pregunta también tienden a tener un rendimiento inferior en el resto del cuestionario.
¿Cómo se calcula?
El coeficiente de correlación entre la puntuación total del ítem corregida se calcula dividiendo la covarianza de la puntuación del ítem y la puntuación de la prueba (menos el ítem en cuestión; la puntuación total corregida) por el producto de la desviación estándar del ítem y la desviación estándar de la puntuación total corregida:
dónde cov (ítem, puntuación total corregida)es la covarianza del ítem y la puntuación total corregida:
cov(ítem, puntuación total corregida)= 𝑛∑(ítem) (puntuación total corregida)- (∑ artículo)(∑puntuación total corregida)
¿Cómo interpreto y evalúo el valor del coeficiente de correlación artículo-total corregido?
Este valor, al igual que otros coeficientes de correlación, varía de -1 a +1. Idealmente, los ítems deberían aspirar a obtener valores mayores o iguales a +0,20. Los valores cercanos a 0 indican poca o ninguna relación entre el rendimiento del ítem y el rendimiento en el resto de la prueba. Los valores negativos son indicativos de un comportamiento inesperado (p. ej., quienes obtienen buenos resultados en un ítem tienden a obtener una puntuación más baja en el resto del cuestionario y viceversa). En cierto sentido, esta métrica se considera una medida de discriminación más completa y sensible.
Índice de discriminación
¿Qué es el índice de discriminación?
El índice de discriminación se centra en la precisión con la que un ítem diferencia entre los individuos con la puntuación más alta y la más baja. Varía de -1 a +1. Un valor más alto indica una buena discriminación, mientras que un valor más bajo (o negativo) indica una discriminación deficiente.
¿Cómo se calcula?
Para calcular el índice de discriminación, se calcula el percentil de los estudiantes que realizaron el cuestionario según sus puntuaciones, y se clasifican en tres grupos: estudiantes en el percentil 27 o inferior, estudiantes en el percentil 63 o superior, y todos los que se encuentran entre ambos. La dificultad del ítem (valor p) se calcula para los grupos superior e inferior. La discriminación es la diferencia entre la dificultad del ítem del grupo superior y la dificultad del grupo inferior.
¿Cómo interpreto y evalúo el valor del Índice de Discriminación?
De forma similar al coeficiente de correlación ítem-total corregido, un índice de discriminación alto indica que quienes obtienen buenos resultados en la prueba tienden a obtener buenos resultados en ese ítem en particular. Un valor bajo del índice de discriminación significa que el ítem no discrimina bien. Un número negativo indica una relación inversa/inesperada. Los umbrales para los rangos de valores varían, pero un conjunto general de directrices es el siguiente:
Índice de discriminación | Interpretación |
|---|
0,40 y más | Muy buena discriminación |
0,30 - 0,39 | Buena discriminación |
0,20 - 0,29 | Discriminación justa |
0,10 - 0,19 | No discriminar |
Por debajo de 0,10 | Artículo pobre |
Negativo | Relación invertida |
Archivos CSV y objetos JSON
¿Cómo interpreto y evalúo el archivo CSV para los nuevos cuestionarios y análisis de ítems?
El archivo CSV del informe de análisis de elementos y cuestionarios de nuevos cuestionarios incluye la misma información que puede ver en la interfaz de Canvas.
Notas:
- A diferencia de la interfaz de Canvas, las métricas no se redondean en el archivo CSV.
- Si no se puede calcular un campo (por ejemplo: Alfa de Cronbach), se agrega una cadena “N/D” a la celda.
- Si un campo no está disponible en el informe (por ejemplo, recuento de estudiantes “Sin respuesta” para el tipo de pregunta de categorización), se agrega una cadena “No compatible” a la celda.
El nombre del archivo CSV es el título de la prueba y la cadena “Informe de análisis de elementos y pruebas”.
Las primeras nueve columnas están reservadas para el análisis de la prueba y solo se completa una fila.
Los encabezados de las columnas son los siguientes:
Informe generado:Fecha y hora en que se generó el informe
Título del cuestionario:Título del cuestionario
Puntuación más alta del cuestionario:Puntuación alta
Puntuación baja del cuestionario:Puntuación baja
Puntuación media del cuestionario:Puntuación media
Puntuación media del cuestionario:Puntuación media
Desviación estándar del cuestionario:Desviación estándar
Cuestionario Alfa de Cronbach:Alfa de Cronbach
Tiempo transcurrido medio del cuestionario:Tiempo medio transcurrido
Desde la columna diez hasta el final, la primera fila siempre está vacía. Cada fila representa un elemento del cuestionario.
Los encabezados de las columnas son los siguientes:
ID del artículo:ID del elemento del cuestionario
Título: Título del artículo
Dificultad del artículo:Dificultad del objeto
Posibles puntos:Máximo de puntos posibles
Puntos ganados promedio:Puntos ganados promedio
Puntos ganados medianos:Puntos ganados promedio
Índice de discriminación:Índice de discriminación
Correlación total del elemento corregido:Coeficiente de correlación total del elemento corregido
Tipo de artículo:Tipo de pregunta
Correcto: Número de estudiantes que respondieron correctamente el ítem
Incorrecto:Número de estudiantes que respondieron incorrectamente el ítem
Sin respuesta:Número de estudiantes que no respondieron la pregunta
Frecuencias de respuesta:Representación de la tabla resumen de frecuencia de respuesta
¿Cómo leo e interpreto la columna AnswerFrequencies?
La tabla Resumen de frecuencia de respuestas está representada en objetos JSON (Notación de objetos JavaScript) debido a la complejidad de los datos.Obtenga más información sobre JSON.
El siguiente objeto JSON es una representación de una pregunta de categorización:
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
El campo “respuestas” es una lista de objetos.
Cada respuesta tiene los mismos campos: la “respuesta” (el texto de la respuesta) y las “categorías” (una lista de objetos).
Un objeto de categoría tiene tres campos:
- El campo “categoría” es el nombre de la categoría que usted creó
- El campo “contar” muestra cuántos estudiantes agregaron respuestas a esta categoría
- El campo “correcto” indica si la respuesta está configurada en esta categoría como correcta
Nota:Puedes ver la "categoría": "_distractores_" en cada objeto de respuesta. Esto se refiere a los distractores adicionales con prefijo y sufijo, para evitar confusiones si usas "Distractores" como una de las categorías de tu pregunta.