Questo documento fornisce informazioni dettagliate sulle limitazioni e sui calcoli dell'analisi degli elementi del quiz nei quiz classici.
Canvas fornisce statistiche di analisi degli elementi del quiz per le domande del quiz in Canvas. Il download del file CSV (valori separati da virgola) dell'analisi degli elementi aiuterà gli insegnanti e i progettisti di corsi a valutare l'efficacia delle loro domande del quiz. L'analisi del quiz stima l'affidabilità, la difficoltà e la discriminazione per le domande a risposta multipla e vero/falso.
L'analisi degli item potrebbe non generare risultati all'interno di quiz specifici. Ecco alcune limitazioni da considerare nei report di analisi.
- Attualmente, l'analisi è progettata per funzionare con quiz che sottopongono le stesse domande a tutti gli studenti. Pertanto, se si genera il file CSV dell'analisi degli elementi per i quiz che attingono da un gruppo di domande, il CSV genererà una riga che rappresenta ciascuna versione del quiz.
- Attualmente il report Analisi degli elementi del quiz supporta solo domande a risposta multipla e vero/falso.
- Se un quiz consente più tentativi, i calcoli considereranno solo il primo tentativo dello studente (per escludere gli effetti della pratica).
- Le domande lasciate in bianco o a cui non viene data risposta vengono considerate errate ai fini della determinazione del punteggio totale dell'esame, ma vengono escluse dai calcoli a livello di domanda.
- Le statistiche includono solo i dati degli studenti che hanno tentato di sostenere il quiz.
L'analisi degli elementi del quiz Canvas genera punteggi basati sull'alfa di Cronbach. L'alfa di Cronbach misura la coerenza interna di quanto strettamente correlati siano un insieme di elementi come gruppo. Canvas genera un punteggio alfa a condizione che ci siano due o più domande nel quiz e la varianza del test sia maggiore di zero. Una varianza maggiore di zero implica che due o più invii producano punteggi diversi.
Nota:Per mantenere prestazioni ottimali del corsonell'interfaccia Canvas, i valori massimi per il calcolo sono 1000 invii o 100 domande. Ad esempio, un quiz con 200 domande non genererà statistiche del quiz. Tuttavia, un quiz con 75 domande genererà statistiche del quiz finché il quiz non avrà raggiunto 1000 tentativi.
I risultati superiori a questi valori massimi possono essere visualizzati scaricando il report di analisi degli studenti e visualizzando il file CSV.
Misurazioni dell'analisi del quiz
Affidabilità
L'affidabilità è una misura della coerenza interna del test, il che significa che se diverse domande sono progettate per misurare le stesse informazioni, il candidato risponderà in modo simile. Ad esempio, se un test viene somministrato per misurare il gradimento del gelato, gli studenti a cui piace il gelato dovrebbero concordare con affermazioni come "Mi piace il gelato" e "Mi è piaciuto mangiare il gelato in passato". Questi studenti dovrebbero anche non essere d'accordo con affermazioni come "Odio il gelato".
Difficoltà
L'indice di difficoltà (noto anche come valore p) indica quanto sia difficile rispondere correttamente alla domanda. L'indice è calcolato come la percentuale di studenti che hanno risposto correttamente. Le percentuali variano da 0 a 1. Canvas esegue questo calcolo con il punto biseriale.
Punto Biserial
Un punto biseriale è un coefficiente di correlazione che mette in relazione le risposte osservate agli item ed è utilizzato in particolare quando un set di dati è dicotomico, ovvero può assumere più valori in base alle risposte corrette e errate. Oltre al punto biseriale della risposta corretta, viene creato lo stesso calcolo per i distrattori/risposte errate (noto anche come efficienza del distrattore). Idealmente, tutte le risposte errate della domanda dovrebbero essere ugualmente interessanti per gli studenti che non hanno risposto alla domanda. I punteggi per questo vanno da -1 a 1.
Discriminazione
Le statistiche dei quiz per le domande Vero/Falso e a risposta multipla includono un indice di discriminazione degli item, che cerca di analizzare una distribuzione dei punteggi e di riflettere le differenze nei risultati degli studenti. Questa metrica fornisce una misura di quanto una singola domanda possa distinguere (o discriminare) tra gli studenti che ottengono buoni risultati in un esame e quelli che non lo ottengono. Divide gli studenti in tre gruppi in base al punteggio ottenuto nell'intero quiz e visualizza tali gruppi in base a chi ha risposto correttamente alla domanda. I gruppi di studenti sono generalmente suddivisi in: 27% dei migliori, 46% dei medi e 27% degli ultimi. Idealmente, gli studenti che hanno ottenuto buoni risultati nell'esame dovrebbero rispondere correttamente alla domanda. Se gli studenti ottengono buoni risultati nell'esame complessivo ma non nella domanda, potrebbe essere necessario rivedere la domanda stessa.
I punteggi di discriminazione più bassi sono pari o inferiori a +0,24; i punteggi buoni sono pari o superiori a +0,25. Un indice di discriminazione ideale mostra gli studenti che hanno ottenuto un punteggio più alto nel quiz rispondendo correttamente alla domanda, gli studenti che hanno ottenuto un punteggio più basso nel quiz rispondendo erroneamente alla domanda e gli studenti che si trovano nella fascia media su entrambi i lati. Un indice di discriminazione pari a zero mostra tutti gli studenti che hanno ottenuto un punteggio più alto nel quiz rispondendo correttamente o sbagliando la domanda.
Informazioni CSV
Il download CSV fornisce anche i seguenti calcoli e conteggi:
- ID domanda
- titolo della domanda
- ha risposto al conteggio degli studenti
- numero massimo di studenti (studenti nel 27% più alto)
- numero di studenti medi (studenti nella fascia media 46%)
- numero di studenti più basso (studenti nel 27% inferiore)
- conteggio delle domande del quiz (numero totale di domande del quiz)
- conteggio corretto degli studenti (numero totale di studenti che hanno dato la risposta giusta)
- conteggio degli studenti sbagliati (numero totale di studenti che hanno dato la risposta sbagliata)
- rapporto studenti corretti (rapporto tra studenti che hanno dato la risposta giusta)
- rapporto studenti sbagliati (rapporto tra studenti che hanno dato la risposta sbagliata)
- conteggio corretto degli studenti migliori (studenti nel 27% dei casi che hanno dato la risposta giusta)
- conteggio corretto degli studenti del livello intermedio (studenti nel livello intermedio 46% che hanno dato la risposta giusta)
- conteggio corretto degli studenti in fondo alla scala (studenti nell'ultimo 27% che hanno dato la risposta giusta)
- varianza (dei punteggi su questa domanda)
- deviazione standard (dei punteggi su questa domanda)
- indice di difficoltà
- punteggio alfa (per l'intero esame)
- punto biseriale della risposta corretta (indice di affidabilità)
- punto biseriale della prima risposta errata o distrattore (seguito dal secondo, ecc.)
Gli utenti autorizzati a leggere i dati SIS nel corso possono anche visualizzare la colonna sis_id nel download CSV.
È possibile accedere a questa risorsa anche dalle seguenti Guide Canvas: