Questo documento fornisce informazioni complete sul report "Nuovi Quiz" e "Analisi degli Elementi", insieme ai calcoli associati. Il report include due sezioni principali: "Analisi dei Quiz" e "Analisi degli Elementi", che trattano i seguenti argomenti:
- Riepilogo generale delle prestazioni del quiz:Presenta una panoramica delle statistiche dei quiz, consentendo ad amministratori e insegnanti di comprendere in modo olistico le prestazioni complessive degli studenti.
- Statistiche dei singoli articoli:Visualizza le statistiche per singoli elementi come domanda indipendente.
- Correlazione tra un singolo elemento e il punteggio totale del quiz:Aiuta a valutare in che misura un elemento contribuisce a misurare il costrutto sottostante che si sta valutando.
Molte delle statistiche descritte includono valori suggeriti per capire cosa cercare. Tuttavia, in termini di analisi degli item, non esistono risposte universali o intervalli di valori per determinare la validità o i risultati accettabili; il tuo istituto potrebbe utilizzare intervalli diversi per valutare alcune metriche.
Esclusioni dei dati del report di analisi di quiz e item
Il report di analisi dei quiz e degli elementi è un report basato sulle richiesteIl rapporto include le risposte ricevute fino al momento della sua creazione. Tuttavia, i seguenti contributi sonononinclusi nel report di analisi dei quiz e degli item:
- Invii che non sono ancora stati valutati dal correttore automatico
- Tentativi multipli per i quiz
- Nota:Nel rapporto è incluso solo l'ultimo tentativo di un quiz
- Domande che non sono state valutate per almeno la metà degli invii
- Note:
- Le restanti domande vengono nuovamente filtrate per escludere gli invii con domande non valutate
- Il punteggio massimo possibile per il quiz è ridotto per corrispondere al numero di punti per le domande incluse nel rapporto
- Invii aggiunti da un istruttore durante l'anteprima di un quiz o nella vista Studente
Regole per il report di analisi dei quiz e degli elementi
I dati del report potrebbero essere visualizzati in modo diverso a causa delle seguenti regole:
- In alcuni scenari, alcune metriche non possono essere calcolate in base all'input disponibile. In questi casi, le metriche visualizzano "N/D" (Non applicabile) al posto del valore. Ad esempio, se tutte le domande di un quiz sono elementi randomizzati, l'Alpha di Cronbach non può essere calcolato. Analogamente, se la segmentazione degli studenti in 3 gruppi non è fattibile,indice di discriminazionenon può essere calcolato.
- Le metriche basate sulla percentuale vengono arrotondate all'intero più vicino, mentre le altre metriche vengono arrotondate a due cifre decimali.
Riepilogo del quiz
Questa sezione definisce i punti dati che possono essere trovati nella sezione Riepilogo quiz del report.
Punteggio più alto
Visualizza la percentuale di punteggio più alta assegnata tra gli studenti che hanno sostenuto il quiz.
Punteggio basso
Visualizza la percentuale di punteggio più bassa assegnata agli studenti che hanno sostenuto il quiz.
Punteggio medio
Visualizza il punteggio percentuale medio tra gli studenti che hanno svolto il quiz.
Punteggio mediano
Mostra il valore medio dei punteggi percentuali tra gli studenti che hanno sostenuto il quiz quando tutti i punteggi sono ordinati in ordine crescente. A differenza del punteggio medio, che può essere influenzato dai valori estremi, la mediana non è influenzata dai valori anomali.
Tempo medio trascorso
Visualizza il tempo medio impiegato per completare il quiz.
Grafico di distribuzione del punteggio
Visualizza una distribuzione dei punteggi percentuali ottenuti tra gli studenti che hanno sostenuto il quiz.
Deviazione standard
Che cos'è la deviazione standard?
La deviazione standard è una misura della deviazione assoluta media dei punteggi attorno alla media. Una deviazione standard bassa indica che, in media, i punteggi tendono ad essere vicini alla media del set. Un valore elevato indica che, in media, i punteggi variano ampiamente dalla media del set di dati. L'unità di misura della deviazione standard deve essere la stessa della media visualizzata. Ad esempio, se una media è indicata come valore percentuale, anche la deviazione standard deve essere indicata come valore percentuale.
Come viene calcolata la deviazione standard?
La deviazione standard si calcola calcolando la radice quadrata della media delle differenze al quadrato tra ogni invio e la media:
dove 𝑛 è il numero di risposte, 𝜇 è il punteggio medio e 𝑥ᵢ è il punteggio percentuale dell'i-esimo invio.
In che modo i valori anomali influenzano il valore della deviazione standard?
I valori anomali sono punteggi significativamente distanti dalla media. I valori anomali possono influenzare notevolmente la media utilizzata per calcolare la deviazione standard. Se la deviazione standard è elevata e sono presenti valori anomali, ciò potrebbe significare che la deviazione standard non rappresenta il valore tipico.
Alfa di Cronbach
Cos'è l'Alfa di Cronbach?
L'Alpha di Cronbach è una misura di coerenza interna che stima l'affidabilità di un quiz. I valori vanno da 0 a 1, con valori più alti che indicano una maggiore affidabilità.
Nota:Poiché l’Alpha di Cronbach misura la coerenza interna, gli elementi randomizzati distorcerebbero il valore, quindi tutti gli elementi randomizzati in un quiz vengono esclusi.
Come viene calcolato?
dove 𝑘 è il numero di domande, 𝜎ᵢ² è la varianza dei punteggi della i-esima domanda e 𝜎ₓ² è la varianza del quiz.
Come si interpreta e si valuta il valore dell'Alfa di Cronbach?
I valori vanno da 0 a 1, con valori più alti che indicano maggiore coerenza interna e affidabilità, ovvero gli item sono fortemente correlati e misurano lo stesso costrutto di base. Un valore pari a zero indica che non c'è alcuna correlazione tra gli item e che sono totalmente indipendenti l'uno dall'altro. Conoscere la risposta a un item non è correlato alle conoscenze necessarie per rispondere correttamente a un altro item del quiz.
Sebbene non esista una soglia rigorosa, un valore pari o superiore a 0,70 è considerato accettabile. Valori inferiori possono essere accettabili se il quiz valuta un argomento complesso.
Puoi valutare ilcoefficiente di correlazione corretto tra elemento e totaleper identificare gli elementi che potrebbero essere meno correlati al costrutto sottostante misurato. La rimozione di tali elementi potrebbe migliorare l'Alpha di Cronbach.
Limitazioni
L'Alpha di Cronbach valuta la coerenza interna, ma non garantisce la validità, né affronta la qualità.
Statistiche dei singoli articoli
Punti medi guadagnati
Visualizza il punteggio medio ottenuto dagli studenti a cui è stato assegnato l'oggetto.
Punti mediani guadagnati
Mostra il valore medio dei punteggi ottenuti dagli studenti a cui è stato assegnato l'esercizio, quando tutti i punteggi sono ordinati in ordine crescente. A differenza del punteggio medio, che può essere influenzato dai valori estremi, la mediana non è influenzata dai valori anomali.
Difficoltà dell'oggetto
Cos'è la difficoltà dell'oggetto?
La difficoltà dell'item (nota anche come p-value) è la percentuale di partecipanti che hanno risposto correttamente all'item. I valori vanno da 0 (nessuno ha risposto correttamente) a 1 (tutti hanno risposto correttamente).
Nota:Il calcolo della difficoltà dell'elemento funziona come una domanda dicotomica e ignora i crediti o i punti parziali.
Come viene calcolato?
La difficoltà dell'item si calcola dividendo il numero di partecipanti che hanno risposto correttamente all'item per il numero totale dei partecipanti. Nel caso di item randomizzati, il numero totale dei partecipanti include solo gli studenti a cui è stato assegnato l'item come parte del quiz.
dove 𝐶 è il numero di studenti che hanno risposto correttamente e 𝑇 è il numero totale di studenti.
Come posso interpretare e valutare il valore di difficoltà di un oggetto?
Un valore di difficoltà dell'item vicino a 1 indica che la maggior parte degli studenti ha risposto correttamente all'item, il che potrebbe indicare che l'item è considerato facile per gli studenti o potrebbe non essere una sfida efficace per gli studenti. Questa potrebbe essere l'aspettativa prevista se un item viene utilizzato per testare la padronanza. Un valore più vicino a 0 suggerisce che pochi partecipanti hanno risposto correttamente all'item, il che potrebbe indicare che l'item è impegnativo per gli studenti.
Sebbene non esista una soglia rigorosa, in genere gli elementi con difficoltà inferiore a 0,30 sono considerati troppo impegnativi, mentre quelli superiori a 0,85 sono considerati troppo facili. Se la difficoltà dell'elemento è troppo alta o troppo bassa, valuta la possibilità di modificarla o di rivederne la descrizione per adattarla meglio al livello di difficoltà desiderato.
Come qualsiasi proporzione o percentuale, la dimensione del campione utilizzata può influenzare notevolmente la metrica di difficoltà dell'elemento. Quando la dimensione del campione è piccola, pochi invii possono modificare notevolmente il valore, mentre quando la dimensione del campione è grande, sono necessari più invii con lo stesso punteggio/valore per modificare la difficoltà complessiva dell'elemento.
Nota:Per ottenere un quadro più coerente di un elemento, si consideri la valutazione delindice di discriminazionee ilcoefficiente di correlazione corretto tra elemento e totale.
Calcoli correlazionali
I calcoli seguenti aiutano a comprendere meglio in che modo i singoli elementi sono correlati o correlati al punteggio totale assegnato al quiz e agli altri elementi del quiz.
Coefficiente di correlazione corretto tra elemento e totale
Qual è il coefficiente di correlazione corretto tra elemento e totale?
Il coefficiente di correlazione corretto tra item e totale è il valore della correlazione di Pearson ottenuto quando il punteggio di un item è correlato con il punteggio totale del quiz in cui è contenuto quell'item. La correzione di tale valore avviene quando l'item correlato viene rimosso dal punteggio totale calcolato per eliminare la distorsione; tenendo conto di un item solo una volta anziché due nella metrica. I moderni professionisti della misurazione (ovvero psicometristi ed esperti di valutazione) tendono a utilizzare questa metrica più spesso dell'indice di discriminazione, poiché incorpora l'intera scala di punteggio anziché concentrarsi solo sui valori più alti e più bassi nell'intervallo di punteggio.
In sostanza, questa metrica aiuta a determinare se gli studenti che rispondono correttamente all'elemento (o ottengono punteggi più alti in un elemento rispetto agli altri studenti) tendono ad essere gli individui che ottengono punteggi più alti nel resto del quiz. O viceversa, mostrando se coloro che ottengono scarsi risultati in un elemento tendono anche a non ottenere risultati altrettanto buoni nel resto del quiz.
Come viene calcolato?
Il coefficiente di correlazione tra punteggio totale e item corretto viene calcolato dividendo la covarianza del punteggio dell'item e del punteggio del test (meno l'item in questione; il punteggio totale corretto) per il prodotto della deviazione standard dell'item e della deviazione standard del punteggio totale corretto:
Dove cov (elemento, punteggio totale corretto)è la covarianza dell'elemento e del punteggio totale corretto:
cov(elemento, punteggio totale corretto)= 𝑛∑(elemento)(punteggio totale corretto- (∑ articolo)(∑punteggio totale corretto)
Come posso interpretare e valutare il valore del coefficiente di correlazione tra elemento corretto e totale?
Questo valore, come altri coefficienti di correlazione, varia da -1 a +1. Idealmente, gli item dovrebbero mirare a ottenere valori maggiori o uguali a +0,20. Valori prossimi a 0 indicano poca o nessuna relazione tra la prestazione dell'item e la prestazione nel resto del test. Valori negativi sono indicativi di un comportamento inaspettato (ad esempio, coloro che ottengono buoni risultati in un item tendono a ottenere punteggi inferiori nel resto del quiz e viceversa). In un certo senso, questa metrica è considerata una misura di discriminazione più completa e sensibile.
Indice di discriminazione
Che cos'è l'indice di discriminazione?
L'indice di discriminazione si concentra sulla capacità di un elemento di differenziare tra gli individui con punteggio più alto e quelli con punteggio più basso. Varia da -1 a +1. Un valore più alto suggerisce una buona discriminazione, mentre un valore più basso (o negativo) indica una scarsa discriminazione.
Come viene calcolato?
Per calcolare l'indice di discriminazione, gli studenti che hanno sostenuto il quiz vengono classificati in base ai punteggi in base al percentile e vengono quindi classificati in 3 gruppi: studenti al 27° percentile o al di sotto, studenti al 63° percentile o al di sopra e tutti gli altri. La difficoltà dell'elemento (valore p) viene calcolata per i gruppi superiore e inferiore. La discriminazione è la differenza tra la difficoltà dell'elemento del gruppo superiore e la difficoltà del gruppo inferiore.
Come posso interpretare e valutare il valore dell'indice di discriminazione?
Analogamente al coefficiente di correlazione corretto tra item e totale, un indice di discriminazione elevato indica che gli individui che ottengono buoni risultati nel test tendono ad ottenere buoni risultati anche in quello specifico item. Un valore basso dell'indice di discriminazione indica che l'item non è discriminante. Un numero negativo indica che esiste una relazione inversa/inaspettata. Le soglie per gli intervalli di valori variano, ma le linee guida generali sono:
Indice di discriminazione | Interpretazione |
|---|
0,40 e oltre | Ottima discriminazione |
0,30 - 0,39 | Buona discriminazione |
0,20 - 0,29 | Discriminazione equa |
0,10 - 0,19 | Non discriminante |
Sotto 0,10 | Articolo scadente |
Negativo | Relazione invertita |
File CSV e oggetti JSON
Come posso interpretare e valutare il file CSV per i nuovi quiz e l'analisi degli elementi?
Il file CSV per il report di analisi dei quiz e degli elementi di New Quizzes include le stesse informazioni che puoi vedere nell'interfaccia di Canvas.
Note:
- A differenza dell'interfaccia Canvas, le metriche non vengono arrotondate nel file CSV.
- Se un campo non può essere calcolato (ad esempio: Alpha di Cronbach), alla cella viene aggiunta una stringa "N/D".
- Se un campo non è disponibile nel report (ad esempio, conteggio degli studenti "Nessuna risposta" per il tipo di domanda di categorizzazione), alla cella viene aggiunta la stringa "Non supportato".
Il nome del file CSV è il titolo del quiz e la stringa "Report di analisi del quiz e degli elementi".
Le prime nove colonne sono riservate all'analisi del quiz e solo una riga è riempita.
Le intestazioni delle colonne sono le seguenti:
Report generato:Data e ora in cui è stato generato il report
Titolo del quiz:Titolo del quiz
QuizHighScore:Punteggio alto
QuizLowScore:Punteggio basso
Punteggio medio del quiz:Punteggio medio
QuizMedianScore:Punteggio mediano
Deviazione standard del quiz:Deviazione standard
QuizCronbachsAlpha:Alfa di Cronbach
QuizMeanElapsedTime:Tempo medio trascorso
Dalla colonna dieci alla fine, la prima riga è sempre vuota. Ogni riga rappresenta quindi un elemento del quiz.
Le intestazioni delle colonne sono le seguenti:
ID articolo:ID dell'elemento del quiz
Titolo:Titolo dell'articolo
Difficoltà dell'oggetto:Difficoltà dell'oggetto
Punti possibili:Punti massimi possibili
Punti medi guadagnati:Punti medi guadagnati
Punti mediani guadagnati:Punti mediani guadagnati
DiscriminazioneIndice:Indice di discriminazione
Correzione totale dell'elemento corretto:Coefficiente di correlazione totale dell'elemento corretto
Tipo di elemento:Tipo di domanda
Corretto: Numero di studenti che hanno risposto correttamente alla domanda
Sbagliato:Numero di studenti che hanno risposto in modo errato alla domanda
Nessuna risposta:Numero di studenti che non hanno risposto alla domanda
RisposteFrequenze:Rappresentazione della tabella riassuntiva della frequenza delle risposte
Come posso leggere e interpretare la colonna AnswerFrequencies?
La tabella Riepilogo frequenza risposte è rappresentata in oggetti JSON (JavaScript Object Notation) a causa della complessità dei dati.Scopri di più su JSON.
Il seguente oggetto JSON è una rappresentazione di una domanda di categorizzazione:
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
Il campo “risposte” è un elenco di oggetti.
Ogni risposta ha gli stessi campi: la “risposta” (il testo della risposta) e le “categorie” (un elenco di oggetti).
Un oggetto categoria ha tre campi:
- il campo "categoria" è il nome della categoria che hai creato
- il campo "conteggio" mostra quanti studenti hanno aggiunto risposte a questa categoria
- il campo "corretto" indica se la risposta è impostata su questa categoria come corretta
Nota:Puoi vedere "category": "_distractors_" in ogni oggetto risposta. Questo è per i Distrattori Aggiuntivi con un prefisso e un suffisso, per evitare confusione se usi il nome "Distrattori" come una delle categorie nella tua domanda.