I cluster di utilizzo sono sottoinsiemi di studenti raggruppati in base alla frequenza con cui utilizzano un prodotto edtech (ad esempio, utilizzo basso, utilizzo moderato o utilizzo elevato). La Rapid Cycle Evaluation (RCE) genera statisticamente questi cluster in base a modelli di utilizzo naturali utilizzando un algoritmo avanzato. L'algoritmo identifica il numero ottimale di cluster in base alle somiglianze nell'utilizzo totale del prodotto (ad esempio, minuti totali di utilizzo del prodotto edtech). La RCE confronta i modelli di utilizzo e l'efficacia del prodotto tra questi cluster di utilizzo.
Che cos'è una sperimentazione (o pilota) e come viene integrata nella valutazione rapida del ciclo (RCE)?
Una sperimentazione (o pilota) utilizza un sondaggio basato sulla ricerca per aiutare gli utenti a raccogliere feedback e approfondimenti dagli educatori in merito alla percezione dell'efficacia dell'edtech. Consente alle parti interessate di generare dati qualitativi e quantitativi (ad esempio, valutazioni del prodotto basate sui criteri fondamentali della griglia di valutazione di LearnPlatform e commenti aperti) da educatori di un'intera scuola, distretto o stato. Oltre al feedback sul prodotto proveniente da educatori verificati in LearnPlatform, RCE integra i risultati della sperimentazione nella sezione Feedback del report RCE, consentendo agli utenti di comprendere meglio come i loro educatori e i membri della LearnCommunity valutano il prodotto in base ai criteri fondamentali ritenuti più importanti quando si prova, si acquista o si utilizza un prodotto edtech.
In che modo l'RCE divide il campione in gruppi di trattamento e di controllo?
- Disegno di studio di controllo: i gruppi di trattamento e di controllo (o di confronto) sono determinati dalla scuola o dal distretto in uno studio di controllo. Se una scuola o un distretto assegna gli studenti ai gruppi di trattamento e di controllo (con o senza assegnazione casuale), questi gruppi predefiniti vengono utilizzati nell'RCE.
- Disegno di studio comparativo: molte scuole e distretti scolastici scelgono di implementare tecnologie educative su larga scala piuttosto che condurre una sperimentazione (o un progetto pilota) tramite un disegno sperimentale. In alternativa, scuole e distretti scolastici possono fornire dati storici per valutare l'utilizzo e l'impatto delle tecnologie educative senza aver precedentemente utilizzato un disegno di ricerca. In casi come questi, i gruppi di trattamento sono composti da studenti che hanno utilizzato il prodotto tecnologico educativo, mentre i gruppi di controllo sono composti da studenti che non lo hanno utilizzato.
- Disegno di studio correlativo: gli studi correlativi non includono un gruppo di controllo. Questi studi includono solo un gruppo di trattamento che ha ricevuto l'intervento. In questi disegni di studio, l'RCE esamina la relazione tra l'utilizzo del prodotto e un risultato educativo, controllando statisticamente le covariate.
L'RCE tiene conto della varietà di variabili che influenzano l'efficacia dell'edtech?
Oltre agli effetti dell'edtech sul rendimento degli studenti, ci sono altri fattori che influenzano l'efficacia di un dato intervento, come la qualità dell'insegnamento e le differenze demografiche o di rendimento degli studenti. L'RCE è in grado di tenere conto di variabili relative a studenti, classi e istituti scolastici, come il livello scolastico, i risultati precedenti, le caratteristiche demografiche degli studenti e molti altri fattori. L'RCE tiene conto di tutte le covariate incluse nei dati e ne adatta statisticamente l'entità dell'effetto di conseguenza.
Un esame dei quintili di performance consente all'RCE di determinare se un prodotto edtech dimostra la capacità di colmare il divario di rendimento.
- Disegni di studio comparativi/di controllo: in primo luogo, all'interno dei gruppi di trattamento e di controllo, gli studenti vengono raggruppati in quintili in base alle loro prestazioni precedenti (ad esempio, media dei voti prima dell'intervento, punteggio dei test precedenti). L'RCE calcola quindi l'entità dell'effetto all'interno di ciascun gruppo di rendimento, dimostrando l'efficacia di un prodotto edtech per studenti con diversi livelli di rendimento (ad esempio, differenza media standardizzata tra i punteggi post-test degli studenti a ciascun livello di rendimento). I prodotti edtech che mostrano un'entità dell'effetto ampia e positiva per studenti con prestazioni storicamente basse sono prodotti che possono contribuire a colmare il divario di rendimento. Ad esempio, all'interno di un disegno di controllo o comparativo, se l'RCE rileva che le dimensioni dell'effetto di un prodotto edtech sono positive e maggiori per gli studenti nei quintili di rendimento più bassi, allora questo prodotto dimostra una potenziale efficacia nel colmare il divario di rendimento.
- Disegni di studio correlativi: l'RCE raggruppa gli studenti in trattamento in quintili in base alle loro prestazioni precedenti. Quindi, viene calcolata la dimensione dell'effetto all'interno di ciascun gruppo di rendimento, dimostrando la relazione tra l'utilizzo del prodotto e il rendimento degli studenti post-test. Le dimensioni dell'effetto positive indicano che all'aumentare dell'utilizzo, il rendimento generalmente aumenta, mentre le dimensioni dell'effetto negative indicano che all'aumentare dell'utilizzo, il rendimento generalmente diminuisce. Ad esempio, all'interno di un disegno correlativo, se l'RCE rileva una dimensione dell'effetto negativa per un prodotto per gli studenti nel quintile di rendimento più basso, ciò indica che un maggiore utilizzo del prodotto è correlato a punteggi post-test più bassi per questo specifico gruppo di studenti.
Come vengono condivisi i risultati con le parti interessate?
Gli amministratori hanno la massima flessibilità e controllo per condividere i risultati all'interno delle loro organizzazioni e con i principali stakeholder. LearnPlatform offre agli amministratori la possibilità di condividere report RCE, risultati di feedback degli insegnanti e dashboard di utilizzo con un URL univoco al report e/o in formato cartaceo. Gli amministratori possono impostare le autorizzazioni di accesso per consentire a ciascun tipo di utente di accedere ai risultati rilevanti per sé o per il proprio ruolo. Inoltre, tutti i grafici e le visualizzazioni presenti nel RCE possono essere esportati (ad esempio, PNG, JPEG o SVG).