Per eseguire una Rapid Cycle Evaluation (RCE™) in LearnPlatform, sono necessari diversi file di dati. A seconda degli obiettivi della ricerca, sono necessari quattro tipi principali di dati:
- Dati di utilizzo
- Dati del Sistema Informativo Studenti (SIS)
- Dati sui risultati
- Dati sui prezzi
I dati che stai già raccogliendo o che intendi raccogliere forniscono le informazioni di cui il tuo team ha bisogno per raggiungere i tuoi obiettivi. Un solo dato potrebbe essere sufficiente (ad esempio, i dati di utilizzo) o potrebbero essere necessari più tipi di dati (ad esempio, i dati sui risultati). Questo perché dati diversi rispondono a domande diverse. Il team di supporto di LearnPlatform è a tua disposizione per aiutarti a determinare quali dati ti serviranno.
Il motore di valutazione rapido e sicuro di LearnPlatform elabora i dati, insieme ad altri dati provenienti dal tuo distretto (come informazioni demografiche e punteggi di valutazione). Valutare i dati sull'utilizzo del programma insieme ad altri dati aiuta a determinare come migliorare l'implementazione per ottenere risultati migliori.
Note:
Il team di ricerca di LearnPlatform è qui per supportarvi in questo lavoro in ogni fase, dalla pianificazione al supporto nella scoperta dei file di dati menzionati in questo documento. Questo include anche la necessaria pulizia dei dati, l'esecuzione dei vostri RCE e la fornitura di eventuali report di riepilogo associati. Il ruolo principale del vostro team è quello di aiutarci ad accedere ai dati di cui abbiamo bisogno e quindi utilizzare i risultati per prendere decisioni. Contattate support-lp@instructure.com .
Dati di utilizzo
I dati di utilizzo rappresentano la misura in cui un utente (ad esempio, uno studente) ha partecipato o interagito con lo strumento edtech. Esempi di dati di utilizzo (talvolta denominati anche metriche di utilizzo) includono minuti di utilizzo del sistema (MOS), giorni di utilizzo, numero totale di accessi, numero totale di lezioni tentate, numero di lezioni completate e numero di lezioni completate.
I fornitori di tecnologie didattiche spesso consentono agli amministratori di esportare i dati di utilizzo. A seconda dello strumento di tecnologia didattica scelto, potrebbe essere necessario contattare l'amministratore distrettuale responsabile o direttamente l'azienda di tecnologia didattica per ottenere i dati di utilizzo.
Lista di controllo dei dati di utilizzo
❏ I miei dati sono a livello utente?
❏ I dati includono l'utilizzo da parte della popolazione di interesse?
❏ I miei dati hanno ID utente che corrispondono agli altri miei file?
❏ I miei dati sono disponibili solo entro 2 settimane dalla fine della finestra di test? (se si esegue l'analisi dei risultati)
❏ I miei dati hanno almeno una metrica chiara? (ad esempio, tempo totale in minuti, lezioni completate)
Note:
- Questi dati devono essere disponibili a livello utente. I dati a livello di distretto o di scuola non sono adatti all'uso in un RCE.
- Per eseguire un RCE è necessaria una sola metrica di utilizzo.
- Il nostro team può aiutarti a stabilire se i dati di utilizzo di un fornitore sono appropriati per un RCE.
Dati SIS
I dati dei Sistemi Informativi Studenteschi (SIS) includono identificativi degli studenti e dati demografici. Tra i dati, ad esempio, figurano il numero di matricola, il livello scolastico, la scuola, la razza/etnia, il genere, lo stato di istruzione speciale e lo stato di pasti gratuiti/a prezzo ridotto.
RCE utilizza i dati SIS in due modi:
- Per tenere conto delle differenze nell'analisi principale : la valutazione del ciclo rapido (RCE) utilizza i dati SIS come covariata nell'analisi principale, poiché le differenze SIS tra studenti, classi o scuole possono influenzare l'esito dello studio. Ad esempio, il gruppo di confronto potrebbe avere più studenti che ricevono servizi di istruzione speciale. Includendo un indicatore per i servizi di istruzione speciale, possiamo tenere conto di questa variazione tra i gruppi in modo che non influenzi i risultati.
- Per esaminare le differenze nei risultati per sottogruppi: la valutazione rapida del ciclo (RCE) consente di esaminare i risultati complessivi e quelli per sottogruppi specifici. L'inclusione dei dati SIS consente di approfondire l'utilizzo e le prestazioni all'interno dei sottogruppi SIS (ad esempio, livello scolastico, genere, scuola). Ad esempio, l'utilizzo del prodotto edtech ha prodotto risultati di apprendimento migliori in base al livello scolastico?
Per raccogliere i dati SIS, potrebbe essere necessario contattare l'amministratore SIS o il responsabile dei dati del proprio distretto per accedere ai dati o per includerli nel processo di individuazione dei dati.
Lista di controllo dei dati sui risultati
❏ I miei dati sono a livello utente?
❏ Nella popolazione di interesse?
❏ I miei dati hanno ID utente che corrispondono agli altri miei file?
❏ I miei risultati sono allineati con la mia finestra di test?
❏ C'è una colonna chiara dei punteggi?
Lista di controllo dei dati demografici
❏ I miei dati sono a livello utente?
❏ Nella popolazione di interesse?
❏ I miei dati hanno ID utente che corrispondono agli altri miei file?
❏ I miei dati SIS contengono identificatori demografici di interesse?
Nota: sebbene i dati SIS siano facoltativi quando si esegue un RCE, indipendentemente dagli obiettivi della ricerca, includere quanti più dati SIS possibile può escludere gli effetti di altre variabili al fine di ottenere la certezza che gli effetti possano essere attribuiti all'intervento. Il tuo team può collaborare con LearnPlatform per determinare il miglior utilizzo dei dati SIS.
Dati sui risultati
I dati sui risultati misurano i risultati educativi che il prodotto edtech dichiara di avere un impatto. Per eseguire un'analisi dei risultati con LearnPlatform (ovvero un'analisi che collega l'utilizzo del prodotto edtech all'apprendimento degli studenti), il nostro team di ricerca richiederà una misura dei risultati standardizzata, affidabile e valida . Per esaminare l'impatto dell'edtech sull'apprendimento degli studenti, consigliamo di utilizzare una misura dei risultati per rappresentare il rendimento degli studenti.
Esempi di dati sui risultati includono punteggi di valutazione standardizzati, media dei voti (GPA) o presenze. Esistono due tipi principali di dati sui risultati:
- Pre-intervento: Prestazioni o punteggi prima dell'utilizzo del prodotto edtech. Utilizziamo questi dati come covariata negli RCE per tenere conto delle differenze nelle prestazioni degli studenti prima che l'intervento (ovvero il prodotto edtech) fosse disponibile per gli studenti.
- Post-intervento: performance o punteggi dopo l'utilizzo del prodotto edtech. Utilizziamo questi dati per esaminare le performance degli studenti e l'impatto dopo aver ricevuto l'intervento.
Esistono diverse domande di ricerca a cui un'analisi dei risultati può aiutare il tuo team a rispondere. Di seguito sono descritti due tipi comuni di analisi dei risultati:
- Senza un gruppo di confronto : esaminare la relazione tra l'utilizzo di prodotti edtech e il risultato post-intervento.
- Con un gruppo di confronto: esaminare se gli studenti che utilizzano il prodotto edtech ottengono risultati migliori rispetto agli altri studenti, in base ai risultati ottenuti dopo l'intervento.
Per individuare i dati sui risultati, la maggior parte dei sistemi di valutazione offre un facile accesso ai report a livello utente. Potrebbe essere necessario contattare il responsabile della valutazione del proprio distretto per accedere a questi report. Anche un membro del team RCE può assistervi fornendovi dati di esempio.
Dati sui prezzi
I dati sui prezzi includono il costo dell'abbonamento o della licenza del prodotto edtech, calcolato per studente o sede. I dati sui prezzi possono includere anche altri costi diretti e indiretti associati al possesso del prodotto (ad esempio, sviluppo professionale, ore di lavoro del personale). I dati sui prezzi possono essere inclusi nelle analisi di utilizzo e risultati, ma non sono obbligatori.
Solitamente, il prezzo viene inserito nella libreria prodotti durante l'implementazione tecnica. In alternativa, le informazioni sui costi possono essere inviate durante la configurazione dell'RCE, se non sono già state condivise con LearnPlatform. Se si adotta questo approccio, potrebbe essere necessario contattare qualcuno all'interno dell'organizzazione che disponga di informazioni sull'acquisto dello strumento edtech di interesse. LearnPlatform può anche aiutare a determinare il costo approssimativo per utente, se questo non risulta chiaro dalla fatturazione del fornitore.
Dati non disponibili o inaccessibili
Esistono molte ragioni per cui i dati potrebbero non essere disponibili. A volte, i dati sono inaccessibili perché il fornitore non ha concesso l'accesso o non li sta raccogliendo. Altre volte, i dati sono presentati in modo inutilizzabile (ad esempio, un conteggio aggregato delle attività completate a livello di distretto rispetto ai dati a livello di utente).
Se i dati richiesti non sono disponibili, la domanda di ricerca potrebbe non avere risposta, motivo per cui è importante verificare quali dati sono disponibili durante la formulazione dell'obiettivo di ricerca. Il team RCE può supportarvi durante l'intero processo o fornirvi opzioni alternative per ottenere il maggior numero di informazioni possibile.