For at køre en Rapid Cycle Evaluation (RCE™) i LearnPlatform skal du bruge forskellige datafiler. Afhængigt af dine forskningsmål er der fire hovedtyper af data, der kræves:
- Brugsdata
- Data fra Student Information System (SIS)
- Resultatdata
- Prisdata
De data, du allerede indsamler eller planlægger at indsamle, giver dig de oplysninger, dit team har brug for for at nå dine mål. Ét enkelt dataelement kan være tilstrækkeligt (f.eks. brugsdata), eller der kan være behov for mere end én type data (f.eks. resultatdata). Dette skyldes, at forskellige data besvarer forskellige spørgsmål. LearnPlatforms supportteam er tilgængeligt for at hjælpe dig med at bestemme, hvilke data du skal bruge.
LearnPlatforms datasikre, hurtige evalueringsmotor behandler dataene sammen med andre data fra dit distrikt (f.eks. demografiske oplysninger og vurderingsscorer). Evaluering af programbrugsdata sammen med andre data hjælper med at bestemme, hvordan implementeringen kan forbedres for at opnå bedre resultater.
Noter:
LearnPlatform-forskningsteamet er her for at støtte dette arbejde undervejs, lige fra planlægning med dig til støtte for opdagelsen af datafiler nævnt i dette dokument. Dette inkluderer også nødvendig dataoprydning, kørsel af dine RCE'er og levering af tilhørende opsummerende rapporter. Dit teams primære roller er at hjælpe os med at få adgang til de data, vi har brug for, og derefter bruge resultaterne til at træffe beslutninger. Kontakt support-lp@instructure.com .
Brugsdata
Brugsdata repræsenterer, i hvilket omfang en bruger (f.eks. en studerende) deltog i eller engagerede sig i edtech-værktøjet. Eksempler på brugsdata (også nogle gange omtalt som brugsmålinger) omfatter minutter på systemet (MOS), brugsdage, samlet antal logins, samlet antal forsøg på lektioner, antal gennemførte lektioner og antal mestrede lektioner.
Leverandører af edtech-løsninger tillader ofte administratorer at eksportere brugsdata. Afhængigt af det valgte edtech-værktøj, skal du muligvis kontakte din ansvarlige distriktsadministrator eller edtech-virksomheden direkte for at få brugsdata.
Tjekliste for brugsdata
❏ Er mine data på brugerniveau?
❏ Omfatter dataene brugen fra den pågældende population?
❏ Har mine data bruger-ID'er, der matcher mine andre filer?
❏ Er mine data kun inden for 2 uger efter udgangen af mit testvindue? (hvis jeg kører resultatanalyse)
❏ Har mine data mindst én klar måleenhed? (f.eks. samlet tid i minutter, gennemførte lektioner)
Noter:
- Disse data skal være tilgængelige på brugerniveau. Data på distrikts- eller skoleniveau er ikke egnede til brug i en RCE.
- Kun én brugsmåling er nødvendig for at køre en RCE.
- Vores team kan hjælpe dig med at afgøre, om en leverandørs brugsdata er passende til en RCE.
SIS-data
Data fra elevinformationssystemer (SIS) består af elevidentifikatorer og demografiske data. Eksempler på data omfatter elev-ID, klassetrin, skole, race/etnicitet, køn, specialundervisningsstatus og status for gratis/reduceret frokost.
RCE bruger SIS-data på to måder:
- For at tage højde for forskelle i hovedanalysen : Rapid Cycle Evaluation (RCE) bruger SIS-data som en kovariat i hovedanalysen, fordi SIS-forskelle på tværs af elever, klasseværelser eller skoler kan påvirke studiets resultat. For eksempel kan sammenligningsgruppen have flere elever, der modtager specialundervisningsydelser. Ved at inkludere en indikator for specialundervisningsydelser kan vi tage højde for denne variation mellem grupperne, så den ikke påvirker resultaterne.
- Sådan undersøger du forskelle i resultater efter undergrupper: Rapid Cycle Evaluation RCE giver dig mulighed for at undersøge de samlede resultater og resultater for specifikke undergrupper. Ved at inkludere SIS-data kan du se nærmere på brug og præstation inden for SIS-undergrupper (f.eks. klassetrin, køn, skole). Resulterede brugen af edtech-produktet f.eks. i bedre læringsresultater baseret på klassetrin?
For at indsamle SIS-data skal du muligvis kontakte dit distrikts SIS-administrator eller dataansvarlige for at få adgang til dataene eller for at inkludere dem i dataindsamlingsprocessen.
Tjekliste for resultatdata
❏ Er mine data på brugerniveau?
❏ I den pågældende population?
❏ Har mine data bruger-ID'er, der matcher mine andre filer?
❏ Er mine resultater i overensstemmelse med mit testvindue?
❏ Er der en tydelig kolonne med scorer?
Tjekliste for demografiske data
❏ Er mine data på brugerniveau?
❏ I den pågældende population?
❏ Har mine data bruger-ID'er, der matcher mine andre filer?
❏ Indeholder mine SIS-data demografiske identifikatorer af interesse?
Bemærk: Selvom SIS-data er valgfrie, når man kører en RCE, uanset dine forskningsmål, kan inkludering af så mange SIS-data som muligt udelukke virkningerne af andre variabler for at opnå tillid til, at virkningerne kan tilskrives interventionen. Dit team kan samarbejde med LearnPlatform for at bestemme den bedste anvendelse af SIS-data.
Resultatdata
Resultatdata måler de uddannelsesmæssige resultater, som edtech-produktet hævder at have en effekt på. For at udføre en resultatanalyse med LearnPlatform (dvs. en analyse, der forbinder brugen af edtech-produkter med elevernes læring), vil vores forskerteam bede om et standardiseret, pålideligt og validt resultatmål. For at undersøge, hvordan edtech påvirker elevernes læring, anbefaler vi at bruge et resultatmål til at repræsentere elevernes præstationer.
Eksempler på resultatdata omfatter standardiserede vurderingsscorer, gennemsnitlig karakter eller fremmøde. Der er to hovedtyper af resultatdata:
- Før intervention: Præstation eller scorer før brug af edtech-produktet. Vi bruger disse data som en kovariat i RCE'er for at tage højde for forskelle i elevernes præstationer, før interventionen (dvs. edtech-produktet) var tilgængelig for eleverne.
- Efter interventionen: Præstation eller scorer efter brug af edtech-produktet. Vi bruger disse data til at undersøge elevernes præstationer og effekt efter at have modtaget interventionen.
Der er en række forskningsspørgsmål, som en resultatanalyse kan hjælpe dit team med at besvare. To almindelige typer resultatanalyser er beskrevet nedenfor:
- Uden en sammenligningsgruppe : Undersøg forholdet mellem brugen af edtech-produkter og dit resultat efter interventionen.
- Med en sammenligningsgruppe: Undersøg, om studerende, der bruger edtech-produktet, klarer sig bedre end andre studerende, baseret på resultaterne efter interventionen.
For at finde resultatdata giver de fleste vurderingssystemer nem adgang til rapportering på brugerniveau. Du skal muligvis kontakte din distrikts vurderingsdirektør for at få adgang til disse rapporter. Dit RCE-teammedlem kan også hjælpe dig ved at give dig eksempeldata.
Prisdata
Prisdata inkluderer omkostningerne ved abonnementet eller licensen på edtech-produktet, prissat pr. studerende eller lokation. Prisdata kan også omfatte andre direkte og indirekte omkostninger forbundet med at eje produktet (f.eks. faglig udvikling, personaletimer). Prisdata kan inkluderes i brugs- og resultatanalyser, men er ikke påkrævet.
Priser indtastes normalt i dit produktbibliotek under den tekniske implementering. Alternativt kan omkostningsoplysninger indsendes under opsætningen af RCE, hvis de ikke allerede er delt med LearnPlatform. Hvis du benytter denne fremgangsmåde, skal du muligvis kontakte en person i din organisation, der har købsoplysninger til det pågældende edtech-værktøj. LearnPlatform kan også hjælpe dig med at bestemme den omtrentlige pris pr. bruger, hvis det ikke fremgår tydeligt af udbyderens fakturering.
Utilgængelige eller utilgængelige data
Der er mange grunde til, at data muligvis ikke er tilgængelige. Nogle gange er data utilgængelige, fordi leverandøren ikke har givet adgang eller ikke indsamler data i øjeblikket. Andre gange præsenteres dataene på en ubrugelig måde. (f.eks. et aggregeret distriktstal for gennemførte aktiviteter versus data på brugerniveau).
Hvis de nødvendige data ikke er tilgængelige, kan forskningsspørgsmålet muligvis ikke besvares, og derfor er det vigtigt at kontrollere, hvilke data der er tilgængelige, når du formulerer dit forskningsmål. Dit RCE-team kan støtte dig gennem hele processen eller tilbyde alternative muligheder for at give dig mest mulig information.