Brugsklynger er delmængder af studerende grupperet sammen baseret på, hvor meget de bruger et edtech-produkt (f.eks. lav brug, moderat brug eller høj brug). Rapid Cycle Evaluation (RCE) genererer statistisk disse klynger baseret på naturlige brugsmønstre ved hjælp af en avanceret algoritme. Algoritmen identificerer det optimale antal klynger baseret på ligheder i den samlede produktbrug (f.eks. samlede minutter med brug af edtech-produktet). RCE sammenligner brugsmønstre og produkteffektivitet på tværs af disse brugsklynger.
Hvad er et forsøg (eller pilotprojekt), og hvordan integreres det i Rapid Cycle Evaluation (RCE)?
Et forsøg (eller pilotprojekt) bruger en forskningsbaseret undersøgelse til at hjælpe brugerne med at indsamle feedback og indsigt fra undervisere vedrørende deres opfattelse af effektiviteten af edtech. Det giver interessenter mulighed for at generere kvalitative og kvantitative data (dvs. produktkarakterer baseret på kernekriterierne i LearnPlatforms karaktergivningsrubrikker og åbne kommentarer) fra undervisere på tværs af en hel skole, et distrikt eller en hel stat. Ud over produktfeedback fra verificerede undervisere i LearnPlatform integrerer RCE forsøgsresultater i feedback-sektionen i RCE-rapporten, hvilket giver brugerne bedre mulighed for at forstå, hvordan deres undervisere og dem i LearnCommunity evaluerer produktet ud fra de kernekriterier, der anses for vigtigst, når de prøver, køber eller bruger et edtech-produkt.
Hvordan opdeler RCE stikprøven i behandlings- og kontrolgrupper?
- Kontrolstudiedesign: Behandlings- og kontrolgrupper (eller sammenligningsgrupper) bestemmes af skolen eller distriktet i et kontrolstudiedesign. Hvis en skole eller et distrikt tildeler elever til behandlings- og kontrolgrupperne (enten ved hjælp af tilfældig tildeling eller ej), anvendes disse foruddefinerede grupper i RCE.
- Sammenlignende studiedesign: Mange skoler og distrikter vælger at køre udbredte implementeringer af edtech i stedet for at gennemføre et forsøg (eller pilotprojekt) via eksperimentelt design. Som et andet alternativ kan skoler og distrikter levere historiske data for at evaluere brugen og effekten af edtech uden tidligere at have anvendt et forskningsdesign. I sådanne tilfælde består behandlingsgrupperne af elever, der brugte edtech-produktet, og kontrolgrupperne består af elever, der ikke brugte produktet.
- Korrelativt studiedesign: Korrelative studier inkluderer ikke en kontrolgruppe. Disse studier inkluderer kun en behandlingsgruppe, der modtog interventionen. I disse studiedesigns undersøger RCE forholdet mellem produktbrug og et uddannelsesmæssigt resultat, mens der statistisk kontrolleres for kovariater.
Tager RCE højde for de mange forskellige variabler, der påvirker edtechs effektivitet?
Ud over effekten af edtech på elevernes præstationer er der andre faktorer, der påvirker effektiviteten af en given intervention, såsom undervisningskvalitet og forskelle i elevernes demografi eller præstationer. RCE kan tage højde for elev-, klasse- og skolevariabler såsom klassetrin, tidligere præstationer, elevdemografi og mange andre faktorer. RCE tager højde for alle kovariater inkluderet i dataene og justerer statistisk effektstørrelsen i overensstemmelse hermed.
En undersøgelse af præstationskvintiler gør det muligt for RCE at afgøre, om et edtech-produkt demonstrerer evnen til at lukke præstationskløften.
- Sammenlignende/kontrolstudiedesigns: Først grupperes eleverne inden for behandlings- og kontrolgrupperne i kvintiler baseret på deres tidligere præstationer (f.eks. GPA før interventionen, tidligere testscore). RCE beregner derefter en effektstørrelse inden for hver præstationsgruppe og demonstrerer, hvor godt et edtech-produkt fungerer for elever på forskellige præstationsniveauer (dvs. standardiseret gennemsnitlig forskel mellem elevernes posttest-scorer på hvert præstationsniveau). Edtech-produkter, der viser en stor, positiv effektstørrelse for historisk lavt præsterende elever, er produkter, der kan hjælpe med at lukke præstationskløften. For eksempel, inden for et kontrol- eller sammenlignende design, hvis RCE finder, at effektstørrelser for et edtech-produkt er positive og højere for elever i de lavt præsterende kvintiler, demonstrerer dette produkt potentiel effektivitet i at lukke præstationskløften.
- Korrelative studiedesigns: RCE grupperer behandlingseleverne i kvintiler baseret på deres tidligere præstationer. Derefter beregnes en effektstørrelse inden for hver præstationsgruppe, der demonstrerer forholdet mellem produktbrug og elevernes præstation efter testen. Positive effektstørrelser repræsenterer, at når brugen stiger, stiger præstationen generelt, hvorimod negative effektstørrelser indikerer, at når brugen stiger, falder præstationen generelt. Hvis RCE f.eks. inden for et korrelativt design finder en negativ effektstørrelse for et produkt for elever i den laveste præstationskvintil, indikerer dette, at større produktbrug er relateret til lavere scorer efter testen for denne specifikke elevgruppe.
Hvordan deles resultaterne med interessenterne?
Administratorer har fuld fleksibilitet og kontrol til at dele resultater på tværs af deres organisationer og med vigtige interessenter. LearnPlatform giver administratorer mulighed for at dele RCE-rapporter, resultater fra lærerfeedback og brugsdashboards med en unik URL til rapporten og/eller i trykt format. Administratorer kan indstille logintilladelser for at give hver brugertype adgang til resultater, der er relevante for dem/deres rolle. Derudover kan al grafik og visuelle visninger i RCE'en eksporteres (f.eks. PNG, JPEG eller SVG).