Användningskluster är delmängder av studenter grupperade baserat på hur mycket de använder en edtech-produkt (t.ex. låg användning, måttlig användning eller hög användning). Rapid Cycle Evaluation (RCE) genererar statistiskt dessa kluster baserat på naturliga användningsmönster med hjälp av en avancerad algoritm. Algoritmen identifierar det optimala antalet kluster baserat på likheter i total produktanvändning (t.ex. totalt antal minuter med användning av edtech-produkten). RCE jämför användningsmönster och produkteffektivitet mellan dessa användningskluster.
Vad är en studie (eller pilotstudie) och hur integreras den i en snabbcykelutvärdering (RCE)?
En testperiod (eller pilot) använder en forskningsbaserad undersökning för att hjälpa användare att samla in feedback och insikter från lärare om hur effektiv utbildningsteknik är. Den gör det möjligt för intressenter att generera kvalitativa och kvantitativa data (dvs. produktbetyg baserade på kärnkriterierna i LearnPlatforms betygsmatris och öppna kommentarer) från lärare över en hel skola, ett distrikt eller en hel delstat. Förutom produktfeedback från verifierade lärare i LearnPlatform integrerar RCE testresultat i feedbackavsnittet i RCE-rapporten, vilket gör det möjligt för användare att bättre förstå hur deras lärare och de i LearnCommunity utvärderar produkten utifrån de kärnkriterier som anses viktigast när de provar, köper eller använder en utbildningsteknikprodukt.
Hur delar RCE upp urvalet i behandlings- och kontrollgrupper?
- Kontrollstudiedesign: Behandlings- och kontrollgrupper (eller jämförelsegrupper) bestäms av skolan eller distriktet i en kontrollstudiedesign. Om en skola eller ett distrikt tilldelar elever till behandlings- och kontrollgrupperna (antingen med hjälp av slumpmässig tilldelning eller inte), används dessa fördefinierade grupper i RCE.
- Jämförande studiedesign: Många skolor och distrikt väljer att genomföra omfattande implementeringar av utbildningsteknik snarare än att genomföra en studie (eller pilotstudie) via experimentell design. Som ett annat alternativ kan skolor och distrikt tillhandahålla historiska data för att utvärdera användningen och effekten av utbildningsteknik utan att tidigare ha använt en forskningsdesign. I sådana fall består behandlingsgrupperna av elever som använde utbildningsteknikprodukten och kontrollgrupperna av elever som inte använde produkten.
- Korrelativ studiedesign: Korrelativa studier inkluderar inte en kontrollgrupp. Dessa studier inkluderar endast en behandlingsgrupp som fick interventionen. I dessa studiedesigner undersöker RCE sambandet mellan produktanvändning och ett utbildningsresultat, samtidigt som man statistiskt kontrollerar för kovariater.
Tar RCE hänsyn till de olika variabler som påverkar utbildningsteknikens effektivitet?
Förutom effekterna av utbildningsteknik på elevers prestationer finns det andra faktorer som påverkar effektiviteten av en given intervention, såsom undervisningskvalitet och skillnader i elevers demografi eller prestationer. RCE har förmågan att ta hänsyn till elev-, klass- och skolvariabler som betygsnivå, tidigare prestationer, elevdemografi och många andra faktorer. RCE tar hänsyn till alla kovariater som ingår i data och justerar statistiskt effektstorleken därefter.
En undersökning av prestationskvintiler gör det möjligt för RCE att avgöra om en edtech-produkt visar förmågan att minska prestationsgapet.
- Jämförande/kontrollstudiedesigner: Först grupperas eleverna inom behandlings- och kontrollgrupperna i kvintiler baserat på deras tidigare prestationer (t.ex. GPA före interventionen, tidigare testresultat). RCE beräknar sedan en effektstorlek inom varje prestationsgrupp, vilket visar hur väl en edtech-produkt fungerar för elever på olika prestationsnivåer (dvs. standardiserad medelskillnad mellan elevernas resultat efter testet på varje prestationsnivå). Edtech-produkter som uppvisar en stor, positiv effektstorlek för historiskt lågpresterande elever är produkter som kan bidra till att minska prestationsgapet. Till exempel, inom en kontroll- eller jämförande design, om RCE finner att effektstorlekarna för en edtech-produkt är positiva och högre för elever i de lågpresterande kvintilerna, då visar denna produkt potentiell effektivitet när det gäller att minska prestationsgapet.
- Korrelativa studiedesigner: RCE grupperar behandlingselever i kvintiler baserat på deras tidigare prestationer. Sedan beräknas en effektstorlek inom varje prestationsgrupp, vilket visar sambandet mellan produktanvändning och elevernas prestationer efter testet. Positiva effektstorlekar representerar att när användningen ökar ökar prestationen generellt, medan negativa effektstorlekar indikerar att när användningen ökar minskar prestationen generellt. Till exempel, inom en korrelativ design, om RCE hittar en negativ effektstorlek för en produkt för elever i den lägsta prestationskvintilen, indikerar detta att större produktanvändning är relaterad till lägre resultat efter testet för just denna elevgrupp.
Hur delas resultaten med intressenterna?
Administratörer har fullständig flexibilitet och kontroll för att dela resultat inom sina organisationer och med viktiga intressenter. LearnPlatform erbjuder administratörer möjligheten att dela RCE-rapporter, resultat från lärarfeedback och användningsdashboards med en unik URL till rapporten och/eller i tryckt format. Administratörer kan ställa in inloggningsbehörigheter för att ge varje typ av användare åtkomst till resultat som är relevanta för dem/deras roll. Dessutom kan all grafik och visuell visning i RCE exporteras (t.ex. PNG, JPEG eller SVG).