När du kör en snabbcykelutvärdering (RCE) , granska dina mål för att bestämma vilken RCE-rapport du ska generera. Vad försöker du uppnå med den här forskningen? Du kan ha flera mål. Att definiera dina forskningsmål kommer att vägleda RCE-rapporten och påverka datainsamling, analys och slutsatser. Genom att välja dessa mål begränsar du fokus och omfattning av din forskning.
Utbildningsadministratörer utvecklar ofta forskningsmål inom följande områden:
Analys inom dessa områden hjälper till att fastställa:
- hur en edtech-produkt används
- hur användare följer rekommenderade användningsriktlinjer
- huruvida ökad användning av en edtech-produkt är relaterad till högre läranderesultat
- huruvida studenter som använder en edtech-produkt presterar bättre än andra studenter
- potentiella kostnadsbesparingar
Mål för användningsanalys
Mål 1: Förstå hur min edtech-produkt används
Är du intresserad av att få nya insikter i användningen av utbildningsteknik på din skola eller i ditt distrikt? Implementeringen av produkter kan variera kraftigt beroende på användning och åtkomst. Att kunna få insikter i i vilken utsträckning en produkt används och av vem är ett viktigt första steg för att förstå utbildningsteknikens effektivitet i din miljö. Beroende på när data görs tillgängliga för dina utbildningsprodukter kan du köra dessa rapporter varje månad eller med några månaders mellanrum för att förstå hur en viss utbildningsteknikprodukt används.
Mål 2: Förstå hur användare följer rekommenderade användningsriktlinjer
Förväntades användarna interagera med en utbildningsprodukt på ett visst sätt, och vill du veta om de levde upp till dessa förväntningar? En produktleverantör eller utbildningsadministratör kan ställa förväntningar på att användarna ska använda en utbildningsprodukt (t.ex. fem timmar per vecka). Om du vill veta hur många användare som nådde det rekommenderade riktmärket är detta forskningsmål rätt för dig. I likhet med det första målet kan dessa rapporter köras månadsvis eller med några månaders mellanrum beroende på hur ofta data görs tillgängliga.
Mål för resultatanalys
Mål 3: Förstå om ökad användning av min produkt är kopplad till högre läranderesultat
Vill du veta om ökad användning av en utbildningsprodukt är relaterad till förbättrade läranderesultat? Vill du veta om det finns optimala användningsnivåer för dina användare? För den här typen av RCE-rapport kommer du endast att inkludera användare som fick utbildningsprodukten eller interventionen (t.ex. resultat utan jämförelsegrupp) för att undersöka sambanden mellan utbildningsanvändning och ett resultatmått (t.ex. testresultat vid halvårsskiftet). Du kommer att kunna undersöka hur, om alls, lärandet förändrats över en tidsperiod och om användningen är relaterad till den förändringen. Detta mål sammanfaller med en av våra vanligaste RCE-rapporter och kan köras så ofta du har tillgängliga resultat.
Mål 4: Förstå om elever som använder min produkt presterar bättre än andra elever
Vill du veta om det finns en skillnad i resultat mellan användare som interagerar med en edtech-produkt och de som inte gör det (t.ex. resultat med en jämförelsegrupp)? Vad händer om det finns optimala användningsnivåer för dina användare som använde edtech-produkten? I den här typen av RCE-rapport inkluderar du användare som får en edtech-produkt eller intervention (t.ex. behandlings-/interventionsgrupp) och jämför deras resultat med användare som inte får samma produkt eller intervention (t.ex. jämförelsegrupp) för att avgöra om det fanns skillnader mellan grupperna. Detta är den mest rigorösa metoden för att förstå effektiviteten hos edtech-produkter, så vi rekommenderar att du bygger upp till den här typen av RCE-rapport genom att först undersöka tidigare mål. Du kan köra den här typen av RCE-rapport så ofta du har tillgängliga resultat.
Utfallet avser det utbildningsresultat som är av intresse, vilket bör vara ett mått som interventionen kan påverka (t.ex. undersökning av läs- och skrivkunnighetsresultat när man studerar en läs- och skrivintervention). Vanligtvis bör utfallet vara ett kvantitativt mått med hög reliabilitet och validitet, såsom resultat från standardiserade test. För RCE-rapporter om utfallsanalys inkluderar analysen kovariater som tar hänsyn till ovidkommande datapunkter som kan förklara ditt resultat (t.ex. prestation före testet).
Mål för kostnadsanalys
Mål 5: Förstå potentiella kostnadsbesparingar för min produkt
Är du intresserad av att förstå potentiella kostnadsbesparingar för din produkt? När du har analyserat användningen av din edtech-produkt över tid kan du identifiera möjligheter till kostnadsbesparingar när produkter har låg eller begränsad användning.
RCE-rapporter kan utföras för att lära sig mer om den totala populationen i din skola eller ditt distrikt, eller för olika delpopulationer (t.ex. årskurs, kön). Populationen är den grupp av deltagare (t.ex. elever) som ingår i dina analyser. Den intressanta populationen kan vara mycket bred eller specifik för en viss undergrupp av deltagare, vilket kan inkludera elever inom en viss skola eller årskurs, elever med olika prestationsnivåer eller elever som identifierar sig som ett visst kön, etnicitet eller särskilda behov. För RCE-rapporter kan du eventuellt skapa elevgrupper baserat på din produktimplementering och sammanhanget för användning i din organisation. Din RCE-chef kan hjälpa dig att avgöra vilka dessa grupper kan vara.