För att köra en Rapid Cycle Evaluation (RCE™) i LearnPlatform behöver du olika datafiler. Beroende på dina forskningsmål finns det fyra huvudtyper av data som krävs:
- Användningsdata
- Studentinformationssystem (SIS)-data
- Resultatdata
- Prissättningsdata
Den data du redan samlar in eller planerar att samla in ger den information ditt team behöver för att nå era mål. En dataenhet kan vara tillräcklig (t.ex. användningsdata) eller mer än en typ av data kan behövas (t.ex. resultatdata). Detta beror på att olika data besvarar olika frågor. LearnPlatforms supportteam finns tillgängligt för att hjälpa dig att avgöra vilken data du behöver.
LearnPlatforms datasäkra, snabba utvärderingsmotor bearbetar informationen, tillsammans med annan data från ditt distrikt (som demografisk information och bedömningsresultat). Att utvärdera programanvändningsdata tillsammans med annan data hjälper till att avgöra hur implementeringen kan förbättras för bättre resultat.
Anteckningar:
LearnPlatforms forskningsteam finns här för att stödja detta arbete längs vägen, från planering tillsammans med dig till att stödja upptäckten av datafiler som nämns i detta dokument. Detta inkluderar även all nödvändig datarensning, körning av dina RCE:er och tillhandahållande av tillhörande sammanfattande rapporter. Ditt teams primära roller är att hjälpa oss att få tillgång till data vi behöver och sedan använda resultaten för att fatta beslut. Kontakta support-lp@instructure.com .
Användningsdata
Användningsdata representerar i vilken utsträckning en användare (t.ex. student) deltog i eller interagerade med utbildningsverktyget. Exempel på användningsdata (även ibland kallade användningsstatistik) inkluderar minuter på systemet (MOS), användningsdagar, totalt antal inloggningar, totalt antal försökta lektioner, antal slutförda lektioner och antal behärskade lektioner.
Leverantörer av utbildningsteknik tillåter ofta administratörer att exportera användningsdata. Beroende på vilket utbildningsteknikverktyg du väljer kan du behöva kontakta din ansvariga distriktsadministratör eller utbildningsteknikföretaget direkt för att få användningsdata.
Checklista för användningsdata
❏ Är mina data på användarnivå?
❏ Inkluderar informationen användning från den berörda populationen?
❏ Har mina data användar-ID:n som matchar mina andra filer?
❏ Är mina data endast inom 2 veckor från slutet av mitt testfönster? (om jag kör Resultatanalys)
❏ Har mina data minst ett tydligt mätvärde? (dvs. total tid i minuter, genomförda lektioner)
Anteckningar:
- Denna data måste vara tillgänglig på användarnivå. Data på distrikts- eller skolnivå är inte lämpliga att använda i en RCE.
- Endast ett användningsmått behövs för att köra en RCE.
- Vårt team kan hjälpa dig att avgöra om en leverantörs användningsdata är lämplig för en RCE.
SIS-data
Data från elevinformationssystem (SIS) består av elevidentifierare och demografiska data. Exempel på data inkluderar elev-ID, årskurs, skola, ras/etnicitet, kön, specialundervisningsstatus och status som gratis/reducerad lunch.
RCE använder SIS-data på två sätt:
- För att redogöra för skillnader i huvudanalysen : Rapid Cycle Evaluation (RCE) använder SIS-data som en kovariat i huvudanalysen eftersom SIS-skillnader mellan elever, klassrum eller skolor kan påverka studieresultatet. Till exempel kan jämförelsegruppen ha fler elever som får specialundervisning. Genom att inkludera en indikator för specialundervisning kan vi redogöra för denna variation mellan grupperna så att den inte påverkar resultaten.
- För att undersöka skillnader i resultat per undergrupp: Med Rapid Cycle Evaluation RCE kan du undersöka övergripande resultat och resultat för specifika undergrupper. Genom att inkludera SIS-data kan du gå djupare in i användning och prestanda inom SIS-undergrupper (t.ex. årskurs, kön, skola). Ledde till exempel användningen av edtech-produkten till bättre läranderesultat baserat på årskurs?
För att samla in SIS-data kan du behöva kontakta ditt distrikts SIS-administratör eller dataansvarig för att få tillgång till informationen eller för att inkludera dem i datainsamlingsprocessen.
Checklista för resultatdata
❏ Är mina data på användarnivå?
❏ I den aktuella populationen?
❏ Har mina data användar-ID:n som matchar mina andra filer?
❏ Är mina resultat i linje med mitt testfönster?
❏ Finns det en tydlig kolumn med poäng?
Checklista för demografiska data
❏ Är mina data på användarnivå?
❏ I den aktuella populationen?
❏ Har mina data användar-ID:n som matchar mina andra filer?
❏ Innehåller mina SIS-uppgifter demografiska identifierare av intresse?
Obs: Även om SIS-data är valfritt när man kör en RCE, oavsett dina forskningsmål, kan inkludering av så mycket SIS-data som är lämpligt utesluta effekterna av andra variabler för att få säkerhet om effekterna kan tillskrivas interventionen. Ditt team kan arbeta med LearnPlatform för att fastställa den bästa användningen av SIS-data.
Resultatdata
Resultatdata mäter utbildningsresultat som den edtech-produkten påstår sig påverka. För att genomföra en resultatanalys med LearnPlatform (dvs. en analys som kopplar användningen av edtech-produkter till elevers lärande) kommer vårt forskarteam att be om ett standardiserat, tillförlitligt och giltigt resultatmått. För att undersöka hur edtech påverkar elevers lärande rekommenderar vi att man använder ett resultatmått för att representera elevernas prestationer.
Exempel på resultatdata inkluderar standardiserade bedömningsresultat, medelbetyg eller närvaro. Det finns två huvudtyper av resultatdata:
- Före intervention: Prestation eller poäng innan den edtech-baserade produkten används. Vi använder dessa data som en kovariat i RCE:er för att redogöra för skillnader i elevers prestationer innan interventionen (dvs. den edtech-baserade produkten) var tillgänglig för eleverna.
- Efter interventionen: Prestation eller poäng efter att ha använt den edtech-baserade produkten. Vi använder dessa data för att undersöka elevernas prestationer och effekt efter att de fått interventionen.
Det finns en mängd olika forskningsfrågor som en resultatanalys kan hjälpa ditt team att besvara. Två vanliga typer av resultatanalyser beskrivs nedan:
- Utan jämförelsegrupp : undersök sambandet mellan användning av edtech-produkter och resultatet efter interventionen.
- Med en jämförelsegrupp: undersök om studenter som använder den edtech-produkten presterar bättre än andra studenter, baserat på resultat efter interventionen.
För att hitta resultatdata erbjuder de flesta bedömningssystem enkel åtkomst till rapportering på användarnivå. Du kan behöva kontakta ditt distrikts bedömningschef för att få tillgång till dessa rapporter. Din RCE-teammedlem kan också hjälpa dig genom att tillhandahålla exempeldata.
Prissättningsdata
Prisuppgifterna inkluderar kostnaden för prenumerationen eller licensen för edtech-produkten, prissatt per student eller plats. Prisuppgifterna kan också inkludera andra direkta och indirekta kostnader i samband med att äga produkten (t.ex. professionell utveckling, personaltimmar). Prisuppgifter kan inkluderas i användnings- och resultatanalyser, men är inte obligatoriska.
Prissättning matas vanligtvis in i ditt produktbibliotek under den tekniska implementeringen. Alternativt kan kostnadsinformation skickas in när du konfigurerar RCE om den inte redan har delats med LearnPlatform. Om du använder den här metoden kan du behöva kontakta någon inom din organisation som har inköpsinformation för det aktuella utbildningsverktyget. LearnPlatform kan också hjälpa dig att fastställa den ungefärliga kostnaden per användare om det inte framgår tydligt av leverantörens fakturering.
Otillgänglig eller oåtkomlig data
Det finns många anledningar till varför data kanske inte är tillgängliga. Ibland är data otillgängliga eftersom leverantören inte har beviljat åtkomst eller inte samlar in data för närvarande. Andra gånger presenteras informationen på ett oanvändbart sätt. (t.ex. ett aggregerat distriktsantal av slutförda aktiviteter jämfört med data på användarnivå.)
Om de nödvändiga uppgifterna inte är tillgängliga kanske forskningsfrågan inte går att besvara, vilket är anledningen till att det är viktigt att kontrollera vilka data som finns tillgängliga när du formulerar ditt forskningsmål. Ditt RCE-team kan stödja dig genom hela processen eller erbjuda alternativa alternativ för att du ska få så mycket information som möjligt.