Gebruiksclusters zijn subgroepen van studenten die zijn ingedeeld op basis van hun gebruik van een edtech-product (bijvoorbeeld weinig, gemiddeld of veel gebruik). Rapid Cycle Evaluation (RCE) genereert deze clusters statistisch op basis van natuurlijke gebruikspatronen met behulp van een geavanceerd algoritme. Het algoritme identificeert het optimale aantal clusters op basis van overeenkomsten in het totale productgebruik (bijvoorbeeld het totale aantal minuten dat het edtech-product is gebruikt). RCE vergelijkt gebruikspatronen en producteffectiviteit binnen deze gebruiksclusters.
Wat is een proef (of pilot) en hoe wordt deze geïntegreerd in Rapid Cycle Evaluation (RCE)?
Een proefproject (of pilot) maakt gebruik van een op onderzoek gebaseerde enquête om gebruikers te helpen feedback en inzichten van docenten te verzamelen over hun perceptie van de effectiviteit van edtech. Het stelt belanghebbenden in staat om kwalitatieve en kwantitatieve gegevens te genereren (bijvoorbeeld productbeoordelingen op basis van de kerncriteria van de LearnPlatform-beoordelingsrubriek en open vragen) van docenten in een hele school, district of staat. Naast productfeedback van geverifieerde docenten in LearnPlatform, integreert RCE de resultaten van het proefproject in het feedbackgedeelte van het RCE-rapport. Hierdoor kunnen gebruikers beter begrijpen hoe hun docenten en de leden van de LearnCommunity het product beoordelen op basis van de kerncriteria die het belangrijkst worden geacht bij het uitproberen, kopen of gebruiken van een edtech-product.
Hoe verdeelt de RCE de steekproef in behandelings- en controlegroepen?
- Ontwerp van een controlegroepstudie: Bij een ontwerp van een controlegroepstudie worden de behandelings- en controlegroepen (of vergelijkingsgroepen) bepaald door de school of het district. Als een school of district leerlingen toewijst aan de behandelings- en controlegroepen (al dan niet door middel van willekeurige toewijzing), dan worden deze vooraf gedefinieerde groepen gebruikt in de RCE (Respondent-Based Experiment).
- Vergelijkend onderzoeksontwerp: Veel scholen en districten kiezen ervoor om grootschalige implementaties van edtech uit te voeren in plaats van een proef (of pilot) te doen met een experimenteel ontwerp. Een ander alternatief is dat scholen en districten historische gegevens gebruiken om het gebruik en de impact van edtech te evalueren, zonder dat ze daarvoor een onderzoeksontwerp hebben gebruikt. In dergelijke gevallen bestaat de behandelingsgroep uit leerlingen die het edtech-product hebben gebruikt, en de controlegroep uit leerlingen die het product niet hebben gebruikt.
- Correlatief onderzoeksontwerp: Correlatieve studies omvatten geen controlegroep. Deze studies omvatten alleen een behandelingsgroep die de interventie heeft ontvangen. In dit type onderzoek onderzoekt RCE de relatie tussen productgebruik en een educatieve uitkomst, waarbij statistisch wordt gecontroleerd voor covariaten.
Houdt RCE rekening met de verscheidenheid aan variabelen die de effectiviteit van edtech beïnvloeden?
Naast de effecten van edtech op de leerprestaties van studenten, zijn er andere factoren die de effectiviteit van een bepaalde interventie beïnvloeden, zoals de kwaliteit van het onderwijs en demografische of prestatieverschillen tussen studenten. RCE kan rekening houden met variabelen op student-, klas- en schoolniveau, zoals leerjaar, eerdere prestaties, demografische gegevens van studenten en vele andere factoren. RCE houdt rekening met alle covariaten in de data en corrigeert de effectgrootte dienovereenkomstig statistisch.
Door prestatiequintielen te analyseren, kan RCE bepalen of een edtech-product in staat is de prestatiekloof te dichten.
- Vergelijkende/controle-onderzoeksopzetten: Ten eerste worden studenten binnen de behandelings- en controlegroepen ingedeeld in kwintielen op basis van hun eerdere prestaties (bijv. GPA vóór de interventie, eerdere toetsresultaten). RCE berekent vervolgens een effectgrootte binnen elke prestatiegroep, waarmee wordt aangetoond hoe goed een edtech-product werkt voor studenten met verschillende prestatieniveaus (d.w.z. het gestandaardiseerde gemiddelde verschil tussen de posttoetsresultaten van studenten op elk prestatieniveau). Edtech-producten die een grote, positieve effectgrootte laten zien voor historisch zwakke studenten, zijn producten die kunnen helpen de prestatiekloof te dichten. Als RCE bijvoorbeeld binnen een controle- of vergelijkend onderzoek vaststelt dat de effectgroottes voor een edtech-product positief zijn en hoger voor studenten in de lage prestatiekwintielen, dan toont dit product potentiële effectiviteit aan bij het dichten van de prestatiekloof.
- Correlatieve onderzoeksopzetten: Bij RCE worden leerlingen in behandelingsgroepen ingedeeld in kwintielen op basis van hun eerdere prestaties. Vervolgens wordt binnen elke prestatiegroep een effectgrootte berekend, die de relatie tussen productgebruik en de prestaties van de leerlingen na de toets aantoont. Positieve effectgroottes geven aan dat naarmate het gebruik toeneemt, de prestaties over het algemeen toenemen, terwijl negatieve effectgroottes aangeven dat naarmate het gebruik toeneemt, de prestaties over het algemeen afnemen. Bijvoorbeeld, als RCE binnen een correlatieve opzet een negatieve effectgrootte vindt voor een product bij leerlingen in het laagste prestatiekwintiel, dan geeft dit aan dat een hoger productgebruik samenhangt met lagere scores op de toets voor deze specifieke leerlingengroep.
Hoe worden de resultaten gedeeld met belanghebbenden?
Beheerders hebben volledige flexibiliteit en controle om resultaten te delen binnen hun organisatie en met belangrijke stakeholders. LearnPlatform biedt beheerders de mogelijkheid om RCE-rapporten, feedbackresultaten van docenten en gebruiksdashboards te delen met een unieke URL naar het rapport en/of in afgedrukte vorm. Beheerders kunnen inlogrechten instellen zodat elk type gebruiker toegang heeft tot resultaten die relevant zijn voor hen/hun rol. Bovendien kunnen alle afbeeldingen en visuele weergaven in de RCE worden geëxporteerd (bijv. PNG, JPEG of SVG).