Om een Rapid Cycle Evaluation (RCE™) in LearnPlatform uit te voeren, hebt u verschillende gegevensbestanden nodig. Afhankelijk van uw onderzoeksdoelen zijn er vier hoofdtypen gegevens vereist:
- Gebruiksgegevens
- Gegevens uit het studenteninformatiesysteem (SIS)
- Uitkomstgegevens
- Prijsgegevens
De gegevens die u al verzamelt of van plan bent te verzamelen, bieden uw team de informatie die het nodig heeft om de doelen te bereiken. Eén gegeven kan voldoende zijn (bijvoorbeeld gebruiksgegevens), maar mogelijk zijn er meerdere soorten gegevens nodig (bijvoorbeeld resultaatgegevens). Dit komt omdat verschillende gegevens verschillende vragen beantwoorden. Het supportteam van LearnPlatform staat klaar om u te helpen bepalen welke gegevens u nodig heeft.
De databeveiligde, snelle evaluatie-engine van LearnPlatform verwerkt de gegevens, samen met andere gegevens uit uw district (zoals demografische informatie en toetsresultaten). Door gegevens over programmagebruik te evalueren in combinatie met andere gegevens, kunt u bepalen hoe de implementatie kan worden verbeterd voor betere resultaten.
Opmerkingen:
Het LearnPlatform Research Team staat klaar om u gedurende dit hele proces te ondersteunen, van de planning tot het vinden van de in dit document genoemde databestanden. Dit omvat ook het opschonen van de data, het uitvoeren van uw RCE's en het leveren van bijbehorende samenvattende rapporten. De belangrijkste taak van uw team is ons te helpen toegang te krijgen tot de benodigde data en vervolgens de resultaten te gebruiken om beslissingen te nemen. Neem contact op met support-lp@instructure.com .
Gebruiksgegevens
Gebruiksgegevens geven aan in hoeverre een gebruiker (bijvoorbeeld een student) heeft deelgenomen aan of gebruik heeft gemaakt van de educatieve technologie. Voorbeelden van gebruiksgegevens (ook wel gebruiksstatistieken genoemd) zijn minuten op het systeem (MOS), dagen van gebruik, totaal aantal aanmeldingen, totaal aantal geprobeerde lessen, aantal voltooide lessen en aantal lessen dat onder de knie is.
Aanbieders van edtech-software bieden beheerders vaak de mogelijkheid om gebruiksgegevens te exporteren. Afhankelijk van de gekozen edtech-tool moet u mogelijk contact opnemen met de verantwoordelijke schoolbeheerder of rechtstreeks met het edtech-bedrijf om de gebruiksgegevens te verkrijgen.
Checklist voor gebruiksgegevens
❏ Zijn mijn gegevens op gebruikersniveau?
❏ Omvat de data het gebruik door de doelgroep?
❏ Bevatten mijn gegevens gebruikers-ID's die overeenkomen met mijn andere bestanden?
❏ Zijn mijn gegevens alleen beschikbaar binnen 2 weken na het einde van mijn testperiode? (indien ik een uitkomstenanalyse uitvoer)
❏ Bevatten mijn gegevens ten minste één duidelijke meetwaarde? (bijv. totale tijd in minuten, aantal voltooide lessen)
Opmerkingen:
- Deze gegevens moeten beschikbaar zijn op gebruikersniveau. Gegevens op districts- of schoolniveau zijn niet geschikt voor gebruik in een RCE.
- Er is slechts één gebruiksstatistiek nodig om een RCE uit te voeren.
- Ons team kan u helpen bepalen of de gebruiksgegevens van een leverancier geschikt zijn voor een RCE (Remote Consumer Experience).
SIS-gegevens
Gegevens in een leerlinginformatiesysteem (SIS) bestaan uit leerlingidentificaties en demografische gegevens. Voorbeelden van gegevens zijn leerlingnummer, leerjaar, school, ras/etniciteit, geslacht, status van speciaal onderwijs en status met betrekking tot gratis/gereduceerde schoolmaaltijden.
RCE gebruikt SIS-gegevens op twee manieren:
- Om rekening te houden met verschillen in de hoofdanalyse : Rapid Cycle Evaluation (RCE) gebruikt SIS-gegevens als covariabele in de hoofdanalyse, omdat SIS-verschillen tussen leerlingen, klaslokalen of scholen de uitkomst van het onderzoek kunnen beïnvloeden. De vergelijkingsgroep kan bijvoorbeeld meer leerlingen bevatten die speciaal onderwijs volgen. Door een indicator voor speciaal onderwijs op te nemen, kunnen we rekening houden met deze variatie tussen de groepen, zodat deze de resultaten niet beïnvloedt.
- Om verschillen in resultaten per subgroep te onderzoeken: Met Rapid Cycle Evaluation (RCE) kunt u de algehele resultaten en de resultaten voor specifieke subgroepen bekijken. Door SIS-gegevens mee te nemen, kunt u dieper ingaan op het gebruik en de prestaties binnen SIS-subgroepen (bijvoorbeeld leerjaar, geslacht, school). Heeft het gebruik van het edtech-product bijvoorbeeld geleid tot betere leerresultaten per leerjaar?
Om SIS-gegevens te verzamelen, moet u mogelijk contact opnemen met de SIS-beheerder of gegevensmanager van uw district om toegang tot de gegevens te krijgen of om hen te betrekken bij het proces van gegevensontdekking.
Checklist voor uitkomstgegevens
❏ Zijn mijn gegevens op gebruikersniveau?
❏ In de populatie waarin u geïnteresseerd bent?
❏ Bevatten mijn gegevens gebruikers-ID's die overeenkomen met mijn andere bestanden?
❏ Komen mijn resultaten overeen met mijn testperiode?
❏ Is er een duidelijke kolom met scores?
Checklist demografische gegevens
❏ Zijn mijn gegevens op gebruikersniveau?
❏ In de populatie waarin u geïnteresseerd bent?
❏ Bevatten mijn gegevens gebruikers-ID's die overeenkomen met mijn andere bestanden?
❏ Bevatten mijn SIS-gegevens relevante demografische gegevens?
Let op: Hoewel SIS-gegevens optioneel zijn bij het uitvoeren van een RCE, ongeacht uw onderzoeksdoelen, kan het opnemen van zoveel mogelijk SIS-gegevens de effecten van andere variabelen uitsluiten en zo de zekerheid vergroten dat de effecten aan de interventie kunnen worden toegeschreven. Uw team kan samen met LearnPlatform bepalen wat de beste manier is om SIS-gegevens te gebruiken.
Uitkomstgegevens
Uitkomstgegevens meten de leerresultaten die het edtech-product naar eigen zeggen beïnvloedt. Om een uitkomstenanalyse met LearnPlatform uit te voeren (dat wil zeggen, een analyse die het gebruik van het edtech-product koppelt aan het leerproces van studenten), zal ons onderzoeksteam een gestandaardiseerde, betrouwbare en valide uitkomstmaatstaf vragen. Om te onderzoeken hoe edtech het leerproces van studenten beïnvloedt, raden we aan een uitkomstmaatstaf te gebruiken die de leerprestaties van studenten weergeeft.
Voorbeelden van uitkomstgegevens zijn gestandaardiseerde toetsresultaten, gemiddelde cijfers (GPA) of aanwezigheid. Er zijn twee hoofdtypen uitkomstgegevens:
- Voor de interventie: Prestaties of scores voordat het edtech-product werd gebruikt. We gebruiken deze gegevens als covariabele in RCE's om rekening te houden met verschillen in de prestaties van studenten voordat de interventie (d.w.z. het edtech-product) beschikbaar was voor studenten.
- Na de interventie: Prestaties of scores na gebruik van het edtech-product. We gebruiken deze gegevens om de prestaties van studenten en de impact na de interventie te onderzoeken.
Er zijn diverse onderzoeksvragen die uw team kan helpen beantwoorden met behulp van een uitkomstenanalyse. Twee veelvoorkomende typen uitkomstenanalyses worden hieronder beschreven:
- Zonder vergelijkingsgroep : onderzoek de relatie tussen het gebruik van educatieve technologieproducten en uw resultaat na de interventie.
- Met een vergelijkingsgroep: onderzoek of leerlingen die het edtech-product gebruiken beter presteren dan andere leerlingen, gebaseerd op de resultaten na de interventie.
Om resultaatgegevens te vinden, bieden de meeste beoordelingssystemen gemakkelijke toegang tot rapportages op gebruikersniveau. Mogelijk moet u contact opnemen met de beoordelingscoördinator van uw district om toegang te krijgen tot deze rapporten. Uw RCE-teamlid kan u ook helpen door voorbeeldgegevens te verstrekken.
Prijsgegevens
Prijsgegevens omvatten de kosten van het abonnement of de licentie voor het edtech-product, per leerling of per locatie. Prijsgegevens kunnen ook andere directe en indirecte kosten omvatten die verbonden zijn aan het bezit van het product (bijvoorbeeld professionele ontwikkeling, personeelsuren). Prijsgegevens kunnen worden opgenomen in gebruiks- en resultatenanalyses, maar zijn niet verplicht.
De prijsinformatie wordt doorgaans tijdens de technische implementatie in uw productbibliotheek ingevoerd. Als alternatief kan de kosteninformatie worden ingediend tijdens het instellen van de RCE, indien deze nog niet met LearnPlatform is gedeeld. Indien u voor deze aanpak kiest, dient u mogelijk contact op te nemen met iemand binnen uw organisatie die beschikt over inkoopinformatie voor de betreffende edtech-tool. LearnPlatform kan u ook helpen bij het bepalen van de geschatte kosten per gebruiker als deze niet duidelijk zijn uit de factuur van de aanbieder.
Niet beschikbare of ontoegankelijke gegevens
Er zijn veel redenen waarom gegevens mogelijk niet beschikbaar zijn. Soms zijn gegevens ontoegankelijk omdat de leverancier geen toegang heeft verleend of momenteel geen gegevens verzamelt. Andere keren worden de gegevens op een onbruikbare manier gepresenteerd (bijvoorbeeld een geaggregeerd aantal voltooide activiteiten per district in plaats van gegevens op gebruikersniveau).
Als de benodigde gegevens niet beschikbaar zijn, kan de onderzoeksvraag mogelijk niet beantwoord worden. Daarom is het belangrijk om te controleren welke gegevens wél beschikbaar zijn bij het formuleren van je onderzoeksdoel. Je RCE-team kan je gedurende dit hele proces ondersteunen of alternatieve opties aanbieden om je zoveel mogelijk informatie te verschaffen.