Wanneer u een Rapid Cycle Evaluation (RCE) uitvoert , analyseert u uw doelen om te bepalen welk RCE-rapport u wilt genereren. Wat wilt u met dit onderzoek bereiken? Mogelijk hebt u meerdere doelen. Het definiëren van uw onderzoeksdoelen zal richting geven aan het RCE-rapport en de gegevensverzameling, -analyse en -conclusies beïnvloeden. Door deze doelen te selecteren, verkleint u de focus en de reikwijdte van uw onderzoek.
Onderwijsbestuurders formuleren vaak onderzoeksdoelen op de volgende gebieden:
Analyse op deze gebieden helpt bij het bepalen van:
- hoe een edtech-product wordt gebruikt
- hoe gebruikers de aanbevolen gebruiksrichtlijnen opvolgen
- Of een intensiever gebruik van een edtech-product samenhangt met betere leerresultaten.
- of studenten die een edtech-product gebruiken beter presteren dan andere studenten
- potentiële kostenbesparingen
Doelstellingen van gebruiksanalyse
Doel 1: Inzicht krijgen in hoe mijn edtech-product wordt gebruikt.
Bent u geïnteresseerd in nieuwe inzichten in het gebruik van edtech op uw school of in uw district? De implementatie van producten kan sterk variëren, afhankelijk van het gebruik en de toegang. Inzicht krijgen in de mate waarin een product wordt gebruikt en door wie, is een belangrijke eerste stap om de effectiviteit van edtech in uw omgeving te begrijpen. Afhankelijk van wanneer de gegevens voor uw edtech-producten beschikbaar komen, kunt u deze rapporten maandelijks of om de paar maanden genereren om te begrijpen hoe een specifiek edtech-product wordt gebruikt.
Doel 2: Inzicht krijgen in hoe gebruikers de aanbevolen gebruiksrichtlijnen opvolgen.
Werd er van gebruikers verwacht dat ze op een bepaalde manier met een edtech-product omgingen, en wilt u weten of ze aan die verwachtingen voldeden? Een productaanbieder of onderwijsbeheerder kan verwachtingen stellen aan gebruikers over het gebruik van een edtech-product (bijvoorbeeld vijf uur per week). Als u wilt weten hoeveel gebruikers die aanbevolen norm hebben gehaald, is dit onderzoeksdoel geschikt voor u. Net als bij het eerste doel kunnen deze rapporten maandelijks of om de paar maanden worden gegenereerd, afhankelijk van hoe vaak de gegevens beschikbaar komen.
Doelstellingen van de uitkomstanalyse
Doel 3: Onderzoeken of een intensiever gebruik van mijn product samenhangt met betere leerresultaten.
Wilt u weten of een intensiever gebruik van een edtech-product samenhangt met betere leerresultaten? Wilt u weten of er optimale gebruiksniveaus zijn voor uw gebruikers? Voor dit type RCE-rapport (Research Case Evaluation) neemt u alleen gebruikers op die het edtech-product of de interventie hebben ontvangen (bijvoorbeeld resultaten zonder controlegroep) om de relatie tussen edtech-gebruik en een uitkomstmaat (bijvoorbeeld tussentijdse toetsresultaten) te onderzoeken. U kunt onderzoeken hoe, indien van toepassing, het leerproces in de loop van de tijd is veranderd en of het gebruik verband houdt met die verandering. Dit doel sluit aan bij een van onze meest voorkomende RCE-rapporten en kan zo vaak worden uitgevoerd als u uitkomstgegevens beschikbaar hebt.
Doel 4: Vaststellen of leerlingen die mijn product gebruiken beter presteren dan andere leerlingen.
Wilt u weten of er een verschil is in resultaten tussen gebruikers die een edtech-product gebruiken en gebruikers die dat niet doen (bijvoorbeeld resultaten met een controlegroep)? Of wilt u weten of er optimale gebruiksniveaus zijn voor de gebruikers die het edtech-product hebben gebruikt? In dit type RCE-rapport (Research Case Evaluation) neemt u gebruikers op die een edtech-product of interventie ontvangen (bijvoorbeeld een behandelings-/interventiegroep) en vergelijkt u hun resultaten met die van gebruikers die hetzelfde product of dezelfde interventie niet ontvangen (bijvoorbeeld een controlegroep) om te bepalen of er verschillen tussen de groepen zijn. Dit is de meest rigoureuze aanpak om de effectiviteit van edtech-producten te begrijpen, dus we raden aan om eerst de eerdere doelen te onderzoeken voordat u dit type RCE-rapport uitvoert. U kunt dit type RCE-rapport zo vaak uitvoeren als er resultaten beschikbaar zijn.
De uitkomst verwijst naar de onderwijsuitkomst waarin we geïnteresseerd zijn. Dit moet een meetbare uitkomst zijn die door de interventie beïnvloed kan worden (bijvoorbeeld het onderzoeken van leesvaardigheid bij een interventie gericht op leesvaardigheid). Doorgaans moet de uitkomst een kwantitatieve maatstaf zijn met een hoge betrouwbaarheid en validiteit, zoals scores van gestandaardiseerde toetsen. Voor uitkomstanalyses in RCE-rapporten omvat de analyse covariaten die rekening houden met externe gegevenspunten die de uitkomst zouden kunnen verklaren (bijvoorbeeld de resultaten van een voortoets).
Doel van de kostenanalyse
Doel 5: Inzicht krijgen in mogelijke kostenbesparingen voor mijn product.
Bent u geïnteresseerd in mogelijke kostenbesparingen voor uw product? Nadat u het gebruik van uw edtech-product over een bepaalde periode hebt geanalyseerd, kunt u mogelijkheden voor kostenbesparing identificeren wanneer producten weinig of beperkt worden gebruikt.
RCE-rapporten kunnen worden gebruikt om meer te weten te komen over de gehele populatie in uw school of district, of over verschillende subpopulaties (bijvoorbeeld leerjaar, geslacht). De populatie is de groep deelnemers (bijvoorbeeld leerlingen) die in uw analyses zijn opgenomen. De populatie van belang kan zeer breed zijn of specifiek gericht op een bepaalde subgroep deelnemers, zoals leerlingen binnen een bepaalde school of leerjaar, leerlingen met verschillende prestatieniveaus, of leerlingen die zich identificeren als behorend tot een bepaald geslacht, etniciteit of met speciale behoeften. Voor RCE-rapporten kunt u mogelijk leerlinggroepen creëren op basis van uw productimplementatie en de context voor gebruik binnen uw organisatie. Uw RCE-manager kan u helpen bepalen welke groepen dit kunnen zijn.