Basisgelijkwaardigheid
De mate waarin twee of meer groepen (bijvoorbeeld een behandelings-/interventiegroep en een controlegroep) qua kenmerken vergelijkbaar zijn aan het begin van het onderzoek, met het oog op het vergelijken van het effect van de interventie op die groepen. Bij het vergelijken van de effecten van een interventie op twee of meer groepen wordt ervan uitgegaan dat de groepen equivalent zijn wat betreft prestaties, demografische kenmerken of andere doelkenmerken vóór de interventie (d.w.z. bij aanvang), zodat eventuele latere verschillen aan de interventie kunnen worden toegeschreven.
Door een gelijkwaardige uitgangssituatie vast te stellen, kunt u het effect van de interventie op de behandeling isoleren en tegelijkertijd verstorende factoren en externe invloeden uitsluiten. Een voorbeeld van een factor die kan leiden tot een gebrek aan gelijkwaardige uitgangssituatie is wanneer de behandelingsgroep aan het begin van het onderzoek meer beter presterende studenten telt dan de controlegroep. In zo'n situatie kan het effect van een interventie niet worden geïsoleerd en zouden de resultaten als vertekend worden beschouwd.
Clusteranalyse
Een statistische methode om deelnemers (bijv. studenten, scholen) in zinvolle groepen te verdelen op basis van de mate waarin ze gemeenschappelijke kenmerken delen (bijv. productgebruik). De kenmerken van deelnemers in één cluster verschillen significant van die in de andere clusters.
Vergelijkingsgroep
De groep deelnemers aan een onderzoek die geen behandeling/interventie ontvangt of een andere behandeling/interventie ontvangt, en die dus wordt vergeleken met de groep deelnemers die de behandeling/interventie wel heeft ontvangen (oftewel de behandelingsgroep).
Betrouwbaarheidsinterval
Een reeks waarden, geschat op basis van een steekproef, die waarschijnlijk de werkelijke waarde van de populatie bevat. Als de geschatte waarde in de steekproef bijvoorbeeld tussen 0,40 en 0,60 ligt met een betrouwbaarheidsniveau van 90%, dan kan men concluderen dat als men meerdere steekproeven uit een populatie neemt, de geschatte waarde in 90% van de gevallen tussen 0,40 en 0,60 zal vallen. Met andere woorden, er is een kans van 90% dat de gemiddelde waarde van de populatie tussen 0,40 en 0,60 ligt.
Vertrouwensniveau
De waarschijnlijkheid dat de waargenomen betrouwbaarheidsintervallen de werkelijke waarde voor de populatie bevatten. Het betrouwbaarheidsniveau wordt door de onderzoeker vastgesteld en in percentages weergegeven. Een betrouwbaarheidsniveau van 90% betekent bijvoorbeeld dat als we meerdere steekproeven uit een populatie nemen, 90% van de intervallen de werkelijke waarde voor de populatie zal bevatten.
Verstorende factor
Een factor of variabele in een onderzoek die ten minste een deel van de relatie tussen de onafhankelijke (d.w.z. behandeling/interventie) en afhankelijke (d.w.z. leeruitkomst) variabelen beïnvloedt. Het niet meenemen of elimineren van de invloed van potentiële confounders (bijvoorbeeld als covariaat) beperkt de betrouwbaarheid en validiteit van het onderzoek. Bijvoorbeeld, wanneer wordt onderzocht of leerlingen die een product gebruiken (d.w.z. de behandelings-/interventiegroep) een grotere vooruitgang in leerprestaties laten zien dan leerlingen die geen product gebruiken (d.w.z. de controlegroep), kan een confounder het gemiddelde leerprestatieniveau van elke groep vóór de behandeling zijn. Elk verschil in gemiddelde leerprestatie tussen de groepen vóór de behandeling kan van invloed zijn op hun leerprestatieverbetering na de behandeling. Het niet meenemen van een dergelijk verschil in leerprestatie in de analyse, of het elimineren van dat verschil vóór de behandeling, zal de resultaten dus vertekenen.
Correlatie
Een statistische maatstaf voor de relatie (omvang en richting) tussen twee variabelen — de mate waarin de ene variabele verandert ten opzichte van de andere variabele.
Correlatiecoëfficiënt
De correlatiecoëfficiënt geeft de richting en de sterkte van de statistische relatie tussen twee variabelen weer. De waarde kan variëren van -1,00 (negatieve relatie) tot +1,00 (positieve relatie), waarbij 0 geen relatie aangeeft. Als de correlatiecoëfficiënt tussen de gebruiksfrequentie van een product en de prestaties bijvoorbeeld 0,80 is, kan men concluderen dat deze variabelen sterk (sterkte) en positief (richting) met elkaar gecorreleerd zijn. Met andere woorden, naarmate de gebruiksfrequentie van het product toeneemt, neemt ook het prestatieniveau toe.
Kosteneffectiviteit
De relatieve effectiviteit van een behandeling of interventie in vergelijking met de kosten ervan. Een kosteneffectiviteitsanalyse bestaat uit een reeks technieken waarmee de kosten (directe en indirecte) van een behandeling of interventie kunnen worden vergeleken met de effectiviteit ervan. Een kosteneffectiviteitsanalyse resulteert doorgaans in een waarde die ergens in een kwadrant kan worden geplaatst, variërend van "hoge kosten, lage effectiviteit" tot "lage kosten, hoge effectiviteit".
Covariaat
Covariaten zijn factoren/variabelen die de uitkomsten van een onderzoek kunnen beïnvloeden. Een veelvoorkomende aanname is dat de niveaus van de covariaten identiek zijn voor deelnemers (bijvoorbeeld studenten) in alle onderzoeksgroepen (bijvoorbeeld de behandelings-/interventiegroep en de controlegroep). Eventuele verschillen tussen groepen kunnen dus worden toegeschreven aan de behandeling of interventie. Covariaten kunnen om twee verschillende redenen in de analyse worden opgenomen. Een covariaat kan van primair belang zijn. In dat geval kan een subgroepanalyse worden uitgevoerd om het effect ervan op de onderzoeksresultaten te bepalen. Zo kan bijvoorbeeld het leerjaar van primair belang zijn en als covariaat worden beschouwd bij het onderzoeken van de impact van een interventie op de leerresultaten. Aan de andere kant kunnen covariaten in een analyse worden opgenomen om verstorende factoren te voorkomen. Wanneer covariaten externe factoren zijn, maakt statistische controle hiervoor het mogelijk om hun invloed constant te houden (of te elimineren) en mogelijke verstorende factoren uit te sluiten. Veelvoorkomende covariaten zijn onder andere sociaaleconomische status, geslacht, leerjaar, eerdere schoolprestaties en de locatie van de school.
Afhankelijke variabele
Een factor die de uitkomst van belang vertegenwoordigt. Afhankelijke variabelen worden ook wel responsvariabelen, uitkomstvariabelen of verklaarde variabelen genoemd. Veelvoorkomende afhankelijke variabelen zijn verschillende soorten onderwijsresultaten, zoals schoolprestaties.
Educatieve evaluatie
Het onderzoek naar een lopende of afgeronde educatieve interventie, met als doel vast te stellen in hoeverre de doelstellingen van de interventie zijn bereikt. Specifieke methodologieën kunnen helpen bij het bepalen van de effectiviteit en impact van een interventie, evenals het nut en de kosteneffectiviteit ervan.
Effectgrootte
Een kwantitatieve maatstaf voor de sterkte van de relatie tussen een of meer variabelen of groepen in een populatie. De effectgrootte geeft inzicht in de impact van een bepaalde interventie door de omvang van het effect van de interventie op een gestandaardiseerde manier te indexeren, waardoor de resultaten in verschillende contexten kunnen worden vergeleken. Effectgroottes kunnen verschillende vormen aannemen, waarbij een veelvoorkomende vorm het gestandaardiseerde gemiddelde verschil (bijv. Hedge's g) tussen groepen is. Bij het onderzoeken van een enkele groep wordt een andere vorm van effectgrootte gebruikt (bijv. correlatie, regressie), die de relatie indexeert tussen de onafhankelijke variabele (bijv. gebruik van edtech) en de afhankelijke variabele (bijv. schoolprestaties).
Hedge's g
Een specifieke maat voor effectgrootte, gebaseerd op het gestandaardiseerde gemiddelde verschil tussen twee of meer groepen (bijvoorbeeld een behandelings-/interventiegroep en een controlegroep). Het geeft bewijs over de impact van een bepaalde interventie door de omvang van het effect van de interventie aan te tonen. Hedge's g is robuuster ten opzichte van de effecten van kleinere steekproeven. De waarde van Hedge's g kan variëren van +1 (positief effect) tot -1 (negatief effect).
Onafhankelijke variabele
Een onafhankelijke variabele is een factor waarvan verwacht wordt dat deze invloed heeft op een andere factor (de afhankelijke variabele). Doorgaans wordt de onafhankelijke variabele gemanipuleerd om te onderzoeken in hoeverre variërende niveaus van de onafhankelijke variabele (bijvoorbeeld het gebruik van onderwijstechnologie) veranderingen in de afhankelijke variabele (bijvoorbeeld schoolprestaties) voorspellen of ermee samenhangen. Onafhankelijke variabelen worden ook wel voorspellende variabelen of verklarende variabelen genoemd.
Interventie
Het proces waarbij een behandeling wordt toegepast op gebruikers om te onderzoeken of de behandeling effect heeft. Interventies kunnen bestaan uit educatieve technologieën, klassenactiviteiten, digitale leermiddelen, pedagogische benaderingen en onderwijspraktijken.
Plaats
De geografische locatie van de school of het district, met name de plaats die het inneemt op het spectrum tussen stad, voorstad, dorp of platteland.
Foutmarge
Een statistische benadering van de steekproeffout in de effectgrootte van een onderzoek, die aangeeft hoe waarschijnlijk het is dat de geschatte waarde uit een steekproef de werkelijke waarde van de gehele populatie nauwkeurig weergeeft. Hoe groter de foutmarge, hoe minder vertrouwen men heeft dat de geschatte waarde van het onderzoek dicht bij de werkelijke waarde van de populatie ligt.
Passend
Een reeks statistische procedures waarmee men overeenkomende groepen deelnemers uit de onderzoeksgroepen kan identificeren (bijvoorbeeld behandelings-/interventiegroep en controlegroep). Deelnemers worden gematcht (en vervolgens vergeleken) wanneer ze ongeveer gelijke kenmerken of eigenschappen hebben die worden gemeten door de covariaten (bijvoorbeeld geslacht, etniciteit, eerdere prestaties). Theoretisch gezien zal de matchingprocedure resulteren in onderzoeksgroepen die nagenoeg gelijkwaardig zijn, waardoor de kans kleiner wordt dat externe of verstorende factoren de behandelingseffecten veroorzaken.
Resultaat
Elk educatief criterium, resultaat of responsvariabele die wordt gebruikt om een relevant educatief resultaat te meten in een snelle evaluatiecyclus. Resultaten kunnen typische cognitieve metingen omvatten (bijv. toetsresultaten, cijferlijstgegevens), niet-cognitieve metingen (bijv. zelfvertrouwen, kritisch denken, 21e-eeuwse vaardigheden, doorzettingsvermogen) of alternatieve educatieve resultaten zoals aanwezigheid, studiesucces en slagingspercentage. Het resultaat moet datgene zijn wat de interventie (bijv. een edtech-product) beoogt te verbeteren.
Na-test
Een kwantitatieve meting van de uitkomstvariabele (bijvoorbeeld prestatiescores) die wordt afgenomen nadat de interventie is geïmplementeerd.
Statistische macht
Het vermogen van een onderzoek om de werkelijke waarde (bijvoorbeeld een verschil tussen groepen of de relatie tussen variabelen) van de populatie te detecteren op basis van de steekproef. Wanneer de statistische power hoog is, is de kans groter dat het onderzoek de effecten van een interventie detecteert. Omgekeerd, wanneer de statistische power laag is, kan het onderzoek de effecten van een interventie mogelijk niet detecteren. Statistische power wordt beïnvloed door (a) het betrouwbaarheidsniveau (bijvoorbeeld 95% betrouwbaarheidsinterval) van de schatting, (b) de omvang van het effect (bijvoorbeeld effectgrootte) dat men probeert te detecteren (grotere effecten zijn gemakkelijker te detecteren) en (c) de steekproefomvang. Power varieert van 0 tot 1,00, waarbij experts 0,80 als standaard voor voldoende power beschouwen.
Voortest
Een kwantitatieve meting van de uitkomstvariabele (bijv. prestatiescores) die wordt uitgevoerd voordat de interventie wordt geïmplementeerd.
Willekeurige toewijzing
Een techniek voor het toewijzen van deelnemers aan onderzoekscondities (bijvoorbeeld behandelings-/interventie- en controlegroepen) door middel van randomisatie, zodat elke deelnemer een gelijke kans heeft om in een bepaalde onderzoeksconditie terecht te komen. Randomisatie is een noodzakelijke voorwaarde voor een echt experimenteel ontwerp (bijvoorbeeld een gerandomiseerd gecontroleerd onderzoek) en verhoogt de interne validiteit van het onderzoek door te garanderen dat de verschillende onderzoeksgroepen equivalent zijn vóór de interventie (d.w.z. equivalentie bij aanvang). Wanneer randomisatie niet mogelijk is, kunnen specifieke maatregelen worden genomen om de equivalentie bij aanvang te testen en de invloed van groepsverschillen te minimaliseren.
Gerandomiseerd gecontroleerd onderzoek
Een onderzoeksopzet waarbij deelnemers (bijvoorbeeld studenten, docenten) willekeurig worden toegewezen aan een behandelings-/interventiegroep of een controlegroep. Hierdoor kan worden aangenomen dat de groepen equivalent zijn op alle variabelen, behalve de behandeling. De behandeling wordt toegediend aan de behandelings-/interventiegroep en niet aan de controlegroep.
Aanbevolen dosering
De verwachte hoeveelheid of frequentie (blootstelling) aan een behandeling/interventie die wordt aanbevolen om effectief te zijn. Bijvoorbeeld: EdTech-product A kan aanbevelen om 10 modules per week te voltooien, of EdTech-product B kan aanbevelen om 50 minuten per dag met het product bezig te zijn. De aanbevolen dosering wordt soms ook wel aanbevolen gebruik, voorgeschreven dosering/gebruik of doserings-/gebruiksadvies genoemd.
Kwantiel
Een groep die ontstaat door een steekproef te verdelen in ongeveer gelijke subgroepen nadat de gegevens van klein naar groot zijn geordend. Voor een reeks waarden kunnen willekeurig veel kwantielen worden bepaald, waarbij de meest voorkomende kwantielen tertielen (drie groepen), kwartielen (vier groepen) en kwintielen (vijf groepen) zijn. Bijvoorbeeld, het verdelen van een reeks waarden in kwintielen resulteert in vijf ongeveer gelijke groepen, waarbij ongeveer 20% van de volledige reeks waarden binnen elk kwintiel valt.
Quasi-experimenteel ontwerp
Een onderzoeksopzet met methoden en procedures die voldoen aan de meeste voorwaarden van een echt experimenteel ontwerp, maar waarbij de deelnemers niet willekeurig aan de onderzoekscondities worden toegewezen. Omdat willekeurige toewijzing vaak onpraktisch en soms onmogelijk is, worden quasi-experimentele ontwerpen veelvuldig gebruikt in onderwijskundig onderzoek. Met de juiste methodologie zijn quasi-experimentele ontwerpen zeer effectief in het beantwoorden van onderzoeksvragen.
Steekproefomvang
Het aantal deelnemers (bijv. studenten, docenten, scholen) dat in uw onderzoek is opgenomen. Indien u meerdere subgroepen heeft, is de totale steekproefomvang de som van de subgroepen — bijvoorbeeld, als u 250 personen in uw controlegroep heeft (n = 250) en 250 personen in uw behandelings-/interventiegroep (n = 250), dan is uw totale steekproefomvang 500 (N = 500).
Steekproeven
Het proces van het selecteren van deelnemers (bijvoorbeeld studenten, docenten, scholen) voor een steekproef uit een populatie van belang. De mate waarin men de resultaten van een onderzoek kan generaliseren, hangt af van hoe representatief de steekproef is voor de populatie.
Studieconditie
De onderzoeksgroep (bijv. behandelings-/interventiegroep, controlegroep) waartoe de deelnemer behoort.
Behandelingsgroep
De groep deelnemers aan een onderzoek die een behandeling of interventie ontvangt. De behandelingsgroep wordt vergeleken met de groep (of groepen) deelnemers die de behandeling niet hebben ontvangen of een andere interventie hebben gekregen (bijvoorbeeld de controlegroep). De behandelingsgroep wordt ook wel de experimentele groep of interventiegroep genoemd.
Gebruiksstatistiek
Een maatstaf voor de mate waarin de deelnemer (bijvoorbeeld een student) de behandeling of interventie heeft gebruikt of eraan is blootgesteld. De gebruiksindicator voor een educatief technologieproduct kan bijvoorbeeld verwijzen naar het aantal keren dat de student is ingelogd, de tijd die hij of zij aan het product heeft besteed, het aantal voltooide modules of het percentage van het lesprogramma dat is afgerond.
Variabele
Elke meetbare factor, zoals een kenmerk, gebruik of leerresultaat. Een variabele kan meerdere waarden hebben die unieke eigenschappen van de variabele vertegenwoordigen. De variabele 'geslacht' kan bijvoorbeeld meerdere waarden aannemen (bijv. man, vrouw, anders). Er bestaan veel soorten variabelen, waaronder onafhankelijke variabelen, afhankelijke variabelen, mediërende variabelen, modererende variabelen en covariaten.