Baseline-ækvivalens
I hvilken grad to eller flere grupper (f.eks. behandlings-/interventions- og sammenligningsgrupper) har ensartede karakteristika ved studiets start med henblik på at sammenligne interventionens effekt på disse grupper. Når man sammenligner effekterne af en intervention på to eller flere grupper, antages det, at grupperne er ækvivalente med hensyn til præstation, demografi eller andre målkarakteristika før interventionen (dvs. ved baseline), således at eventuelle efterfølgende forskelle kan tilskrives interventionen.
Ved at fastslå baseline-ækvivalens kan man isolere interventionens effekt på behandlingen, samtidig med at forstyrrende faktorer og uvedkommende påvirkninger udelukkes. Et eksempel på en faktor, der kan bidrage til manglende baseline-ækvivalens, ville være, hvis behandlingsgruppen har flere bedre præsterende elever end sammenligningsgruppen ved studiets start. I en sådan situation kan effekten af en intervention ikke isoleres, og resultaterne vil blive betragtet som forudindtagede.
Klyngeanalyse
En statistisk metode til at opdele deltagere (f.eks. elever, skoler) i meningsfulde grupper baseret på i hvilken grad de deler fælles karakteristika (f.eks. produktbrug). Deltagernes karakteristika i én klynge er signifikant forskellige fra dem i de andre klynger.
Sammenligningsgruppe
Den gruppe af deltagere i et studie, som enten ikke modtager en behandling/intervention, eller som modtager en anden behandling/intervention, og dermed sammenlignes med den gruppe af deltagere, der modtog behandlingen/interventionen (dvs. behandlingsgruppen).
Konfidensinterval
Et interval af værdier estimeret fra en stikprøve, der sandsynligvis indeholder den sande værdi fra populationen. Hvis den estimerede værdi i stikprøven f.eks. er mellem 0,40 og 0,60 med et konfidensniveau på 90 %, kan man konkludere, at hvis man tager flere stikprøver fra en population, vil den estimerede værdi i 90 % af tilfældene ligge mellem 0,40 og 0,60. Med andre ord er der en 90 % sandsynlighed for, at populationens gennemsnitsværdi vil ligge mellem 0,40 og 0,60.
Konfidensniveau
Sandsynligheden for, at de observerede konfidensintervaller indeholder den sande værdi for populationen. Konfidensniveauet fastsættes af forskeren og rapporteres med procenter. For eksempel ville et konfidensniveau på 90 % indikere, at hvis vi tager flere stikprøver fra en population, ville 90 % af intervallerne indeholde den sande værdi for populationen.
Forvirrende faktor
En faktor eller variabel i et studie, der påvirker mindst noget af forholdet mellem de uafhængige (dvs. behandling/intervention) og afhængige (dvs. læringsudbytte) variable. Manglende medtagelse eller eliminering af indflydelsen fra potentielle forstyrrende variabler (f.eks. som en kovariat) begrænser studiets pålidelighed og validitet. For eksempel, når man undersøger, om studerende, der bruger et produkt (dvs. behandlings-/interventionsgruppen), udviser større gevinster i præstation end studerende, der ikke bruger et produkt (dvs. sammenligningsgruppen), kan en forstyrrende faktor være den gennemsnitlige studerendes præstation i hver gruppe før behandlingen. Enhver forskel i gennemsnitlig studerendes præstation mellem grupperne før introduktionen af behandlingen kan påvirke deres præstationsgevinst efter behandlingen. Således vil undladelse af at inkludere enhver forskel i deres præstation i analysen eller eliminering af denne forskel før behandlingen forstyrre resultaterne.
Korrelation
Et statistisk mål for forholdet (størrelsesorden og retning) mellem to variabler — i hvilken grad én variabel ændrer sig i forhold til en anden variabel.
Korrelationskoefficient
Korrelationskoefficienten indekserer retningen og størrelsen af den statistiske sammenhæng mellem to variabler. Indekset kan variere fra -1,00 (negativ sammenhæng) til +1,00 (positiv sammenhæng), hvor 0 angiver ingen sammenhæng. Hvis korrelationskoefficienten for eksempel mellem et produkts brugsfrekvens og præstation er 0,80, kan man konkludere, at disse variabler er stærkt (størrelsesorden) og positivt (retning) korrelerede med hinanden. Med andre ord, når hyppigheden af produktets brug stiger, stiger niveauet af præstation også.
Omkostningseffektivitet
Den relative effektivitet af en behandling eller intervention sammenlignet med dens omkostninger. Specifikt består en omkostningseffektivitetsanalyse af et sæt teknikker, der gør det muligt at sammenligne omkostningerne (direkte og indirekte) ved en behandling eller intervention med dens effektivitet. Typisk vil omkostningseffektivitetsanalysen resultere i en værdi, der kan placeres et sted inden for kvadranter fra "høje omkostninger, lav effektivitet" til "lave omkostninger, høj effektivitet".
Kovariat
Kovariater er faktorer/variabler, der potentielt kan påvirke resultaterne af en undersøgelse. En almindelig antagelse er, at kovariatniveauer er identiske for deltagere (f.eks. studerende) i alle studiegrupper (f.eks. behandlings-/interventionsgruppe og sammenligningsgrupper). Således kan eventuelle forskelle mellem grupper tilskrives behandlingen eller interventionen. Kovariater kan inkluderes i analysen af to forskellige årsager. En kovariat kan være af primær interesse. I sådanne tilfælde kan en undergruppeanalyse udføres for at bestemme deres effekt på studieresultater. For eksempel kan klassetrin være en primær interesse og betragtes som kovariat, når man undersøger interventionens indvirkning på elevernes resultater. På den anden side kan kovariater inkluderes i en analyse for at undgå forstyrrende resultater. Når kovariater er uvedkommende faktorer, giver statistisk kontrol for dem mulighed for at holde deres indflydelse konstant (eller fjerne) og udelukke mulige forstyrrende faktorer. Almindelige kovariater omfatter socioøkonomisk status, køn, klassetrin, tidligere præstationer og skolested.
Afhængig variabel
En faktor, der repræsenterer det pågældende resultat. Afhængige variabler kaldes også responsvariabler, resultatvariabler eller forklarede variabler. Almindelige afhængige variabler omfatter forskellige typer uddannelsesmæssige resultater, såsom akademiske præstationer.
Uddannelsesmæssig evaluering
Undersøgelse af en igangværende eller afsluttet uddannelsesintervention med det formål at fastslå, i hvilket omfang interventionens mål blev opnået. Specifikke metoder kan hjælpe med at bestemme en interventions effektivitet og effekt, samt dens anvendelighed og omkostningseffektivitet.
Effektstørrelse
Et kvantitativt mål for styrken af forholdet mellem en eller flere variabler eller grupper i en population. Effektstørrelsen giver bevis for effekten af en given intervention ved at indeksere størrelsen af interventionens effekt på en standardiseret måde, hvilket gør det muligt at sammenligne resultaterne på tværs af adskillige kontekster. Effektstørrelser kan antage flere former, hvor en fælles form er den standardiserede gennemsnitlige forskel (f.eks. Hedges g) mellem grupper. Når man undersøger en enkelt gruppe, anvendes en anden form for effektstørrelse (f.eks. korrelation, regression), som indekserer forholdet mellem den uafhængige variabel (f.eks. brug af edtech) og den afhængige variabel (f.eks. akademisk præstation).
Hedges g
En specifik type mål for effektstørrelse baseret på den standardiserede gennemsnitlige forskel mellem to eller flere grupper (f.eks. behandlings-/interventions- og sammenligningsgrupper). Den giver bevis for effekten af en given intervention ved at vise størrelsen af interventionens effekt. Hedge's g er mere robust over for effekterne af mindre stikprøver. Værdien af Hedge's g kan variere fra +1 (positiv effekt) til -1 (negativ effekt).
Uafhængig variabel
En faktor, der forventes at have indflydelse på en anden faktor (dvs. den afhængige variabel). Typisk manipuleres den uafhængige variabel for at undersøge, i hvilken grad varierende niveauer af den uafhængige variabel (f.eks. brug af uddannelsesteknologi) forudsiger eller relaterer sig til ændringer i den afhængige variabel (f.eks. akademisk præstation). Uafhængige variabler kaldes også prædiktorvariabler eller forklarende variabler.
Intervention
Processen med at anvende en behandling på brugere for at undersøge, om behandlingen har en effekt. Interventioner kan omfatte uddannelsesteknologier, klasseaktiviteter, digitale læringsværktøjer, pædagogiske tilgange og undervisningspraksis.
Lokalitet
Skolens eller distriktets geografiske placering, især med hensyn til hvor den falder på spektret mellem by, forstad, landsby eller landdistrikt.
Fejlmargen
En statistisk tilnærmelse af mængden af stikprøvefejl i en undersøgelses effektstørrelse, som angiver sandsynligheden for, at den estimerede værdi fra en stikprøve nøjagtigt repræsenterer den sande værdi af hele populationen. Jo større fejlmarginen er, desto mindre tillid har man til, at undersøgelsens estimerede værdi er tæt på populationens sande værdi.
Matchende
Et sæt statistiske procedurer, der gør det muligt at identificere matchede sæt af deltagere fra studiegrupperne (f.eks. behandlings-/interventions- og sammenligningsgrupper). Deltagerne matches (og sammenlignes efterfølgende), når de har nogenlunde ens karakteristika eller attributter målt af kovariaterne (f.eks. køn, etnicitet, tidligere præstation). Teoretisk set vil matchningsproceduren resultere i studiegrupper, der er nogenlunde ækvivalente, hvilket mindsker sandsynligheden for, at fremmede eller forstyrrende faktorer forårsager behandlingseffekterne.
Resultat
Ethvert uddannelseskriterium, resultat eller responsvariabel, der bruges til at måle et uddannelsesresultat af interesse i en hurtig cyklusevaluering. Resultater kan omfatte typiske kognitive målinger (f.eks. testresultater, karakterbogsdata), ikke-kognitive målinger (f.eks. selvværd, kritisk tænkning, færdigheder i det 21. århundrede, vedholdenhed) eller alternative uddannelsesresultater såsom fremmøde, kursusfastholdelse og eksamensprocent. Resultatet bør være det, som interventionen (f.eks. edtech-produkt) formodes at forbedre.
Eftertest
Et kvantitativt mål for resultatvariablen (f.eks. præstationsscorer), der tages efter at interventionen er implementeret.
Styrke (statistisk)
Et studies evne til at opdage den sande værdi (f.eks. en forskel mellem grupper eller forholdet mellem variabler) af populationen fra stikprøven. Når den statistiske styrke er høj, er det mere sandsynligt, at studiet opdager virkningerne af en intervention. Alternativt, når den statistiske styrke er lav, kan studiet muligvis ikke opdage virkningerne af en intervention. Statistisk styrke påvirkes af (a) det konfidensniveau (f.eks. 95 % konfidensniveau), man har i sit estimat, (b) størrelsesordenen af den effekt (f.eks. effektstørrelse), man forsøger at opdage (større effekter er lettere at opdage), og (c) stikprøvestørrelsen. Styrken varierer fra 0 til 1,00, hvor eksperter foreslår 0,80 som en standard for tilstrækkelig styrke.
Forprøvning
Et kvantitativt mål for resultatvariablen (f.eks. præstationsscorer), der tages, før interventionen implementeres.
Tilfældig opgave
En teknik til at tildele deltagere til studiebetingelser (f.eks. behandlings-/interventionsgrupper og sammenligningsgrupper) ved hjælp af randomisering, så hver deltager har lige stor chance for at være i en given studiebetingelse. Tilfældig tildeling er en nødvendig betingelse for et ægte eksperimentelt design (f.eks. randomiseret kontrolleret forsøg), og det øger studiets interne validitet ved at sikre, at forskellige studiegrupper er ækvivalente før interventionen (dvs. baseline-ækvivalens). Når tilfældig tildeling ikke er mulig, kan der træffes specifikke foranstaltninger for at teste for baseline-ækvivalens og hjælpe med at fjerne indflydelsen fra gruppeforskelle.
Randomiseret kontrolleret forsøg
Et studiedesign, hvor deltagere (f.eks. studerende, lærere) tilfældigt tildeles en behandlings-/interventionsgruppe eller sammenligningsgruppe, hvilket gør det muligt at antage, at grupperne er ækvivalente på alle variabler undtagen behandlingen. Behandlingen administreres til behandlings-/interventionsgruppen, og behandlingen holdes tilbage fra sammenligningsgruppen.
Anbefalet dosering
Den forventede mængde eller hyppighed (eksponering) for en behandling/intervention, der foreslås for at den er effektiv. For eksempel kan EdTech Produkt A anbefale 10 moduler, der gennemføres om ugen, eller EdTech Produkt B kan anbefale 50 minutters produktinteraktion om dagen. Anbefalet dosering kaldes også undertiden anbefalet brug, ordineret dosis/brug eller doserings-/brugsanbefaling.
Fraktil
En gruppe, der er resultatet af at opdele en stikprøve i nogenlunde lige store undergrupper, efter at dataene er ordnet fra den mindste til den største. Et hvilket som helst antal frantiler kan bestemmes for et sæt af værdier, hvor fælles frantiler er terciler (tre grupper), kvartiler (fire grupper) og kvintiler (fem grupper). For eksempel ville opdeling af et sæt af værdier i kvintiler resultere i fem nogenlunde lige store grupper, hvor cirka 20 % af det fulde sæt af værdier falder inden for hver kvintil.
Kvasi-eksperimentelt design
Et forskningsdesign med metoder og procedurer, der opfylder de fleste betingelser for et ægte eksperimentelt design, men mangler tilfældig tildeling af deltagere til studiebetingelser. Fordi tilfældig tildeling ofte er upraktisk og nogle gange umulig, implementeres kvasieksperimentelle designs ofte i uddannelsesforskning. Med den rette metode er kvasieksperimentelle designs yderst effektive til at besvare forskningsspørgsmål.
Prøvestørrelse
Antallet af deltagere (f.eks. studerende, undervisere, skoler), der er inkluderet i din undersøgelse. Hvis du har flere delstikprøver, er den samlede stikprøvestørrelse summen af delstikprøverne – for eksempel, hvis du har 250 i din sammenligningsgruppe (n = 250) og 250 i din behandlings-/interventionsgruppe (n = 250), så er din samlede stikprøvestørrelse 500 (N = 500).
Prøveudtagning
Processen med at udvælge deltagere (f.eks. studerende, undervisere, skoler) til en stikprøve fra en population af interesse. Graden, i hvilken man kan generalisere resultater fra en undersøgelse, afhænger af, hvor repræsentativ stikprøven er for populationen.
Studietilstand
Den studiegruppe (f.eks. behandlings-/interventionsgruppe, sammenligningsgruppe), som deltageren tilhører.
Behandlingsgruppe
Den gruppe af deltagere i et studie, der modtager en behandling eller intervention. Behandlingsgruppen sammenlignes med den gruppe (eller grupper) af deltagere, der ikke modtog behandlingen eller modtager en anden intervention (f.eks. sammenligningsgruppe). Behandlingsgruppen kaldes også for den eksperimentelle gruppe eller interventionsgruppe.
Brugsmåling
Et mål for, i hvilket omfang deltageren (f.eks. studerende) brugte eller blev eksponeret for behandlingen eller interventionen. For eksempel kan brugsmetrikken for et uddannelsesteknologisk produkt henvise til antallet af gange, den studerende loggede ind, den tid, der blev brugt på at bruge produktet, antallet af gennemførte moduler eller procentdelen af pensummet, der er gennemført.
Variabel
Enhver målbar faktor, såsom en egenskab, anvendelse eller uddannelsesresultat. En variabel kan have flere værdier, der repræsenterer unikke egenskaber ved variablen. For eksempel kan variablen "køn" antage flere værdier (f.eks. mand, kvinde, andet). Der findes mange typer variabler, herunder uafhængige variabler, afhængige variabler, mediatoriske variabler og modererende variabler, kovariate variabler.