Mae'r ddogfen hon yn darparu gwybodaeth gynhwysfawr am adroddiad Cwis a Dadansoddi Eitemau Cwisiau Newydd, ynghyd â'r cyfrifiadau cysylltiedig. Mae'r adroddiad yn cynnwys dwy brif adran: Dadansoddi Cwis a Dadansoddi Eitemau, sy'n mynd i'r afael â'r pynciau canlynol:
- Crynodeb cyffredinol o berfformiad y cwis:Yn cyflwyno trosolwg o ystadegau cwisiau, gan alluogi gweinyddwyr a hyfforddwyr i ddeall perfformiad cyffredinol myfyrwyr yn gyfannol.
- Ystadegau eitemau unigol:Yn dangos ystadegau ar gyfer eitemau unigol fel cwestiwn annibynnol.
- Cydberthynas rhwng eitem unigol a chyfanswm sgôr y cwis:Yn helpu i werthuso pa mor dda y mae eitem yn cyfrannu at fesur y cysyniad sylfaenol sy'n cael ei asesu.
Mae llawer o'r ystadegau a ddisgrifir yn cynnwys gwerthoedd awgrymedig i ddeall yr hyn y dylech chwilio amdano. Fodd bynnag, o ran dadansoddi eitemau, nid oes atebion cyffredinol nac ystodau gwerth i bennu dilysrwydd neu ganlyniadau derbyniol; gall eich sefydliad ddefnyddio ystodau gwahanol i werthuso rhai metrigau.
Eithriadau Data Adroddiadau Cwis a Dadansoddi Eitemau
Mae'r adroddiad Cwis a Dadansoddi Eitemau yn adroddiad sy'n seiliedig ar geisiadauMae'r adroddiad yn cynnwys ymatebion a dderbyniwyd hyd at adeg creu'r adroddiad. Fodd bynnag, mae'r cyflwyniadau canlynol ynddimwedi'i gynnwys yn yr adroddiad Cwis a Dadansoddi Eitemau:
- Cyflwyniadau nad ydynt wedi cael eu gwerthuso gan y graddiwr awtomatig eto
- Ymgeisiau lluosog ar gyfer cwisiau
- Nodyn:Dim ond yr ymgais olaf ar gyfer cwis sydd wedi'i chynnwys yn yr adroddiad
- Cwestiynau nad ydynt wedi cael eu graddio ar gyfer o leiaf hanner y cyflwyniadau
- Nodiadau:
- Mae gweddill y cwestiynau'n cael eu hidlo eto i eithrio cyflwyniadau gyda chwestiynau heb eu graddio.
- Mae'r uchafswm pwyntiau posibl ar gyfer y cwis yn cael ei leihau i gyd-fynd â nifer y pwyntiau ar gyfer y cwestiynau sydd wedi'u cynnwys yn yr adroddiad.
- Cyflwyniadau a ychwanegwyd gan hyfforddwr wrth ragweld cwis neu yng ngolwg Myfyrwyr
Rheolau Adroddiad Cwis a Dadansoddi Eitemau
Gall data'r adroddiad ymddangos yn wahanol oherwydd y rheolau canlynol:
- Mewn rhai sefyllfaoedd, ni ellir cyfrifo rhai metrigau yn seiliedig ar y mewnbwn sydd ar gael. Yn yr achosion hyn, mae metrigau'n dangos “N/A” (Ddim yn berthnasol) yn lle'r gwerth. Er enghraifft, os yw pob cwestiwn yn eitemau ar hap mewn cwis, ni ellir cyfrifo Alpha Cronbach. Yn yr un modd, os nad yw'n ymarferol rhannu'r myfyrwyr yn 3 grŵp, ymynegai gwahaniaethuni ellir ei gyfrifo.
- Mae metrigau sy'n seiliedig ar ganrannau wedi'u talgrynnu i'r cyfanrif agosaf, tra bod metrigau eraill wedi'u talgrynnu i ddau le degol.
Crynodeb o'r Cwis
Mae'r adran hon yn diffinio'r pwyntiau data y gellir eu canfod yn adran Crynodeb Cwis yr adroddiad.
Sgôr Uchel
Yn dangos y sgôr ganrannol uchaf a ddyfarnwyd ymhlith myfyrwyr a gymerodd y cwis.
Sgôr Isel
Yn dangos y sgôr ganrannol isaf a ddyfarnwyd ymhlith myfyrwyr a gymerodd y cwis.
Sgôr Cymedrig
Yn dangos y sgôr ganrannol gyfartalog ymhlith myfyrwyr a gymerodd y cwis.
Sgôr Ganolrifol
Yn dangos gwerth canol y sgoriau canrannol ymhlith y myfyrwyr a gymerodd y cwis pan fydd yr holl sgoriau wedi'u trefnu mewn trefn esgynnol. Yn wahanol i'r sgôr gymedrig, y gall gwerthoedd eithafol ddylanwadu arni, nid yw'r canolrif yn cael ei effeithio gan allanolion.
Amser Cymedrig a Dreuliodd Fynediad
Yn dangos yr amser cyfartalog a gymerir i gwblhau'r cwis.
Siart Dosbarthu Sgorau
Yn dangos dosbarthiad o ganran y sgoriau a gyflawnwyd ymhlith myfyrwyr a gymerodd y cwis.
Gwyriad Safonol
Beth yw Gwyriad Safonol?
Mae gwyriad safonol yn fesur o'r gwyriad absoliwt cyfartalog o sgoriau o amgylch y cymedr. Mae gwyriad safonol isel yn dangos, ar gyfartaledd, bod y sgoriau'n tueddu i fod yn agos at gymedr y set. Mae gwerth uchel yn dangos, ar gyfartaledd, fod sgoriau'n amrywio'n fawr o gymedr y set ddata. Dylai uned fesur y gwyriad safonol fod yr un fath â'r cymedr a ddangosir. Er enghraifft, os yw cymedr wedi'i restru fel gwerth canran, dylid rhestru'r gwyriad safonol hefyd fel gwerth canran.
Sut mae'r Gwyriad Safonol yn cael ei gyfrifo?
Cyfrifir Gwyriad Safonol drwy ddod o hyd i ail isradd cyfartaledd y gwahaniaethau sgwâr rhwng pob cyflwyniad a'r cymedr:
lle mae 𝑛 yn nifer yr ymatebion, 𝜇 yw'r sgôr gymedrig, a 𝑥ᵢ yw canran y sgôr ar gyfer yr i-fed cyflwyniad.
Sut mae allanolion yn effeithio ar werth Gwyriad Safonol?
Mae allanolion yn sgoriau sydd ymhell iawn o'r cymedr. Gall allanolion ddylanwadu'n fawr ar y cymedr a ddefnyddir i gyfrifo gwyriad safonol. Os yw'r gwyriad safonol yn uchel ac mae allanolion yn bresennol, gall hynny olygu nad yw'r gwyriad safonol yn cynrychioli'r gwerth nodweddiadol.
Alffa Cronbach
Beth yw Alffa Cronbach?
Mae Alpha Cronbach yn fesuriad cysondeb mewnol sy'n amcangyfrif dibynadwyedd cwis. Mae'r gwerthoedd yn amrywio o 0 i 1, gyda gwerthoedd uwch yn dynodi dibynadwyedd mwy.
Nodyn:Gan fod Alpha Cronbach yn mesur cysondeb mewnol, byddai eitemau ar hap yn ystumio'r gwerth, felly mae pob eitem ar hap mewn cwis wedi'i heithrio.
Sut mae'n cael ei gyfrifo?
lle mae 𝑘 yn nifer y cwestiynau, 𝜎ᵢ² yw amrywiant sgoriau'r i-fed cwestiwn, a 𝜎ₓ² yw amrywiant y cwis.
Sut ydw i'n dehongli a gwerthuso gwerth Alffa Cronbach?
Mae'r gwerthoedd yn amrywio o 0 i 1, gyda gwerthoedd uwch yn dynodi cysondeb a dibynadwyedd mewnol mwy, sy'n golygu bod yr eitemau'n gysylltiedig yn gryf ac yn mesur yr un adeiladwaith sylfaenol. Mae gwerth o sero yn dynodi nad oes unrhyw gydberthynas rhwng yr eitemau o gwbl a'u bod yn gwbl annibynnol ar ei gilydd. Nid yw gwybod yr ateb i un eitem yn gysylltiedig â'r wybodaeth sydd ei hangen i ateb eitem arall yn gywir yn y cwis.
Er nad oes trothwy llym, ystyrir bod gwerth o 0.70 neu uwch yn dderbyniol. Gall gwerthoedd is fod yn dderbyniol os yw'r cwis yn mesur pwnc cymhleth.
Gallwch asesu'rcyfernod cydberthynas cyfanswm eitem wedi'i gywiroi nodi eitemau a allai fod â llai o gydberthynas â'r adeiladwaith sylfaenol sy'n cael ei fesur. Gallai cael gwared ar eitemau o'r fath wella Alpha Cronbach.
Cyfyngiadau
Mae Alpha Cronbach yn asesu cysondeb mewnol, ond nid yw'n gwarantu dilysrwydd, nac yn mynd i'r afael ag ansawdd.
Ystadegau Eitemau Unigol
Pwyntiau Cymedrig a Enillwyd
Yn dangos y sgôr pwynt cyfartalog a gyflawnwyd ymhlith myfyrwyr a gafodd yr eitem.
Pwyntiau Canolrifol a Enillwyd
Yn dangos gwerth canol y sgoriau pwynt a gyflawnwyd ymhlith myfyrwyr a roddwyd yr eitem iddynt pan fydd yr holl sgôr wedi'u trefnu mewn trefn esgynnol. Yn wahanol i'r sgôr gymedrig, y gall gwerthoedd eithafol ddylanwadu arni, nid yw'r canolrif yn cael ei effeithio gan allanolion.
Anhawster Eitem
Beth yw Anhawster Eitem?
Anhawster yr eitem (a elwir hefyd yn werth-p) yw cyfran y cyfranogwyr a atebodd yr eitem yn gywir. Mae'r gwerthoedd yn amrywio o 0 (neb wedi ateb yn gywir) i 1 (pawb wedi ateb yn gywir).
Nodyn:Mae cyfrifo anhawster yr eitem yn gweithredu fel cwestiwn deuol ac yn anwybyddu credyd neu bwyntiau rhannol.
Sut mae'n cael ei gyfrifo?
Cyfrifir Anhawster yr Eitem drwy rannu nifer y cyfranogwyr a atebodd yr eitem yn gywir â chyfanswm y cyfranogwyr. Yn achos eitemau ar hap, dim ond y myfyrwyr a dderbyniodd yr eitem fel rhan o'u cwis sydd wedi'u cynnwys yn gyfanswm y cyfranogwyr.
lle mae 𝐶 yn nifer y myfyrwyr a atebodd yn gywir a 𝑇 yn gyfanswm nifer y myfyrwyr.
Sut ydw i'n dehongli a gwerthuso gwerth Anhawster Eitem?
Mae gwerth anhawster eitem sy'n agos at 1 yn golygu bod y rhan fwyaf o fyfyrwyr wedi ateb yr eitem yn gywir, a allai ddangos bod yr eitem yn cael ei hystyried yn hawdd i fyfyrwyr neu efallai nad yw'n herio'r myfyrwyr yn effeithiol. Gallai hyn fod y disgwyliad bwriadedig os defnyddir eitem i brofi meistrolaeth. Mae gwerth sy'n agosach at 0 yn awgrymu bod ychydig o gyfranogwyr wedi ateb yr eitem yn gywir, a allai ddangos bod yr eitem yn heriol i fyfyrwyr.
Er nad oes trothwy llym, yn gyffredinol ystyrir bod eitemau sydd â gwerthoedd anhawster eitem islaw 0.30 yn rhy heriol a gwerthoedd uwchlaw 0.85 yn rhy hawdd. Os yw anhawster yr eitem yn rhy uchel neu'n rhy isel, ystyriwch addasu'r eitem neu adolygu'r geiriad i gyd-fynd yn well â'r lefel anhawster a fwriadwyd.
Fel unrhyw gyfran neu ganran, gall maint y sampl a ddefnyddir ddylanwadu'n fawr ar fetrig anhawster yr eitem. Pan fydd maint y sampl yn fach, gall ychydig o gyflwyniadau newid y gwerth yn fawr, ond pan fydd maint y sampl yn fawr, mae'n cymryd mwy o gyflwyniadau gyda'r un sgôr/gwerth i newid anhawster cyffredinol yr eitem.
Nodyn:I gael darlun mwy cydlynol o eitem, ystyriwch asesu'rmynegai gwahaniaethua'rcyfernod cydberthynas cyfanswm eitem wedi'i gywiro.
Cyfrifiadau Cydberthynasol
Mae'r cyfrifiadau canlynol yn helpu i ddeall yn well sut mae eitemau unigol yn berthnasol neu'n cydberthyn â'r sgôr gyfan a ddyfarnwyd ar gyfer y cwis ac â'r eitemau eraill yn y cwis.
Cyfernod Cydberthynas Eitem-Cyfanswm wedi'i Gywiro
Beth yw'r Cyfernod Cydberthynas Eitem-Cyfanswm wedi'i Gywiro?
Y cyfernod cydberthynas eitem-cyfanswm wedi'i gywiro yw gwerth y gydberthynas Pearson a geir pan fydd sgôr eitem yn cael ei chydberthyn â chyfanswm sgôr y cwis y mae'r eitem honno wedi'i chynnwys ohono. Daw'r cywiriad i'r gwerth hwnnw i rym pan gaiff yr eitem sy'n cael ei chydberthyn ei thynnu o'r cyfanswm sgôr a gyfrifir i gael gwared ar ragfarn; gan ystyried eitem unwaith yn unig yn hytrach na dwywaith yn y metrig. Mae ymarferwyr mesur modern (h.y. seicometregwyr ac arbenigwyr gwerthuso asesiadau) yn tueddu i ddefnyddio'r metrig hwn yn amlach na'r mynegai gwahaniaethu oherwydd ei fod yn ymgorffori'r raddfa sgôr gyfan yn hytrach na chanolbwyntio ar y gwerthoedd uchaf ac isaf yn yr ystod sgôr yn unig.
Yn ei hanfod, mae'r metrig hwn yn helpu i benderfynu a yw'r myfyrwyr sy'n ateb yr eitem yn gywir (neu'n sgorio'n uwch ar eitem na myfyrwyr eraill) yn tueddu i fod yr unigolion sy'n sgorio'n uwch ar weddill y cwis. Neu i'r gwrthwyneb, mae'n dangos a yw'r rhai sy'n perfformio'n wael ar eitem yn tueddu i beidio â gwneud cystal ar weddill y cwis chwaith.
Sut mae'n cael ei gyfrifo?
Cyfrifir y cyfernod cydberthynas eitem-cyfanswm sgôr wedi'i gywiro drwy rannu cydamrywiad sgôr yr eitem a sgôr y prawf (heb yr eitem dan sylw; y sgôr cyfanswm wedi'i gywiro) â chynnyrch gwyriad safonol yr eitem a gwyriad safonol y sgôr cyfanswm wedi'i gywiro:
bleclawr (eitem, sgôr gyfanswm wedi'i gywiro)yw cydamrywiad yr eitem a'r sgôr gyfanswm wedi'i gywiro:
cov(eitem, sgôr gyfanswm wedi'i gywiro)= 𝑛∑(eitem)(sgôr gyfanswm wedi'i gywiro- (∑eitem)(∑sgôr cyfanswm wedi'i gywiro)
Sut ydw i'n dehongli a gwerthuso'r gwerth Cyfernod Cydberthynas Cyfanswm yr Eitem wedi'i Gywiro?
Mae'r gwerth hwn, fel cyfernodau cydberthynas eraill, yn amrywio o -1 i +1. Yn ddelfrydol, dylai eitemau anelu at gael gwerthoedd sy'n fwy na neu'n hafal i +.20. Mae gwerthoedd ger 0 yn dynodi ychydig iawn o berthynas rhwng perfformiad eitem a pherfformiad ar weddill y prawf. Mae gwerthoedd negyddol yn dynodi ymddygiad annisgwyl (e.e. mae'r rhai sy'n gwneud yn dda ar eitem yn tueddu i sgorio'n is ar weddill y cwis ac i'r gwrthwyneb). Mewn un ystyr, ystyrir bod y metrig hwn yn fesur mwy cynhwysfawr a sensitif o wahaniaethu.
Mynegai Gwahaniaethu
Beth yw Mynegai Gwahaniaethu?
Mae'r mynegai gwahaniaethu yn canolbwyntio ar ba mor dda y mae eitem yn gwahaniaethu rhwng yr unigolion sydd â'r sgôr uchaf ac isaf. Mae'n amrywio o -1 i +1. Mae gwerth uwch yn awgrymu gwahaniaethu da tra bod gwerth is (neu negyddol) yn dynodi gwahaniaethu gwael.
Sut Mae'n Cael ei Gyfrifo?
I gyfrifo'r mynegai gwahaniaethu, cyfrifir canraddau'r myfyrwyr a gymerodd y cwis yn seiliedig ar y sgoriau, ac yna caiff myfyrwyr eu dosbarthu i 3 grŵp: Myfyrwyr ar neu islaw'r 27ain ganradd, myfyrwyr ar neu uwchlaw'r 63ain ganradd, a phawb rhyngddynt. Cyfrifir anhawster eitem (gwerth p) ar gyfer y grwpiau uchaf ac isaf. Y gwahaniaeth yw'r gwahaniaeth rhwng anhawster eitem y grŵp uchaf ac anhawster eitem y grŵp isaf.
Sut ydw i'n dehongli a gwerthuso gwerth y Mynegai Gwahaniaethu?
Yn debyg i'r cyfernod cydberthynas eitem-cyfanswm wedi'i gywiro, mae mynegai gwahaniaethu uchel yn dangos bod yr unigolion sy'n perfformio'n dda ar y prawf yn tueddu i berfformio'n dda ar yr eitem benodol. Mae gwerth mynegai gwahaniaethu is yn golygu nad yw'r eitem yn gwahaniaethu'n dda. Mae rhif negyddol yn golygu bod perthynas gwrthdro/annisgwyl. Mae trothwyon ar gyfer ystodau gwerth yn amrywio, ond set gyffredinol o ganllawiau yw:
Mynegai gwahaniaethu | Dehongliad |
|---|
0.40 ac uwchlaw | Gwahaniaethu da iawn |
0.30 - 0.39 | Gwahaniaethu da |
0.20 - 0.29 | Gwahaniaethu teg |
0.10 - 0.19 | Ddim yn gwahaniaethu |
Islaw 0.10 | Eitem wael |
Negyddol | Perthynas wedi'i gwrthdroi |
Ffeiliau CSV a Gwrthrychau JSON
Sut ydw i'n dehongli a gwerthuso'r Ffeil CSV ar gyfer Cwisiau Newydd, Cwisiau a Dadansoddi Eitemau?
Mae'r ffeil CSV ar gyfer adroddiad Cwis a Dadansoddi Eitemau New Quizzes yn cynnwys yr un wybodaeth ag y gallwch ei gweld yn rhyngwyneb Canvas.
Nodiadau:
- Yn wahanol i ryngwyneb Canvas, nid yw metrigau wedi'u talgrynnu yn y ffeil CSV.
- Os na ellir cyfrifo maes (e.e.: Alffa Cronbach), ychwanegir llinyn “N/A” at y gell.
- Os nad yw maes ar gael yn yr adroddiad (e.e., cyfrif myfyrwyr “Dim ateb” ar gyfer y math o gwestiwn categoreiddio), ychwanegir llinyn “Heb ei gefnogi” at y gell.
Enw'r ffeil CSV yw teitl y cwis a'r llinyn “Adroddiad Dadansoddi Cwis ac Eitem”.
Mae'r naw colofn gyntaf wedi'u cadw ar gyfer dadansoddiad y cwis a dim ond un rhes sydd wedi'i llenwi.
Mae penawdau'r colofnau fel a ganlyn:
AdroddiadWedi'i Gynhyrchu:Dyddiad ac amser y cynhyrchwyd yr adroddiad
Teitl y Cwis:Teitl y cwis
Sgôr Uchel Cwis:Sgôr uchel
Sgôr Isel Cwis:Sgôr isel
SgôrCyfartaleddCwis:Sgôr gymedrig
SgôrCanolrifol y Cwis:Sgôr Ganolrifol
Gwyriad Safonol Cwis:Gwyriad Safonol
CwisCronbachsAlpha:Alffa Cronbach
CymedrAmserWedi'i Dreulio gan y Cwis:Amser Cymedrig a Dreuliodd Fynediad
O golofn deg hyd at y diwedd, mae'r rhes gyntaf bob amser yn wag. Yna mae pob rhes yn cynrychioli un eitem yn y cwis.
Mae penawdau'r colofnau fel a ganlyn:
ID Eitem:ID yr eitem cwis
Teitl:Teitl yr eitem
Anhawster Eitem:Anhawster Eitem
Pwyntiau Posibl:Uchafswm Pwyntiau Posibl
PwyntiauCyfartalog a Enillwyd:Pwyntiau Cymedrig a Enillwyd
Pwyntiau Canolrifol a Enillwyd:Pwyntiau Canolrifol a Enillwyd
Mynegai Gwahaniaethu:Mynegai Gwahaniaethu
CyfanswmEitemCywiriedigCydberthynas:Cyfernod Cydberthynas Cyfanswm yr Eitem wedi'i Gywiro
Math o Eitem:Math o Gwestiwn
Cywir:Nifer y myfyrwyr a atebodd yr eitem yn gywir
Anghywir:Nifer y myfyrwyr a atebodd yr eitem yn anghywir
Dim Ymateb:Nifer y myfyrwyr nad atebodd yr eitem
Amlderau Atebion:Cynrychiolaeth o'r tabl Crynodeb Amlder Atebion
Sut ydw i'n darllen a dehongli'r golofn Amlderau Answer?
Cynrychiolir y tabl Crynodeb Amlder Atebion mewn gwrthrychau JSON (Notiant Gwrthrych JavaScript) oherwydd cymhlethdod y data.Dysgu mwy am JSON.
Mae'r gwrthrych JSON canlynol yn gynrychiolaeth o gwestiwn categoreiddio:
{ "answers": [ { "answer": "Sunglasses", "categories": [ { "category": "_distractors_", "count": 4, "correct": true }, { "category": "Essentials", "count": 1, "correct": false }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Light source", "categories": [ { "category": "_distractors_", "count": 1, "correct": false }, { "category": "Essentials", "count": 2, "correct": false }, { "category": "Add-ons", "count": 3, "correct": true } ] }, { "answer": "Regulator", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] }, { "answer": "Mask", "categories": [ { "category": "_distractors_", "count": 0, "correct": false }, { "category": "Essentials", "count": 5, "correct": true }, { "category": "Add-ons", "count": 1, "correct": false } ] } ]}
Mae'r maes "atebion" yn rhestr o wrthrychau.
Mae gan bob ateb yr un meysydd: yr “ateb” (testun yr ateb) a “chategorïau” (rhestr o wrthrychau).
Mae gan wrthrych categori dri maes:
- y maes “categori” yw enw’r categori a greoch chi
- Mae'r maes "cyfrif" yn dangos faint o fyfyrwyr a ychwanegodd atebion i'r categori hwn
- Mae'r maes "cywir" yn dweud a yw'r ateb wedi'i osod i'r categori hwn fel un cywir
Nodyn:Gallwch weld “categori”: “_distractors_” ym mhob gwrthrych ateb. Mae hyn ar gyfer y Distractors Ychwanegol gydag arwydd cyn ac ôl, er mwyn osgoi dryswch os ydych chi'n defnyddio'r enw “Distractors” fel un o'ch categorïau yn eich cwestiwn.