Mae'r ddogfen hon yn rhoi gwybodaeth fanwl am gyfyngiadau a chyfrifiadau dadansoddi eitemau cwis yn Classic Quizzes.
Mae Canvas yn darparu ystadegau dadansoddi eitemau cwis ar gyfer cwestiynau cwis yn Canvas. Bydd y ffeil dadansoddi eitemau (CSV) sydd wedi'i gwahanu gan goma yn helpu hyfforddwyr a dylunwyr cyrsiau i fesur effeithiolrwydd eu cwestiynau cwis. Mae dadansoddiad cwis yn amcangyfrif dibynadwyedd, anhawster, a gwahaniaethu ar gyfer cwestiynau amlddewis a gwir/anghywir.
Efallai na fydd dadansoddi eitemau yn cynhyrchu canlyniadau o fewn cwisiau penodol. Dyma ychydig o gyfyngiadau i'w hystyried o fewn adroddiadau dadansoddi.
- Ar hyn o bryd, mae dadansoddiad wedi'i gynllunio i weithio gyda chwisiau sy'n cyflwyno'r un cwestiynau i bob myfyriwr. Felly, os byddwch chi'n cynhyrchu'r CSV dadansoddi eitemau ar gyfer cwisiau sy'n tynnu o grŵp cwestiynau, bydd y CSV yn cynhyrchu llinell sy'n cynrychioli pob fersiwn o'r cwis.
- Ar hyn o bryd dim ond cwestiynau cwis Dewis Lluosog a Gwir/Gau sydd yn cael eu cefnogi gan yr adroddiad Dadansoddi Eitemau Cwis.
- Os yw cwis yn caniatáu sawl ymgais, dim ond ymgais gyntaf y myfyriwr y bydd y cyfrifiadau'n ei hystyried (i ddiystyru effeithiau ymarfer).
- Mae cwestiynau sy'n cael eu gadael yn wag neu heb eu hateb yn cyfrif fel rhai anghywir wrth bennu cyfanswm y sgôr ar gyfer yr arholiad, ond cânt eu heithrio o gyfrifiadau lefel cwestiwn.
- Dim ond data ar gyfer myfyrwyr a geisiodd wneud y cwis sydd yn yr ystadegau.
Mae dadansoddiad eitemau Cwis Canvas yn cynhyrchu sgoriau yn seiliedig ar alffa Cronbach. Mae alffa Cronbach yn mesur cysondeb mewnol o ran pa mor agos yw'r berthynas rhwng set o eitemau fel grŵp. Mae Canvas yn cynhyrchu sgôr alffa cyn belled â bod dau gwestiwn neu fwy yn y cwis a bod amrywiant y prawf yn fwy na sero. Mae amrywiant sy'n fwy na sero yn awgrymu bod dau gyflwyniad neu fwy yn cynhyrchu sgoriau gwahanol.
Nodyn:Er mwyn cynnal perfformiad gorau posibl yn y cwrsyn y rhyngwyneb Canvas, y gwerthoedd uchaf ar gyfer cyfrifo yw 1000 o gyflwyniadau neu 100 o gwestiynau. Er enghraifft, ni fydd cwis gyda 200 o gwestiynau yn cynhyrchu ystadegau cwis. Fodd bynnag, bydd cwis gyda 75 o gwestiynau yn cynhyrchu ystadegau cwis nes bod y cwis wedi cyrraedd 1000 o ymgeisiau.
Gellir gweld canlyniadau sy'n fwy na'r gwerthoedd uchaf hyn drwy lawrlwytho'r adroddiad Dadansoddi Myfyrwyr ac edrych ar y ffeil CSV.
Mesuriadau Dadansoddi Cwis
Dibynadwyedd
Mae dibynadwyedd yn fesur o gysondeb mewnol y prawf, sy'n golygu os yw sawl cwestiwn wedi'u cynllunio i fesur yr un wybodaeth, bydd y sawl sy'n cymryd y prawf yn eu hateb mewn ffordd debyg. Er enghraifft, os rhoddir prawf i fesur mwynhad o hufen iâ, dylai myfyrwyr sy'n hoffi hufen iâ gytuno â datganiadau fel "Rwy'n hoffi hufen iâ" a "Rwyf wedi mwynhau bwyta hufen iâ yn y gorffennol". Dylai'r myfyrwyr hynny hefyd anghytuno â datganiadau fel "Rwy'n casáu hufen iâ".
Anhawster
Mae'r mynegai anhawster (a elwir hefyd yn werth-p) yn dangos pa mor anodd yw ateb y cwestiwn yn gywir. Cyfrifir y mynegai fel cyfran y myfyrwyr a atebodd yn gywir. Mae cyfrannau'n amrywio rhwng 0 ac 1. Mae Canvas yn gwneud y cyfrifiad hwn gyda'r pwynt deuberial.
Pwynt Biserial
Mae deuberial pwynt yn gyfernod cydberthynas sy'n cysylltu ymatebion i eitemau a arsylwyd ac fe'i defnyddir yn arbennig pan fydd un set o ddata yn ddeuolaidd, sy'n golygu y gall gymryd gwerthoedd lluosog yn seiliedig ar ymatebion cywir ac anghywir. Yn ogystal â'r deuberial pwynt ar gyfer yr ateb cywir, crëir yr un cyfrifiad ar gyfer y gwrthdynwyr/atebion anghywir (a elwir hefyd yn effeithlonrwydd gwrthdynwyr). Yn ddelfrydol, dylai holl atebion anghywir y cwestiwn fod yr un mor apelgar i'r myfyrwyr sy'n methu'r cwestiwn. Mae sgoriau ar gyfer hyn yn amrywio o -1 i 1.
Gwahaniaethu
Mae ystadegau cwis ar gyfer cwestiynau cwis Gwir/Gau a Dewis Lluosog yn cynnwys mynegai gwahaniaethu eitemau, sy'n ceisio edrych ar ledaeniad o sgoriau ac adlewyrchu gwahaniaethau yng nghyflawniad myfyrwyr. Mae'r metrig hwn yn darparu mesur o ba mor dda y gall un cwestiwn ddweud y gwahaniaeth (neu wahaniaethu) rhwng myfyrwyr sy'n gwneud yn dda mewn arholiad a'r rhai nad ydynt. Mae'n rhannu myfyrwyr yn dair grŵp yn seiliedig ar eu sgôr ar y cwis cyfan ac yn arddangos y grwpiau hynny yn ôl pwy atebodd y cwestiwn yn gywir. Yn gyffredinol, rhennir grwpiau myfyrwyr fel y 27% uchaf, y 46% canol, a'r 27% isaf. Yn ddelfrydol, dylai myfyrwyr a wnaeth yn dda ar yr arholiad gael y cwestiwn yn iawn. Os yw myfyrwyr yn gwneud yn dda ar yr arholiad cyffredinol ond nid ar y cwestiwn, efallai y bydd angen diwygio'r cwestiwn ei hun.
Mae sgoriau gwahaniaethu is yn cael eu sgorio +0.24 neu'n is; sgoriau da yw +0.25 neu'n uwch. Mae mynegai gwahaniaethu delfrydol yn dangos myfyrwyr a sgoriodd yn uwch ar y cwis yn cael y cwestiwn cwis yn gywir, myfyrwyr a sgoriodd yn is ar y cwis yn cael y cwestiwn cwis yn anghywir, a myfyrwyr yn yr ystod ganol ar y naill ochr a'r llall. Mae mynegai gwahaniaethu o sero yn dangos pob myfyriwr yn cael y cwestiwn cwis yn gywir neu'n anghywir.
Gwybodaeth CSV
Mae'r lawrlwythiad CSV hefyd yn darparu'r cyfrifiadau a'r cyfrifiadau canlynol:
- ID cwestiwn
- teitl y cwestiwn
- nifer y myfyrwyr a atebwyd
- nifer uchaf y myfyrwyr (myfyrwyr yn y 27% uchaf)
- cyfrif myfyrwyr canol (myfyrwyr yn y canol 46%)
- nifer y myfyrwyr isaf (myfyrwyr yn y 27% isaf)
- nifer cwestiynau cwis (cyfanswm nifer y cwestiynau cwis)
- nifer cywir y myfyrwyr (nifer y myfyrwyr cyfan a gafodd yr ateb yn gywir)
- cyfrif myfyrwyr anghywir (nifer y myfyrwyr cyfan a gafodd yr ateb yn anghywir)
- cymhareb myfyrwyr cywir (cymhareb y myfyrwyr a gafodd yr ateb yn gywir)
- cymhareb myfyrwyr anghywir (cymhareb y myfyrwyr a gafodd yr ateb yn anghywir)
- cyfrif cywir o'r myfyrwyr uchaf (myfyrwyr yn y 27% uchaf a gafodd yr ateb yn gywir)
- cyfrif cywir o fyfyrwyr canol (myfyrwyr yn y 46% canol a gafodd yr ateb yn gywir)
- cyfrif cywir o fyfyrwyr gwaelod (myfyrwyr yn y 27% gwaelod a gafodd yr ateb yn gywir)
- amrywiant (sgoriau ar y cwestiwn hwn)
- gwyriad safonol (o sgoriau ar y cwestiwn hwn)
- mynegai anhawster
- sgôr alffa (ar gyfer yr arholiad cyfan)
- pwynt deubergyfresol yr ateb cywir (mynegai dibynadwyedd)
- pwynt deuberserol yr ateb anghywir cyntaf neu'r tynnu sylw (ac yna'r ail, ac ati)
Gall defnyddwyr sydd â chaniatâd i ddarllen data SIS yn y cwrs hefyd weld y golofn sis_id yn y lawrlwythiad CSV.
Mae modd cael mynediad at yr adnodd hwn hefyd o'r Canllawiau Canvas canlynol: