เอกสารนี้ให้ข้อมูลโดยละเอียดเกี่ยวกับข้อจำกัดและการคำนวณในการวิเคราะห์ข้อสอบแบบคลาสสิก (Classic Quizzes)
Canvas มีฟังก์ชันแสดงสถิติการวิเคราะห์ข้อสอบสำหรับคำถามในแบบทดสอบ ไฟล์ข้อมูลการวิเคราะห์ข้อสอบในรูปแบบ CSV (Comma Separated Values) จะช่วยให้ผู้สอนและผู้ออกแบบหลักสูตรประเมินประสิทธิภาพของคำถามในแบบทดสอบได้ การวิเคราะห์ข้อสอบจะประเมินความน่าเชื่อถือ ความยาก และความสามารถในการจำแนกผู้ตอบ สำหรับคำถามแบบเลือกตอบและคำถามแบบถูก/ผิด
การวิเคราะห์ข้อสอบอาจไม่ให้ผลลัพธ์ภายในแบบทดสอบบางชุด ต่อไปนี้คือข้อจำกัดบางประการที่ควรพิจารณาในรายงานการวิเคราะห์
- ปัจจุบัน การวิเคราะห์ถูกออกแบบมาให้ทำงานกับแบบทดสอบที่ใช้คำถามเดียวกันกับนักเรียนทุกคน ดังนั้น หากคุณสร้างไฟล์ CSV สำหรับการวิเคราะห์ข้อสอบที่ดึงคำถามจากกลุ่มคำถามเดียวกัน ไฟล์ CSV จะสร้างบรรทัดที่แสดงถึงแบบทดสอบแต่ละเวอร์ชัน
- รายงานการวิเคราะห์ข้อสอบในปัจจุบันรองรับเฉพาะข้อสอบแบบเลือกตอบและแบบถูก/ผิดเท่านั้น
- หากแบบทดสอบอนุญาตให้ทำได้หลายครั้ง การคำนวณจะพิจารณาเฉพาะผลการทำแบบทดสอบครั้งแรกของนักเรียนเท่านั้น (เพื่อตัดผลกระทบจากการฝึกฝนออกไป)
- คำถามที่เว้นว่างไว้หรือไม่ได้ตอบจะนับว่าผิดเมื่อคำนวณคะแนนรวมของการสอบ แต่จะไม่นำมาคำนวณเป็นคะแนนรายข้อ
- สถิติจะรวมเฉพาะข้อมูลของนักเรียนที่พยายามทำแบบทดสอบเท่านั้น
การวิเคราะห์ข้อสอบแบบทดสอบ Canvas จะสร้างคะแนนโดยใช้ค่าสัมประสิทธิ์ Cronbach’s alpha ค่าสัมประสิทธิ์ Cronbach’s alpha ใช้วัดความสอดคล้องภายในของชุดข้อสอบว่ามีความสัมพันธ์กันมากน้อยเพียงใดในฐานะกลุ่ม Canvas จะสร้างค่า alpha ตราบใดที่มีคำถามสองข้อขึ้นไปในแบบทดสอบ และค่าความแปรปรวนของการทดสอบมากกว่าศูนย์ ค่าความแปรปรวนที่มากกว่าศูนย์หมายความว่ามีการส่งคำตอบสองครั้งขึ้นไปที่ได้คะแนนแตกต่างกัน
บันทึก: เพื่อรักษาประสิทธิภาพการเรียนให้อยู่ในระดับสูงสุดในอินเทอร์เฟซ Canvasค่าสูงสุดสำหรับการคำนวณคือ 1,000 ครั้ง หรือ 100 ข้อ ตัวอย่างเช่น แบบทดสอบที่มี 200 ข้อ จะไม่สร้างสถิติแบบทดสอบ แต่แบบทดสอบที่มี 75 ข้อ จะสร้างสถิติแบบทดสอบไปเรื่อยๆ จนกว่าจะมีผู้ทำแบบทดสอบครบ 1,000 ครั้ง
ผลลัพธ์ที่มากกว่าค่าสูงสุดเหล่านี้ สามารถดูได้โดยการดาวน์โหลดรายงานการวิเคราะห์นักเรียนและดูไฟล์ CSV
การวัดผลการวิเคราะห์แบบทดสอบ
ความน่าเชื่อถือ
ความน่าเชื่อถือคือการวัดความสอดคล้องภายในของแบบทดสอบ หมายความว่าหากแบบทดสอบนี้ออกแบบมาเพื่อวัดข้อมูลเดียวกัน ผู้ทำแบบทดสอบจะตอบคำถามเหล่านั้นในลักษณะที่คล้ายคลึงกัน ตัวอย่างเช่น หากแบบทดสอบนี้ใช้เพื่อวัดความชอบในการรับประทานไอศกรีม นักเรียนที่ชอบไอศกรีมควรเห็นด้วยกับข้อความเช่น "ฉันชอบไอศกรีม" และ "ฉันเคยสนุกกับการกินไอศกรีมในอดีต" และควรไม่เห็นด้วยกับข้อความเช่น "ฉันเกลียดไอศกรีม"
ความยากลำบาก
ดัชนีความยาก (หรือที่เรียกว่าค่า p) แสดงให้เห็นว่าการตอบคำถามให้ถูกต้องนั้นยากแค่ไหน ดัชนีนี้คำนวณจากสัดส่วนของนักเรียนที่ตอบถูก โดยสัดส่วนจะอยู่ระหว่าง 0 ถึง 1 โปรแกรม Canvas ใช้การคำนวณแบบ point biserial ในการคำนวณนี้
จุดไบเซเรียล
ค่าสัมประสิทธิ์สหสัมพันธ์แบบพอยต์ไบซีเรียล (Point Biserial) คือค่าสัมประสิทธิ์สหสัมพันธ์ที่เชื่อมโยงการตอบสนองต่อข้อสอบที่สังเกตได้ และใช้โดยเฉพาะอย่างยิ่งเมื่อชุดข้อมูลหนึ่งเป็นแบบทวิภาค หมายความว่าสามารถมีค่าได้หลายค่าขึ้นอยู่กับคำตอบที่ถูกต้องและไม่ถูกต้อง นอกจากค่าพอยต์ไบซีเรียลของคำตอบที่ถูกต้องแล้ว ยังมีการคำนวณแบบเดียวกันสำหรับตัวเลือกหลอก/คำตอบที่ไม่ถูกต้อง (หรือที่เรียกว่าประสิทธิภาพของตัวเลือกหลอก) โดยในอุดมคติแล้ว คำตอบที่ไม่ถูกต้องทั้งหมดของคำถามควรมีความน่าสนใจเท่าเทียมกันสำหรับนักเรียนที่ตอบผิด คะแนนสำหรับค่านี้อยู่ในช่วงตั้งแต่ -1 ถึง 1
การเลือกปฏิบัติ
สถิติแบบทดสอบสำหรับคำถามแบบถูก/ผิดและแบบเลือกตอบประกอบด้วยดัชนีการจำแนกข้อสอบ ซึ่งพยายามพิจารณาการกระจายของคะแนนและสะท้อนความแตกต่างในผลสัมฤทธิ์ทางการเรียนของนักเรียน ตัวชี้วัดนี้เป็นการวัดว่าคำถามเดียวสามารถแยกแยะความแตกต่าง (หรือจำแนก) ระหว่างนักเรียนที่ทำข้อสอบได้ดีและนักเรียนที่ทำข้อสอบได้ไม่ดีได้อย่างไร โดยจะแบ่งนักเรียนออกเป็นสามกลุ่มตามคะแนนรวมของแบบทดสอบ และแสดงกลุ่มเหล่านั้นตามผู้ที่ตอบคำถามได้ถูกต้อง โดยทั่วไปแล้วกลุ่มนักเรียนจะถูกแบ่งออกเป็น 27% สูงสุด 46% กลาง และ 27% ต่ำสุด ตามหลักการแล้ว นักเรียนที่ทำข้อสอบได้ดีควรตอบคำถามได้ถูกต้อง หากนักเรียนทำข้อสอบโดยรวมได้ดี แต่ทำข้อสอบได้ไม่ดี อาจจำเป็นต้องปรับปรุงข้อสอบนั้น
คะแนนการจำแนกที่ต่ำคือ +0.24 หรือต่ำกว่า คะแนนที่ดีคือ +0.25 หรือสูงกว่า ดัชนีการจำแนกที่เหมาะสมจะแสดงให้เห็นว่านักเรียนที่ได้คะแนนสูงในแบบทดสอบตอบคำถามในแบบทดสอบได้ถูกต้อง นักเรียนที่ได้คะแนนต่ำในแบบทดสอบตอบคำถามในแบบทดสอบผิด และนักเรียนที่อยู่ในช่วงกลางของคะแนนทั้งสองฝั่ง ดัชนีการจำแนกเป็นศูนย์แสดงว่านักเรียนทุกคนตอบคำถามในแบบทดสอบได้ถูกต้องหรือผิด
ข้อมูล CSV
ไฟล์ CSV ที่ดาวน์โหลดมายังมีการคำนวณและนับจำนวนดังต่อไปนี้:
- รหัสคำถาม
- หัวข้อคำถาม
- จำนวนนักเรียนที่ตอบ
- จำนวนนักเรียนที่ได้คะแนนสูงสุด (นักเรียนที่อยู่ในกลุ่ม 27% แรก)
- จำนวนนักเรียนระดับกลาง (นักเรียนระดับกลาง 46%)
- จำนวนนักเรียนที่อยู่ในกลุ่มคะแนนต่ำสุด (นักเรียน 27% ล่างสุด)
- จำนวนคำถามในแบบทดสอบ (จำนวนคำถามทั้งหมด)
- จำนวนนักเรียนที่ตอบถูก (จำนวนนักเรียนทั้งหมดที่ตอบคำถามถูกต้อง)
- จำนวนนักเรียนที่ตอบผิด (จำนวนนักเรียนทั้งหมดที่ตอบผิด)
- อัตราส่วนนักเรียนที่ตอบถูก (อัตราส่วนของนักเรียนที่ตอบคำถามถูกต้อง)
- อัตราส่วนนักเรียนที่ตอบผิด (อัตราส่วนของนักเรียนที่ตอบผิด)
- จำนวนนักเรียนที่ได้คะแนนสูงสุดที่ถูกต้อง (นักเรียนที่อยู่ในกลุ่ม 27% แรกที่ตอบคำถามถูกต้อง)
- จำนวนนักเรียนตรงกลางที่ถูกต้อง (นักเรียนในกลุ่มกลาง 46% ที่ตอบคำถามถูกต้อง)
- นับจำนวนนักเรียนที่ได้คะแนนต่ำสุด (นักเรียน 27% ล่างสุดที่ตอบคำถามถูกต้อง)
- ความแปรปรวน (ของคะแนนในคำถามนี้)
- ค่าเบี่ยงเบนมาตรฐาน (ของคะแนนในคำถามนี้)
- ดัชนีความยาก
- คะแนนอัลฟ่า (สำหรับการสอบทั้งหมด)
- ค่าไบซีเรียลของคำตอบที่ถูกต้อง (ดัชนีความน่าเชื่อถือ)
- จุดสองตำแหน่งของคำตอบที่ผิดหรือตัวเลือกหลอกตัวแรก (ตามด้วยตัวที่สอง เป็นต้น)
ผู้ใช้ที่มีสิทธิ์ในการอ่านข้อมูล SIS ในหลักสูตรนี้ สามารถดูคอลัมน์ sis_id ในไฟล์ CSV ที่ดาวน์โหลดได้ด้วย
สามารถเข้าถึงแหล่งข้อมูลนี้ได้จากคู่มือ Canvas ต่อไปนี้: