The Development of Testlet-test for Cognitive Diagnosis on English Reading Comprehension

Abstract

This research has two objectives: 1) to create and examine the quality of a testlet test to diagnose the cognitive abilities of reading comprehension in English of Mathayom 3 students, and 2) to diagnose the abilities of Reading for English comprehension of Mathayom 3 students and designing an information profile from retrospective diagnosis. The diagnostic research sample consisted of 396 Mathayom 3 students, obtained from multi-stage random sampling. The instrument is a testlet test for the cognitive diagnosis of English reading comprehension ability. Data were analyzed using descriptive statistics such as frequency, percentage, and G-DINA MODEL analysis.

The results of the research can be summarized as follows: 1) The developed testlet test for intellectual diagnosis of reading comprehension ability in English consists of 6 attributes. The diagnostic test is the set of four testlets with 4 multiple choice. The content is based on the CEFR, level A2 (Beginner). The draft test has 42 items and the content validity (IOC) is between 0.60 and 1.00. When quality checked with the original test theory, 33 questions pass the quality check, with difficulty values ​​between (p) 0.25 and 0.70. The discrimination index (r ) ranged from 0.26 to 0.87. Reliability passed the criterion (KR-20 = 0.9014). Testlet effect is small and insignificant. Checking quality with Items Response Theory, 18 items passed. The difficulty parameter ranged from -0.29 to 1.19, the discrimination parameter ranged from 0.82 to 2.50, and the guessing coefficient ranged from 0.12 to 0.28. 2) The G-DINA model has relative consistency. Comparing the values ​​of -2LL, AIC, BIC with the CDM model, it was found to be lower, with diagnostic accuracy passing every criterion and every feature. There are guess parameters. And the carelessness parameters passed almost every criteria. The parameter estimation error index (RMSEA) values ​​were mostly low. Item Discrimination Index of each items passed all criteria. The results of the analysis can be divided into latent groups of test takers with different abilities. The results of the PROFILE design found that the “Reading Comprehension Profile” is characterized as information on the retrospective diagnosis of English reading comprehension ability after taking the test, consisting of 6 parts: 1. Raw scores 2. Mastery Pattern 3. The diagnostic feedback 4. Profile name 5. Descriptive information on strengths and 6. The suggestion information

การวิจัยนี้มีวัตถุประสงค์ 2 ข้อ คือ 1) เพื่อสร้างและตรวจสอบคุณภาพแบบสอบแบบเทสต์เลทเพื่อวินิจฉัยทางพุทธิปัญญาด้านความสามารถการอ่านเพื่อความเข้าใจภาษาอังกฤษของนักเรียนชั้นมัธยมศึกษาปีที่ 3 และ 2) เพื่อวินิจฉัยความสามารถการอ่านเพื่อความเข้าใจภาษาอังกฤษของนักเรียนชั้นมัธยมศึกษาปีที่ 3 และออกแบบ Profile สารสนเทศจากการวินิจฉัยแบบย้อนกลับ ตัวอย่างวิจัยกลุ่มใช้วินิจฉัยคือนักเรียนระดับชั้นมัธยมศึกษาปีที่ 3 จำนวน 396 คน ได้มาจากการสุ่มแบบหลายขั้นตอน เครื่องมือคือแบบสอบแบบเทสต์เลทเพื่อวินิจฉัยทางปัญญาความสามารถด้านการอ่านเพื่อความเข้าใจภาษาอังกฤษ วิเคราะห์ข้อมูลด้วยค่าสถิติเชิงบรรยายคือ ความถี่ ร้อยละ และการวิเคราะห์ G-DINA MODEL

ผลการวิจัย สรุปได้ดังนี้ 1) แบบสอบแบบเทสต์เลทเพื่อวินิจฉัยทางปัญญาความสามารถด้านการอ่านเพื่อความเข้าใจภาษาอังกฤษที่พัฒนาขึ้นประกอบด้วย 6 คุณลักษณะ มีลักษณะเป็นชุดข้อสอบเทสต์เลทจำนวน 4 เทสต์เลท แบบเลือกตอบ 4 ตัวเลือก โดยมีเนื้อหาตามกรอบมาตรฐานทางภาษา CEFR ระดับ A2 (Beginner) แบบสอบฉบับร่างจำนวน 42 ข้อ มีความตรงเชิงเนื้อหา (IOC) อยู่ระหว่าง 0.60 ถึง 1.00 เมื่อตรวจสอบคุณภาพด้วยทฤษฎีทดสอบดั้งเดิมผ่านการตรวจสอบคุณภาพจำนวน 33 ข้อ โดยมีค่าความยากอยู่ระหว่าง (p) 0.25 ถึง 0.70 ค่าอำนาจจำแนก (r ) อยู่ระหว่าง 0.26 ถึง 0.87 ความเที่ยงผ่านเกณฑ์ (KR-20 = 0.9014) ค่าอิทธิพลเทสต์เลทมีขนาดเล็กและไม่มีนัยสำคัญ เมื่อตรวจสอบคุณภาพด้วยทฤษฎีตอบสนองข้อสอบ ผ่านการตรวจสอบคุณภาพจำนวน 18 ข้อ มีค่าพารามิเตอร์ความยากอยู่ระหว่าง -0.29 ถึง 1.19 ค่าพารามิเตอร์อำนาจจำแนกอยู่ระหว่าง 0.82 ถึง 2.50 และค่าสัมประสิทธิ์การเดาอยู่ระหว่าง 0.12 ถึง 0.28 2) โมเดล G-DINA มีความสอดคล้องเชิงสัมพัทธ์ เมื่อเปรียบเทียบค่า-2LL, AIC, BIC กับโมเดล CDM พบว่าต่ำกว่า มีความถูกต้องของการวินิจฉัยผ่านเกณฑ์ทุกด้านและทุกคุณลักษณะ มีค่าพารามิเตอร์การเดา และค่าพารามิเตอร์ความสะเพร่าผ่านเกณฑ์เกือบทุกข้อ ค่าดัชนีความคลาดเคลื่อนในการประมาณค่าพารามิเตอร์ (RMSEA) ส่วนใหญ่อยู่ในระดับต่ำ(ค่าเฉลี่ย RMSEA ผ่านเกณฑ์) ค่าดัชนีอำนาจจำแนกของข้อสอบรายข้อ (IDI) ผ่านเกณฑ์ทุกข้อ ผลการวิเคราะห์สามารถแบ่งกลุ่มแฝงของผู้สอบที่มีความสามารถต่างกันได้ ผลการออกแบบ PROFILE พบว่า “Reading Comprehension Profile” มีลักษณะเป็นสารสนเทศผลการวินิจฉัยย้อนกลับความสามารถด้านการอ่านเพื่อความเข้าใจภาษาอังกฤษหลังจากทำการทดสอบประกอบด้วย 6 ส่วน คือ 1.คะแนนดิบจากการทดสอบแบบข้อต่อข้อ 2.รูปแบบความรอบรู้ของผู้สอบ 3. สารสนเทศผลการวินิจฉัยย้อนกลับเป็นค่าความน่าจะเป็น (Probability) ของการรอบรู้คุณลักษณะนั้น 4. ชื่อ PROFILE 5. สารสนเทศเชิงบรรยายจุดแข็ง และ 6. สารสนเทศข้อเสนอแนะ