Web Application Development for Multidimensional Optimized Testing by applying the neural network to select the next exam

Abstract

The purpose of this study was 1) creating a web application for many tests and performing test compliance. Neural networks are used to choose the next test. 2) Evaluate the quality of web applications and perform different, specific tests. Neural networks are used to choose the next test. Researchers combined artificial intelligence (AI) studies with multidimensional computerized adaptive testing to use neural networks to choose the next test. The research is divided into four steps: 1) Designing the test system 2) designing the method for selecting the next test using the neural network technique. 3) Create a web application to test multiple requirements ; and 4) Find the performance of web applications to test multiple requirements. The models used in this study are divided into two groups. This section contains the criteria used to determine the quality of test papers. Model number. Try web apps 400 and 200 for B.Ed. students. Students from Year 3 to Year 4 are taking courses at the Royal Roads University Group in the Ministry of Higher Education, Science, Research, and Innovation. Research tools include tests that measure intelligence. Multidimensional teacher and satisfaction survey for testing web applications. Statistics used to analyze data include mean and standard deviation. Use the value to check the quality of each test. Select MDISC MDIFF and check if the pattern matches the value. SSR RMSR and GFI examine the performance of the subsequent test selection model using a neural network approach. There are four values, as follows: 1) Precision 2) Recall 3) F-measure and 4) Accuracy value.

The research results are as follows:

1) Valid test data It contains a large number of 242 license test Multidimensional Classification (Multidimensional Discrimination: MDISC) data checks. 0.430 to 1.000, and Multidimensional Difficulties (MDIFF) are in the middle of the test. The total price was between -2.432 and 2.199 SSR. RMSR and GFI model consistency is within specified standards.

2) Develop a method to select the next test using a neural network method. A neural network model with 25 input methods is shown. Hidden layer: 10 nodes Hidden layer 2: 10 nodes Hidden layer: 10 nodes and question 2 nodes (model 25-10-10-10-2). Using an algorithmic neural network to evaluate the effectiveness of the evaluation Then select the gender and correct it. We found the right value by measuring the performance with the 10-fold cross-validation method. (Accuracy and precision) (Precision) Percentage 90 There is a counterbalance. (F-measure) Percentage: 94.44 and measure the accuracy of the model. There is a commemorative value. (Recall) Percentage 100

3) Develop a web application for multidimensional adaptive testing by applying a neural network to select the next exam developed that can be used on any operating system available. Web Browser for All Notebooks, Tablets, and Mobile Able to analyze test takers' abilities accurately both by dimension and overall ability, and can also classify test takers' proficiency levels into 7 sub-levels: very high, high, relatively high, normal, and relatively low. And very low.

4) Finding Web Application Performance for Multidimensional Tailored Testing It was found that the results of the assessment of the suitability of the program by both experts and users were suitable in all aspects. Shows that the web application is suitable enough to be used for practical testing.

การวิจัยครั้งนี้มีจุดมุ่งหมาย 1) เพื่อพัฒนาเว็บแอพพลิเคชั่นสำหรับการทดสอบแบบปรับเหมาะแบบพหุมิติ โดยประยุกต์ใช้โครงข่ายประสาทเทียมในการคัดเลือกข้อสอบข้อถัดไป 2) เพื่อประเมินคุณภาพของเว็บแอพพลิเคชั่นสำหรับการทดสอบแบบปรับเหมาะแบบพหุมิติ โดยประยุกต์ใช้โครงข่ายประสาทเทียมในการคัดเลือกข้อสอบข้อถัดไป ซึ่งผู้วิจัยประยุกต์การใช้โครงข่ายประสาทเทียมในการคัดเลือกข้อสอบข้อถัดไป โดยนำศาสตร์ทางด้านปัญญาประดิษฐ์ (Artificial Intelligence) มาผสมผสานเข้ากับการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์แบบพหุมิติ (Multidimensional Computerized Adaptive Testing) การดำเนินการวิจัยแบ่งออกเป็น 4 ขั้นตอน ดังนี้ 1) การพัฒนาวิธีการจัดคลังข้อสอบ 2) พัฒนาวิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้วิธีโครงข่ายประสาทเทียม 3) พัฒนาเว็บแอพพลิเคชั่นสำหรับการทดสอบแบบปรับเหมาะแบบพหุมิติ และ 4) การหาประสิทธิภาพของเว็บแอพพลิเคชั่นสำหรับการทดสอบแบบปรับเหมาะแบบพหุมิติ กลุ่มตัวอย่างที่ใช้ในการวิจัยครั้งนี้แบ่งเป็น 2 ส่วน ได้แก่ กลุ่มตัวอย่างที่ใช้ในการหาคุณภาพข้อสอบคัดเข้าคลังข้อสอบ จำนวน 500 คน และกลุ่มตัวอย่างทดลองใช้เว็บแอพพลิเคชั่น จำนวน 200 คน ซึ่งเป็นนักศึกษาหลักสูตรครุศาสตร์บัณฑิต ชั้นปีที่ 3-4 ที่กำลังศึกษาหลักสูตรทางการศึกษาของกลุ่มมหาวิทยาลัยราชภัฎ สังกัดกระทรวงการอุดมศึกษา วิทยาศาสตร์ วิจัยและนวัตกรรม เครื่องมือที่ใช้ในการวิจัย ประกอบด้วยแบบทดสอบวัดสมรรถนะความรู้วิชาชีพครูพหุมิติ และแบบประเมินประสิทธิภาพของเว็บแอพพลิเคชั่นต่อการทดสอบ สถิติที่ใช้วิเคราะห์ข้อมูล ได้แก่ ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน ตรวจสอบคุณภาพของข้อสอบรายข้อด้วยค่า MDISC MDIFF และตรวจสอบความสอดคล้องของโมเดลด้วยค่า SSR RMSR และ GFI ตรวจสอบประสิทธิภาพของโมเดลการคัดเลือกข้อสอบข้อถัดไปโดยใช้วิธีโครงข่ายประสาทเทียม อยู่ 4 ค่า คือ 1) ค่าความแม่นยำ (Precision) 2) ค่าความระลึก (Recall) 3) ค่าความถ่วงดุล (F-measure) และ 4) ค่าความถูกต้อง (Accuracy)

ผลการวิจัยพบว่า

1) คลังข้อสอบที่ผ่านการคัดเลือกเข้าคลังข้อสอบ มีจำนวน 242 ข้อ ได้ค่าอำนาจจำแนกแบบพหุมิติของข้อสอบ (Multidimensional Discrimination: MDISC) ในคลังข้อสอบ อยู่ระหว่าง 0.430 ถึง 1.000 และค่าความยากแบบพหุมิติของข้อสอบ (Multidimensional Difficulties: MDIFF) ในคลังข้อสอบ อยู่ระหว่าง -2.432 ถึง 2.199 และค่า SSR RMSR และ GFI มีความสอดคล้องของโมเดลอยู่ในเกณฑ์ที่กำหนด

2) วิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้วิธีโครงข่ายประสาทเทียม พบว่า ได้โมเดลโครงข่ายประสาทเทียมที่มีชั้นข้อมูลเข้าจำนวน 25 โหนด ชั้นข้อมูลซ่อน1 10 โหนด ชั้นข้อมูลซ่อน2 10 โหนด ชั้นข้อมูลซ่อน3 10 โหนด และชั้นข้อมูลออก 2 โหนด (โมเดล 25-10-10-10-2) ใช้อัลกอริธึม Neural Net ประเมินประสิทธิภาพความแม่นยำในการคัดเลือกข้อสอบข้อถัดไป ด้วยวิธี 10 Fold-Cross-Validation พบว่า มีค่าความถูกต้อง (Accuracy) และมีความแม่นยำ (Precision) 90% มีค่าความถ่วงดุล (F-measure) 94.44% และวัดความถูกต้องของโมเดล มีค่าความระลึก (Recall) 100%

3) พัฒนาเว็บแอพพลิเคชั่นสำหรับการทดสอบแบบปรับเหมาะแบบพหุมิติโดยประยุกต์ใช้โครงข่ายประสาทเทียมในการคัดเลือกข้อสอบข้อถัดไปที่พัฒนาขึ้นสามารถใช้งานบนระบบปฏิบัติการได้ทุกระบบที่มี Web Browser ทั้ง Notebook Teblet และ Mobile สามารถวิเคราะห์ความสามารถของผู้สอบได้ถูกต้องแม่นยำทั้งความสามารถแยกตามมิติและความสามารถโดยรวม และยังสามารถจำแนกระดับความสามารถของผู้สอบออกเป็น 7 ระดับย่อย คือ สูงมาก สูง ค่อนข้างสูง ปกติ ค่อนข้างต่ำ ต่ำ และต่ำมาก

4) การหาประสิทธิภาพของเว็บแอพพลิเคชั่นสำหรับการทดสอบแบบปรับเหมาะแบบพหุมิติ พบว่าผลการประเมินความเหมาะสมของโปรแกรมทั้งผู้เชี่ยวชาญและผู้ใช้งานมีความเหมาะสมที่สุดทุกรายด้าน แสดงให้เห็นว่า ของเว็บแอพพลิเคชั่นมีความเหมาะสมเพียงพอที่จะนำไปใช้ทดสอบจริงได้