การพัฒนาโปรแกรมเพื่อตรวจจับทิศทางใบหน้าและสถานะดวงตาที่ถูกปิดบางส่วน

Abstract

This research focuses on the development of software for detecting facial direction and eye status of users. The software development is divided into two parts. The first part involves the creation of a program that can accurately detect the direction of the face, including turning left, turning right, and raising or lowering the face. The second part focuses on detecting the status of the user's eyes, such as whether they are open or closed, as well as determining the direction of the gaze, whether it is towards the left or right. The developed program of this research utilizes the Mediapipe library, which offers 468 key points on the face, as the foundation for its working principle. In this research, a specific subset of five key points is employed, consisting of the corners of the left and right eyes, as well as the tip of the nose. These key points are crucial for calculating the direction vector from the center between the two eyes to the tip of the nose, enabling determination of the facial direction. By converting the perspective angles of the coordinate system, the program categorizes the rotation angle of the face into five distinct categories: straight face, turned left, turned right, raised face, and lowered face.

In the case of eye detection, the program utilizes the coordinates of the top and bottom edges of each eye to determine their status (open or closed). Additionally, by comparing the coordinates of the center of the iris with the coordinates of the left and right eye corners, the program is able to determine the direction of gaze.

The accuracy of the developed program was evaluated during the testing phase, involving a total of 61 volunteer participants, consisting of 47 males and 14 females. The participants' faces were recorded in video format under two conditions: without wearing a face mask and while wearing a face mask. Throughout the recording process, participants were instructed to perform specific facial movements, including turning their faces to the left, right, and raising or lowering their faces. The evaluation results indicated that the program achieved an impressive average accuracy of 95.08% in detecting facial direction. These findings highlight the program's potential for diverse applications, such as the utilization of facial direction and eye movements for controlling electric wheelchairs.

งานวิจัยนี้เป็นการพัฒนาโปรแกรมเพื่อตรวจจับทิศทางใบหน้าและดวงตาของผู้ใช้งาน โดยในงานวิจัยนี้แบ่งการพัฒนาออกเป็น 2 รูปแบบ โดยรูปแบบแรก เป็นการพัฒนาโปรแกรมเพื่อตรวจจับทิศทางของใบหน้าเช่นการหันซ้าย หันขวา ก้มหน้าและเงยหน้า รูปแบบที่ 2 เป็นการตรวจจับสถานะของดวงตาผู้ใช้ เช่น ตาปิดหรือตาเปิดและทิศทางของลูกตาว่ามองไปทางซ้ายหรือทางขวา โดยหลักการทำงานของโปรแกรมจะเริ่มจากการตรวจจับใบหน้าและหาจุดสำคัญของใบหน้า โดยในงานวิจัยนี้ใช้ไลบรารีของ Mediapipe ซึ่งจะทำให้ได้จุดสำคัญต่างๆบนใบหน้าจำนวน 468 จุด โดยการหาทิศทางของใบหน้าจะใช้จุดสำคัญที่ได้จำนวน 5 จุดคือบริเวณจุดมุมดวงตาซ้าย ขวาและปลายจมูก เพื่อนำมาคำนวณหาทิศทางของเวกเตอร์ที่ชี้ตั้งแต่ตรงกลางระหว่างตาสองข้างไปถึงปลายจมูกจากนั้นทำการหาทิศทางของใบหน้าด้วยการแปลงมุมมองของระบบพิกัด จะทำให้ได้องศาการหมุนของใบหน้าเทียบกับขอบเขตมุมมองอ้างอิงจะได้ผลออกมา 5 ลักษณะคือ หน้าตรง หันซ้าย หันขวา ก้มหน้าและเงยหน้า

ในกรณีของการตรวจจับดวงตาในงานวิจัยนี้ใช้จุดพิกัดขอบบนและขอบล่างของดวงตาแต่ละข้างมาเปรียบเทียบระยะห่างว่าเป็นตาเปิดหรือตาปิด จากนั้นเอาพิกัดจุดกลางลูกตามาเปรียบเทียบกับมุมดวงตาด้านซ้ายและขวาเพื่อหาทิศทางการมองของลูกตา

ในการทดสอบความถูกต้องของโปรแกรมที่พัฒนาขึ้น โดยการทดลองมีจำนวนอาสาสมัครจำนวน 61 คน ผู้ชาย 47 คน และผู้หญิง 14 คน โดยทำการบันทึกวิดีโอของใบหน้าทั้งกรณีไม่ใส่และใส่หน้ากากอนามัยโยในระหว่างการบันทึกมีการหันหน้าซ้าย ขวา ก้มหน้าและเงยหน้า ผลที่ได้พบว่าโปรแกรมตรวจจับทิศทางใบหน้ามีความถูกต้องเฉลี่ยร้อยละ 95.08 จึงมีศักยภาพในการนำไปประยุกต์ใช้ในงานต่างๆได้ เช่น การควบคุมเก้าอี้เข็นไฟฟ้าด้วยใบหน้าและดวงตาได้