Web intelligent avec Tensorflow.js Reconnaissance des émotions faciales via le Web

Abstract

This thesis presents a method that utilizes pre-trained recognition models for facial emotion detection. The FER2013 dataset is used as the data source for training the emotion recognition model, which is trained to detect and classify different emotions such as anger, disgust, fear, joy, sadness, surprise, and neutrality. In addition to the emotion recognition model, the thesis explores the use of the Blazeface facial recognition model integrated into Tensorflow.js. Blazeface is a lightweight and fast model designed for real-time face detection in images or videos. The proposed approach allows the integration of these two models into a web application, providing the capability to detect and recognize facial emotions in real-time from a webcam. Users only need to grant access to their webcam, and the application captures images, detects faces, and predicts associated emotions. Experimental results demonstrate that this approach achieves accurate facial emotion recognition using the FER2013-based model and precise face detection using Blazeface. The web application offers an interactive and real-time user experience, opening possibilities for applications in various domains such as psychology, user experience analysis, and human-computer interactions. --------------------------------------------------------------------------------------- تناول هذا البحث مجال التعرف على العواطف الوجهية باستخدام تقنيات الذكاء الاصطناعي، ولا سيما Tensorflow.js كان الهدف هو تطوير نموذج قادر على اكتشاف وتحليل العواطف المعبر عنها على وجوه الأشخاص في الوقت الحقيقي. بدأنا بدراسة مجموعة متنوعة من مجموعات البيانات المتاحة وتقنيات معالجة الصور لتحسين جودة بيانات التدريب. ثم قمنا بدراسة مختلف الهياكل المعمارية للشبكات العصبية المتسقة واخترنا تلك التي توفر أفضل نتائج في تصنيف العواطف. كانت خطوة مهمة في عملنا هي إعداد كود تحديد الوجوه باستخدام نموذج Blazeface، المدمج في Tensorflow.js وقد سمح ذلك لنا بتحديد مواقع الوجوه بدقة في الصور أو مقاطع الفيديو، وبالتالي فتح الباب أمام تحليل تعابير الوجوه باستخدام هذه المكتبة القوية. ثم قمنا بتدريب نموذجنا للتعرف على العواطف باستخدام مجموعة البيانات FER2013من خلال تعلم الآلة واستخدام Tensorflow.js ، قمنا بتطوير نموذج قوي قادر على التنبؤ بدقة بالعواطف المرتبطة بوجه محدد، مباشرةً في متصفح الويب. أخيرًا، قمنا بدمج هذا النموذج في تطبيق ويب تفاعلي، مما يتيح للمستخدمين اكتشاف وتحليل عواطف وجوههم الخاصة في الوقت الحقيقي، بفضل قوة Tensorflow.js أظهر هذا البحث التقدم الكبير الذي تم تحقيقه في مجال التعرف على العواطف الوجهية من خلال الذكاء الاصطناعي واستخدام Tensorflow.js تطبيقات هذه التكنولوجيا متنوعة، تتراوح بين تحسين تجربة المستخدم إلى استخدامها في مجالات مثل علم النفس والأمان وغيرها الكثير. في الختام، قدم هذا البحث مساهمات هامة في مجال التعرف على العواطف الوجهية باستخدام Tensorflow.js ، من خلال تقديم نموذج قوي وتطبيقه في تطبيق ويب. يفتح هذا العمل آفاقًا جديدة للبحث والتطبيق في مجال تحليل العواطف الوجهية، ويقدم فرصًا مثيرة للمستقبل. -------------------------------------------------------------------------------------- Ce mémoire présente une méthode qui utilise des modèles de reconnaissance pré-entraînés pour la détection des émotions faciales. Le jeu de données FER2013 est utilisé comme source de données pour l’apprentissage du modèle de reconnaissance des émotions, qui est entraîné à détecter et classifier différentes émotions telles que la colère, le dégoût, la peur, la joie, la tristesse, la surprise et la neutralité. En plus du modèle de reconnaissance des émotions, le mémoire aborde l’utilisation du modèle de reconnaissance faciale Blazeface intégré à Tensorflow.js. Blazeface est un modèle léger et rapide conçu pour détecter les visages dans des images ou des vidéos en temps réel. L’approche proposée permet l’intégration de ces deux modèles dans une application web, offrant ainsi la possibilité de détecter et de reconnaître les émotions faciales en temps réel à partir d’une webcam. L’utilisateur n’a qu’à autoriser l’accès à sa webcam et l’application capture les images, détecte les visages et prédit les émotions associées. Les résultats expérimentaux démontrent que cette approche offre une reconnaissance précise des émotions faciales en utilisant le modèle basé sur FER2013 et une détection précise des visages grâce à Blazeface. L’application web offre une expérience interactive et en temps réel, ouvrant ainsi des perspectives d’application dans divers domaines tels que la psychologie, l’analyse de l’expérience utilisateur et les interactions homme-machine.