Gesture recognition for Deaf-Mute people: Application to Sign language communication in social media

Abstract

Deaf-mute individuals face significant challenges in communication due to their hearing and speech disabilities. While sign language serves as their primary mode of communication, it can pose difficulties for individuals who are not familiar with sign language. To address this issue, our research proposes a gesture recognition system that relies on Long Short-Term Memory (LSTM) networks, which have been trained on our dataset of 10 signs.

The developed system has shown promising results, demonstrating high accuracy in rec-ognizing10 specificsigns. This achievement underscores its effectiveness in real-time gesture recognition, there by improving communication for individuals with hearing and speech dis-abilities.

Furthermore, our research goes be yond the gesture recognition system. We have also de-veloped a social media platform that facilitates communication between users utilizing sign language and text. This platform leverages the gesture recognition system we have created to convert sign language gestures into easily understandable text for non-sign language users, and vice versa. By implementing this innovative approach, our aim is to bridge the communication gap and promote inclusivity for individuals with diverse communication needs. ----------------------------------------------------------------------------------------------- يواجه الأفراد الصم والبكم تحديات كبيرة في التواصل نتيجة لإعاقتهم السمعية واللفظية. في حين تعتبر لغة الإشارة وسيلة التواصل الأساسية لهذه الفئة من الأشخاص، إلا أنه يمكن أن تشكل تحديات بالنسبة للأفراد غير الملمين بلغة الإشارة. لمعالجة هذه المشكلة، يقترح بحثنا نظامًا للتعرف على الإيماءات يعتمد على شبكات ذاكرة قصيرة وطويلة الأجل،(LSTM) تم تدريبها على مجموعة بيانات خاصة بنا للتعرف على 10 إشارات.

أظهر النظام المطور نتائج مبشرة، حيث أظهر دقة عالية في التعرف على10 الإشارات المحددة تؤكد هذه الإنجازات فعالية النظام في التعرف على الحركات في ارض الواقع ، مما يسهم في تحسين التواصل للأفراد ذوي الإعاقة السمعية واللفظية.علاوة على ذلك،يتعدى بحثنا نظام استشعار الحركات. لقد طورنا أيضا منصة لوسائل التواصل الاجتماعي تسهل التواصل بين المستخدمين باستخدام لغة الإشارة والنص. تستفيد هذه المنصة من نظام التعرف على الحركات الذي قمنا بتطويره لتحويل حركات لغة الإشارة إلى نص يمكن فهمه بسهولة من قبل غير الناطقين بلغة الإشارة، والعكس بالعكس. من خلال تنفيذ هذا النهج المبتكر، يهدف بحثنا إلى تقليص الفجوة في التواصل وتعزيز الشمولية للأفراد ذوي الاحتياجات المختلفة في التواصل. ----------------------------------------------------------------------------------------------- Les personnes sourdes-muettes font face à d’importantes difficultés en matière de communication en raison de leurs déficiences auditives et de la parole. Bien que la langue des signessoit leur principal mode de communication, elle peut poser des problèmes pour les personnes qui ne la connaissent pas.Pour remédier à cette situation, notre recherche propose unsystème de reconnaissance des gestes basé sur des réseaux de mémoire à court et long terme(LSTM),qui ont été entraînés sur notre ensemble de données de 10 signe. Le système développé a donné des résultats prometteurs, démontrant une grande précision dans la reconnaissance de 10 signes spécifiques. Cette réussite souligne son efficacité dans la reconnaissance des gestes en temps réel, améliorant ainsi la communication pour les personnes ayant des déficiences auditives et de la parole. De plus, notre recherche va au-delà du système de reconnaissance des gestes. Nous avonségalement développé une plateforme de médias sociaux qui facilite la communication entreles utilisateurs utilisant la langue des signes et le texte. Cette plateforme exploite le systèmede reconnaissance des gestes que nous avons créé pour convertir les gestes de la langue dessignes en texte facilement compréhensible pour les utilisateurs ne connaissant pas la langue des signes, et vice versa. En mettant en œuvre cette approche novatrice, notre objectif est de combler le fossé de communication et de promouvoir l’inclusion pour les personnes ayant des besoins de communication diversifiés.