Implémentation hardware/software de système de détection et de suivi d’objets en utilisant les algorithmes Deep Learning

Abstract

The domain of real-time object detection and tracking is at the forefront of innovation in strategic sectors such as automated surveillance, autonomous robotics, and intelligent vehicles. This thesis focuses on optimizing object detection models using Convolutional Neural Networks tailored for resource-constrained platforms like Raspberry Pi, FPGA. The initial model developed was designed specifically to perform in constrained environments while ensuring high accuracy and low energy consumption, making it an ideal solution for embedded applications where hardware resources are limited. In this context, optimization strategies such as adapting the network to dynamic scenes in real-time, using techniques like weight quantization, network architecture adaptation to lighten the system, and parallel processing via FPGA have been implemented. The use of DeepSORT for object tracking and the integration of models like YOLOv5, SSD MobileNetV3 Large, and ResNet has resulted in a model that combines fast detection with high accuracy while optimizing energy efficiency. Experiments on various platforms have demonstrated that leveraging NVIDIA GeForce GPUs and FPGA for parallel processing reduces the CPU load, thereby enhancing system responsiveness for real-time applications. The goal of this work is to provide an optimized model that meets the requirements of efficiency, speed, and low energy consumption for integration into industrial and mobile applications. Future directions include improving model decision interpretability and continuously optimizing the architecture for deployment in complex environments. --------------------------------------------------------------------- يعد مجال كشف وتتبع الأجسام في الوقت الحقيقي من المجالات الرائدة في القطاعات الاستراتيجية مثل المراقبة الآلية، والروبوتات المستقلة، والمركبات الذكية. تركز هذه الأطروحة على تحسين نماذج الكشف عن الأجسام باستخدام الشبكات العصبية التلافيفية المخصصة للمنصات ذات الموارد المحدودة مثلRaspberry Pi وFPGA . تم تصميم النموذج الأولي لهذه الدراسة ليعمل بشكل فعال في بيئات محدودة، مع ضمان دقة عالية واستهلاك منخفض للطاقة، مما يجعله الحل المثالي للتطبيقات المدمجة حيث تكون الموارد المادية محدودة. في هذا السياق، تم تطبيق استراتيجيات تحسين مثل تكييف الشبكة مع المشاهد الديناميكية في الوقت الفعلي، واستخدام تقنيات مثل تحويل الأوزان، تعديل بنية الشبكة لتخفيف النظام، والمعالجة المتوازية عبر FPGA. وقد تم دمج DeepSORT لتتبع الأجسام واستخدام نماذج مثل YOLOv5 وSSD MobileNetV3 Large وResNet، مما أدى إلى تطوير نموذج يجمع بين سرعة الكشف والدقة العالية، مع تحسين كفاءة استهلاك الطاقة. أظهرت التجارب التي أجريت على منصات مختلفة أن استخدام بطاقات الرسومات NVIDIA GeForce وFPGA للمعالجة المتوازية يساعد على تقليل الضغط على المعالج المركزي ، مما يزيد من استجابة النظام ويوفر تطبيقات في الوقت الفعلي. يهدف هذا العمل إلى تقديم نموذج محسن يلبي متطلبات الكفاءة والسرعة والاستهلاك المنخفض للطاقة، تمهيدًا لتكامل النموذج في التطبيقات الصناعية والمتحركة. تشمل الآفاق المستقبلية تحسين قابلية تفسير قرارات النموذج وتحسين مستمر للبنية لتوسيع نطاق التطبيقات في بيئات معقدة --------------------------------------------------------------------------- Le domaine de la détection et du suivi d'objets en temps réel est au cœur de l’innovation dans des secteurs stratégiques tels que la surveillance automatisée, la robotique autonome et les véhicules intelligents. Cette thèse aborde l’optimisation des modèles de détection d'objets en utilisant des réseaux neuronaux convolutionnels adaptés aux plateformes à ressources limitées telles que le Raspberry Pi, les FPGA. Le modèle initial développé a été spécifiquement conçu pour fonctionner dans des environnements contraints tout en garantissant une haute précision et une faible consommation énergétique. Il constitue ainsi une solution idéale pour les applications embarquées où les ressources matérielles sont limitées. Dans ce contexte, des stratégies d'optimisation ont été mises en place, telles que l'adaptation du réseau aux scènes dynamiques en temps réel et l'utilisation de techniques comme la quantification des poids, l’adaptation de l'architecture des réseaux pour alléger le système et le traitement parallèle via les FPGA. L'utilisation de DeepSORT pour le suivi d’objets et l’intégration de modèles comme YOLOv5, SSD MobileNetV3 Large, et ResNet a permis de développer un modèle performant, combinant vitesse de détection et précision, tout en optimisant l'efficacité énergétique. Les expérimentations sur différentes plateformes ont permis de démontrer que l'usage des GPU NVIDIA GeForce et des FPGA pour le traitement parallèle permet de réduire la charge du CPU, augmentant ainsi la réactivité du système et permettant des applications en temps réel. L’objectif de ce travail est de fournir un modèle optimisé qui réponde aux exigences d’efficacité, de rapidité et de faible consommation d’énergie, en vue d’une intégration dans des applications industrielles et mobiles. Les perspectives futures incluent l'amélioration de l'interprétabilité des décisions du modèle et l’optimisation continue de l’architecture en vue de futurs déploiements dans des environnements complexes.