Unconstrained optimization in nonparametric statistics

Abstract

Abstract This thesis delves into the exciting realm of nonlinear conjugate gradient (CG) methods, a powerful set of algorithms designed to tackle unconstrained optimization problems – particularly those characterized by many variables. These problems are increasingly prevalent in various scientific fields. We propose a series of CG methods, meticulously crafted to enhance the efficiency and effectiveness of finding the minimum point of the objective function. Additionally, we ensure that each step taken by the algorithm leads to a significant reduction in the function’s value. This is especially crucial when combined with the strong Wolfe line search, a powerful optimization technique that guarantees significant progress towards the minimum. To validate our proposed methods, we conducted extensive numerical experiments. The results convincingly demonstrate the robustness and efficiency of these new approaches compared to existing CG methods. They offer a faster and more reliable path for minimizing objective functions in unconstrained optimization problems. This thesis doesn’t stop at unconstrained optimization. Recognizing the versatility of our CG methods, we embark on a journey to explore their applicability in a broader domain: nonparametric statistics. We strategically enhance our algorithms to tackle two key challenges in this (mode function estimation and regression function estimation). By successfully applying our CG methods to these problems, we demonstrate their potential to significantly contribute to the field of nonparametric statistics. ------------- الملخص تتعمق هذه الأطروحة في عالم طرق التدرج المترافق غيرالخطي المثير للاهتمام، وهي مجموعة قوية من الخوارزميات المصممة لحل مشاكل التحسين غير المقيد - خاصة تلك التي تتميز بعدد كبير من المتغيرات. أصبحت هذه المشاكل منتشرة بشكل متزايد في مختلف المجالات العلمية. نقدم قي هذه الاطروحة المعايير المبتكرة والمصممة بدقة لتحسين كفاءة وفعالية إيجاد النقطة الدنيا لدالة الهدف. بالإضافة إلى ذلك، نضمن أن كل خطوة يتخذها الخوارزمية تؤدي إلى انخفاض كبير في قيمة الدالة . وهذا أمر بالغ الأهمية خاصة عند دمجه مع بحث وولف القوي، وهي تقنية تحسين قوية تضمن تحقيق تقدم كبير نحو الحد الأدنى. للتحقق من صحة طرقنا المقترحة، أجرينا تجارب رقمية مكثفة. تظهر النتائج بشكل مقنع قوة وفعالية هذه الأساليب الجديدة مقارنة بطرق الحالية. إنها توفر مسارًا أسرع وأكثر موثوقية لتقليل وظائف الهدف في مشاكل التحسين غير المقيد. هذه الأطروحة لا تتوقف عند الامثلة غير المقيدة. إدراكًا لتعدد استخدامات طرق الخاصة بنا، فإننا نشرع في رحلة لاستكشاف إمكانية تطبيقها في نطاق أوسع: الإحصاء غير الوسيطي. نقوم بتحسين خوارزمياتنا بشكل استراتيجي لمعالجة اثنين من التحديات الرئيسية في هذا المجال( تقدير دالة المنوال وتقدير دالة الانحدار) من خلال تطبيق طرق الخاصة بنا بنجاح على هذه المشكلات، نبرز إمكاناتها للمساهمة بشكل كبير في مجال الإحصاء غير الوسيطي. ---------- Résumé Cette thèse explore le domaine passionnant des méthodes de gradient conjugué(GC) non linéaire, un ensemble puissant d'algorithmes conçu pour résoudre des problèmes d'optimisation sans contrainte, en particulier ceux caractérisés par un nombre élevé de variables. Ces problèmes sont de plus en plus fréquents dans divers domaines scientifiques.

Nous proposons une série des méthodes de GC , soigneusement conçus pour améliorer l'efficacité et la capacité à trouver le point minimum de la fonction objectif. De plus, nous nous assurons que chaque étape de l'algorithme conduit à une réduction significative de la valeur de la fonction. Ceci est particulièrement crucial lorsqu'il est combiné avec la recherche linéaire de Wolfe forte, une technique d'optimisation puissante qui garantit une progression significative vers le minimum.

Pour valider nos méthodes proposées, nous avons mené de nombreuses expériences numériques. Les résultats démontrent de manière convaincante la robustesse et l'efficacité de ces nouvelles approches par rapport aux méthodes GC existantes. Elles offrent un moyen plus rapide et plus fiable de minimiser les fonctions objectives dans les problèmes d'optimisation sans contraintes.

Cette thèse ne s'arrête pas à l'optimisation sans contrainte. Reconnaissant la polyvalence de nos méthodes GC, nous nous engageons dans un voyage pour explorer leur applicabilité dans un domaine plus large : la statistique non paramétrique. Nous améliorons stratégiquement nos algorithmes pour relever deux défis clés dans ce domaine (Estimation de la fonction de mode et Estimation de la fonction de régression). En appliquant avec succès nos méthodes GC à ces problèmes, nous démontrons leur potentiel de contribution significative au domaine de la statistique non paramétrique.