Using conjugate gradient methods for regression function

Abstract

ملخص

تساهم طرق التدرج المترافق غيرالخطية بشكل كبير في حل مسائل الأمثلة الغير مقيدة، خاصة في المشاكل ذات الأبعاد الكبيرة. في هذه الأطروحة، قمنا بتطوير بعض طرق التدرج المترافق، وكذلك دراسة التقارب الشامل وخاصية الانحدار الكافي لهذه الطرق الجديدة، وذلك في حالة استخدام الشروط القوية لوولف. تظهر النتائج العددية أن الطرق المقترحة فعالة وقوية في تقليل بعض مشاكل الأمثلة الغير مقيدة. علاوة على ذلك، تم توسيع الخوارزميات المقترحة لحل مشكلات الإحصاء اللامعلمي، وتحديداً لحل مشكلة دالة الوضع ومشكلة دالة الإنحدار الشرطي. --------------- Résumé Les méthodes de gradient conjugué non linéaires représentent une contribution majeure à la résolution de problèmes d’optimisation sans contraintes, notamment de grande taille. Dans cette thèse, nous développons certains paramètres de gradient conjugués, ainsi qu’étudier la convergence globale et la propriété de descente suffisante de ces nouvelles méthodes, c’est le cas de l’utilisation de la recherche lineaire de Wolfe forte. Les résultats numériques montrent que les méthodes proposées sont efficaces et robustes pour minimiser certains problèmes d’optimisation sans contrainte.

De plus, les algorithmes proposés ont été étendus pour résoudre le problème des statistiques non paramétriques, en particulier pour résoudre le problème de la fonction de mode et le problème de la fonction de régression du modèle conditionnel. ------------------- Abstract Nonlinear conjugate gradient techniques make a significant contribution to addressing unconstrained optimization problems, especially in cases with significant dimensions. In this thesis, we develop some conjugate gradient parameters, as well as study the global convergence and sufficient descent property of these new methods, this is in the case of using the strong Wolfe line search (SWLS). Numerical results show that the proposed methods are effective and robust in minimizing some unconstrained optimization problems.

Furthermore, the proposed algorithms were extended to solve the problem of nonparametric statistics, specifically, to solve the problem of mode function and the problem of conditional model regression function.