The influence of the accuracy of the linear search procedure on the performance of conjugate gradient algorithms

Abstract

Abstract This thesis focuses on three categories of conjugate gradient algorithms. The first category is based on the addition of a third term in the MDY conjugate gradient direction using the three-term conjugate gradient approach.The second category adopts the spectral conjugate gradient algorithm, providing spectral improvement with the integration of a third term in the MDY conjugate gradient direction. Three different methods are used to determine this term, and the last category depends on making a modification to the MDY conjugate gradient method.The main objective of these modifications is to expedite the descent direction and improve the convergence properties of the algorithms by applying Wolfe line-search conditions. The numerical results from our experiments provide strong evidence of the effectiveness of our modified three-term algorithms.

-------------- Résumé Cette thèse se concentre sur trois catégories d’algorithmes de gradient conjugué. La première catégorie est basée sur l’ajout d’un troisième terme dans la direction du gradient conjugué MDY en utilisant l’approche du gradient conjugué à trois termes. La deuxième catégorie adopte l’algorithme du gradient conjugué spectral, fournissant une amélioration spectrale avec l’intégration d’un troisième terme dans la direction du gradient conjugué MDY. Trois méthodes différentes sont utilisées pour déterminer ce terme, et la dernière catégorie dépend d’une modification de la méthode du gradient conjugué MDY. L’objectif principal de ces modifications est d’accélérer la direction de descente et d’améliorer les propriétés de convergence des algorithmes en appliquant les conditions de recherche de Wolfe. Les résultats numériques de nos expériences fournissent des preuves solides de l’efficacité de nos algorithmes à trois termes modifiés.

-------------- ملخص يركز هذا البحث على ثلاث فئات من خوارزميات التدرج المترافق. الفئة الأولى تعتمد على خوارزمية التدرج المترافق ثلاثي الحدود مما يشمل دمج حد ثالث في اتجاه التدرج المترافق ل MDY. الفئة الثانية تعتمد على خوارزمية التدرج الطيفي المترافق حيث تكون ت صحيحا طيفيا معززا مع دمج حد ثالث في اتجاه التدرج المترافق MDY، وتم تحديد معلماتها بثلاث طرق مختلفة، و الفئة الأخيرة تعتمد على إجراء تعديل على طريقة التدرج المترافق MDY. الهدف الرئيسي من هذه التعديلات هو تسريع اتجاه الهبوط وتحسين خصائص التقارب للخوارزميات من خلال تطبيق شروط بحث خط وولف. تقدم النتائج العددية لتجاربنا دليلا قويا على فعالية خوارزمياتنا المعدلة ثلاثية الحدود.