Global Convergence of New Hybrid Conjugate Gradient Method

Abstract

Conjugate Gradient (CG) methods are considered fundamental tools for large-scale unconstrained optimization problems owing to their computational efficiency and minimal memory requirements. This work introduces a novel hybrid scheme, the KBH method, which combines the strengths of the CD, FR, and PRP approaches. From a theoretical perspective, it is demonstrated that the KBH method fulfills the sufficient descent condition under strong Wolfe line search and guarantees global convergence for general nonlinear functions. Computational experiments, carried out on standard benchmark problems, show that the developed method notably surpasses classical CG variants with respect to efficiency, robustness, and execution speed (CPU time). These findings confirm the reliability and effectiveness of the KBH algorithm for practical large-scale applications. ----------------------------------------------------------------------طرق التدرج المترافق (CG) أدوات أساسية لحل مسائل التحسين غير المقيد واسعة النطاق، وذلك بسبب كفاءتها الحسابية و انخفاض متطلبات الذاكرة لديها. يقدم هذا العمل مخططًا هجينًا جديدًا، وهو طريقة KBH، التي تجمع بين مزايا طرق CD وFR وPRP. من الناحية النظرية، تم إثبات أن طريقة KBH تُحقق شرط الانحدار الكافي في ظل بحث خط وولف القوي، وتضمن التقارب الكلي للدوال غير الخطية العامة. تُظهر التجارب الحسابية، التي أُجريت على مسائل معيارية قياسية، أن الطريقة المقترحة تتفوق بشكل ملحوظ على الطرق الكلاسيكية للتدرج المترافق من حيث الكفاءة والمتانة وسرعة التنفيذ (زمن وحدة المعالجة المركزية). تؤكد هذه النتائج موثوقية وفعالية خوارزمية KBH للتطبيقات العملية واسعة النطاق.

------------------------------------------------------------------------- Les méthodes de gradient conjugué (CG) sont considérées comme des outils fondamentaux pour les problèmes d'optimisation non contrainte à grande échelle, en raison de leur efficacité computationnelle et de leurs faibles besoins en mémoire. Ce travail introduit un nouveau schéma hybride, la méthode KBH, qui combine les avantages des approches CD, FR et PRP. D'un point de vue théorique, il est démontré que la méthode KBH satisfait la condition de descente suffisante sous la recherche linéaire de Wolfe forte et garantit la convergence globale pour les fonctions non linéaires générales. Des expériences numériques, réalisées sur des problèmes de référence standard, montrent que la méthode développée surpasse nettement les variantes classiques du CG en termes d'efficacité, de robustesse et de vitesse d'exécution (temps CPU). Ces résultats confirment la fiabilité et l'efficacité de l'algorithme KBH pour les applications pratiques à grande échelle.