A Hybrid Conjugate Gradient Method for Unconstrained Optimization

Abstract

This work introduces a novel hybrid conjugate gradient approach designed to tackle large-scale unconstrained optimization problems. The developed method, designated HPRPHZ, is constructed through a convex combination of the Polak–Ribière–Polyak (PRP) and Hager–Zhang (HZ) conjugate gradient parameters, aiming to merge the computational effectiveness of PRP with the strong theoretical guarantees offered by HZ.

A rigorous theoretical framework demonstrates the sufficient descent condition alongside global convergence under the strong Wolfe line search criteria. Testing across a range of benchmark problems reveals that HPRPHZ achieves notable gains in both reliability and computational performance relative to classical conjugate gradient schemes. ------------------------------------------------------------------------ تقدم هذه المذكرة طريقة هجينة جديدة للتدرج المترافق من أجل حل مسائل الأمثلية غير المقيدة ذات البعد الكبير. تعتمد الطريقة المقترحة، والمسمّاة HPRPHZ، على تركيب محدب لمعاملي Polak–Ribière–Polyak (PRP) وHager–Zhang (HZ)، وتهدف إلى الجمع بين الكفاءة العددية لطريقة PRP وخصائص التقارب القوية لطريقة HZ.

يُثبت التحليل النظري خاصية النزول الكافي والتقارب الكلي تحت شروط Wolfe القوية. كما تُظهر التجارب العددية المنجزة على عدة مسائل اختبارية أن الطريقة المقترحة تُحسن المتانة والكفاءة مقارنة بطرق التدرج المترافق الكلاسيكية. ------------------------------------------------------------------------

Ce travail propose une approche hybride originale du gradient conjugué destinée à résoudre des problèmes d'optimisation sans contraintes de grande taille. La méthode développée, désignée HPRPHZ, est construite à partir d'une combinaison convexe des paramètres de Polak–Ribière–Polyak (PRP) et de Hager–Zhang (HZ), dans le but d'allier la performance numérique de PRP aux solides garanties théoriques offertes par HZ.

Un cadre théorique rigoureux démontre la condition de descente suffisante ainsi que la convergence globale sous les critères de recherche linéaire de Wolfe fortes. Les tests effectués sur un ensemble de problèmes de référence révèlent que HPRPHZ apporte des améliorations significatives en termes de fiabilité et de performance computationnelle par rapport aux schémas classiques du gradient conjugué.