A Note on the Nonlinear Conjugate Gradient Method

Abstract

The conjugate gradient method for unconstrained optimization problems plays a fun-damental role in large-scale optimization. Its performance strongly depends on a scalar parameter that controls the search direction update. In this work, we establish a general condition on this scalar parameter, which guar-antees the global convergence of the method under the strong Wolfe line search strategy. The proposed condition provides a unified theoretical framework that does not require the classical sufficient descent assumption. Furthermore, we show how this result can be applied to recover the global convergence of well-known conjugate gradient methods, including the Fletcher–Reeves and Polak–Ribi`ere–Polyak methods. Finally, we discuss the sharpness of the proposed condition and show that it cannot, in general, be further relaxed without losing convergence properties ----------------------------------------------------------------------- طريقة التدرج المترافق لمسائل الأمثلة بدون قيود تلعب دورًا أساسيًا في التحسين واسع النطاق. ويعتمد أداؤها بشكل كبير على معامل عددي يتحكم في تحديث اتجاه البحث. في هذا العمل، نضع شرطًا عامًا على هذا المعامل العددي يضمن التقارب الكلي للطريقة تحت استراتيجية البحث الخطي من نوع وولف القوي. ويقدم هذا الشرط إطارًا نظريًا موحدًا لا يعتمد على فرضية التناقص الكافي الكلاسيكية. علاوة على ذلك، نبيّن كيف يمكن تطبيق هذه النتيجة لاسترجاع التقارب الكلي لطرق التدرج المترافق المعروفة، بما في ذلك طريقة فليتشر–رييفز وطريقة بولاك–ريبير–بولاك. وأخيرًا، نناقش مدى دقة هذا الشرط ونوضح أنه لا يمكن، بشكل عام، التخفيف منه أكثر دون فقدان خصائص التقارب. ----------------------------------------------------------------------- La m´ethode du gradient conjugu´e pour les probl`emes d’optimisation sans contraintes joue un roˆle fondamental dans l’optimisation a` grande ´echelle. Sa performance d´epend fortement d’un param`etre scalaire qui controˆle la mise a` jour de la direction de recherche. Dans ce travail, nous ´etablissons une condition g´en´erale sur ce param`etre scalaire, laquelle garantit la convergence globale de la m´ethode sous la strat´egie de recherche lin´eaire de Wolfe fort. La condition propos´ee fournit un cadre th´eorique unifi´e qui ne n´ecessite pas l’hypoth`ese classique de descente suffisante. De plus, nous montrons comment ce r´esultat peut ˆetre appliqu´e pour retrouver la convergence globale des m´ethodes bien connues du gradient conjugu´e, notamment les m´ethodes de Fletcher–Reeves et de Polak–Ribi´ere–Polyak. Enfin, nous discutons de la nature stricte de cette condition et montrons qu’elle ne peut pas, en g´en´eral, ˆetre davantage relaˆch´ee sans perdre les propri´et´es de convergence.