Quelques techniques pour améliorer les performances des méthodes à directions conjuguées

Abstract

Abstract

The conjugate gradient method is an effective method for solving unconstrained and nonlinear optimization problems. In this thesis, we have proposed three new hybrid conjugate gradient algorithms. For the first method, the parameter βkis computed as convex combination of two parameters from the "Harger-Zhan" and "Dai-Yaun " conjugate gradient methods. For the second method, the parameter β_{k} is determineded as convex combination of three parameters from the "Dai-Yuan", "Conjugate Descent", and "Hestenes-Stiefel" conjugate gradient methods, and for the last method, the parameter βkis computed as convex combination of foor parameters from the "Dai-Yaun", "Fletcher-Revees", "Polak-Ribière- Polyak", and " Hestenes-Stiefel " conjugate gradient methods. The convex combination parameter for the first method can be computed if the direction of this method satisfies the pure conjugucy condition, while for the convex combination parameters of the second and third methods, it can be computed if the D-L conjugacy condition is satisfied. We have established the global convergence of these three methods under the strong Wolfe conditions. Numerical results have demonstrated the effectiveness of all three new hybrid methods. Additionally, we have applied the third new method to image restoration problems and shown its efficiency. ....................................................................... الملخص طريقة التدرج المترافق هي طريقة فعالة لحل مسائل الأمثلة الغير مقيدة و التحسين والغير خطية. في هذه الأطروحة تم اقتراح ثلاثة خوارزميات تدرج مترافقة هجينة جديدة. وسيط بيتا للطريقة الأولى يتم حسابه عن طريق مزج محدب بين وسيطين لطرق التدرج المترافق " هارجر-زهان " و" داي-يون". أما وسيط بيتا في الطريقة الثانية يتم حسابه عن طريق مزج محدب بين ثلاث وسائط طرق التدرج المترافق " داي- يون " و" الإنحدار- المترافق" و" إيستيان-ستيفيل". أما وسيط بيتا في طريقة الثالثة يتم حسابه عن طريق مزج محدب بين أربعة وسائط طرق التدرج المترافق " داي-يون" و "فليتشر-لايفيس" و " بولاك-ريبير-بولياك" و " إيستان-ستيفل". يمكن حساب وسيط المزج المحدب للطريقة الأولى إذا تحققشرط الإقتران النقي أما في طريقة الثانية و الثالثة يمكن حسابهمإذا تحقق شرطالإقتران"داي-لياو". التقارب الشامل لهذه الطريقتين الهجينتين تم إثباته تحت شروط وولف القوية. النتائج العدديةأثبتت أن جميعها فعالة كما أضفنا تطبيق الى الطريقة الجديدة الثالثة و برهنا أنها كفوءة في مسائل إستعادة الصور. .......................................................................

Résumé

La méthode du gradient conjugué est une méthode efficace pour résoudre des problèmes d'optimisation non contraints et non linéaires. Dans cette thèse, nous avons proposé trois nouveaux algorithmes hybrides de gradient conjugué. Pour la première méthode, le paramètre βkest calculé comme une combinaison convexe de deux paramètres des méthodes de gradient conjugué "Harger-Zhan" et "Dai-Yuan". Pour la deuxième méthode, le paramètre βk est déterminé comme une combinaison convexe de trois paramètres des méthodes de gradient conjugué "Dai-Yuan", "ConjugateDescent" et "Hestenes-Stiefel". Quant à la dernière méthode, le paramètre βk est calculé comme une combinaison convexe de quatre paramètres des méthodes de gradient conjugué "Dai-Yuan", "Fletcher-Revees", "Polak-Ribière-Polyak" et " Hestenes-Stiefel ". Le paramètre de combinaison convexe pour la première méthode peut être calculé si la direction de cette méthode satisfait la condition de pure conjugaison, tandis que pour les paramètres de combinaison convexe des deuxième et troisième méthodes, il peut être calculé si la condition de conjugaison D-L est satisfaite. Nous avons prouvé la convergence globale de ces trois méthodes sous les fortes conditions de Wolfe. Les résultats numériques ont montré que les trois nouvelles méthodes hybrides sont efficaces, et nous avons également ajouté une application à la troisième nouvelle méthode et démontré son efficacité dans les problèmes de restauration d'image. ........................................