Doctoral theses
Permanent URI for this collection
Browse
Recent Submissions
Item Unconstrained optimization in nonparametric statistics(2024-05-22)Abstract This thesis delves into the exciting realm of nonlinear conjugate gradient (CG) methods, a powerful set of algorithms designed to tackle unconstrained optimization problems – particularly those characterized by many variables. These problems are increasingly prevalent in various scientific fields. We propose a series of CG methods, meticulously crafted to enhance the efficiency and effectiveness of finding the minimum point of the objective function. Additionally, we ensure that each step taken by the algorithm leads to a significant reduction in the function’s value. This is especially crucial when combined with the strong Wolfe line search, a powerful optimization technique that guarantees significant progress towards the minimum. To validate our proposed methods, we conducted extensive numerical experiments. The results convincingly demonstrate the robustness and efficiency of these new approaches compared to existing CG methods. They offer a faster and more reliable path for minimizing objective functions in unconstrained optimization problems. This thesis doesn’t stop at unconstrained optimization. Recognizing the versatility of our CG methods, we embark on a journey to explore their applicability in a broader domain: nonparametric statistics. We strategically enhance our algorithms to tackle two key challenges in this (mode function estimation and regression function estimation). By successfully applying our CG methods to these problems, we demonstrate their potential to significantly contribute to the field of nonparametric statistics. ------------- الملخص تتعمق هذه الأطروحة في عالم طرق التدرج المترافق غيرالخطي المثير للاهتمام، وهي مجموعة قوية من الخوارزميات المصممة لحل مشاكل التحسين غير المقيد - خاصة تلك التي تتميز بعدد كبير من المتغيرات. أصبحت هذه المشاكل منتشرة بشكل متزايد في مختلف المجالات العلمية. نقدم قي هذه الاطروحة المعايير المبتكرة والمصممة بدقة لتحسين كفاءة وفعالية إيجاد النقطة الدنيا لدالة الهدف. بالإضافة إلى ذلك، نضمن أن كل خطوة يتخذها الخوارزمية تؤدي إلى انخفاض كبير في قيمة الدالة . وهذا أمر بالغ الأهمية خاصة عند دمجه مع بحث وولف القوي، وهي تقنية تحسين قوية تضمن تحقيق تقدم كبير نحو الحد الأدنى. للتحقق من صحة طرقنا المقترحة، أجرينا تجارب رقمية مكثفة. تظهر النتائج بشكل مقنع قوة وفعالية هذه الأساليب الجديدة مقارنة بطرق الحالية. إنها توفر مسارًا أسرع وأكثر موثوقية لتقليل وظائف الهدف في مشاكل التحسين غير المقيد. هذه الأطروحة لا تتوقف عند الامثلة غير المقيدة. إدراكًا لتعدد استخدامات طرق الخاصة بنا، فإننا نشرع في رحلة لاستكشاف إمكانية تطبيقها في نطاق أوسع: الإحصاء غير الوسيطي. نقوم بتحسين خوارزمياتنا بشكل استراتيجي لمعالجة اثنين من التحديات الرئيسية في هذا المجال( تقدير دالة المنوال وتقدير دالة الانحدار) من خلال تطبيق طرق الخاصة بنا بنجاح على هذه المشكلات، نبرز إمكاناتها للمساهمة بشكل كبير في مجال الإحصاء غير الوسيطي. ---------- Résumé Cette thèse explore le domaine passionnant des méthodes de gradient conjugué(GC) non linéaire, un ensemble puissant d'algorithmes conçu pour résoudre des problèmes d'optimisation sans contrainte, en particulier ceux caractérisés par un nombre élevé de variables. Ces problèmes sont de plus en plus fréquents dans divers domaines scientifiques. Nous proposons une série des méthodes de GC , soigneusement conçus pour améliorer l'efficacité et la capacité à trouver le point minimum de la fonction objectif. De plus, nous nous assurons que chaque étape de l'algorithme conduit à une réduction significative de la valeur de la fonction. Ceci est particulièrement crucial lorsqu'il est combiné avec la recherche linéaire de Wolfe forte, une technique d'optimisation puissante qui garantit une progression significative vers le minimum. Pour valider nos méthodes proposées, nous avons mené de nombreuses expériences numériques. Les résultats démontrent de manière convaincante la robustesse et l'efficacité de ces nouvelles approches par rapport aux méthodes GC existantes. Elles offrent un moyen plus rapide et plus fiable de minimiser les fonctions objectives dans les problèmes d'optimisation sans contraintes. Cette thèse ne s'arrête pas à l'optimisation sans contrainte. Reconnaissant la polyvalence de nos méthodes GC, nous nous engageons dans un voyage pour explorer leur applicabilité dans un domaine plus large : la statistique non paramétrique. Nous améliorons stratégiquement nos algorithmes pour relever deux défis clés dans ce domaine (Estimation de la fonction de mode et Estimation de la fonction de régression). En appliquant avec succès nos méthodes GC à ces problèmes, nous démontrons leur potentiel de contribution significative au domaine de la statistique non paramétrique.Item Convergence des méthodes du gradient conjugué pour minimisation sans contrainte(2024-03-17) Ben hanachi SabrinaAbstract The aim of this thesis is to present a new and fundamentally different conjugate gradient method which, when applied to solve unconstrained optimization problems, gives good convergence results and ensures the sufficient descent condition. To achieve this, we will use a well-known technique, the hybrid method based on a convex combination of three classical conjugate gradient methods. Furthermore, numerical experiments were performed to test the effectiveness of the proposed method, which confirmed its promising potential. ---------- ملخص الهدف من هذه الأطروحة هو تقديم طريقة تدرج مترافق جديدة ومختلفة اختلافا جذريا، والتي عند تطبيقها لحل مشكلات التحسين غير المقيدة، تعطي نتائج تقارب جيدة وتضمن حالة الانحدار الكافية. لتحقيق ذلك، سوف نستخدم تقنية معروفة جيدا، وهي الطريقة الهجينة التي تعتمد على مزيج محدب من ثلاث طرق التدرج المترافق. كما يتم إجراء تجارب عددية لاختبار فاعلية الطريقة المقترحة مما يؤكد إمكاناتها الواعدة ---------------- Résumé L’objectif de cette thèse est de présenter une nouvelle méthode de gradient conjugué fondamentalement différente qui, lorsqu’elle est appliquée à la résolution de problèmes d’optimisation sans contrainte, donne de bons résultats de convergence et assure la condition de descente suffisante. Pour ce faire, nous utiliserons une technique bien connue, la méthode hybride basée sur la combinaison convexe de trois méthodes standard de gradient conjugué. Des expériences numériques sont également réalisées pour tester l’efficacité de la méthode proposée, ce qui confirme son potentiel prometteur. -------------------- Mots clés : Optimisation sans contraintes, Gradient conjuguée, Algorithme, Convergence globale, Recherche linéaire.Item Quelques techniques pour améliorer les performances des méthodes à directions conjuguées(2024-03-20) amina hallahAbstract The conjugate gradient method is an effective method for solving unconstrained and nonlinear optimization problems. In this thesis, we have proposed three new hybrid conjugate gradient algorithms. For the first method, the parameter βkis computed as convex combination of two parameters from the "Harger-Zhan" and "Dai-Yaun " conjugate gradient methods. For the second method, the parameter β_{k} is determineded as convex combination of three parameters from the "Dai-Yuan", "Conjugate Descent", and "Hestenes-Stiefel" conjugate gradient methods, and for the last method, the parameter βkis computed as convex combination of foor parameters from the "Dai-Yaun", "Fletcher-Revees", "Polak-Ribière- Polyak", and " Hestenes-Stiefel " conjugate gradient methods. The convex combination parameter for the first method can be computed if the direction of this method satisfies the pure conjugucy condition, while for the convex combination parameters of the second and third methods, it can be computed if the D-L conjugacy condition is satisfied. We have established the global convergence of these three methods under the strong Wolfe conditions. Numerical results have demonstrated the effectiveness of all three new hybrid methods. Additionally, we have applied the third new method to image restoration problems and shown its efficiency. ....................................................................... الملخص طريقة التدرج المترافق هي طريقة فعالة لحل مسائل الأمثلة الغير مقيدة و التحسين والغير خطية. في هذه الأطروحة تم اقتراح ثلاثة خوارزميات تدرج مترافقة هجينة جديدة. وسيط بيتا للطريقة الأولى يتم حسابه عن طريق مزج محدب بين وسيطين لطرق التدرج المترافق " هارجر-زهان " و" داي-يون". أما وسيط بيتا في الطريقة الثانية يتم حسابه عن طريق مزج محدب بين ثلاث وسائط طرق التدرج المترافق " داي- يون " و" الإنحدار- المترافق" و" إيستيان-ستيفيل". أما وسيط بيتا في طريقة الثالثة يتم حسابه عن طريق مزج محدب بين أربعة وسائط طرق التدرج المترافق " داي-يون" و "فليتشر-لايفيس" و " بولاك-ريبير-بولياك" و " إيستان-ستيفل". يمكن حساب وسيط المزج المحدب للطريقة الأولى إذا تحققشرط الإقتران النقي أما في طريقة الثانية و الثالثة يمكن حسابهمإذا تحقق شرطالإقتران"داي-لياو". التقارب الشامل لهذه الطريقتين الهجينتين تم إثباته تحت شروط وولف القوية. النتائج العدديةأثبتت أن جميعها فعالة كما أضفنا تطبيق الى الطريقة الجديدة الثالثة و برهنا أنها كفوءة في مسائل إستعادة الصور. ....................................................................... Résumé La méthode du gradient conjugué est une méthode efficace pour résoudre des problèmes d'optimisation non contraints et non linéaires. Dans cette thèse, nous avons proposé trois nouveaux algorithmes hybrides de gradient conjugué. Pour la première méthode, le paramètre βkest calculé comme une combinaison convexe de deux paramètres des méthodes de gradient conjugué "Harger-Zhan" et "Dai-Yuan". Pour la deuxième méthode, le paramètre βk est déterminé comme une combinaison convexe de trois paramètres des méthodes de gradient conjugué "Dai-Yuan", "ConjugateDescent" et "Hestenes-Stiefel". Quant à la dernière méthode, le paramètre βk est calculé comme une combinaison convexe de quatre paramètres des méthodes de gradient conjugué "Dai-Yuan", "Fletcher-Revees", "Polak-Ribière-Polyak" et " Hestenes-Stiefel ". Le paramètre de combinaison convexe pour la première méthode peut être calculé si la direction de cette méthode satisfait la condition de pure conjugaison, tandis que pour les paramètres de combinaison convexe des deuxième et troisième méthodes, il peut être calculé si la condition de conjugaison D-L est satisfaite. Nous avons prouvé la convergence globale de ces trois méthodes sous les fortes conditions de Wolfe. Les résultats numériques ont montré que les trois nouvelles méthodes hybrides sont efficaces, et nous avons également ajouté une application à la troisième nouvelle méthode et démontré son efficacité dans les problèmes de restauration d'image. ........................................Item accélération méthodes itératives appliquées a l'optimisation non inéaire(2021-06-27) DELLADJI Sarraملخص في هذه الأطروحة التي تهدف إلى تسريع تقارب طرق التدرج المترافق الكلاسيكية، اقترحنا ثلاث خوارزميات تعمل على هذا المبدأ، إذ اعتمدنا بشكل خاص على تقنية تسريع شهيرة و هي تهجين خوارزميتين من خلال مزج محدب لمعاملاتهما المحددان لمختلف طرق التدرج المترافق. بعد إثبات تقارب الخوارزميات المقترحة وباستخدام دوال تجريبية، أثبتنا من خلال التجارب العددية أن هذه الخوارزميات أكثر كفاءة و نجاعة مقارنة بالخوارزميات المدمجة. ------------------------------ Abstract In this thesis aims to accelerate the convergence of classical conjugate gradient methods, we have proposed three algorithms based on this concept, where we specifically relied on a famous acceleration technique which is the hybridization of two algorithms, by convex combination of their coefficients that determine the different standard conjugate gradient methods. After having proven the convergence of the proposed algorithms, using experimental functions, we have shown through numerical experiments that these algorithms are more efficient and perform than the combined algorithms. ----------------- Résumé Dans cette thèse, qui vise à accélérer la convergence des méthodes classiques de gradient conjugué, nous avons proposé trois algorithmes qui fonctionnent sur ce principe, où nous nous sommes spécifiquement appuyés sur une célèbre technique d'accélération qui est l'hybridation de deux algorithmes, par combinaison convexe de leurs coefficients qui déterminent les différentes méthodes de gradient conjugué standard. Après avoir prouvé la convergence des algorithmes proposés, en utilisant des fonctions expérimentales, nous avons montré à travers des expériences numériques que ces algorithmes sont plus efficaces et performants que les algorithmes combinés.Item Sur Quelques Développements Récents de la méthode du gradient conjugué(2021-07-07) HAMDI AmiraAbstract A new hybrid conjugate gradient algorithm is proposed for solving unconstrained optimization problems, the conjugate gradient parameter β_kis computed as a convex combination of Hager& Zhang et Dai and Yuan , producing a descent direction at each iteration and globally converges provided the linear search meets the requirements of Wolfe. Numerical experiments are performed to test the effectiveness of the new method, which confirms the potential of this method. -------------- Résumé Un nouvel algorithme de hybride du gradient conjuguée est proposé pour résoudre des problèmes d’optimisation sans contrainte, le paramètre de gradient conjugué β_k est calculé comme une combinaison convexe de Hager& Zhang et Dai and Yuan ce qui produit une direction de descente à chaque itération et converge globalement à condition que la recherche linéaire satisfait aux conditions de Wolfe. Les expériences numériques sont effectuées pour tester l’efficacité de la nouvelle méthode, ce qui confirme les potentiels de cette méthode. ---------------------- ملخص تم اقتراح خوارزمية التدرج المترافق الجديدة لحل مشاكل التحسين غير المقيدة، ويتم حساب معامل التدرج المترافق〖 β〗_k كمجموعة محدبة لهجار وهونغ وداي يونغ والتي تحافظ على خصائص النزول في كل مرحلة كما انها تعطي التقارب المطلق باستعمال شروط البحث الخطي لوولف تظهر النتائج العددية ان هذه الطريقة فعالة بالنسبة للمسائل المختبرة مما تثبت افضليتها مقارنة مع الطرق الاخرى.