Doctoral theses
Permanent URI for this collectionhttps://dspace.univ-soukahras.dz/handle/123456789/181
Browse
8 results
Search Results
Item Using conjugate gradient methods for regression function(2024) Mehamdia Abd Elhamidملخص تساهم طرق التدرج المترافق غيرالخطية بشكل كبير في حل مسائل الأمثلة الغير مقيدة، خاصة في المشاكل ذات الأبعاد الكبيرة. في هذه الأطروحة، قمنا بتطوير بعض طرق التدرج المترافق، وكذلك دراسة التقارب الشامل وخاصية الانحدار الكافي لهذه الطرق الجديدة، وذلك في حالة استخدام الشروط القوية لوولف. تظهر النتائج العددية أن الطرق المقترحة فعالة وقوية في تقليل بعض مشاكل الأمثلة الغير مقيدة. علاوة على ذلك، تم توسيع الخوارزميات المقترحة لحل مشكلات الإحصاء اللامعلمي، وتحديداً لحل مشكلة دالة الوضع ومشكلة دالة الإنحدار الشرطي. --------------- Résumé Les méthodes de gradient conjugué non linéaires représentent une contribution majeure à la résolution de problèmes d’optimisation sans contraintes, notamment de grande taille. Dans cette thèse, nous développons certains paramètres de gradient conjugués, ainsi qu’étudier la convergence globale et la propriété de descente suffisante de ces nouvelles méthodes, c’est le cas de l’utilisation de la recherche lineaire de Wolfe forte. Les résultats numériques montrent que les méthodes proposées sont efficaces et robustes pour minimiser certains problèmes d’optimisation sans contrainte. De plus, les algorithmes proposés ont été étendus pour résoudre le problème des statistiques non paramétriques, en particulier pour résoudre le problème de la fonction de mode et le problème de la fonction de régression du modèle conditionnel. ------------------- Abstract Nonlinear conjugate gradient techniques make a significant contribution to addressing unconstrained optimization problems, especially in cases with significant dimensions. In this thesis, we develop some conjugate gradient parameters, as well as study the global convergence and sufficient descent property of these new methods, this is in the case of using the strong Wolfe line search (SWLS). Numerical results show that the proposed methods are effective and robust in minimizing some unconstrained optimization problems. Furthermore, the proposed algorithms were extended to solve the problem of nonparametric statistics, specifically, to solve the problem of mode function and the problem of conditional model regression function.Item Periodicity , positivity and stability of solutions for some delay dynamic equations using the fixed point technique(2024) Daira IbtissemAbstract This thesis focuses on examining the periodicity, positivity, and stability of solutions for specific delay dynamic equations on time scales. To achieve this, we initially introduce fundamental concepts pertaining to functional analysis, fixed point theory, and time scale calculus. Subsequently, we enhance the comprehensiveness of previously studied delay differential equations by reformulating them to be applicable on any time scale. Additionally, we carefully select a suitable fixed point theorem that yields improved outcomes under reasonable conditions. better understanding, we supplemented the results with an example in the time scale. Mathematics Subject Classification : 34K13, 34K20, 34K30, 34K40, 45D05, 45J05, 47H10. ================ الملخص في هذه الأطروحة نقوم بدراسة الدورية والإيجابية والاستقرار لحلول المعادلات الديناميكية ذات تأخير المعرفة على ازمنة سلمية. من أجل تحقيق هذا الهدف، نقدم في البداية المفاهيم الأساسية المتعلقة بالتحليل الدالي، ونظريات النقطة الثابتةوالحساب على الازمةالسلمية. بعد ذلك، نهتمبدراسة المعادلات التفاضلية ذاتتأخير التي تمت دراستها سابقًا من خلال إعادة دراستها بطريقة تجعلها قابلة للتطبيق على أيةازمةسلمية. بالإضافة إلى ذلك، نختار بعناية نظرية النقطة الثابتة المناسبة التي تعطي نتائج محسنة بشروط معقولة.نقوم بتوضيح النتائج المتحصل عليها من خلال اعطاء امثلة علىازمةسلمية. الكلمات المفتاحية: . =========== Résumé Cette thèse se concentre sur l'examen de la périodicité, de la positivité et de la stabilité des solutions pour des équations dynamiques à retard spécifiques sur des échelles de temps. Pour y parvenir, nous introduisons d'abord des concepts fondamentaux relatifs à l'analyse fonctionnelle, à la théorie du point fixe et au calcul d'échelle de temps. Par la suite, nous améliorons l'exhaustivité des équations différentielles à retard étudiées précédemment en les reformulant pour qu'elles soient applicables à n'importe quelle échelle de temps. De plus, nous sélectionnons soigneusement un théorème de point fixe approprié qui donne de meilleurs résultats dans des conditions raisonnables. Pour une meilleure compréhension, nous avons complété les résultats par un exemple dans l'échelle de temps.Item The influence of the accuracy of the linear search procedure on the performance of conjugate gradient algorithms(2024) Meansri KhaoulaAbstract This thesis focuses on three categories of conjugate gradient algorithms. The first category is based on the addition of a third term in the MDY conjugate gradient direction using the three-term conjugate gradient approach.The second category adopts the spectral conjugate gradient algorithm, providing spectral improvement with the integration of a third term in the MDY conjugate gradient direction. Three different methods are used to determine this term, and the last category depends on making a modification to the MDY conjugate gradient method.The main objective of these modifications is to expedite the descent direction and improve the convergence properties of the algorithms by applying Wolfe line-search conditions. The numerical results from our experiments provide strong evidence of the effectiveness of our modified three-term algorithms. -------------- Résumé Cette thèse se concentre sur trois catégories d’algorithmes de gradient conjugué. La première catégorie est basée sur l’ajout d’un troisième terme dans la direction du gradient conjugué MDY en utilisant l’approche du gradient conjugué à trois termes. La deuxième catégorie adopte l’algorithme du gradient conjugué spectral, fournissant une amélioration spectrale avec l’intégration d’un troisième terme dans la direction du gradient conjugué MDY. Trois méthodes différentes sont utilisées pour déterminer ce terme, et la dernière catégorie dépend d’une modification de la méthode du gradient conjugué MDY. L’objectif principal de ces modifications est d’accélérer la direction de descente et d’améliorer les propriétés de convergence des algorithmes en appliquant les conditions de recherche de Wolfe. Les résultats numériques de nos expériences fournissent des preuves solides de l’efficacité de nos algorithmes à trois termes modifiés. -------------- ملخص يركز هذا البحث على ثلاث فئات من خوارزميات التدرج المترافق. الفئة الأولى تعتمد على خوارزمية التدرج المترافق ثلاثي الحدود مما يشمل دمج حد ثالث في اتجاه التدرج المترافق ل MDY. الفئة الثانية تعتمد على خوارزمية التدرج الطيفي المترافق حيث تكون ت صحيحا طيفيا معززا مع دمج حد ثالث في اتجاه التدرج المترافق MDY، وتم تحديد معلماتها بثلاث طرق مختلفة، و الفئة الأخيرة تعتمد على إجراء تعديل على طريقة التدرج المترافق MDY. الهدف الرئيسي من هذه التعديلات هو تسريع اتجاه الهبوط وتحسين خصائص التقارب للخوارزميات من خلال تطبيق شروط بحث خط وولف. تقدم النتائج العددية لتجاربنا دليلا قويا على فعالية خوارزمياتنا المعدلة ثلاثية الحدود.Item Unconstrained optimization in nonparametric statistics(2024-05-22)Abstract This thesis delves into the exciting realm of nonlinear conjugate gradient (CG) methods, a powerful set of algorithms designed to tackle unconstrained optimization problems – particularly those characterized by many variables. These problems are increasingly prevalent in various scientific fields. We propose a series of CG methods, meticulously crafted to enhance the efficiency and effectiveness of finding the minimum point of the objective function. Additionally, we ensure that each step taken by the algorithm leads to a significant reduction in the function’s value. This is especially crucial when combined with the strong Wolfe line search, a powerful optimization technique that guarantees significant progress towards the minimum. To validate our proposed methods, we conducted extensive numerical experiments. The results convincingly demonstrate the robustness and efficiency of these new approaches compared to existing CG methods. They offer a faster and more reliable path for minimizing objective functions in unconstrained optimization problems. This thesis doesn’t stop at unconstrained optimization. Recognizing the versatility of our CG methods, we embark on a journey to explore their applicability in a broader domain: nonparametric statistics. We strategically enhance our algorithms to tackle two key challenges in this (mode function estimation and regression function estimation). By successfully applying our CG methods to these problems, we demonstrate their potential to significantly contribute to the field of nonparametric statistics. ------------- الملخص تتعمق هذه الأطروحة في عالم طرق التدرج المترافق غيرالخطي المثير للاهتمام، وهي مجموعة قوية من الخوارزميات المصممة لحل مشاكل التحسين غير المقيد - خاصة تلك التي تتميز بعدد كبير من المتغيرات. أصبحت هذه المشاكل منتشرة بشكل متزايد في مختلف المجالات العلمية. نقدم قي هذه الاطروحة المعايير المبتكرة والمصممة بدقة لتحسين كفاءة وفعالية إيجاد النقطة الدنيا لدالة الهدف. بالإضافة إلى ذلك، نضمن أن كل خطوة يتخذها الخوارزمية تؤدي إلى انخفاض كبير في قيمة الدالة . وهذا أمر بالغ الأهمية خاصة عند دمجه مع بحث وولف القوي، وهي تقنية تحسين قوية تضمن تحقيق تقدم كبير نحو الحد الأدنى. للتحقق من صحة طرقنا المقترحة، أجرينا تجارب رقمية مكثفة. تظهر النتائج بشكل مقنع قوة وفعالية هذه الأساليب الجديدة مقارنة بطرق الحالية. إنها توفر مسارًا أسرع وأكثر موثوقية لتقليل وظائف الهدف في مشاكل التحسين غير المقيد. هذه الأطروحة لا تتوقف عند الامثلة غير المقيدة. إدراكًا لتعدد استخدامات طرق الخاصة بنا، فإننا نشرع في رحلة لاستكشاف إمكانية تطبيقها في نطاق أوسع: الإحصاء غير الوسيطي. نقوم بتحسين خوارزمياتنا بشكل استراتيجي لمعالجة اثنين من التحديات الرئيسية في هذا المجال( تقدير دالة المنوال وتقدير دالة الانحدار) من خلال تطبيق طرق الخاصة بنا بنجاح على هذه المشكلات، نبرز إمكاناتها للمساهمة بشكل كبير في مجال الإحصاء غير الوسيطي. ---------- Résumé Cette thèse explore le domaine passionnant des méthodes de gradient conjugué(GC) non linéaire, un ensemble puissant d'algorithmes conçu pour résoudre des problèmes d'optimisation sans contrainte, en particulier ceux caractérisés par un nombre élevé de variables. Ces problèmes sont de plus en plus fréquents dans divers domaines scientifiques. Nous proposons une série des méthodes de GC , soigneusement conçus pour améliorer l'efficacité et la capacité à trouver le point minimum de la fonction objectif. De plus, nous nous assurons que chaque étape de l'algorithme conduit à une réduction significative de la valeur de la fonction. Ceci est particulièrement crucial lorsqu'il est combiné avec la recherche linéaire de Wolfe forte, une technique d'optimisation puissante qui garantit une progression significative vers le minimum. Pour valider nos méthodes proposées, nous avons mené de nombreuses expériences numériques. Les résultats démontrent de manière convaincante la robustesse et l'efficacité de ces nouvelles approches par rapport aux méthodes GC existantes. Elles offrent un moyen plus rapide et plus fiable de minimiser les fonctions objectives dans les problèmes d'optimisation sans contraintes. Cette thèse ne s'arrête pas à l'optimisation sans contrainte. Reconnaissant la polyvalence de nos méthodes GC, nous nous engageons dans un voyage pour explorer leur applicabilité dans un domaine plus large : la statistique non paramétrique. Nous améliorons stratégiquement nos algorithmes pour relever deux défis clés dans ce domaine (Estimation de la fonction de mode et Estimation de la fonction de régression). En appliquant avec succès nos méthodes GC à ces problèmes, nous démontrons leur potentiel de contribution significative au domaine de la statistique non paramétrique.Item Convergence des méthodes du gradient conjugué pour minimisation sans contrainte(2024-03-17) Ben hanachi SabrinaAbstract The aim of this thesis is to present a new and fundamentally different conjugate gradient method which, when applied to solve unconstrained optimization problems, gives good convergence results and ensures the sufficient descent condition. To achieve this, we will use a well-known technique, the hybrid method based on a convex combination of three classical conjugate gradient methods. Furthermore, numerical experiments were performed to test the effectiveness of the proposed method, which confirmed its promising potential. ---------- ملخص الهدف من هذه الأطروحة هو تقديم طريقة تدرج مترافق جديدة ومختلفة اختلافا جذريا، والتي عند تطبيقها لحل مشكلات التحسين غير المقيدة، تعطي نتائج تقارب جيدة وتضمن حالة الانحدار الكافية. لتحقيق ذلك، سوف نستخدم تقنية معروفة جيدا، وهي الطريقة الهجينة التي تعتمد على مزيج محدب من ثلاث طرق التدرج المترافق. كما يتم إجراء تجارب عددية لاختبار فاعلية الطريقة المقترحة مما يؤكد إمكاناتها الواعدة ---------------- Résumé L’objectif de cette thèse est de présenter une nouvelle méthode de gradient conjugué fondamentalement différente qui, lorsqu’elle est appliquée à la résolution de problèmes d’optimisation sans contrainte, donne de bons résultats de convergence et assure la condition de descente suffisante. Pour ce faire, nous utiliserons une technique bien connue, la méthode hybride basée sur la combinaison convexe de trois méthodes standard de gradient conjugué. Des expériences numériques sont également réalisées pour tester l’efficacité de la méthode proposée, ce qui confirme son potentiel prometteur. -------------------- Mots clés : Optimisation sans contraintes, Gradient conjuguée, Algorithme, Convergence globale, Recherche linéaire.Item Quelques techniques pour améliorer les performances des méthodes à directions conjuguées(2024-03-20) amina hallahAbstract The conjugate gradient method is an effective method for solving unconstrained and nonlinear optimization problems. In this thesis, we have proposed three new hybrid conjugate gradient algorithms. For the first method, the parameter βkis computed as convex combination of two parameters from the "Harger-Zhan" and "Dai-Yaun " conjugate gradient methods. For the second method, the parameter β_{k} is determineded as convex combination of three parameters from the "Dai-Yuan", "Conjugate Descent", and "Hestenes-Stiefel" conjugate gradient methods, and for the last method, the parameter βkis computed as convex combination of foor parameters from the "Dai-Yaun", "Fletcher-Revees", "Polak-Ribière- Polyak", and " Hestenes-Stiefel " conjugate gradient methods. The convex combination parameter for the first method can be computed if the direction of this method satisfies the pure conjugucy condition, while for the convex combination parameters of the second and third methods, it can be computed if the D-L conjugacy condition is satisfied. We have established the global convergence of these three methods under the strong Wolfe conditions. Numerical results have demonstrated the effectiveness of all three new hybrid methods. Additionally, we have applied the third new method to image restoration problems and shown its efficiency. ....................................................................... الملخص طريقة التدرج المترافق هي طريقة فعالة لحل مسائل الأمثلة الغير مقيدة و التحسين والغير خطية. في هذه الأطروحة تم اقتراح ثلاثة خوارزميات تدرج مترافقة هجينة جديدة. وسيط بيتا للطريقة الأولى يتم حسابه عن طريق مزج محدب بين وسيطين لطرق التدرج المترافق " هارجر-زهان " و" داي-يون". أما وسيط بيتا في الطريقة الثانية يتم حسابه عن طريق مزج محدب بين ثلاث وسائط طرق التدرج المترافق " داي- يون " و" الإنحدار- المترافق" و" إيستيان-ستيفيل". أما وسيط بيتا في طريقة الثالثة يتم حسابه عن طريق مزج محدب بين أربعة وسائط طرق التدرج المترافق " داي-يون" و "فليتشر-لايفيس" و " بولاك-ريبير-بولياك" و " إيستان-ستيفل". يمكن حساب وسيط المزج المحدب للطريقة الأولى إذا تحققشرط الإقتران النقي أما في طريقة الثانية و الثالثة يمكن حسابهمإذا تحقق شرطالإقتران"داي-لياو". التقارب الشامل لهذه الطريقتين الهجينتين تم إثباته تحت شروط وولف القوية. النتائج العدديةأثبتت أن جميعها فعالة كما أضفنا تطبيق الى الطريقة الجديدة الثالثة و برهنا أنها كفوءة في مسائل إستعادة الصور. ....................................................................... Résumé La méthode du gradient conjugué est une méthode efficace pour résoudre des problèmes d'optimisation non contraints et non linéaires. Dans cette thèse, nous avons proposé trois nouveaux algorithmes hybrides de gradient conjugué. Pour la première méthode, le paramètre βkest calculé comme une combinaison convexe de deux paramètres des méthodes de gradient conjugué "Harger-Zhan" et "Dai-Yuan". Pour la deuxième méthode, le paramètre βk est déterminé comme une combinaison convexe de trois paramètres des méthodes de gradient conjugué "Dai-Yuan", "ConjugateDescent" et "Hestenes-Stiefel". Quant à la dernière méthode, le paramètre βk est calculé comme une combinaison convexe de quatre paramètres des méthodes de gradient conjugué "Dai-Yuan", "Fletcher-Revees", "Polak-Ribière-Polyak" et " Hestenes-Stiefel ". Le paramètre de combinaison convexe pour la première méthode peut être calculé si la direction de cette méthode satisfait la condition de pure conjugaison, tandis que pour les paramètres de combinaison convexe des deuxième et troisième méthodes, il peut être calculé si la condition de conjugaison D-L est satisfaite. Nous avons prouvé la convergence globale de ces trois méthodes sous les fortes conditions de Wolfe. Les résultats numériques ont montré que les trois nouvelles méthodes hybrides sont efficaces, et nous avons également ajouté une application à la troisième nouvelle méthode et démontré son efficacité dans les problèmes de restauration d'image. ........................................Item accélération méthodes itératives appliquées a l'optimisation non inéaire(2021-06-27) DELLADJI Sarraملخص في هذه الأطروحة التي تهدف إلى تسريع تقارب طرق التدرج المترافق الكلاسيكية، اقترحنا ثلاث خوارزميات تعمل على هذا المبدأ، إذ اعتمدنا بشكل خاص على تقنية تسريع شهيرة و هي تهجين خوارزميتين من خلال مزج محدب لمعاملاتهما المحددان لمختلف طرق التدرج المترافق. بعد إثبات تقارب الخوارزميات المقترحة وباستخدام دوال تجريبية، أثبتنا من خلال التجارب العددية أن هذه الخوارزميات أكثر كفاءة و نجاعة مقارنة بالخوارزميات المدمجة. ------------------------------ Abstract In this thesis aims to accelerate the convergence of classical conjugate gradient methods, we have proposed three algorithms based on this concept, where we specifically relied on a famous acceleration technique which is the hybridization of two algorithms, by convex combination of their coefficients that determine the different standard conjugate gradient methods. After having proven the convergence of the proposed algorithms, using experimental functions, we have shown through numerical experiments that these algorithms are more efficient and perform than the combined algorithms. ----------------- Résumé Dans cette thèse, qui vise à accélérer la convergence des méthodes classiques de gradient conjugué, nous avons proposé trois algorithmes qui fonctionnent sur ce principe, où nous nous sommes spécifiquement appuyés sur une célèbre technique d'accélération qui est l'hybridation de deux algorithmes, par combinaison convexe de leurs coefficients qui déterminent les différentes méthodes de gradient conjugué standard. Après avoir prouvé la convergence des algorithmes proposés, en utilisant des fonctions expérimentales, nous avons montré à travers des expériences numériques que ces algorithmes sont plus efficaces et performants que les algorithmes combinés.Item Sur Quelques Développements Récents de la méthode du gradient conjugué(2021-07-07) HAMDI AmiraAbstract A new hybrid conjugate gradient algorithm is proposed for solving unconstrained optimization problems, the conjugate gradient parameter β_kis computed as a convex combination of Hager& Zhang et Dai and Yuan , producing a descent direction at each iteration and globally converges provided the linear search meets the requirements of Wolfe. Numerical experiments are performed to test the effectiveness of the new method, which confirms the potential of this method. -------------- Résumé Un nouvel algorithme de hybride du gradient conjuguée est proposé pour résoudre des problèmes d’optimisation sans contrainte, le paramètre de gradient conjugué β_k est calculé comme une combinaison convexe de Hager& Zhang et Dai and Yuan ce qui produit une direction de descente à chaque itération et converge globalement à condition que la recherche linéaire satisfait aux conditions de Wolfe. Les expériences numériques sont effectuées pour tester l’efficacité de la nouvelle méthode, ce qui confirme les potentiels de cette méthode. ---------------------- ملخص تم اقتراح خوارزمية التدرج المترافق الجديدة لحل مشاكل التحسين غير المقيدة، ويتم حساب معامل التدرج المترافق〖 β〗_k كمجموعة محدبة لهجار وهونغ وداي يونغ والتي تحافظ على خصائص النزول في كل مرحلة كما انها تعطي التقارب المطلق باستعمال شروط البحث الخطي لوولف تظهر النتائج العددية ان هذه الطريقة فعالة بالنسبة للمسائل المختبرة مما تثبت افضليتها مقارنة مع الطرق الاخرى.