New hybrid conjugate gradient method for mode function estimation
Loading...
Date
Authors
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Unconstrained optimization is a technique used to find the best possible solution or optimal value for a given problem, often in the context of minimizing or maximizing a function. These methods are fundamental in various fields such as engineering, economics, machine learning, and operations research.
Conjugate gradient methods are very important methods for solving unconstrain optimization Problems, especial when the dimension is large. In this thesis, based on the hybrid conjugate gradient method, a new family of gradient methods are proposed for solving unconstrained optimization.
By using wolfe line-search conditions, these changes aim to improve the algorithms’ convergence features and accelerate the descent direction. Our studies’ numerical results offer strong eviddence of the robustness and efficiency of these new methods compared to existing conjugate gradient methods.
We conducted thorough numerical studies to validate our proposed methods.we have demonstrated through numerical tests that the suggested are more effective and perform better than the combined algorithms after demonstrating their convergence using experimental functions.
Additionally, the proposed algorithms were expanded to address challenges in nonparametric statistics, specifically focusing on the problems of the mode function.
Description
L'optimisation sans contrainte est une technique utilisée pour trouver la meilleure solution possible ou la valeur optimale pour un problème donné, souvent dans le contexte de la minimisation ou de la maximisation d'une fonction. Ces méthodes sont fondamentales dans divers domaines tels que l'ingénierie, l'économie, l'apprentissage automatique et la recherche opérationnelle.
Les méthodes de gradient conjuguées sont des méthodes très importantes pour résoudre les problèmes d'optimisation sans contrainte, en particulier lorsque la dimension est grande. Dans cette thèse, en se basant sur la méthode hybride de gradient conjuguée, une nouvelle famille de méthodes de gradient est proposée pour résoudre les problèmes d'optimisation sans contrainte.
En utilisant les conditions de recherche linéaire de Wolfe, ces modifications visent à améliorer les caractéristiques de convergence des algorithmes et à accélérer la direction de descente. Les résultats numériques de nos études offrent des preuves solides de la robustesse et de l'efficacité de ces nouvelles méthodes par rapport aux méthodes de gradient conjuguées existantes.
Nous avons mené des études numériques approfondies pour valider nos méthodes proposées. Nous avons démontré, à travers des tests numériques, que les méthodes suggérées sont plus efficaces et performantes que les algorithmes combinés, après avoir démontré leur convergence à l'aide de fonctions expérimentales.
De plus, les algorithmes proposés ont été étendus pour aborder des défis en statistiques non paramétriques, en se concentrant spécifiquement sur les problèmes liés à la fonction de mode.
Keywords
Conjugate gradient method, Global convergence, Inexact line search, Numerical comparisons, Mode function, Kernel estimator., طريقة التدرج المترافق، التقارب الشامل، البحث الخطي الغير دقيق، المقارنات العددية، دالة المنوال، مقدر النواة., Méthode de gradient conjugué, Convergence globale, Recherche linéaire inexacte, Comparaisons numériques, Fonction de mode, Estimateur à noyau.