Classical Optimizer

定义 Definition

“Classical optimizer”常指传统/经典的优化器（优化算法）：在数值优化与机器学习中，用来最小化（或最大化）目标函数的算法家族，通常相对于深度学习中更“现代”的自适应优化器（如 Adam）而言。常见的“经典”方法包括梯度下降、牛顿法、拟牛顿法、共轭梯度法等。

发音 Pronunciation (IPA)

/ˈklæsɪkəl ˈɒptɪmaɪzər/

例句 Examples

The classical optimizer converged after a few iterations.
经典优化器在几次迭代后就收敛了。

In ill-conditioned problems, a classical optimizer like Newton’s method may require careful damping or line search to remain stable.
在病态（条件数很差）的问题中，像牛顿法这样的经典优化器可能需要谨慎的阻尼或线搜索才能保持稳定。

词源 Etymology

classical 来自拉丁语 classicus，原意与“等级/典范”相关，后来引申为“经典的、传统的”。optimizer 源自 optimize（优化），与拉丁语 optimus（最好的）同源；加后缀 -er 表示“执行该动作的人/物”，因此 optimizer 可理解为“进行优化的算法/工具”。

相关词 Related Words

• Gradient Descent
• Newton’s Method
• Quasi-Newton
• Conjugate Gradient
• Line Search
• Momentum
• Adam
• SGD

文学与著作 Literary Works

• Numerical Optimization（Jorge Nocedal, Stephen J. Wright）——系统讨论牛顿法、拟牛顿法、线搜索等“经典”优化方法。
• Convex Optimization（Stephen Boyd, Lieven Vandenberghe）——以凸优化为主线介绍许多传统优化算法与理论。
• Pattern Recognition and Machine Learning（Christopher M. Bishop）——在机器学习模型训练中涉及多种经典数值优化思路。