L-BFGS

定义 Definition

L-BFGS（Limited-memory BFGS）是一种用于无约束优化的迭代算法，属于拟牛顿法（quasi-Newton methods）的一种。它通过“有限内存”策略近似二阶信息（Hessian 或其逆矩阵），在大规模问题（参数很多）中常用于机器学习模型训练与数值优化。

发音 Pronunciation (IPA)

/ˌɛl biː ɛf dʒiː ɛs/

例句 Examples

We used L-BFGS to minimize the loss function.
我们使用 L-BFGS 来最小化损失函数。

Because it approximates second-order curvature with limited memory, L-BFGS often converges faster than basic gradient descent on smooth problems.
由于它用有限内存近似二阶曲率信息，L-BFGS 在平滑问题上常常比基础梯度下降收敛更快。

词源 Etymology

L-BFGS 中的 BFGS 来自四位研究者姓氏首字母：Broyden、Fletcher、Goldfarb、Shanno，是一类经典拟牛顿更新方法；前缀 L-（Limited-memory） 表示“有限内存”版本：不显式存储大矩阵，而是保存少量历史更新向量来进行近似，因此适合高维参数优化。

相关词 Related Words

• Optimization
• Quasi-Newton
• Gradient
• Hessian
• Convex
• Line Search
• Newton's Method
• SGD

文学与经典著作中的用例 Literary & Notable Works

• Numerical Optimization（Jorge Nocedal, Stephen J. Wright）——在拟牛顿法与 L-BFGS 的章节中系统介绍其原理与实践。
• Nocedal (1980) “Updating Quasi-Newton Matrices with Limited Storage”——提出有限内存更新思想，是 L-BFGS 的关键来源之一。
• Liu & Nocedal (1989) “On the limited memory BFGS method for large scale optimization”——L-BFGS 的经典论文之一，广泛被后续优化与机器学习文献引用。