LBFGS 是一种用于数值优化的算法名称,常见于机器学习与科学计算中,属于“拟牛顿法(Quasi-Newton)”的一类;其中 L 表示 limited-memory(有限内存),特点是在不显式存储大规模 Hessian(或其逆矩阵)的情况下,用少量历史梯度信息近似二阶信息,从而高效地最小化目标函数。(也常写作 L-BFGS。)
/ˌɛl.biː.ɛf.dʒiːˈɛs/
We used LBFGS to minimize the loss function.
我们使用 LBFGS 来最小化损失函数。
Because the model has millions of parameters, LBFGS can be efficient when memory is limited and gradients are available.
由于模型有数百万个参数,在内存受限且可以计算梯度的情况下,LBFGS 可能会很高效。
LBFGS 来自 Limited-memory BFGS 的缩写;BFGS 则由四位研究者姓氏首字母组成:Broyden、Fletcher、Goldfarb、Shanno。该方法在经典 BFGS 的基础上引入“有限内存”策略,特别适用于高维优化问题。