“Quasi-Newton”(准牛顿的)通常指数值优化中的“准牛顿方法/准牛顿算法”:一种用迭代方式近似(而不是直接计算)Hessian 矩阵或其逆矩阵,从而加速寻找最优解的技术。常见代表包括 BFGS、L-BFGS 等。
/ˌkweɪzaɪ ˈnuːtən/
We used a quasi-Newton method to train the model faster.
我们使用准牛顿方法来更快地训练模型。
In large-scale optimization, the quasi-Newton update (such as L-BFGS) provides a good trade-off between speed and memory by approximating curvature information.
在大规模优化中,准牛顿更新(如 L-BFGS)通过近似曲率信息,在速度与内存之间提供了良好的折中。
“Quasi-”来自拉丁语 quasi,意思是“仿佛、近似”;“Newton”指牛顿(Isaac Newton),在数学中常与“牛顿法(Newton’s method)”相关。准牛顿法之所以得名,是因为它模仿牛顿法利用二阶信息(曲率)的思想,但用更新公式来近似 Hessian(或其逆),从而避免昂贵的二阶导数计算。