高数基础——步长

科技前沿 • 2025-02-19 13:52 • 阅读 41

高数基础——步长目录 1 什么是步长 2 步长怎么取 1 Armijo conditions 充分下降条件 2 curvature condition 不要取得太小

大家好，我是讯享网，很高兴认识大家。

目录

1，什么是步长？

2，步长（）怎么取？

（1）Armijo conditions（充分下降条件）

（2）curvature condition（不要取得太小）

（3）Wolfe conditions

1，什么是步长？

在确定了搜索方向 $P_{k}$
讯享网的情况下，讨论搜索步长 $\alpha _{k}$ ，希望对下述函数求最小值

$\Phi (\alpha )=f(x_k+\alpha{P_k})$

直接求解上述函数的最小值的方法叫做精确线搜索（公式解），然而这需要耗费大量的计算，所以我们一般采用非精确线搜索（可能不是最小值，但差不多）inexact line search

（1）函数应当有充分的下降

（2）步长不宜太小

【1】STEPS MIGHT BE TOO LONG --- 步长太大，会出现震荡现象

【2】STEPS MIGHT BE TOO SHORT --- 步长太小会走不出去，提前收敛（ $\alpha _k\rightarrow 0$ ）

2，步长（ $\alpha$ ）怎么取？

（1）Armijo conditions（充分下降条件）

首先，我们希望目标函数值能够有足够的下降（sufficient decrease）

$f(x_k+\alpha P_k)\leq f(x_k)+C_1\alpha \bigtriangledown{f_k^TP_k}$

常数 $C_1\in (0,1)$ 。将上述条件称为Armijo条件，不等式的右边记为 $l(\alpha )$ ，是一个斜率为 $C_1\alpha \bigtriangledown{f_k^TP_k}< 0$ 的线性函数，从而Armijo条件意味着

$\Phi (\alpha )\leq l(\alpha)$

实际应用中，我们一般将 C_1 取得很小，例如 $C_1=10^{-4}$ （不要太小，只要是下降的就可以了）

线性函数下面的部分是可取范围

$\alpha$ （learning rate）取小就可以取到一个局部最优解

斜率 C_1 （loss.backward）不要太小，不然只能取到局部最优，取不到 ${\color{Red}\textcircled{2} }$

note：梯度是某一点的导数，斜率是一阶线性函数的导数，高阶函数没有’斜率‘只有导数

（2）curvature condition（ $\alpha$ 不要取得太小）

当 $\alpha$ 取得很小的时候，Armijo条件成立，但是这并不是理想的步长，所以我们引入curvature condition，即

$\bigtriangledown{f(x_k+\alpha{P_k})^T}P_k\geq C_2\bigtriangledown{f_k^T}P_k$

${\color{Red}\Phi '(\alpha )\geq C_2\Phi '(0 ) }$

常数 $C_2\in (C_1,1)$ ，不等式的左边恰好是 $\Phi '(\alpha )$ ，那么上述不等式意味着 $\Phi '(\alpha )$ 应该要大于 C_2 倍 $\Phi '(0 )$

C_2 =0.9，when search direction is chosen by Newton（牛顿法：海瑟矩阵估计） or Quasi-Newton（拟牛顿法：用低秩算法迭代的海瑟矩阵估计）

C_2 =0.1，when search direction is obtained from nonlinear conjugate gradient method（非线性梯度法）

$\Phi (\alpha )\leq l(\alpha )\rightarrow \alpha _1$

$\Phi '(\alpha )\leq{C_2\Phi '(0)}\rightarrow \alpha _2$

排除下降的非常快，即 $\alpha$ 取得很小的部分。留下了变化缓慢和上升的部分。

（3）Wolfe conditions

The sufficient decrease and curvature conditions are known collectively as the Wolfe conditions.

$f(x_k+\alpha P_k)\leq f(x_k)+C_1\alpha \bigtriangledown{f_k^TP_k}$

$\bigtriangledown{f(x_k+\alpha{P_k})^T}P_k\geq C_2\bigtriangledown{f_k^T}P_k$

with 0< C_1< C_2< 1

It is not difficult to prove that there exist step lenghts that satisfy the Wolfe conditions for every function that is smooth and bounded below.---Wolfe condition一定可以搜索到一个备选空间

a "loose" line search $C_1=10^{-4}$ and C_2=0.9

小讯

2025年学习笔记06从零开始学java-第七章课后习题

上一篇 2025-03-27 21:27

CFG文件是什么？- 了解编程中的配置文件

下一篇 2025-01-06 09:00

2025年学习笔记06从零开始学java-第七章课后习题 1735985804
地铁运营行车组织方式 1735985804
JFET效应 1735985803
2025年电脑文件打不开是什么原因？这6个常见原因要记好！ 1735985802
2025年数据挖掘与决策支持系统的关系 1735985800
2025年java小数正则表达式_【转】Java判断是否是整数，小数或实数的正则表达式 1735985800
数学专业课程《实变函数论》学习总结 1735985799
git连接报错：Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 1735985799
在线夸白之权限页面 1735985798
CFG文件是什么？- 了解编程中的配置文件 1735985807
format字符列表 1735985807
ES10里面的那些好用的小东西（falt，faltMap，trim） 1735985809
local详解 1735985809
css 特性(第五天) 1735985809
2025年无过错验尸报告 - Blameless Postmortem 1735985810
2025年远卓：数字化转型的精益化思考 1735985810
2025年网络安全最全十五万字《JDK源码分析》之《JSR-310（java8 新日期时间API），附带学习经验 1735985811
Excel数据可视化—波士顿矩阵图【四象限图】 1735985812

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/23671.html