考试范围 1.增广拉格朗日方法（乘子法）2. KTT 条件/ KTT点 4.共轭梯度 5.抛物线方法 6.黄金分割法（单峰函数假设）7.外点罚函数方法

考试范围

一维搜索：黄金分割（0.618) ✅ 、抛物线法 ✅

无约束优化方法：最速下降 ✅ 、共轭梯度 ✅ 、牛顿法阻尼牛顿法（对初始点的要求较高） ✅

约束优化方法： KKT条件（一阶条件满足一阶导数=0、二阶条件 海塞矩阵=0 ）看PPT、图解法 ✅

外点罚函数 ✅、乘子法（等式约束、不等式约束） ✅

涉及符号问题的几个公式：

KKT点约束小于等于0 式子相加

乘子法不等式约束大于等于0 min

梯度相关的公式在梯度前都要加负号（最速下降牛顿共轭梯度）

1.增广拉格朗日方法（乘子法）

目标函数（等式约束）：

增广拉格朗日函数

更新公式

约束条件

例题：

一般约束条件的增广乘子（包含不等式约束）

迭代条件

例题：

2. KTT 条件/ KTT点

目标函数(小于等于0加号，大于等于0减号)

定义Lagrangian 函数

KTT条件

例题：

其中，为实数。写出Lagrangigan函数。

KKT 方程组如下：

二阶条件

3.牛顿法

1.给定初始值和精度阈值，设置

2.计算梯度和海赛矩阵

3.如果|| || < 即在此点处梯度的值接近于0，则达到极值点处，停止迭代

4.计算搜索方向 (二阶矩阵求逆矩阵的方法、负梯度)

5.计算新的迭代点

6.令k = k + 1，返回步骤2

例题

4.共轭梯度

共轭梯度法总结：

第一次沿负梯度方向搜索，根据最速下降方法，求解系数

第二次计算共轭梯度方向

5.抛物线方法

例题：

Tips！每次取函数值最小的点作为 , 更新的区间必须包含这个点。

图解法

6.黄金分割法（单峰函数假设）

利用单峰函数假设，进行区间选择。

7.外点罚函数方法

目标函数

构造罚函数

包含等于约束、不等式约束两种情况

Jian Lin’s Blog

最优化方法复习笔记