最优化理论复习
老师的讲课视频在 B 站BV1nB4y137j9。 主要分为数学基础、局部最优化问题求解和全局局部最优化问题，只讲了局部的部分。 绪论 单变量优化问题——线搜索 黄金分割法 多变量优化问题 梯度法 共轭梯度法 牛顿法 拟牛顿法 约束优化问题 约束问题的最优性条件 可行方向法 梯度投影法、简约梯度法 罚函数法 乘子法 绪论 优化问题的表述：在一定的约束下，调整一组可变参数 x，使设计目标 f(x)达到最小值（或最大值）。 数学表述可以表示为： $$ min\ f(\vec{x})\ s.t.\ \vec{x} \in K $$ s.t. 是数学中 subject to (such that) 的缩写，表示受约束的意思 $f(\vec{x})$ 是目标函数（实值函数） $\vec{x}$为参数向量，$K$为可行域，即参数能够许可的取值范围 进而可以将最优化问题细分为： 线性规划和非线性规划问题：可行集是有限维向量空间的子集 组合优化或网络规划：可行集中的元素是离散的 动态规划：可行集是一个依赖时间的决策序列 最优控制：可行集是无穷维空间中的一个连续子集 线性最优化问题（线性函数，线性约束）的情况，最有情况出现在端点。 课程考虑非线性规划/优化： $$ \begin{align} & min\ f(\vec{x}) \\ \ s.t.\ & h_i(\vec{x})=0,i=1,\dots,l, \\ & g_i(\vec{x})<0,i=1,\dots m, \\ \end{align} $$最优化问题求解的一般思路 无约束问题的一般算法框架： step 0: 给定初始化参数及初始迭代点$x_0$, 置$k:=0$ step 1: 若$x_k$满足某种终止准则，停止迭代，以$x_k$作为极小点 step 2: 通过求解$x_k$处的某个子问题确定下降方向$x_k$ step 3: 通过某种搜索方式确定步长因子$\alpha_k$，使得$f(x_k+\alpha_k d_k)<f(x_k)$ step 4: 令$x_{k+1}=x_k+\alpha_k d_k$，$k:=k+1$，转步 1 最优化问题的数学基础 线性代数 线性代数的核心内容是 $Ax=b$ 线性代数方程组解的存在性问题，以及如何求解他的问题， 以及这样的数学结构的问题。 ...