最优化及算法笔记
最优化理论与算法－第2版本
1.向量值函数
一个函数，若其值域是一个线性空间或一个线性空间的一个子集，则称此函数为向量值函数。
在平面内运动的质点在t时刻的坐标(x, y)可以描述为x = f (t),，y = g(t)，t∈I ，这样点(x, y) = (f (t), g(t))形成平面曲线C ，它是质点的运动路径，它用参数方程来描述。
如果用r(t)表示从原点到质点在时刻t的位置P(f (t), g(t))的向量，那么r(t) = OP = {f (t), g(t)} = f (t)i + g(t)j。
定义式 r(t) ={f (t), g(t), h(t)}= f (t)i + g(t)j+ h(t)k。
参数方程 Γ : x = f (t), y = g(t), z = h(t), t∈I。
2.向量函数
向量函数(vector function)是向量分析中的基本概念。给出一个点集CU，并在G上选定一个坐标系.若对于G中每一个点p，总有三维欧氏空间R3中的一个确定的向量r和它对应，则称r为定义在CU上的一个向量函数。
3.雅可比矩阵[Jacobi matrix]
雅可比矩阵是多元函数偏导数构成的矩阵。
设Ω 是 
中的区域，f(x,y), g(x,y)函数 在Ω 内可微，(f(x,y), g(x,y)) 称为向量函数（vector function），它的雅可比矩阵是
设Ω 是 中的区域，n 元函数 
在Ω 内可微，
称为向量函数（vector function），亦称为 
到 
的映射，记为 
。它的雅可比矩阵是
4.凸集\非凸集
凸集
令S是实数上的向量空间，或者更一般地，是在某个有序域上，这包括欧几里德空间。如果对于C中的所有x和y，并且在区间（0,1）中的所有t，点 也属于C，则S中的集合C被称为凸。换句话说，连接x和y的线段上的每个点都在C中。这意味着实际或复杂拓扑向量空间中的凸集是路径连接的。
如果除了端点之外的连接x和y的线段上的每个点都在C的内部，则C是严格凸起的。
非凸集
不凸的集合称为非凸集。 一个不是凸多边形的多边形有时被称为凹多边形，一些来源更普遍地使用术语凹集来表示非凸集，但大多数权限禁止这种使用。
超平面、半空间、射线属于凸集。
极点
设S为非空凸集，x∈S，若x不能表示成S中两个不同点的组合，则x至少是是凸集S的局部极点.由泰勒展开式等才能进行进一步判断。圆周上的点都是极点。
极方向
对于任意一个凸集 S,S, 对于 SS 中的任意两个方向 d⃗ 1,d⃗ 2,d→1,d→2, 若 ∀k>0,d⃗ 1≠kd⃗ 2,∀k>0,d→1≠kd→2, 则称这两个方向是不同的。 若 d⃗ d→ 是 SS 的一个方向，且不是 SS 的任意两个不同的方向的正线性组合， 即：对于 SS 的任意两个方向 d⃗ 1,d⃗ 2,d→1,d→2, 若存在 k1>0,k2>0,k1>0,k2>0, 使得 k1d⃗ 1+k2d⃗ 2=d⃗ ,k1d→1+k2d→2=d→, 则 d⃗ 1d→1 和 d⃗ 2d→2 是相同的（即存在 k>0k>0 使得 d⃗ 1=kd⃗ 2d→1=kd→2 ） 则称 d⃗ d→ 为 SS 的一个极方向。 无界集才有极方向。
极射线
凸集 SS 中的任意一条射线，若它的方向是极方向，则称这条射线为极射线。
4.凸集分离定理
凸集分离定理（超平面分离定理）是应用凸集到最优化理论中的重要结果，这个结果在最优化理论中有重要的位置。所谓两个凸集分离，直观地看是指两个凸集合没有交叉和重合的部分，因此可以用一张超平面将两者隔在两边。
设 
则称超平面 
参考：