一、硬间隔支持向量机
目标函数:
……目标函数
约束条件: ……约束条件 1
……约束条件 2
在以上极限求解公式中,为两个向量的内积。向量内积(inner product),又称数量积(scalar product)、点积(dot product)。它是一种矢量运算,但其结果为某一数值,并非向量。简单来讲,设向量 ,则向量 A 和 B 的内积表示为;
在约束条件中,支持向量点的 ,而非支持向量点 。
【实例讲解(二维点)】
假设有三个点,正例点为 , ,负例点为 ,假设这三个点是可能的支
持向量,我们希望通过线性规划的求解方式找到正例点与负例点之间的超平面。而要找到超平面,首先要定位支持向量点,支持向量点是分类的临界点,也是正确定义超平面的关键点。
根据以上三个点的特性可知, ,,由此可定义求解公式为
……目标函数
约束条件:
……约束条件 1
……约束条件 2
将所有数据代入极限求解公式,可得目标函数为
<1>
因为约束条件为 ,代入化简可得 ,分别对 和 求偏导,让偏导等于 0,可得出解为: , 。
由于,不满足约束条件 2,可以由此基本得出判断, 可能不是支持向量点,因为支持向量点一定要满足约束条件 1、2,即至少要满足大于等于 0 的条件。
基于以上基本判断,可以假设支持向量点为 和 ,在这个假设前提下, ( 为非支持向量点)。根据式(2-8-1),目标函数及约束条件为:
目标函数: <2>
约束条件:
由于 ,代入式<2>,化简可得: ,同样对 求导,令其等于 0,则极值点的 =0.25 ,可得 =0 , 。可以看出,这一组 值符合约束条件,验证了此前所设定的 和 为支持向量点的假设是正确的。
至此,支持向量点为 、 ,所对应的 值为[0.25,0.25]。接下来,需要求解这个超平面的 值和 值。
根据超平面 值求解算式:,代入数值, 。
根据超平面 b 值求解算式:,这里代入 的值, 。
所求解的超平面方程为 ,如图 2-8-6 所示。
![[size=100][center] 图 2-8-6 示例二维点超平面[/center][/size]](https://www.geogebra.org/resource/y6zgzmnp/2QW4mXaaMpDiU7sp/material-y6zgzmnp.png)
图 2-8-6 示例二维点超平面