上篇：支持向量机到底凭什么能打？从“找一条线”到“修一堵墙”的思维革命

先从一个“找线”的游戏说起假设你面前有两堆豆子红豆和绿豆混在一起。你的任务是画一条直线把两堆豆子尽可能分开。豆子在二维平面上这就是一个简单的分类问题。你可能随手画一条线左边红豆、右边绿豆完事。但如果豆子堆的边界有点儿交错你怎么画你会想找一条最“宽”的通道让两堆豆子离这条线都尽量远。这样即使新来一颗豆子落在通道里你也能比较放心地猜它属于哪边。这个“最宽的通道”就是支持向量机的核心思想。那支持向量机到底是什么全称 Support Vector Machine缩写 SVM。它不是一个“机器”而是一种监督学习模型用来做分类把东西分成几类或者回归预测一个数值。它的核心操作可以用一句话概括找到一个超平面把不同类别的样本分开并且让这个超平面到最近样本点的距离最大化。别被“超平面”吓住。在一维是一条点在二维是一条线在三维是一个平面在高维就叫超平面。反正就是用来“切”空间的。那个“距离”叫间隔。离超平面最近的几个样本点就叫做支持向量——它们像柱子一样撑起了这个间隔。其他离得远的点基本不影响超平面的位置。所以“支持向量机”这个名字翻译过来就是“靠几个关键样本点撑起来的分类机器”。它为什么会出现为了解决什么痛点要回答这个问题得回到上世纪90年代以前。那时候主流分类器是什么感知机Perceptron。感知机也能找一条线分开两类点但它有一个致命毛病只要能把数据分开任何一条线都可以。你看下面两种情况方案A线离红豆堆特别近几乎贴着红豆离绿豆堆老远。方案B线在正中间离两边一样远。感知机觉得A和B一样好因为它只要求“分对”。但直觉告诉你B更稳——新来的点稍微偏一点A方案就很容易出错。这种现象叫泛化能力差。支持向量机就是为了解决这个问题而出现的它不仅要把数据分开还要分得“最开”。也就是最大化间隔。提出SVM的核心人物是Vapnik和Chervonenkis。他们从统计学习理论里推导出间隔越大模型的泛化误差上界越小。也就是说你越“保守”地修一堵宽墙新来的样本越不容易翻车。这就是SVM比感知机高明的地方从“找一条线”升级到“修一堵有宽度的墙”。一个接地气的比喻想象你是足球守门员要在球门上画一条线告诉队友“左边归你右边归我”。如果两拨队友挤在一起你画的线稍微偏一点就有人抱怨。最好的办法是找到两个阵营之间最“空旷”的地带把线画在正中间。那两个阵营里离你最近的人就是“支持向量”——他们决定了这条线该往哪挪。如果有人非要站到空旷地带中间即数据线性不可分那你就得允许一些“越界”行为但尽量少。这就是后面要说的软间隔。你已经知道SVM要找一个最大化间隔的超平面。它比感知机强在泛化能力更好。那几个离超平面最近的样本叫支持向量。那如果数据本身就不是线性可分的比如红豆围成一个圈绿豆在圈中间怎么办还有SVM能不能干回归下篇我们聊核函数、软间隔以及SVM在现实里到底能干什么。