机器学习进阶（13.5）：SVM补充

第 13.5 篇核函数、间隔、C 和 gamma 到底在控制什么前一篇讲 SVM 的时候我们主要抓的是一个直觉SVM 不只是想把两类样本分开它想找一条更稳、更有安全距离的分界线。这件事一旦理解了SVM 的骨架就已经立住了。但如果你真开始自己用SVC写代码很快就会遇到几个很典型的参数kernelCgamma然后你就会发现SVM 这东西有点怪。有时候你只是改了一个参数结果模型边界就像换了一个性格。所以这一篇我们就专门把 SVM 里最容易让人迷糊、但又最关键的几个点讲清楚什么叫间隔为什么要软间隔参数C到底在管什么核函数到底是在干嘛gamma又到底在控制什么1. 先把“间隔”这件事说得更具体一点前一篇我们说过SVM 不是只想找一条能把样本分开的线而是想找一条间隔最大的线。那这个间隔具体指什么你可以把分类边界想成中间那条线。在它两边各有一条“贴着最近样本”的边界线。这两条边界线之间的宽度就是间隔。如果写成更数学一点的形式分类超平面可以写成w⋅xb0 w \cdot x b 0w⋅xb0而两侧边界通常写成w⋅xb1 w \cdot x b 1w⋅xb1和w⋅xb−1 w \cdot x b -1w⋅xb−1这三条线或面之间的关系决定了分类边界的位置和间隔大小。SVM 做的事就是在满足分类约束的前提下让这个间隔尽量大。为什么说它和www有关系因为最后可以证明间隔大小和∣w∣|w|∣w∣成反比。也就是说∣w∣|w|∣w∣越小间隔越大间隔越大边界通常越稳所以 SVM 的经典优化目标才会写成min⁡12∣w∣2 \min \frac{1}{2}|w|^2min21​∣w∣2如果你把这个式子翻译成人话其实就是我想要一个尽量“平缓一点”的边界不要太紧贴样本。2. 为什么现实里很少真的用“硬间隔”最理想的 SVM是所有样本都能被严格分开而且还都在正确边界外面。这种情况叫硬间隔 SVM。它的约束通常写成yi(w⋅xib)≥1 y_i(w \cdot x_i b) \ge 1yi​(w⋅xi​b)≥1这里如果yi1y_i 1yi​1那就要求这个点在正类那一边而且离边界别太近如果yi−1y_i -1yi​−1那就要求这个点在负类那一边而且也别太近问题是现实数据往往没这么听话。真实数据里常见这些情况有噪声有异常值两类样本本来就有一点交叠有些样本本身就是模糊的如果你还要求“每一个点都必须被严格分对”那模型会特别拧巴。它可能为了照顾几个离群点把边界拉得很怪最后整体泛化能力反而下降。所以现实中更常用的是软间隔 SVM。3. 软间隔到底“软”在哪里软间隔 SVM 的想法其实很现实允许少量样本不那么完美但整体边界要更合理。为了做到这件事它会给每个样本引入一个松弛变量ξi≥0 \xi_i \ge 0ξi​≥0然后约束变成yi(w⋅xib)≥1−ξi y_i(w \cdot x_i b) \ge 1 - \xi_iyi​(w⋅xi​b)≥1−ξi​你可以这样理解如果ξi0\xi_i 0ξi​0说明这个样本分得挺好没出界如果0ξi10 \xi_i 10ξi​1说明样本虽然分对了但已经进入了间隔区域如果ξi1\xi_i 1ξi​1说明这个点干脆已经被分错了于是优化目标也会变成min⁡12∣w∣2C∑i1nξi \min \frac{1}{2}|w|^2 C\sum_{i1}^n \xi_imin21​∣w∣2Ci1∑n​ξi​这个式子里最重要的就是参数CCC。4. 参数 C 到底是什么它为什么这么关键这是很多人第一次用 SVM 时最容易搞不清楚的参数。从公式看CCC控制的是模型对“违反间隔”或者“分错样本”这件事有多在意。更直观一点说当 C 很大时模型会特别在意训练样本有没有被分错。它会尽量把每个点都照顾到哪怕这意味着边界要贴得很近、很复杂。这通常会带来什么结果训练集效果可能更好边界更紧对异常点更敏感更容易过拟合当 C 很小时模型会更宽容一点。它允许少量样本分得不完美只要整体间隔更大、边界更平稳就行。这通常意味着模型更关注整体边界质量更容易泛化训练误差可能稍高一点所以CCC本质上是在平衡两件事到底更在意“训练样本尽量别错”还是更在意“边界别太紧整体稳一点”你完全可以把它理解成C 越大模型越较真C 越小模型越克制。这个说法其实非常适合写进博客读者一眼就能有感觉。5. 核函数到底在干嘛为什么它这么出名前面正文里说过如果数据不是线性可分的SVM 还可以通过核函数去处理更复杂的边界。但“核函数”这个词一听就很像考试重点容易让人不想碰。其实它的核心想法很简单把原来不好分的数据换到一个更容易分的空间里去看。举个直觉例子。假设二维平面里正类点都在中间负类点围成一个圈在外面。你在二维里怎么画直线都很难把它们完全分开。但如果我们给数据再加一个新的维度事情可能就不一样了。到了更高维空间后这些点的分布结构可能会变得“可线性分”。SVM 的核函数本质上就是在做这类事它不一定真的把你显式搬到高维去但它会让模型在计算时像是已经在那个更高维空间里工作了。这就是所谓的核技巧kernel trick。6. 为什么核技巧厉害如果真的手动把数据映射到高维有两个问题维度可能非常高计算成本爆炸有时甚至不知道该怎么显式构造这个高维空间核技巧妙就妙在它直接计算“映射以后两个样本之间的内积”而不用真的把样本点展开到高维坐标里。也就是说它绕过了“先升维再算”的笨办法。从数学上看核函数通常写作K(xi,xj)ϕ(xi)⋅ϕ(xj) K(x_i, x_j) \phi(x_i) \cdot \phi(x_j)K(xi​,xj​)ϕ(xi​)⋅ϕ(xj​)这里ϕ(x)\phi(x)ϕ(x)表示把原始样本映射到高维空间后的表示但我们不一定真的写出ϕ(x)\phi(x)ϕ(x)只要能直接算K(xi,xj)K(x_i, x_j)K(xi​,xj​)就够了这就是为什么核函数不是“一个可有可无的小技巧”而是 SVM 之所以强大的关键之一。7. 常见核函数到底各自在干什么1线性核公式最简单K(xi,xj)xi⋅xj K(x_i, x_j) x_i \cdot x_jK(xi​,xj​)xi​⋅xj​它其实就等于不搞复杂变换直接在线性空间里做分类。什么时候适合数据本来就接近线性可分特征维度较高你不想让模型太复杂2多项式核常见形式K(xi,xj)(xi⋅xjc)d K(x_i, x_j) (x_i \cdot x_j c)^dK(xi​,xj​)(xi​⋅xj​c)d它相当于让模型考虑更高阶的特征组合。比如原始特征之间的平方项、交叉项之类。适合那些边界稍微弯一点但又没有复杂到特别离谱的问题。3RBF 核高斯核这是最常用的一种K(xi,xj)exp⁡(−γ∣xi−xj∣2) K(x_i, x_j) \exp(-\gamma |x_i - x_j|^2)K(xi​,xj​)exp(−γ∣xi​−xj​∣2)这个公式看起来有点吓人但它的直觉很好理解两个点越近核值越接近 1两个点越远核值越接近 0也就是说RBF 核特别强调“局部相似性”。它很擅长处理复杂的非线性边界所以在很多实际任务里RBF 都是一个常见默认选项。8. gamma 到底在控制什么一说到 RBF 核就绕不开gamma。这是 SVM 里另一个特别关键、也特别容易调崩的参数。先看公式K(xi,xj)exp⁡(−γ∣xi−xj∣2) K(x_i, x_j) \exp(-\gamma |x_i - x_j|^2)K(xi​,xj​)exp(−γ∣xi​−xj​∣2)这里的γ\gammaγ决定的是距离对相似性的衰减速度有多快。翻译成人话就是如果 gamma 很大稍微离远一点核值就会迅速掉下去。这意味着模型会非常关注“特别局部”的结构。结果通常是边界会变得很弯、很细模型特别灵敏容易把局部噪声也学进去更容易过拟合如果 gamma 很小距离拉大一点也没关系核值衰减得很慢。这意味着模型看问题更“宽泛”更不容易被局部细节牵着走。结果通常是边界更平滑模型更保守可能学不够更容易欠拟合所以你可以把 gamma 理解成模型对“局部细节”到底有多敏感。9. C 和 gamma 经常是一起影响结果的这两个参数各自都重要但真正难的是它们不是孤立起作用的。比如C很大 gamma很大模型会非常在意每个训练样本又特别关注局部细节这通常是很容易过拟合的组合C很小 gamma很小模型既不较真又看得很粗这时很容易欠拟合C适中 gamma适中往往更容易得到相对平衡的结果所以 SVM 调参时很多时候不会单独看一个参数而是一起搜索。这也是为什么你会经常看到用网格搜索去试C [0.1, 1, 10, 100]gamma [0.001, 0.01, 0.1, 1]因为这两个参数本来就是耦合在一起影响边界形状的。10. 一个更形象的理解C 管“规矩严不严”gamma 管“看得细不细”如果你想用更适合博客的方式说这两个参数我建议你直接这么写读者很容易记住C决定模型对错误有多较真规矩严不严gamma决定模型看问题有多局部眼神细不细这个比直接堆定义好得多。你甚至可以这样举例C 像是一个特别严格的老师学生写错一点点都不行gamma 像是一个看细节特别狠的老师连局部小动作都要盯住。两个都开得很高模型就容易变得很敏感两个都压得太低模型又可能显得太迟钝。这类比很适合博客。11. 用代码简单演示一下参数变化下面你可以用一个简化示例让读者有点感觉importnumpyasnpfromsklearn.svmimportSVC X_trainnp.array([[2,50],[3,55],[4,60],[5,65],[6,70],[7,75],[8,80],[9,85]])y_trainnp.array([0,0,0,0,1,1,1,1])X_testnp.array([[4.5,63],[7.5,78]])settings[{C:0.1,gamma:0.01},{C:1,gamma:0.1},{C:10,gamma:1}]forsinsettings:modelSVC(kernelrbf,Cs[C],gammas[gamma])model.fit(X_train,y_train)predmodel.predict(X_test)print(f参数{s}- 预测结果:{pred})你不用要求读者从这个例子里立刻看透所有参数规律只要让他知道一件事就够了SVM 的边界长什么样会被 kernel、C、gamma 这些参数明显影响。12. 这一篇最重要的不是把公式背下来而是把地图建立起来讲到这里SVM 那几个最容易混的地方其实已经能串起来了间隔SVM 想让分类边界更稳C控制模型对错误有多较真核函数让原本不好分的数据换个空间看gamma控制模型对局部细节有多敏感如果你把这四件事抓住了SVM 这块就已经从“会调用”变成“能理解”了。再往下学读者就不会再把 SVM 看成一个黑盒线性核像一个更讲究间隔的线性分类器RBF 核像一个能处理复杂局部边界的非线性分类器这时候它就不神秘了。