SVM原理詳細圖文教程來了！一行代碼自動選擇核函數，還有模型實用工具
SVM？老分類算法了，輕松拿下，然而……
賈浩楠 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
SVM？老分類算法了，輕松拿下。
然而，每一次老板讓你講解SVM，或每一次面試被問到SVM，卻總是結結巴巴漏洞百出。
「這些人怎么總能精準發現我的盲點？」
簡直讓人懷疑自己掌握的是假SVM。
如果你有這樣的問題，那這篇SVM數學原理對你會有很大幫助，一起來看看吧。
SVM 由線性分類開始
理解SVM，咱們必須先弄清楚一個概念：線性分類器。
給定一些數據點，它們分別屬于兩個不同的類，現在要找到一個線性分類器把這些數據分成兩類。
如果用x表示數據點，用y表示類別（y可以取1或者-1，分別代表兩個不同的類），一個線性分類器的目標是要在n維的數據空間中找到一個超平面（hyper plane），將x的數據點分成兩類，且超平面距離兩邊的數據的間隔最大。
這個超平面的方程可以表示為（ wT中的T代表轉置）:
△2維坐標系中，超平面是一條直線
當f(x)等于0的時候，x便是位于超平面上的點，而f(x)大于0的點對應 y=1 的數據點，f(x)小于0的點對應y=-1的點。
SVM 想要的就是找到各類樣本點到超平面的距離最遠，也就是找到最大間隔超平面。任意超平面可以用下面這個線性方程來描述：
二維空間點（x，y）到直線Ax+By+C=0的距離公式是：
擴展到n維空間后，點x=（x1，x2……xn）到直線wTx+b=0的距離為：
其中 :
根據支持向量的定義，支持向量到超平面的距離為d，其他點到超平面的距離大于d。
于是有：
||w||d是正數，令它為 1（之所以令它等于 1，是為了方便推導和優化，且這樣做對目標函數的優化沒有影響），于是：
將兩個方程合并，有：
至此，就得到了最大間隔超平面的上下兩個超平面。
每個支持向量到超平面的距離可以寫為：
由?y(wTx+b)>1>0?可以得到?y(wTx+b)=|wTx+b|，所以可以將支持向量到超平面距離改寫為：
最大化這個距離：
這里乘上 2 倍是為了后面推導方便，對目標函數沒有影響。
帶入一個支持向量，可以得到：
所以得到的最優化問題是：
處理異常值
有時，對于某些點（x（i），y（i）），分類器可能會做出錯誤操作。
盡管在開發實際使用的SVM模型時，會設計冗余，避免過擬合，但仍然需要想辦法將誤差控制在一個較小的范圍。
可以通過在模型中增加懲罰機制（用c表示）解決這個問題。
設SVM輸出結果為E，則上圖中出現的E=0則沒有懲罰。
若果c非常大，則模型分類更加精準，但支持向量到超平面距離小，容易出現過擬合。
若c=1，則支持向量到超平面距離最大化，盡管會出現一些分類誤差，但這是一種較好的方案。
約束凸優化問題
為了克服約束凸優化問題，采用PEGASOS算法。
重新構造一個約束獨立性方程：
上式表示，如果點遠離直線，則誤差將為零，否則誤差將為（1-t（i））。
我們需要最小化的是：
由于消除了約束，因此可以采用梯度下降來最大程度地減少損失。
梯度下降算法計算損失：
在SVM上應用梯度下降：
非線性分類
使用SVM對非線性數據進行分類，需要將數據投影到更高的維度，即通過增加低維數據的特征向量將其轉換為高維數據。
增加數據特征向量需要消耗巨大的計算資源，這里采用核函數。
而這種思路最難的點，是為你自己的模型選擇一個合適的核函數。
這里推薦一種自動調參方法GridSearch。
將多種核函數（線性、RBF、多項式、sigmoid等）等標號，依次調用，找到一個最合適自己模型的。
定義一個變量params：
params = [{‘kernel’:[‘linear’, ‘rbf’, ‘poly’, ‘sigmoid’], ‘c’:[0.1, 0.2, 0.5, 1.0, 2.0, 5.0]}調用：
以上詳細介紹了SVM背后的數學原理，并提供了一些使用SVM模型時的問題解決辦法。
其中，使用代碼自動選擇核函數的方法來自外國博主Daksh Trehan。
如果你對SVM的原理有更深刻的理解，或有其他實用的技巧，請留言分享給大家吧。
參考鏈接
https://medium.com/@dakshtrehan?source=post_page—–d46e94b23b9d———————-
- 中國汽車一哥加持，自動駕駛界「大疆」估值沖破百億2025-11-26
- 神盾金磚電池成功挑戰行業首個“整車+整包”帶電六大極端測試2025-09-02
- 對話吉利技術一號位：VLA大模型打底，沖刺全球最大機器人公司2025-09-02
- 全新嵐圖知音正式上市，20.29萬元起2025-08-28
相關閱讀
一書吃透機器學習！新版《機器學習基礎》來了，教材PDF、PPT可下載 | 資源
有Reddit網友評論，這部教材足夠扎實、內容足夠基礎，學機器學習理論，熟讀這本書就足夠了。
