SVM（支持向量机）是机器学习中监督学习算法里面的一个分类算法。SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，从而实现分类目的。（关于SVM的算法流程，建议学习凸优化、分离超平面等理论知识）
现有已知所属类别数据如下：
| x | y | label |
|---|---|---|
| 0.1 | 0.7 | 0 |
| 0.3 | 0.6 | 0 |
| 0.4 | 0.1 | 0 |
| 0.5 | 0.4 | 0 |
| 0.8 | 0.04 | 0 |
| 0.42 | 0.6 | 0 |
| 0.9 | 0.4 | 1 |
| 0.6 | 0.5 | 1 |
| 0.7 | 0.2 | 1 |
| 0.27 | 0.8 | 1 |
| 0.7 | 0.67 | 1 |
| 0.5 | 0.72 | 1 |
前6条数据集的类别为0；后6条数据集的类别为1。
现有未知类别数据如下：
import numpy as np
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.002),
np.arange(y_min, y_max, 0.002)) # meshgrid如何生成网格
现要求，根据已知类别数据来预测未知类别数据的所属类别（使用SVM，并利用多种核函数进行实践）。
import numpy as np
from matplotlib import pyplot as plt
from sklearn import svm
#第一步，数据预处理（这里使用没有实际含义的数据）
#首先生成训练数据
data = np.array([
[0.1, 0.7],
[0.3, 0.6],
[0.4, 0.1],
[0.5, 0.4],
[0.8, 0.04],
[0.42, 0.6],
[0.9, 0.4],
[0.6, 0.5],
[0.7, 0.2],
[0.7, 0.67],
[0.27, 0.8],
[0.5, 0.72]
])#data的第一列为x，第二列为y
label = [1] * 6 + [0] * 6#label反应了数据所属类别
#接着生成测试数据
x_min, x_max = data[:, 0].min() - 0.2, data[:, 0].max() + 0.2
y_min, y_max = data[:, 1].min() - 0.2, data[:, 1].max() + 0.2
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.002),np.arange(y_min, y_max, 0.002))
#meshgrid生成网格，例如np.meshgrid([1,2],[4,5])会生成一个2*2网格，返回两个数组
#array([[1,2],[1,2]]、array([[4,4],[5,5]])，即四个点(1,4), (2,4), (1,5), (2,5)
#第二步，指定模型
model_linear=svm.SVC(kenel='linear',C=0.001)
#kenel参数表达了想要使用的核函数，C是惩罚因子，越大再训练的时候训练结果的正确率越高
#（但是容易出现过拟合状况）
#第三步，训练模型
model_linear.fit(data,label)
#这一步将会根据data和label得出模型参数，为后续预测未知类别数据提供基础
#第四步，测试模型
Z = model_linear.predict(np.c_[xx.flatten(), yy.ravel()])
# 预测，这一步将会得到每一个(x,y)对应的预测标签
#xx、yy均是一个二维数组，这里使用flatten和ravel两种方法将二维数组降维为一维数组
#首先声明两者所要实现的功能是一致的（将多维数组降位一维）。这点从两个单词的意也可以看出
#来，ravel(散开，解开)，flatten（变平）。两者的区别在于返回拷贝（copy）还是返回视图
#（view），numpy.flatten()返回一份拷贝，对拷贝所做的修改不会影响（reflects）原始矩
#阵，而numpy.ravel()返回的是视图（view，也颇有几分C/C++引用reference的意味），
#会影响（reflects）原始矩阵。
#若测试数据有其label_text，则可以利用model_linear.score(np.c_[xx.flatten(), yy.ravel(),label_test]测试模型
#第五步，结果可视化
Z = Z.reshape(xx.shape)#输出标签结果为一维数组，为了做等高线图，将标签结果重设为何xx或yy一样的结构
plt.contourf(xx, yy, Z, cmap = plt.cm.ocean, alpha=0.6)
plt.scatter(data[:6, 0], data[:6, 1], marker='o', color='r', s=100, lw=3)
plt.scatter(data[6:, 0], data[6:, 1], marker='x', color='k', s=100, lw=3)
plt.title('Linear SVM')
plt.show()
#函数功能：用来绘制等高线和决策边界
#调用方法：plt.contourf(X,Y,Z,cmap)
#参数说明：
#X：网格点的横坐标
#Y：网格点的纵坐标
#Z：网格点的值（等高线图的高度值）
#cmap：颜色图，指定Z不同值（不同高度）所对应不同的填充色
从结果可以看到，线性核分类基本上达到了目的，但是还有提升空间。
本节数据集继续使用2.3节设定的数据集
plt.figure(figsize=(16, 15))
for i, degree in enumerate([1, 3, 5, 7, 9, 12]):
# C: 惩罚系数
model_poly = svm.SVC(C=0.0001, kernel='poly', degree=degree) # 多项式核
model_poly.fit(data, label)
# ravel - flatten
# c_ - vstack
# 把后面两个压扁之后变成了x1和x2，然后进行判断，得到结果在压缩成一个矩形
Z = model_poly.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.subplot(3, 2, i + 1)
plt.subplots_adjust(wspace=0.4, hspace=0.4)
plt.contourf(xx, yy, Z, cmap=plt.cm.ocean, alpha=0.6)
# 画出训练点
plt.scatter(data[:6, 0], data[:6, 1], marker='o', color='r', s=100, lw=3)
plt.scatter(data[6:, 0], data[6:, 1], marker='x', color='k', s=100, lw=3)
plt.title('Poly SVM with $\degree=$' + str(degree))
plt.show()
本节数据集继续使用2.3节设定的数据集
plt.figure(figsize=(16, 15))
for i, gamma in enumerate([1, 5, 15, 35, 45, 55]):
# C: 惩罚系数，gamma: 高斯核的系数
model_rbf = svm.SVC(kernel='rbf', gamma=gamma, C= 0.0001)
model_rbf.fit(data, label)
# ravel - flatten
# c_ - vstack
# 把后面两个压扁之后变成了x1和x2，然后进行判断，得到结果在压缩成一个矩形
Z = model_rbf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.subplot(3, 2, i + 1)
plt.subplots_adjust(wspace=0.4, hspace=0.4)
plt.contourf(xx, yy, Z, cmap=plt.cm.ocean, alpha=0.6)
# 画出训练点
plt.scatter(data[:6, 0], data[:6, 1], marker='o', color='r', s=100, lw=3)
plt.scatter(data[6:, 0], data[6:, 1], marker='x', color='k', s=100, lw=3)
plt.title('RBF SVM with $\gamma=$' + str(gamma))
plt.show()
以上内容，对支持向量机在sklearn中的实现从数据预处理、模型设定、训练模型、测试模型等方面进行了实操和展示，分析了多种核函数、参数等对SVM分类的影响。编程实现过程中，有些环节巧妙地使用了numpy中的技巧，简化了代码，所以打好numpy基础，对于提高编程技能、简化编程过程具有较好的作用。（建议读者，通过本文的学习，可以自行学习numpy中的flatten、ravel等方法，以及np.c_[]的使用方法和使用目的，掌握了这些方法，在后续学习过程中将会达到事半功倍的效果！）