机器学习——支持向量机(SVM)

本文介绍: Ir i s.data中有5个属性，包括4个预测属性（萼片长度、萼片宽度、花瓣长度、花瓣宽度）和1个类别属性（Iris-set os a、Iris-v e rsicolor、Iris-virgin ica 三种类别）。首先，需要将第五列类别信息转换为数字，再选择输入数据和标签。fro m sklearn import datasets #导入数据集模块fro m sklearn.model _selection import train_test_split #数据集划分。

在这里插入图片描述

1.线性 支持 向量机

1.1数学模型

在这里插入图片描述
机器学习最终都是求解目标函数的最优问题；
一般都是讲问题转化为最小值来求解。

数学模型获得是一个不等式约束的最小化问题，求解时可通过构建拉格朗日函数求解。

1.2 拉格朗日函数及对偶问题求解

在这里插入图片描述

1.3 SMO算法求解

SMO算法：参考：https://zhuanlan.zhihu.com/p/29212107
KKT条件：参考：https://zhuanlan.zhihu.com/p/556832103

2.带松弛 因子的SVM——软间隔

在这里插入图片描述

3.非线性 支持 向量机

在这里插入图片描述

4.Py th on代码

4.1 SVM常见的几种 模型

1.SVC，（分类问题）
2.SVR，（回归问题）
3.Lin e arSVC
4.Lin e arSVR
5…其他等等

4.1数据集介绍

在这里插入图片描述
Iris.data中有5个属性，包括4个预测属性（萼片长度、萼片宽度、花瓣长度、花瓣宽度）和1个类别属性（Iris-set os a、Iris-v e rsicolor、Iris-virgin ica 三种类别）。首先，需要将第五列类别信息转换为数字，再选择输入数据和标签。

from sklearn import datasets #导入数据集模块
from sklearn.model_selection import train_test_split #数据集划分
from sklearn import svm  #导入SVM支持向量机
from sklearn.metrics import classification_report   #用于显示主要分类指标的文本报告
import sklearn.metrics as sm #生成混淆矩阵的库
import seaborn as sn  #混淆矩阵可视化的库
import matplotlib.pyplot as plt #画图
#--------------------------------1.加载数据集---------------------------------#
iris = datasets.load_iris()#加载鸢尾花数据集
print(iris)
X = iris.data #输入特征
Y = iris.target #标签（输出特征）
print(X)
print('----------------')
print(Y)
print('----------------')
print('鸢尾花输入特征的维度是{}'.format(X.shape))
print('鸢尾花标签的维度是{}'.format(Y.shape))

#--------------------------------2.划分数据集---------------------------------#
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=45) # 数据划分
#--------------------------------3.模型训练---------------------------------#
clas = svm.SVC()#选择分类器
clas.fit(X_train,Y_train)#训练
#--------------------------------4.模型预测---------------------------------#
Y_pre=clas.predict(X_test)#预测测试集

#--------------------------------5.性能评估---------------------------------#
m = sm.confusion_matrix(Y_test, Y_pre) #生成混淆矩阵
print('混淆矩阵为：', m, sep='n')
ax = sn.heatmap(m,annot=True,fmt='.20g')
ax.set_title('confusion matrix')
ax.set_xlabel('predict')
ax.set_ylabel('true')
plt.show() #混淆矩阵可视化
print("测试集准确率：%s"%clas.score(X_test,Y_test))   #输出测试集准确度
print("分析报告:",classification_report(Y_test,Y_pre))#生成分类报告