⎧目标函数值：∥λw∥λγ^约束函数： yiλ(wTxi+b)≥λγ^,∀ xi
显然，权值
(
w
,
)
(boldsymbol w,b)
(w,b) 与其同比例的缩放值
(
λ
w
,
λ
b
)
qquad
∙
qquad
γ
^
=
1
γ^=1。
(
w
,
b
)
(w,b)， 样本
x 到
w
T
+
b
=
0
boldsymbol w^Tboldsymbol x+b=0
γ
^
∥
w
∥
dfrac{hatgamma}{Vertboldsymbol wVert}
γ
^
=
1
γ^=1 时的几何间隔写为
1
∥
λ
′
w
∥
dfrac{1}{Vertlambda^{prime}boldsymbol wVert}
∥λ′w∥1，也就是
(
w
,
b
)
(w,b) 缩放为了
(
λ
′
w
,
λ
′
b
)
,
λ
′
=
1
/
γ
^
(lambda^{prime}boldsymbol w,lambda^{prime}b), lambda^{prime}=1/hatgamma
(λ′w,λ′b), λ′=1/γ^
而w
T
x
+
b
=
0
boldsymbol w^Tboldsymbol x+b=0
wTx+b=0 和
λ
′
w
T
x
+
λ
′
b
=
0
w
,
b
γ
^
∥
w
∥
s
.
.
y
(
w
T
x
+
b
)
≥
γ
^
,
∀
x
⟹
γ
^
=
1
max
w
,
b
1
∥
w
∥
s
.
.
y
(
w
T
x
+
b
)
≥
1
,
∀
x
qquadqquadtextcolor{darkblue}{begin{aligned}&max_{boldsymbol w,b} dfrac{hatgamma}{Vertboldsymbol wVert}\ & s.t. y_i(boldsymbol w^Tboldsymbol x_i+b) ge hatgamma, forall boldsymbol x_iend{aligned}}quadoverset{hatgamma=1}Longrightarrowqquadtextcolor{royalblue}{begin{aligned}&max_{boldsymbol w,b} dfrac{1}{Vertboldsymbol wVert}\ & s.t. y_i(boldsymbol w^Tboldsymbol x_i+b) ge 1, forall boldsymbol x_iend{aligned}}
w,bmax ∥w∥γ^ s.t. yi(wTxi+b)≥γ^, ∀ xi⟹γ^=1w,bmax ∥w∥1 s.t. yi(wTxi+b)≥1, ∀ xi
又由于
max
1
∥
w
∥
⟺
1
2
∥
w
∥
2
max dfrac{1}{Vertboldsymbol wVert}Longleftrightarrowmin dfrac{1}{2}Vertboldsymbol wVert^2
max ∥w∥1⟺min 21∥w∥2，因此可以构造出一个凸二次规划问题
min
w
,
b
1
2
∥
w
∥
2
s
.
t
.
y
i
(
w
T
x
i
+
b
)
≥
1
,
∀
x
i
qquadqquadqquadtextcolor{indigo}{begin{aligned}&min_{boldsymbol w,b} dfrac{1}{2}Vertboldsymbol wVert^2\ & s.t. y_i(boldsymbol w^Tboldsymbol x_i+b) ge 1,quad forall boldsymbol x_iend{aligned}}
w,bmin 21∥w∥2 s.t. yi(wTxi+b)≥1,∀ xi
qquad
3. 支持向量
qquad
(
)
(support vector) 是指距离分类面最近的训练样本（红色 + 点），两个（红色点线）超平面
w
T
x
+
b
=
1
boldsymbol w^Tboldsymbol x+b=1
wTx+b=1 和
w
T
x
+
b
=
−
1
boldsymbol w^Tboldsymbol x+b=-1
wTx+b=−1 之间的距离，称为间隔
(
)
qquad
qquad
min
w
,
b
1
2
∥
w
∥
2
s
.
t
.
y
i
(
w
T
x
i
+
b
)
≥
1
,
∀
x
i
qquadqquadqquadbegin{aligned}&min_{boldsymbol w,b} dfrac{1}{2}Vertboldsymbol wVert^2\ & s.t. y_i(boldsymbol w^Tboldsymbol x_i+b) ge 1,quad forall boldsymbol x_iend{aligned}
w,bmin 21∥w∥2 s.t. yi(wTxi+b)≥1,∀ xi
qquad
y
(
w
T
x
+
b
)
=
1
y(boldsymbol w^Tboldsymbol x+b)=1
y(wTx+b)=1。在线性可分的情况下，选择不同的点作为支持向量，就可以确定不同的分离超平面
w
T
x
+
b
=
0
boldsymbol w^Tboldsymbol x+b=0
wTx+b=0。
- （正例的）支持向量
x
i
,
y
i
=
+
1
:
y
i
(
w
T
x
i
+
b
)
=
1
⇒
H
1
:
w
T
x
i
+
b
=
1
boldsymbol x_i,y_i=+1: y_i(boldsymbol w^Tboldsymbol x_i+b)=1 qquadRightarrowquad H_1:boldsymbol w^Tboldsymbol x_i+b=1
xi,yi=+1: yi(wTxi+b)=1⇒H1:wTxi+b=1
其余的 （正例的）训练样本满足w
T
x
i
+
b
>
1
boldsymbol w^Tboldsymbol x_i+b>1
wTxi+b>1
- （负例的）支持向量
x
j
,
y
j
=
−
1
:
y
j
(
w
T
x
j
+
b
)
=
1
⇒
H
2
:
w
T
x
j
+
b
=
−
1
boldsymbol x_j,y_j=-1:y_j(boldsymbol w^Tboldsymbol x_j+b)=1 qquadRightarrowquad H_2:boldsymbol w^Tboldsymbol x_j+b=-1
xj,yj=−1:yj(wTxj+b)=1⇒H2:wTxj+b=−1
其余的 （负例的）训练样本满足w
T
x
i
+
b
<
−
1
boldsymbol w^Tboldsymbol x_i+b<-1
wTxi+b<−1
- 两个超平面
H
1
H_1
H1 与
H
2
H_2
H2 之间的间隔为
2
∥
w
∥
dfrac{2}{Vertboldsymbol wVert}
∥w∥2
qquad
qquad
【写在最后】SVM的资料太多了，越写越觉得没什么特别的内容值得去写。攒在草稿箱里太久，发出来就当留个记录吧。
原文地址:https://blog.csdn.net/xfijun/article/details/105409081
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.7code.cn/show_27542.html
如若内容造成侵权/违法违规/事实不符，请联系代码007邮箱：suwngjj01@126.com进行投诉反馈，一经查实，立即删除！
