最小二乘线性回归

​σ1​−σ21​∗21​∗i=1∑m​(yi​−θ⊤xi​)2
目标是让似然函数（对数变换之后）越大越好：

m

a

x

 

l

o

g

L

(

θ

)

→

m

i

n

 

J

(

θ

)

=

1

2

∑

i

=

1

m

(

y

i

−

θ

⊤

x

i

)

2

（最小二乘法）

max log L(theta)\ →min J(theta)=frac12 sum_{i=1}^m(y_i-theta^top x_i)^2（最小二乘法）

max logL(θ)→min J(θ)=21​i=1∑m​(yi​−θ⊤xi​)2（最小二乘法）

J

(

θ

)

=

1

2

∑

i

=

1

m

(

y

i

−

θ

⊤

x

i

)

2

J(theta)=frac12 sum_{i=1}^m(y_i-theta^top x_i)^2

J(θ)=21​∑i=1m​(yi​−θ⊤xi​)2即为最小二乘法。

​ 将目标函数写为矩阵形式：

J

(

θ

)

=

1

2

∑

i

=

1

m

(

y

i

−

θ

⊤

x

i

)

2

=

1

2

(

X

θ

−

y

)

⊤

(

X

θ

−

y

)

对

θ

求偏导

:

∇

θ

J

(

θ

)

=

X

⊤

X

θ

−

X

⊤

y

令

∇

θ

J

(

θ

)

=

0

得

:

θ

=

(

X

⊤

X

)

−

1

X

⊤

y

J(theta)=frac12 sum_{i=1}^m(y_i-theta^top x_i)^2= frac12(Xtheta-y)^top (Xtheta-y)\ 对theta 求偏导:\ nabla_theta J(theta)=X^top Xtheta-X^top y\ 令nabla_theta J(theta)=0得:\ theta=(X^top X)^{-1}X^top y

J(θ)=21​i=1∑m​(yi​−θ⊤xi​)2=21​(Xθ−y)⊤(Xθ−y)对θ求偏导:∇θ​J(θ)=X⊤Xθ−X⊤y令∇θ​J(θ)=0得:θ=(X⊤X)−1X⊤y
​ 采用微分和迹的关系

d

f

=

t

r

(

(

∂

f

∂

X

)

⊤

d

X

)

df= tr((frac{partial f}{partial X})^top dX)

df=tr((∂X∂f​)⊤dX)进行求导，求导过程如下：

d

J

(

θ

)

=

t

r

(

d

J

(

θ

)

)

=

d

[

1

2

(

X

θ

−

y

)

⊤

(

X

θ

−

y

)

]

=

t

r

[

d

(

1

2

(

θ

⊤

X

⊤

X

θ

−

2

y

⊤

X

θ

+

y

⊤

y

)

)

]

=

t

r

[

d

(

1

2

θ

⊤

X

⊤

X

θ

)

]

−

t

r

(

d

(

2

y

⊤

X

θ

)

)

+

t

r

(

d

(

y

⊤

y

)

)

=

t

r

(

1

2

d

θ

⊤

X

⊤

X

θ

)

+

t

r

(

1

2

θ

⊤

X

⊤

X

d

θ

)

−

t

r

(

2

y

⊤

X

d

θ

)

+

0

=

t

r

(

1

2

θ

⊤

X

⊤

X

d

θ

)

+

t

r

(

1

2

θ

⊤

X

⊤

X

d

θ

)

−

t

r

(

2

y

⊤

X

d

θ

)

=

t

r

(

θ

⊤

X

⊤

X

d

θ

−

2

y

⊤

X

d

θ

)

=

t

r

(

(

θ

⊤

X

⊤

X

−

2

y

⊤

X

)

d

θ

)

=

t

r

(

(

X

⊤

X

θ

−

2

X

⊤

y

)

⊤

d

θ

)

故：

∂

J

(

θ

)

∂

θ

=

X

⊤

X

θ

−

2

X

⊤

y

dJ(theta)= tr(dJ(theta))=d[frac12(Xtheta-y)^top (Xtheta-y)]\ =tr[d(frac12(theta^top X^top Xtheta-2y^top Xtheta+y^top y))]\ =tr[d(frac12theta^top X^top Xtheta)]-tr(d(2y^top Xtheta))+tr(d(y^top y))\ =tr(frac12dtheta^top X^top Xtheta)+tr(frac12theta^top X^top Xdtheta)-tr(2y^top Xdtheta)+0\ =tr(frac12theta^top X^top Xdtheta)+tr(frac12theta^top X^top Xdtheta)-tr(2y^top Xdtheta)\ =tr(theta^top X^top Xdtheta-2y^top Xdtheta)=tr((theta^top X^top X-2y^top X)dtheta)\ =tr(( X^top Xtheta – 2X^top y)^top dtheta)\ 故：\ frac{partial J(theta)}{partial theta}=X^top Xtheta – 2X^top y\

dJ(θ)=tr(dJ(θ))=d[21​(Xθ−y)⊤(Xθ−y)]=tr[d(21​(θ⊤X⊤Xθ−2y⊤Xθ+y⊤y))]=tr[d(21​θ⊤X⊤Xθ)]−tr(d(2y⊤Xθ))+tr(d(y⊤y))=tr(21​dθ⊤X⊤Xθ)+tr(21​θ⊤X⊤Xdθ)−tr(2y⊤Xdθ)+0=tr(21​θ⊤X⊤Xdθ)+tr(21​θ⊤X⊤Xdθ)−tr(2y⊤Xdθ)=tr(θ⊤X⊤Xdθ−2y⊤Xdθ)=tr((θ⊤X⊤X−2y⊤X)dθ)=tr((X⊤Xθ−2X⊤y)⊤dθ)故：∂θ∂J(θ)​=X⊤Xθ−2X⊤y
当

X

⊤

X

X^top X

X⊤X为满秩矩阵或者正定矩阵时，令偏导数

∂

J

(

θ

)

∂

θ

=

X

⊤

X

θ

−

2

X

⊤

y

=

0

frac{partial J(theta)}{partial theta}=X^top Xtheta – 2X^top y=0

∂θ∂J(θ)​=X⊤Xθ−2X⊤y=0得到：

θ

=

(

X

⊤

X

)

−

1

X

⊤

y

theta=(X^top X)^{-1}X^top y

θ=(X⊤X)−1X⊤y
​

其中

(

X

⊤

X

)

−

1

(X^top X)^{-1}

(X⊤X)−1是矩阵

X

⊤

X

X^top X

X⊤X的逆矩阵。但是现实任务中，

X

⊤

X

X^top X

X⊤X通常不是满秩矩阵，例如在许多任务中会遇到大量的变量，其数目甚至超过样例数，导致X的列数多于行数，

X

⊤

X

X^top X

X⊤X ，

X

⊤

X

X^top X

X⊤X显然不满秩。此时可以解出多个

θ

theta

θ，他们都能使均方差最小化。选择哪一个解作为输出，将由机器学习算法的归纳偏好决定，常见的做法是引入正则化项。