将代价函数转化为矩阵方程的形式,再对其求导,令其等于0,得到代价函数取得最小值时的

θ

θ

θ

θ

=

(

X

T

X

)

1

X

T

y

θ=(X^TX)^{-1}X^Ty

θ=(XTX)1XTy
对比梯度下降算法
正规方程算法需要学习率和迭代,但对大规模数量(万数量级以上)的特征点(n),工作效率十分低。对于一些如分类算法等等更加复杂算法正规方程法并不适用于求它们在极值处的θ值。

正规方程的不可逆

使用正规方程时,要注意的问题是,如果设计矩阵X不可逆(为奇异矩阵),正规方程会无法使用

设计矩阵为奇异矩阵的常见情况:

  1. x-I 不满足线性关系
  2. 正在运行学习算法中,特征点的数量大于样本点的数量(使得

    m

    n

    m≤n

    mn

当设计矩阵X不可逆时,应当尝试删除一些特征点,或者考虑正规化(Regularation)。
但是总体而言,矩阵X不可逆的情况是极少数的。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注