长度

1

1

1的称为单位向量。如果

v

0

vneq 0

v=0,则

v

v

frac{v}{||v||}

∣∣v∣∣v一个单位向量

  • 如果

    v

    0

    vneq 0

    v=0,则

    u

    u

    u

    v

    v

    v上的数量投影定义为:

    α

    =

    (

    u

    ,

    v

    )

    v

    alpha=frac{(u,v)}{||v||}

    α=∣∣v∣∣(u,v)

    u

    u

    u

    v

    v

    v上的向量投影定义为:

    p

    =

    α

    v

    v

    =

    (

    u

    ,

    v

    )

    (

    v

    ,

    v

    )

    v

    p=alphafrac{v}{||v||}=frac{(u,v)}{(v,v)}v

    p=α∣∣v∣∣v=(v,v)(u,v)v

  • 如果

    (

    u

    ,

    v

    )

    =

    0

    (u,v)=0

    (u,v)=0,则称

    u

    u

    u

    v

    v

    v正交

  • 内积的基本性质

    u

    ,

    v

    V

    u,vin V

    u,vV,其中

    V

    V

    V是内积空间,则

    1. 勾股定理:如果

      u

      v

      uperp v

      uv,则

      u

      v

      2

      =

      u

      2

      +

      v

      2

      ||u-v||^2=||u||^2+||v||^2

      ∣∣uv2=∣∣u2+∣∣v2

      证明:

      u

      v

      2

      =

      (

      u

      v

      ,

      u

      v

      )

      =

      (

      u

      ,

      u

      v

      )

      +

      (

      v

      ,

      u

      v

      )

      =

      (

      u

      ,

      u

      )

      (

      u

      ,

      v

      )

      (

      v

      ,

      u

      )

      +

      (

      v

      ,

      v

      )

      =

      (

      u

      ,

      u

      )

      (

      u

      ,

      v

      )

      (

      u

      ,

      v

      )

      +

      (

      v

      ,

      v

      )

      ||u-v||^2=(u-v,u-v)=(u,u-v)+(-v,u-v)\=(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-overline{(u,v)}+(v,v)

      ∣∣uv2=(uv,uv)=(u,uv)+(v,uv)=(u,u)(u,v)(v,u)+(v,v)=(u,u)(u,v)(u,v)+(v,v)

      image-20231201125638852

    2. 柯西不等式:

      (

      u

      ,

      v

      )

      u

       

      v

      |(u,v)|leq ||u||space ||v||

      (u,v)∣∣u∣∣ ∣∣v∣∣。等式成立当且仅当

      u

      u

      u

      v

      v

      v线性相关

      证明:

      如果

      u

      ,

      v

      u,v

      u,v线性相关,则设

      u

      =

      k

      v

      ,

      k

      F

      u=kv,kin F

      u=kv,kF,则

      (

      u

      ,

      v

      )

      =

      (

      k

      v

      ,

      v

      )

      =

      k

      v

      2

      (u,v)=(kv,v)=k||v||^2

      (u,v)=(kv,v)=k∣∣v2

      如果

      u

      ,

      v

      u,v

      u,v线性无关,设

      z

      =

      u

      (

      u

      ,

      v

      )

      (

      v

      ,

      v

      )

      v

      z=u-frac{(u,v)}{(v,v)}v

      z=u(v,v)(u,v)v,则

      (

      z

      ,

      v

      )

      =

      (

      u

      (

      u

      ,

      v

      )

      (

      v

      ,

      v

      )

      v

      ,

      v

      )

      =

      (

      u

      ,

      v

      )

      (

      u

      ,

      v

      )

      (

      v

      ,

      v

      )

      (

      v

      ,

      v

      )

      =

      0

      (z,v)=(u-frac{(u,v)}{(v,v)}v,v)=(u,v)-frac{(u,v)}{(v,v)}(v,v)=0

      (z,v)=(u(v,v)(u,v)v,v)=(u,v)(v,v)(u,v)(v,v)=0,则

      z

      z

      z

      v

      v

      v正交。转换得到

      u

      =

      z

      +

      (

      u

      ,

      v

      )

      (

      v

      ,

      v

      )

      v

      u=z+frac{(u,v)}{(v,v)}v

      u=z+(v,v)(u,v)v,根据正交性,结合勾股定理

      u

      2

      =

      z

      2

      +

      (

      u

      ,

      v

      )

      (

      v

      ,

      v

      )

      2

      v

      2

      =

      z

      2

      +

      (

      u

      ,

      v

      )

      2

      (

      v

      2

      )

      2

      v

      2

      =

      z

      2

      +

      (

      u

      ,

      v

      )

      2

      v

      2

      ||u||^2=||z||^2+|frac{(u,v)}{(v,v)}|^2||v||^2=||z||^2+frac{|(u,v)|^2}{(||v||^2)^2}||v||^2=||z||^2+frac{|(u,v)|^2}{||v||^2}

      ∣∣u2=∣∣z2+(v,v)(u,v)2∣∣v2=∣∣z2+(∣∣v2)2(u,v)2∣∣v2=∣∣z2+∣∣v2(u,v)2

      又因为

      z

      2

      >

      0

      ||z||^2> 0

      ∣∣z2>0(线性无关,

      z

      2

      ||z||^2

      ∣∣z2大于

      0

      0

      0),则

      (

      u

      ,

      v

      <

      u

       

      v

      |(u,v|<||u||space ||v||

      (u,v<∣∣u∣∣ ∣∣v∣∣

    3. 三角不等式:

      u

      +

      v

      2

      u

      2

      +

      v

      2

      ||u+v||^2leq ||u||^2+||v||^2

      ∣∣u+v2∣∣u2+∣∣v2

      证明:

      u

      +

      v

      2

      =

      (

      u

      +

      v

      ,

      u

      +

      v

      )

      =

      (

      u

      ,

      u

      +

      v

      )

      +

      (

      v

      ,

      u

      +

      v

      )

      =

      (

      u

      ,

      u

      )

      +

      (

      u

      ,

      v

      )

      +

      (

      v

      ,

      u

      )

      +

      (

      v

      ,

      v

      )

      =

      (

      u

      ,

      u

      )

      +

      (

      u

      ,

      v

      )

      +

      (

      u

      ,

      v

      )

      +

      (

      v

      ,

      v

      )

      u

      2

      +

      2

      (

      u

      ,

      v

      )

      +

      v

      2

      u

      2

      +

      2

      u

       

      v

      +

      v

      2

      =

      (

      u

      +

      v

      )

      2

      ||u+v||^2=(u+v,u+v)=(u,u+v)+(v,u+v)\=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+overline{(u,v)}+(v,v)\ leq ||u||^2+2|(u,v)|+||v||^2 leq ||u||^2+2||u||space ||v||+||v||^2=(||u||+||v||)^2

      ∣∣u+v2=(u+v,u+v)=(u,u+v)+(v,u+v)=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+(u,v)+(v,v)∣∣u2+2∣(u,v)+∣∣v2∣∣u2+2∣∣u∣∣ ∣∣v∣∣+∣∣v2=(∣∣u∣∣+∣∣v∣∣)2

    4. 平行四边形准则:

      u

      +

      v

      2

      +

      u

      v

      2

      =

      2

      (

      u

      2

      +

      v

      2

      )

      ||u+v||^2+||u-v||^2=2(||u||^2+||v||^2)

      ∣∣u+v2+∣∣uv2=2(∣∣u2+∣∣v2)

      证明:

      u

      v

      2

      =

      (

      u

      v

      ,

      u

      v

      )

      =

      (

      u

      ,

      u

      v

      )

      +

      (

      v

      ,

      u

      v

      )

      =

      (

      u

      ,

      u

      )

      (

      u

      ,

      v

      )

      (

      v

      ,

      u

      )

      +

      (

      v

      ,

      v

      )

      =

      (

      u

      ,

      u

      )

      (

      u

      ,

      v

      )

      (

      u

      ,

      v

      )

      +

      (

      v

      ,

      v

      )

      u

      +

      v

      2

      =

      (

      u

      +

      v

      ,

      u

      +

      v

      )

      =

      (

      u

      ,

      u

      +

      v

      )

      +

      (

      v

      ,

      u

      +

      v

      )

      =

      (

      u

      ,

      u

      )

      +

      (

      u

      ,

      v

      )

      +

      (

      v

      ,

      u

      )

      +

      (

      v

      ,

      v

      )

      =

      (

      u

      ,

      u

      )

      +

      (

      u

      ,

      v

      )

      +

      (

      u

      ,

      v

      )

      +

      (

      v

      ,

      v

      )

      u

      +

      v

      2

      +

      u

      v

      2

      =

      2

      (

      u

      ,

      u

      )

      +

      2

      (

      v

      ,

      v

      )

      =

      2

      (

      u

      2

      +

      v

      2

      )

      ||u-v||^2=(u-v,u-v)=(u,u-v)+(-v,u-v)\=(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-overline{(u,v)}+(v,v)\ ||u+v||^2=(u+v,u+v)=(u,u+v)+(v,u+v)\=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+overline{(u,v)}+(v,v)\ ||u+v||^2+||u-v||^2=2(u,u)+2(v,v)=2(||u||^2+||v||^2)

      ∣∣uv2=(uv,uv)=(u,uv)+(v,uv)=(u,u)(u,v)(v,u)+(v,v)=(u,u)(u,v)(u,v)+(v,v)∣∣u+v2=(u+v,u+v)=(u,u+v)+(v,u+v)=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+(u,v)+(v,v)∣∣u+v2+∣∣uv2=2(u,u)+2(v,v)=2(∣∣u2+∣∣v2)

  • 2 标准正交向量

    • 正交向量定义

      v

      1

      ,


      ,

      v

      n

      v_1,cdots,v_n

      v1,,vn是内积空间

      V

      V

      V中的非零向量,如果

      V

      V

      V中的任意两个向量

      (

      v

      i

      ,

      v

      j

      )

      =

      0

      (

      i

      j

      )

      (v_i,v_j)=0(ineq j)

      (vi,vj)=0(i=j),则

      V

      V

      V一个正交向量集。

    • 标准正交向量集定义

      如果

      V

      V

      V一个正交向量集,且

      V

      V

      V中的所有向量都是单位向量,即

      (

      v

      i

      ,

      v

      i

      )

      =

      1

      (v_i,v_i)=1

      (vi,vi)=1,则

      V

      V

      V一个标准正交向量集。

    • 正交向量集性质

      如果

      v

      1

      ,


      ,

      v

      n

      v_1,cdots,v_n

      v1,,vn是内积空间

      V

      V

      V一个正交向量集,则

      v

      1

      ,


      ,

      v

      n

      v_1,cdots,v_n

      v1,,vn都是线性无关的。

    • 正交基和标准正交基

      n

      n

      n维内积空间中,由

      n

      n

      n个正交向量组成的基称为正交基,由

      n

      n

      n标准正交向量组成的基称为标准正交基。

    • 标准正交基表示向量坐标

      u

      1

      ,


      ,

      u

      n

      u_1,cdots,u_n

      u1,,un是内积空间

      V

      V

      V一个标准正交基,如果

      v

      =

      i

      =

      1

      n

      c

      i

      u

      i

      v=sum_{\i=1}^nc_iu_i

      v=i=1nciui,则

      c

      i

      =

      (

      v

      ,

      u

      i

      )

      c_i=(v,u_i)

      ci=(v,ui)其中

      c

      i

      c_i

      ci为向量

      v

      v

      v在向量

      u

      i

      u_i

      ui的标量投影

    • Parseval公式

      u

      1

      ,


      ,

      u

      n

      u_1,cdots,u_n

      u1,,un是内积空间

      V

      V

      V的一个标准正交基,如果

      u

      =

      i

      =

      1

      n

      a

      i

      u

      i

      ,

      v

      =

      i

      =

      1

      n

      b

      i

      u

      i

      u=sum_{\i=1}^na_iu_i,v=sum_{\i=1}^nb_iu_i

      u=i=1naiui,v=i=1nbiui,则

      (

      u

      ,

      v

      )

      =

      i

      =

      1

      n

      a

      i

      b

      i

      ˉ

      (u,v)=sum_{\i=1}^na_ibar{b_i}

      (u,v)=i=1naibiˉ。并且,

      v

      2

      =

      i

      =

      1

      n

      b

      i

      b

      i

      ˉ

      =

      i

      =

      1

      n

      b

      i

      2

      ||v||^2=sum_{\i=1}^n b_ibar{b_i}=sum_{i=1}^n|b_i|^2

      ∣∣v2=i=1nbibiˉ=i=1nbi2

    • 正交投影向量定义

      如果

      S

      S

      S是内积空间

      V

      V

      V的子空间,令

      b

      V

      bin V

      bV,如果存在向量

      p

      S

      ,

      q

      pin S,q

      pS,q,使得

      q

      S

      ,

      b

      =

      p

      +

      q

      qperp S,b=p+q

      qS,b=p+q,则称

      p

      p

      p

      b

      b

      b在子空间

      S

      S

      S上的正交投影向量。

      image-20231201142420065

      u

      1

      ,


      ,

      u

      n

      u_1,cdots ,u_n

      u1,,un

      S

      S

      S的标准正交基,如果

      p

      =

      i

      =

      1

      n

      (

      b

      ,

      u

      i

      )

      u

      i

      p=sum_{\i=1}^n(b,u_i)u_i

      p=i=1n(b,ui)ui,则

      1. b

        p

        b-p

        bp

        s

        s

        s任意一个向量正交

      2. p

        p

        p

        S

        S

        S唯一一个最接近

        b

        b

        b的向量。也就是说

        y

        S

        ,

        y

        p

        forall yin S,y neq p

        yS,y=p,有

        y

        b

        >

        p

        b

        ||y-b||>||p-b||

        ∣∣yb∣∣>∣∣pb∣∣。向量

        p

        p

        p

        b

        b

        b在子空间

        S

        S

        S上的正交投影向量。

        image-20231201143528483

    • 投影矩阵

      S

      S

      S是内积空间

      F

      n

      F^n

      Fn的非零子空间,

      b

      F

      n

      bin F^n

      bFn

      u

      1

      ,


      ,

      u

      n

      u_1,cdots,u_n

      u1,,un

      S

      S

      S的标准正交基,

      U

      =

      {

      u

      1

      ,


      ,

      u

      n

      }

      U={u_1,cdots,u_n}

      U={u1,,un},则

      b

      b

      b在子空间

      S

      S

      S的正交投影

      p

      =

      U

      U

      H

      b

      p=UU^Hb

      p=UUHb,其中

      U

      U

      U则是投影矩阵

    3 Gram-Schmidt正交化方法

    α

    1

    ,


    ,

    α

    n

    alpha_1,cdots,alpha_n

    α1,,αn是向量空间

    V

    V

    V的线性无关向量组。我们按照以下步骤标准正交化得到标准正交向量组

    β

    1

    ,


    ,

    β

    n

    beta_1,cdots,beta_n

    β1,,βn

    1. 单位化向量

      α

      1

      alpha_1

      α1,得到

      β

      1

      =

      α

      1

      α

      1

      beta_1=frac{alpha_1}{||alpha_1||}

      β1=∣∣α1∣∣α1。易知

      s

      p

      a

      n

      (

      α

      1

      )

      =

      s

      p

      a

      n

      (

      β

      1

      )

      span(alpha_1)=span(beta_1)

      span(α1)=span(β1)

    2. 找到

      α

      2

      alpha_2

      α2

      s

      p

      a

      n

      (

      β

      1

      )

      span(beta_1)

      span(β1)上的向量投影

      p

      1

      =

      (

      α

      2

      ,

      β

      1

      )

      β

      1

      p_1=(alpha_2,beta_1)beta_1

      p1=(α2,β1)β1,根据推导可知

      α

      2

      p

      1

      alpha_2-p_1

      α2p1

      s

      p

      a

      n

      (

      β

      1

      )

      span(beta_1)

      span(β1)正交。我们对其单位化得到

      β

      2

      =

      α

      2

      p

      1

      α

      2

      p

      1

      beta_2=frac{alpha_2-p_1}{||alpha_2-p_1||}

      β2=∣∣α2p1∣∣α2p1。易得

      s

      p

      a

      n

      (

      α

      1

      ,

      α

      2

      )

      =

      s

      p

      a

      n

      (

      β

      1

      ,

      β

      2

      )

      span(alpha_1,alpha_2)=span(beta_1,beta_2)

      span(α1,α2)=span(β1,β2)

    3. 找到

      α

      3

      alpha_3

      α3

      s

      p

      a

      n

      (

      β

      1

      ,

      β

      2

      )

      span(beta_1,beta_2)

      span(β1,β2)上的向量投影

      p

      2

      =

      (

      α

      3

      ,

      β

      1

      )

      β

      1

      +

      (

      α

      3

      ,

      β

      2

      )

      β

      2

      p_2=(alpha_3,beta_1)beta_1+(alpha_3,beta_2)beta_2

      p2=(α3,β1)β1+(α3,β2)β2,根据推导可知

      α

      3

      p

      2

      alpha_3-p_2

      α3p2

      s

      p

      a

      n

      (

      β

      1

      ,

      β

      2

      )

      span(beta_1,beta_2)

      span(β1,β2)正交。我们对其单位化得到

      β

      3

      =

      α

      3

      p

      2

      α

      3

      p

      2

      beta_3=frac{alpha_3-p_2}{||alpha_3-p_2||}

      β3=∣∣α3p2∣∣α3p2。易得

      s

      p

      a

      n

      (

      α

      1

      ,

      α

      2

      ,

      α

      3

      )

      =

      s

      p

      a

      n

      (

      β

      1

      ,

      β

      2

      ,

      β

      3

      )

      span(alpha_1,alpha_2,alpha_3)=span(beta_1,beta_2,beta_3)

      span(α1,α2,α3)=span(β1,β2,β3)

    4. 如上进行操作

      α

      i

      alpha_i

      αi

      S

      i

      1

      =

      s

      p

      a

      n

      (

      α

      1

      ,


      ,

      α

      i

      )

      =

      s

      p

      a

      n

      (

      β

      1

      ,


      ,

      β

      i

      )

      S_{i-1}=span(alpha_1,cdots,alpha_i)=span(beta_1,cdots,beta_i)

      Si1=span(α1,,αi)=span(β1,,βi)的向量投影

      p

      i

      1

      =

      (

      α

      i

      ,

      β

      1

      )

      β

      1

      +

      +

      (

      α

      i

      ,

      β

      i

      1

      )

      β

      i

      1

      p_{i-1}=(alpha_i,beta_1)beta_1+cdots+(alpha_i,beta_{i-1})beta_{i-1}

      pi1=(αi,β1)β1++(αi,βi1)βi1,则

      α

      i

      p

      i

      1

      alpha_i-p_{i-1}

      αipi1

      S

      i

      1

      S_{i-1}

      Si1正交。所以对其单位化得到

      β

      i

      =

      α

      i

      p

      i

      1

      α

      i

      p

      i

      1

      beta_i=frac{alpha_i-p_{i-1}}{||alpha_i-p_{i-1}||}

      βi=∣∣αipi1∣∣αipi1。易得

      s

      p

      a

      n

      (

      α

      1

      ,


      ,

      α

      i

      )

      =

      s

      p

      a

      n

      (

      β

      1

      ,


      ,

      β

      i

      )

      span(alpha_1,cdots,alpha_{i})=span(beta_1,cdots,beta_{i})

      span(α1,,αi)=span(β1,,βi)

    5. 直到求得

      β

      n

      beta_n

      βn,得到标准正交向量组

      β

      1

      ,


      ,

      β

      n

      beta_1,cdots,beta_n

      β1,,βn

    4 正交子空间

    • 正交子空间定义

      X

      ,

      Y

      X,Y

      X,Y是内积空间

      V

      V

      V的子空间,如果

      x

      X

      ,

      y

      Y

      forall xin X,yin Y

      xX,yY

      (

      x

      ,

      y

      )

      =

      0

      (x,y)=0

      (x,y)=0,则

      X

      X

      X

      Y

      Y

      Y正交,我们记作

      X

      Y

      Xperp Y

      XY

    • 正交补定义

      Y

      Y

      Y是内积空间

      V

      V

      V的子空间,则

      V

      V

      V中与

      Y

      Y

      Y每个向量正交的所有向量称为

      Y

      Y^{perp}

      Y

      Y

      =

      {

      x

      V

      y

      Y

      ,

      (

      x

      ,

      y

      )

      =

      0

      }

      Y^perp ={xin V|forall yin Y,(x,y)=0 }

      Y={xV∣∀yY,(x,y)=0}

    • 正交子空间定理

      如果

      V

      1

      V_1

      V1

      V

      2

      V_2

      V2正交,则

      V

      1

      +

      V

      2

      V_1+V_2

      V1+V2的和为直和。

    • 正交补性质

      S

      S

      S有限维内积空间

      V

      V

      V的子空间,则:

      1. V

        =

        S

        S

        V=Soplus S^perp

        V=SS。并且如果

        V

        =

        S

        W

        ,

        W

        S

        V=Soplus W,Wperp S

        V=SW,WS,则

        W

        =

        S

        W=S^perp

        W=S

      2. (

        S

        )

        =

        S

        (S^{perp})^{perp}=S

        (S)=S

    • 向量到子空间的最小距离

      S

      S

      S有限维内积空间

      V

      V

      V的子空间,

      b

      V

      forall bin V

      bV,则

      S

      S

      S 中的给定向量

      p

      p

      p给定向量

      b

      b

      b 最接近,当且仅当

      b

      p

      S

      b-pperp S^{perp}

      bpS。即

      p

      p

      p

      b

      b

      b

      S

      S

      S上的向量投影。

    • 矩阵基本子空间

      A

      A

      A

      m

      ×

      n

      mtimes n

      m×n矩阵,则

      N

      (

      A

      )

      =

      {

      x

      F

      n

      A

      x

      =

      0

      }

      N(A)={xin F^n|Ax=0}

      N(A)={xFnAx=0}

      A

      A

      A的零空间,

      F

      n

      F^n

      Fn的子空间。

      R

      (

      A

      )

      =

      A

      x

      x

      F

      n

      R(A)={Ax|xin F^n}

      R(A)=AxxFn

      A

      A

      A的列空间,

      F

      m

      F^m

      Fm的子空间。

      N

      (

      A

      H

      )

      N(A^H)

      N(AH)

      A

      H

      A^H

      AH的零空间,

      F

      m

      F^m

      Fm的子空间。

      R

      (

      A

      H

      )

      R(A^H)

      R(AH)

      A

      H

      A^H

      AH的列空间,

      F

      n

      F^n

      Fn的子空间。

      N

      (

      A

      )

      =

      R

      (

      A

      H

      )

      ,

      N

      (

      A

      h

      )

      =

      R

      (

      A

      )

      N(A)=R(A^H)^perp,N(A^h)=R(A)^perp

      N(A)=R(AH),N(Ah)=R(A)

      F

      n

      =

      N

      (

      A

      )

      N

      (

      A

      )

      =

      N

      (

      A

      )

      R

      (

      A

      H

      )

      F^n=N(A)oplus N(A)^perp=N(A)oplus R(A^H)

      Fn=N(A)N(A)=N(A)R(AH)

      dim

      (

      F

      n

      )

      =

      dim

      (

      N

      (

      A

      )

      )

      +

      dim

      (

      R

      (

      A

      H

      )

      )

      dim(F^n)=dim(N(A))+dim(R(A^H))

      dim(Fn)=dim(N(A))+dim(R(AH))

    5 最小二乘问题

    • 问题定义

      设线性系统

      A

      x

      =

      b

      Ax=b

      Ax=b,其中

      A

      F

      m

      ×

      n

      Ain F^{mtimes n}

      AFm×n,可能不相容(无解)。我们能否找到一个最佳解,即向量

      x

      ^

      hat{x}

      x^使得

      A

      x

      ^

      b

      =

      min

      x

      F

      n

      A

      x

      b

      Ahat{x}-b=min_{\xin F^n}||Ax-b||

      Ax^b=minxFn∣∣Axb∣∣

    • 问题核心

      找到向量

      x

      ^

      hat{x}

      x^即是使得

      A

      x

      ^

      Ahat{x}

      Ax^等于

      b

      b

      b

      R

      (

      A

      )

      R(A)

      R(A)上的向量投影。

      image-20231201154345326

    • 最小二乘解等价条件

      1. x

        ^

        hat{x}

        x^

        A

        x

        =

        b

        Ax=b

        Ax=b最小二乘解

      2. A

        x

        ^

        b

        =

        min

        x

        F

        n

        A

        x

        b

        Ahat{x}-b=min_{\xin F^n}||Ax-b||

        Ax^b=minxFn∣∣Axb∣∣

      3. A

        x

        ^

        Ahat{x}

        Ax^等于

        b

        b

        b

        R

        (

        A

        )

        R(A)

        R(A)上的正交向量投影

      4. A

        x

        ^

        b

        R

        (

        A

        )

        =

        N

        (

        A

        H

        )

        Ahat{x}-bin R(A)^perp =N(A^H)

        Ax^bR(A)=N(AH)

      5. A

        H

        (

        A

        x

        ^

        b

        )

        =

        0

        A^H(Ahat{x}-b)=0

        AH(Ax^b)=0

      6. A

        H

        A

        x

        ^

        =

        A

        H

        b

        A^HAhat{x}=A^Hb

        AHAx^=AHb正规方程

    • 正规方程的相容性

      A

      F

      m

      ×

      n

      Ain F^{mtimes n}

      AFm×n,则正规方程

      A

      H

      A

      x

      =

      A

      H

      b

      A^HAx=A^Hb

      AHAx=AHb有解,其为

      A

      x

      =

      b

      Ax=b

      Ax=b最小二乘解。

      最小二乘解不唯一,但是对于任意

      x

      ,

      y

      x,y

      x,y

      A

      x

      =

      A

      y

      Ax=Ay

      Ax=Ay,且

      A

      x

      Ax

      Ax

      A

      y

      Ay

      Ay都是

      b

      b

      b

      R

      (

      A

      )

      R(A)

      R(A)上的向量投影。

    • 最小二乘解唯一

      A

      F

      m

      ×

      n

      Ain F^{mtimes n}

      AFm×n,且

      r

      a

      n

      k

      (

      A

      )

      =

      n

      rank(A)=n

      rank(A)=n(列满秩),

      b

      F

      n

      bin F^n

      bFn,则正规方程

      A

      H

      A

      x

      =

      A

      H

      b

      A^HAx=A^Hb

      AHAx=AHb唯一

      x

      ^

      =

      (

      A

      H

      A

      )

      1

      A

      H

      b

      hat{x}=(A^HA)^{-1}A^Hb

      x^=(AHA)1AHb

      x

      ^

      hat{x}

      x^

      A

      x

      b

      Ax-b

      Axb唯一最小二乘解。

    6 正交矩阵和酉矩阵

    • 正交矩阵定义

      A

      R

      n

      ×

      n

      Ain R^{ntimes n}

      ARn×n

      A

      A

      A的所有列向量构成

      R

      n

      R^n

      Rn的标准正交集,具有

      R

      n

      R^n

      Rn上的标准内积。

    • 酉矩阵定义

      A

      C

      n

      ×

      n

      Ain C^{ntimes n}

      ACn×n

      A

      A

      A的所有列向量构成

      C

      n

      C^n

      Cn的标准正交集,具有

      C

      n

      C^n

      Cn上的标准内积。

      易知,正交矩阵也是酉矩阵。

    • 正交矩阵和酉矩阵的充要条件

      A

      A

      A是正交矩阵当且仅当

      A

      T

      A

      =

      I

      A^TA=I

      ATA=I

      A

      A

      A是酉矩阵当且仅当

      A

      H

      A

      =

      I

      A^HA=I

      AHA=I

    • A

      C

      n

      ×

      n

      Ain C^{ntimes n}

      ACn×n,则以下条件等价

      1. A

        A

        A是酉矩阵

      2. A

        A

        A的列向量构成

        C

        n

        C^n

        Cn的标准正交集

      3. A

        H

        A

        =

        I

        A^HA=I

        AHA=I

      4. A

        1

        =

        A

        H

        A^{-1}=A^H

        A1=AH

      5. x

        ,

        y

        C

        n

        ,

        (

        A

        x

        ,

        A

        y

        )

        =

        (

        x

        ,

        y

        )

        forall x,y in C^n,(Ax,Ay)=(x,y)

        x,yCn,(Ax,Ay)=(x,y)

      6. x

        C

        n

        ,

        (

        A

        x

        ,

        A

        x

        )

        =

        (

        x

        ,

        x

        )

        forall xin C^n,(Ax,Ax)=(x,x)

        xCn,(Ax,Ax)=(x,x)

    原文地址:https://blog.csdn.net/hzf0701/article/details/134737638

    本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任

    如若转载,请注明出处:http://www.7code.cn/show_24458.html

    如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱suwngjj01@126.com进行投诉反馈,一经查实,立即删除

    发表回复

    您的邮箱地址不会被公开。 必填项已用 * 标注