【矩阵论】Chapter 2—内积空间知识点总结复习

本文介绍: 【矩阵论】Ch apt e r 2—内积空间知识点总结复习

，长度为

$1$ 的称为单位向量。如果

≠

vneq 0

$v \neq = 0$ ，则

∣

frac{v}{||v||}

$\frac{v}{∣∣ v ∣∣}$ 是一个单位向量

如果

v ≠ 0 vneq 0 ，则 u u 在 v v 上的数量投影被定义为： α = ( u , v ) ∣ ∣ v ∣ ∣ alpha=frac{(u,v)}{||v||} ， u u 在 v v 上的向量投影被定义为： p = α v ∣ ∣ v ∣ ∣ = ( u , v ) ( v , v ) v p=alphafrac{v}{||v||}=frac{(u,v)}{(v,v)}v

如果

内积的基本性质

设

∈

u,vin V

$u, v \in V$ ，其中

$V$ 是内积空间，则

勾股定理：如果

u

⊥

v

up erp v

$u ⊥ v$ ，则

∣

∣

u

−

v

∣

∣

2

=

∣

∣

u

∣

∣

2

+

∣

∣

v

∣

∣

2

||u-v||^2=||u||^2+||v||^2

$∣∣ u - v ∣ ∣^{2} = ∣∣ u ∣ ∣^{2} + ∣∣ v ∣ ∣^{2}$

证明：

∣

∣

u

−

v

∣

∣

2

=

(

u

−

v

,

u

−

v

)

=

(

u

,

u

−

v

)

+

(

−

v

,

u

−

v

)

=

(

u

,

u

)

−

(

u

,

v

)

−

(

v

,

u

)

+

(

v

,

v

)

=

(

u

,

u

)

−

(

u

,

v

)

−

(

u

,

v

)

‾

+

(

v

,

v

)

||u-v||^2=(u-v,u-v)=(u,u-v)+(-v,u-v)\=(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-ov e r line{(u,v)}+(v,v)

$∣∣ u - v ∣ ∣^{2} = (u - v, u - v) = (u, u - v) + (- v, u - v) = (u, u) - (u, v) - (v, u) + (v, v) = (u, u) - (u, v) - \overline{(u, v)} + (v, v)$
柯西不等式：

∣

(

u

,

v

)

∣

≤

∣

∣

u

∣

∣

∣

∣

v

∣

∣

|(u,v)|leq ||u||sp ace ||v||

$∣ (u, v) ∣ \leq ∣∣ u ∣∣ ∣∣ v ∣∣$ 。等式成立当且仅当

u

u

$u$ 和

v

v

$v$ 线性相关。

证明：

如果

u

,

v

u,v

$u, v$ 线性相关，则设

u

=

k

v

,

k

∈

F

u=kv,kin F

$u = k v, k \in F$ ，则

(

u

,

v

)

=

(

k

v

,

v

)

=

k

∣

∣

v

∣

∣

2

(u,v)=(kv,v)=k||v||^2

$(u, v) = (k v, v) = k ∣∣ v ∣ ∣^{2}$

如果

u

,

v

u,v

$u, v$ 线性无关，设

z

=

u

−

(

u

,

v

)

(

v

,

v

)

v

z=u-frac{(u,v)}{(v,v)}v

$z = u - \frac{( u , v )}{( v , v )} v$ ，则

(

z

,

v

)

=

(

u

−

(

u

,

v

)

(

v

,

v

)

v

,

v

)

=

(

u

,

v

)

−

(

u

,

v

)

(

v

,

v

)

(

v

,

v

)

=

0

(z,v)=(u-frac{(u,v)}{(v,v)}v,v)=(u,v)-frac{(u,v)}{(v,v)}(v,v)=0

$(z, v) = (u - \frac{( u , v )}{( v , v )} v, v) = (u, v) - \frac{( u , v )}{( v , v )} (v, v) = 0$ ，则

z

z

$z$ 和

v

v

$v$ 正交。转换得到

u

=

z

+

(

u

,

v

)

(

v

,

v

)

v

u=z+frac{(u,v)}{(v,v)}v

$u = z + \frac{( u , v )}{( v , v )} v$ ，根据正交性，结合勾股定理则

∣

∣

u

∣

∣

2

=

∣

∣

z

∣

∣

2

+

∣

(

u

,

v

)

(

v

,

v

)

∣

2

∣

∣

v

∣

∣

2

=

∣

∣

z

∣

∣

2

+

∣

(

u

,

v

)

∣

2

(

∣

∣

v

∣

∣

2

)

2

∣

∣

v

∣

∣

2

=

∣

∣

z

∣

∣

2

+

∣

(

u

,

v

)

∣

2

∣

∣

v

∣

∣

2

||u||^2=||z||^2+|fr ac{(u,v)}{(v,v)}|^2||v||^2=||z||^2+frac{|(u,v)|^2}{(||v||^2)^2}||v||^2=||z||^2+frac{|(u,v)|^2}{||v||^2}

$∣∣ u ∣ ∣^{2} = ∣∣ z ∣ ∣^{2} + ∣ \frac{( u , v )}{( v , v )} ∣^{2} ∣∣ v ∣ ∣^{2} = ∣∣ z ∣ ∣^{2} + \frac{∣ ( u , v ) ∣ ^{2}}{( ∣∣ v ∣ ∣ ^{2} ) ^{2}} ∣∣ v ∣ ∣^{2} = ∣∣ z ∣ ∣^{2} + \frac{∣ ( u , v ) ∣ ^{2}}{∣∣ v ∣ ∣ ^{2}}$

又因为

∣

∣

z

∣

∣

2

&g t;

0

||z||^2&g t; 0

$∣∣ z ∣ ∣^{2} & g t; 0$ （线性无关，

∣

∣

z

∣

∣

2

||z||^2

$∣∣ z ∣ ∣^{2}$ 必大于

0

0

$0$ ），则

∣

(

u

,

v

∣

<

∣

∣

u

∣

∣

∣

∣

v

∣

∣

|(u,v|<||u||sp ace ||v||

$∣ (u, v ∣ &l t; ∣∣ u ∣∣ ∣∣ v ∣∣$
三角不等式：

∣

∣

u

+

v

∣

∣

2

≤

∣

∣

u

∣

∣

2

+

∣

∣

v

∣

∣

2

||u+v||^2leq ||u||^2+||v||^2

$∣∣ u + v ∣ ∣^{2} \leq ∣∣ u ∣ ∣^{2} + ∣∣ v ∣ ∣^{2}$

证明：

∣

∣

u

+

v

∣

∣

2

=

(

u

+

v

,

u

+

v

)

=

(

u

,

u

+

v

)

+

(

v

,

u

+

v

)

=

(

u

,

u

)

+

(

u

,

v

)

+

(

v

,

u

)

+

(

v

,

v

)

=

(

u

,

u

)

+

(

u

,

v

)

+

(

u

,

v

)

‾

+

(

v

,

v

)

≤

∣

∣

u

∣

∣

2

+

2

∣

(

u

,

v

)

∣

+

∣

∣

v

∣

∣

2

≤

∣

∣

u

∣

∣

2

+

2

∣

∣

u

∣

∣

∣

∣

v

∣

∣

+

∣

∣

v

∣

∣

2

=

(

∣

∣

u

∣

∣

+

∣

∣

v

∣

∣

)

2

||u+v||^2=(u+v,u+v)=(u,u+v)+(v,u+v)\=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+overline{(u,v)}+(v,v)\ leq ||u||^2+2|(u,v)|+||v||^2 leq ||u||^2+2||u||sp ace ||v||+||v||^2=(||u||+||v||)^2

$∣∣ u + v ∣ ∣^{2} = (u + v, u + v) = (u, u + v) + (v, u + v) = (u, u) + (u, v) + (v, u) + (v, v) = (u, u) + (u, v) + \overline{(u, v)} + (v, v) \leq ∣∣ u ∣ ∣^{2} + 2∣ (u, v) ∣ + ∣∣ v ∣ ∣^{2} \leq ∣∣ u ∣ ∣^{2} + 2∣∣ u ∣∣ ∣∣ v ∣∣ + ∣∣ v ∣ ∣^{2} = (∣∣ u ∣∣ + ∣∣ v ∣∣)^{2}$
平行四边形准则：

∣

∣

u

+

v

∣

∣

2

+

∣

∣

u

−

v

∣

∣

2

=

2

(

∣

∣

u

∣

∣

2

+

∣

∣

v

∣

∣

2

)

||u+v||^2+||u-v||^2=2(||u||^2+||v||^2)

$∣∣ u + v ∣ ∣^{2} + ∣∣ u - v ∣ ∣^{2} = 2 (∣∣ u ∣ ∣^{2} + ∣∣ v ∣ ∣^{2})$

证明：

∣

∣

u

−

v

∣

∣

2

=

(

u

−

v

,

u

−

v

)

=

(

u

,

u

−

v

)

+

(

−

v

,

u

−

v

)

=

(

u

,

u

)

−

(

u

,

v

)

−

(

v

,

u

)

+

(

v

,

v

)

=

(

u

,

u

)

−

(

u

,

v

)

−

(

u

,

v

)

‾

+

(

v

,

v

)

∣

∣

u

+

v

∣

∣

2

=

(

u

+

v

,

u

+

v

)

=

(

u

,

u

+

v

)

+

(

v

,

u

+

v

)

=

(

u

,

u

)

+

(

u

,

v

)

+

(

v

,

u

)

+

(

v

,

v

)

=

(

u

,

u

)

+

(

u

,

v

)

+

(

u

,

v

)

‾

+

(

v

,

v

)

∣

∣

u

+

v

∣

∣

2

+

∣

∣

u

−

v

∣

∣

2

=

2

(

u

,

u

)

+

2

(

v

,

v

)

=

2

(

∣

∣

u

∣

∣

2

+

∣

∣

v

∣

∣

2

)

||u-v||^2=(u-v,u-v)=(u,u-v)+(-v,u-v)\=(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-overline{(u,v)}+(v,v)\ ||u+v||^2=(u+v,u+v)=(u,u+v)+(v,u+v)\=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+overline{(u,v)}+(v,v)\ ||u+v||^2+||u-v||^2=2(u,u)+2(v,v)=2(||u||^2+||v||^2)

$∣∣ u - v ∣ ∣^{2} = (u - v, u - v) = (u, u - v) + (- v, u - v) = (u, u) - (u, v) - (v, u) + (v, v) = (u, u) - (u, v) - \overline{(u, v)} + (v, v) ∣∣ u + v ∣ ∣^{2} = (u + v, u + v) = (u, u + v) + (v, u + v) = (u, u) + (u, v) + (v, u) + (v, v) = (u, u) + (u, v) + \overline{(u, v)} + (v, v) ∣∣ u + v ∣ ∣^{2} + ∣∣ u - v ∣ ∣^{2} = 2 (u, u) + 2 (v, v) = 2 (∣∣ u ∣ ∣^{2} + ∣∣ v ∣ ∣^{2})$

2 标准正交向量集

正交向量集定义

设

v

1

,

⋯

,

v

n

v_1,c dot s,v_n

$v_{1}, \dots, v_{n}$ 是内积空间

V

V

$V$ 中的非零向量，如果

V

V

$V$ 中的任意两个向量

(

v

i

,

v

j

)

=

0

(

i

≠

j

)

(v_i,v_j)=0(ineq j)

$(v_{i}, v_{j}) = 0 (i \neq = j)$ ，则

V

V

$V$ 是一个正交向量集。
标准正交向量集定义

如果

V

V

$V$ 是一个正交向量集，且

V

V

$V$ 中的所有向量都是单位向量，即

(

v

i

,

v

i

)

=

1

(v_i,v_i)=1

$(v_{i}, v_{i}) = 1$ ，则

V

V

$V$ 是一个标准正交向量集。
正交向量集性质

如果

v

1

,

⋯

,

v

n

v_1,c dot s,v_n

$v_{1}, \dots, v_{n}$ 是内积空间

V

V

$V$ 的一个正交向量集，则

v

1

,

⋯

,

v

n

v_1,cdots,v_n

$v_{1}, \dots, v_{n}$ 都是线性无关的。
正交基和标准正交基

在

n

n

$n$ 维内积空间中，由

n

n

$n$ 个正交向量组成的基称为正交基，由

n

n

$n$ 个标准正交向量组成的基称为标准正交基。
标准正交基表示向量坐标

设

u

1

,

⋯

,

u

n

u_1,cdots,u_n

$u_{1}, \dots, u_{n}$ 是内积空间

V

V

$V$ 的一个标准正交基，如果

v

=

∑

i

=

1

n

c

i

u

i

v=sum_{\i=1}^nc_iu_i

$v = \sum_{i = 1}^{n} c_{i} u_{i}$ ，则

c

i

=

(

v

,

u

i

)

c_i=(v,u_i)

$c_{i} = (v, u_{i})$ 其中

c

i

c_i

$c_{i}$ 为向量

v

v

$v$ 在向量

u

i

u_i

$u_{i}$ 的标量投影。
Pa rseval 公式

设

u

1

,

⋯

,

u

n

u_1,cdots,u_n

$u_{1}, \dots, u_{n}$ 是内积空间

V

V

$V$ 的一个标准正交基，如果

u

=

∑

i

=

1

n

a

i

u

i

,

v

=

∑

i

=

1

n

b

i

u

i

u=sum_{\i=1}^na_iu_i,v=sum_{\i=1}^nb_iu_i

$u = \sum_{i = 1}^{n} a_{i} u_{i}, v = \sum_{i = 1}^{n} b_{i} u_{i}$ ，则

(

u

,

v

)

=

∑

i

=

1

n

a

i

b

i

ˉ

(u,v)=sum_{\i=1}^na_ib ar{b_i}

$(u, v) = \sum_{i = 1}^{n} a_{i} \overset{ˉ}{b_{i}}$ 。并且，

∣

∣

v

∣

∣

2

=

∑

i

=

1

n

b

i

b

i

ˉ

=

∑

i

=

1

n

∣

b

i

∣

2

||v||^2=sum_{\i=1}^n b_ibar{b_i}=sum_{i=1}^n|b_i|^2

$∣∣ v ∣ ∣^{2} = \sum_{i = 1}^{n} b_{i} \overset{ˉ}{b_{i}} = \sum_{i = 1}^{n} ∣ b_{i} ∣^{2}$ 。
正交投影向量定义

如果

S

S

$S$ 是内积空间

V

V

$V$ 的子空间，令

b

∈

V

bin V

$b \in V$ ，如果存在向量

p

∈

S

,

q

pin S,q

$p \in S, q$ ，使得

q

⊥

S

,

b

=

p

+

q

qperp S,b=p+q

$q ⊥ S, b = p + q$ ，则称

p

p

$p$ 是

b

b

$b$ 在子空间

S

S

$S$ 上的正交投影向量。

设

u

1

,

⋯

,

u

n

u_1,cdo ts ,u_n

$u_{1}, \dots, u_{n}$ 为

S

S

$S$ 的标准正交基，如果

p

=

∑

i

=

1

n

(

b

,

u

i

)

u

i

p=sum_{\i=1}^n(b,u_i)u_i

$p = \sum_{i = 1}^{n} (b, u_{i}) u_{i}$ ，则
1. b
  
  −
  
  p
  
  b-p
  
  $b - p$ 与
  
  s
  
  s
  
  $s$ 的任意一个向量正交
2. p
  
  p
  
  $p$ 是
  
  S
  
  S
  
  $S$ 中唯一一个最接近
  
  b
  
  b
  
  $b$ 的向量。也就是说
  
  ∀
  
  y
  
  ∈
  
  S
  
  ,
  
  y
  
  ≠
  
  p
  
  forall yin S,y neq p
  
  $\forall y \in S, y \neq = p$ ，有
  
  ∣
  
  ∣
  
  y
  
  −
  
  b
  
  ∣
  
  ∣
  
  >
  
  ∣
  
  ∣
  
  p
  
  −
  
  b
  
  ∣
  
  ∣
  
  ||y-b||>||p-b||
  
  $∣∣ y - b ∣∣ & g t; ∣∣ p - b ∣∣$ 。向量
  
  p
  
  p
  
  $p$ 是
  
  b
  
  b
  
  $b$ 在子空间
  
  S
  
  S
  
  $S$ 上的正交投影向量。
投影矩阵

设

S

S

$S$ 是内积空间

F

n

F^n

$F^{n}$ 的非零子空间，

b

∈

F

n

bin F^n

$b \in F^{n}$ ，

u

1

,

⋯

,

u

n

u_1,cdo ts,u_n

$u_{1}, \dots, u_{n}$ 为

S

S

$S$ 的标准正交基，

U

=

{

u

1

,

⋯

,

u

n

}

U={u_1,cd o ts,u_n}

$U = {u_{1}, \dots, u_{n}}$ ，则

b

b

$b$ 在子空间

S

S

$S$ 的正交投影

p

=

U

U

H

b

p=UU^Hb

$p = U U^{H} b$ ，其中

U

U

$U$ 则是投影矩阵。

3 Gram-Sch midt正交化方法

设

⋯

alpha_1,cd o ts,alpha_n

$α_{1}, \dots, α_{n}$ 是向量空间

$V$ 的线性无关向量组。我们按照以下步骤标准正交化得到标准正交向量组

⋯

beta_1,cd o ts,beta_n

$β_{1}, \dots, β_{n}$

单位化向量 $alpha_1 α1，得到 β 1 = α 1 ∣ ∣ α 1 ∣ ∣ beta_1=frac{alpha_1}{||alpha_1||} β1=∣∣α1∣∣α1。易知 s p a n ( α 1 ) = s p a n ( β 1 ) span(alpha_1)=span(beta_1) span(α1)=span(β1)。$
找到 $alpha_2 α2在 s p a n ( β 1 ) span(beta_1) span(β1)上的向量投影 p 1 = ( α 2 , β 1 ) β 1 p_1=(alpha_2,beta_1)beta_1 p1=(α2,β1)β1，根据推导可知 α 2 − p 1 alpha_2-p_1 α2−p1和 s p a n ( β 1 ) span(beta_1) span(β1)正交。我们对其单位化得到 β 2 = α 2 − p 1 ∣ ∣ α 2 − p 1 ∣ ∣ beta_2=frac{alpha_2-p_1}{||alpha_2-p_1||} β2=∣∣α2−p1∣∣α2−p1。易得 s p a n ( α 1 , α 2 ) = s p a n ( β 1 , β 2 ) span(alpha_1,alpha_2)=span(beta_1,beta_2) span(α1,α2)=span(β1,β2)。$
找到 $alpha_3 α3在 s p a n ( β 1 , β 2 ) span(beta_1,beta_2) span(β1,β2)上的向量投影 p 2 = ( α 3 , β 1 ) β 1 + ( α 3 , β 2 ) β 2 p_2=(alpha_3,beta_1)beta_1+(alpha_3,beta_2)beta_2 p2=(α3,β1)β1+(α3,β2)β2，根据推导可知 α 3 − p 2 alpha_3-p_2 α3−p2和 s p a n ( β 1 , β 2 ) span(beta_1,beta_2) span(β1,β2)正交。我们对其单位化得到 β 3 = α 3 − p 2 ∣ ∣ α 3 − p 2 ∣ ∣ beta_3=frac{alpha_3-p_2}{||alpha_3-p_2||} β3=∣∣α3−p2∣∣α3−p2。易得 s p a n ( α 1 , α 2 , α 3 ) = s p a n ( β 1 , β 2 , β 3 ) span(alpha_1,alpha_2,alpha_3)=span(beta_1,beta_2,beta_3) span(α1,α2,α3)=span(β1,β2,β3)。$
如上进行操作， $alpha_i αi在 S i − 1 = s p a n ( α 1 , ⋯ , α i ) = s p a n ( β 1 , ⋯ , β i ) S_{i-1}=span(alpha_1,cdots,alpha_i)=span(beta_1,cdots,beta_i) Si−1=span(α1,⋯,αi)=span(β1,⋯,βi)的向量投影 p i − 1 = ( α i , β 1 ) β 1 + ⋯ + ( α i , β i − 1 ) β i − 1 p_{i-1}=(alpha_i,beta_1)beta_1+cdots+(alpha_i,beta_{i-1})beta_{i-1} pi−1=(αi,β1)β1+⋯+(αi,βi−1)βi−1，则 α i − p i − 1 alpha_i-p_{i-1} αi−pi−1和 S i − 1 S_{i-1} Si−1正交。所以对其单位化得到 β i = α i − p i − 1 ∣ ∣ α i − p i − 1 ∣ ∣ beta_i=frac{alpha_i-p_{i-1}}{||alpha_i-p_{i-1}||} βi=∣∣αi−pi−1∣∣αi−pi−1。易得 s p a n ( α 1 , ⋯ , α i ) = s p a n ( β 1 , ⋯ , β i ) span(alpha_1,cdots,alpha_{i})=span(beta_1,cdots,beta_{i}) span(α1,⋯,αi)=span(β1,⋯,βi)。$
直到求得 $beta_n βn，得到标准正交向量组 β 1 , ⋯ , β n beta_1,cdots,beta_n β1,⋯,βn$

4 正交子空间

正交子空间定义

X

,

Y

X,Y

$X, Y$ 是内积空间

V

V

$V$ 的子空间，如果

∀

x

∈

X

,

y

∈

Y

forall x in X,yin Y

$\forall x \in X, y \in Y$ ，

(

x

,

y

)

=

0

(x,y)=0

$(x, y) = 0$ ，则

X

X

$X$ 和

Y

Y

$Y$ 正交，我们记作

X

⊥

Y

Xperp Y

$X ⊥ Y$ 。
正交补定义

设

Y

Y

$Y$ 是内积空间

V

V

$V$ 的子空间，则

V

V

$V$ 中与

Y

Y

$Y$ 的每个向量正交的所有向量称为

Y

⊥

Y^{perp}

$Y^{⊥}$ ，

Y

⊥

=

{

x

∈

V

∣

∀

y

∈

Y

,

(

x

,

y

)

=

0

}

Y^perp ={xin V|forall yin Y,(x,y)=0 }

$Y^{⊥} = {x \in V ∣\forall y \in Y, (x, y) = 0}$ 。
正交子空间定理

如果

V

1

V_1

$V_{1}$ 和

V

2

V_2

$V_{2}$ 正交，则

V

1

+

V

2

V_1+V_2

$V_{1} + V_{2}$ 的和为直和。
正交补性质

设

S

S

$S$ 为有限维内积空间

V

V

$V$ 的子空间，则：
1. $S^perp V=S⊕S⊥。并且如果 V = S ⊕ W , W ⊥ S V=Soplus W,Wperp S V=S⊕W,W⊥S，则 W = S ⊥ W=S^perp W=S⊥。$
2. $(S^{perp})^{perp}=S (S⊥)⊥=S$
向量到子空间的最小距离

设

S

S

$S$ 为有限维内积空间

V

V

$V$ 的子空间，

∀

b

∈

V

forall bin V

$\forall b \in V$ ，则

S

S

$S$ 中的给定向量

p

p

$p$ 与给定向量

b

b

$b$ 最接近，当且仅当

b

−

p

⊥

S

⊥

b-pperp S^{perp}

$b - p ⊥ S^{⊥}$ 。即

p

p

$p$ 是

b

b

$b$ 在

S

S

$S$ 上的向量投影。
矩阵的基本子空间

设

A

A

$A$ 为

m

×

n

m times n

$m \times n$ 矩阵，则

N

(

A

)

=

{

x

∈

F

n

∣

A

x

=

0

}

N(A)={xin F^n|Ax=0}

$N (A) = {x \in F^{n} ∣ A x = 0}$ ：

A

A

$A$ 的零空间，

F

n

F^n

$F^{n}$ 的子空间。

R

(

A

)

=

A

x

∣

x

∈

F

n

R(A)={Ax|xin F^n}

$R (A) = A x ∣ x \in F^{n}$ ：

A

A

$A$ 的列空间，

F

m

F^m

$F^{m}$ 的子空间。

N

(

A

H

)

N(A^H)

$N (A^{H})$ ：

A

H

A^H

$A^{H}$ 的零空间，

F

m

F^m

$F^{m}$ 的子空间。

R

(

A

H

)

R(A^H)

$R (A^{H})$ ：

A

H

A^H

$A^{H}$ 的列空间，

F

n

F^n

$F^{n}$ 的子空间。

N

(

A

)

=

R

(

A

H

)

⊥

,

N

(

A

h

)

=

R

(

A

)

⊥

N(A)=R(A^H)^perp,N(A^h)=R(A)^perp

$N (A) = R (A^{H})^{⊥}, N (A^{h}) = R (A)^{⊥}$

F

n

=

N

(

A

)

⊕

N

(

A

)

⊥

=

N

(

A

)

⊕

R

(

A

H

)

F^n=N(A)oplus N(A)^perp=N(A)oplus R(A^H)

$F^{n} = N (A) \oplus N (A)^{⊥} = N (A) \oplus R (A^{H})$

dim

⁡

(

F

n

)

=

dim

⁡

(

N

(

A

)

)

+

dim

⁡

(

R

(

A

H

)

)

dim(F^n)=dim(N(A))+dim(R(A^H))

$di m (F^{n}) = dim (N (A)) + dim (R (A^{H}))$

5 最小二乘问题

问题定义

设线性系统

A

x

=

b

Ax=b

$A x = b$ ，其中

A

∈

F

m

×

n

Ain F^{mtimes n}

$A \in F^{m \times n}$ ，可能不相容（无解）。我们能否找到一个最佳解，即向量

x

^

hat{x}

$\overset{x}{^}$ 使得

A

x

^

−

b

=

min

⁡

x

∈

F

n

∣

∣

A

x

−

b

∣

∣

Ahat{x}-b=min_{\xin F^n}||Ax-b||

$A \overset{x}{^} - b = min_{x \in F^{n}} ∣∣ A x - b ∣∣$
问题核心

找到向量

x

^

hat{x}

$\overset{x}{^}$ 即是使得

A

x

^

Ahat{x}

$A \overset{x}{^}$ 等于

b

b

$b$ 在

R

(

A

)

R(A)

$R (A)$ 上的向量投影。
最小二乘解等价条件
1. $x^是 A x = b Ax=b Ax=b的最小二乘解$
2. $Ahat{x}-b=min_{\xin F^n}||Ax-b|| Ax^−b=minx∈Fn∣∣Ax−b∣∣$
3. $Ax^等于 b b b在 R ( A ) R(A) R(A)上的正交向量投影$
4. $R(A)^perp =N(A^H) Ax^−b∈R(A)⊥=N(AH)$
5. $A^H(Ahat{x}-b)=0 AH(Ax^−b)=0$
6. $A^HAhat{x}=A^Hb AHAx^=AHb（正规方程）$
正规方程的相容性

设

A

∈

F

m

×

n

Ain F^{mtimes n}

$A \in F^{m \times n}$ ，则正规方程

A

H

A

x

=

A

H

b

A^HAx=A^Hb

$A^{H} A x = A^{H} b$ 有解，其为

A

x

=

b

Ax=b

$A x = b$ 的最小二乘解。

最小二乘解不唯一，但是对于任意解

x

,

y

x,y

$x, y$ ，

A

x

=

A

y

Ax=Ay

$A x = A y$ ，且

A

x

Ax

$A x$ 和

A

y

Ay

$A y$ 都是

b

b

$b$ 在

R

(

A

)

R(A)

$R (A)$ 上的向量投影。
最小二乘解唯一解

设

A

∈

F

m

×

n

Ain F^{mtimes n}

$A \in F^{m \times n}$ ，且

r

a

n

k

(

A

)

=

n

rank(A)=n

$r ank (A) = n$ （列满秩），

b

∈

F

n

bin F^n

$b \in F^{n}$ ，则正规方程

A

H

A

x

=

A

H

b

A^HAx=A^Hb

$A^{H} A x = A^{H} b$ 有唯一解

x

^

=

(

A

H

A

)

−

1

A

H

b

hat{x}=(A^HA)^{-1}A^Hb

$\overset{x}{^} = (A^{H} A)^{- 1} A^{H} b$ 。

x

^

hat{x}

$\overset{x}{^}$ 为

A

x

−

b

Ax-b

$A x - b$ 的唯一最小二乘解。

6 正交矩阵和酉矩阵

正交矩阵定义

设

A

∈

R

n

×

n

Ain R^{ntimes n}

$A \in R^{n \times n}$ ，

A

A

$A$ 的所有列向量构成

R

n

R^n

$R^{n}$ 的标准正交集，具有

R

n

R^n

$R^{n}$ 上的标准内积。
酉矩阵定义

设

A

∈

C

n

×

n

Ain C^{ntimes n}

$A \in C^{n \times n}$ ，

A

A

$A$ 的所有列向量构成

C

n

C^n

$C^{n}$ 的标准正交集，具有

C

n

C^n

$C^{n}$ 上的标准内积。

易知，正交矩阵也是酉矩阵。
正交矩阵和酉矩阵的充要条件

A

A

$A$ 是正交矩阵当且仅当

A

T

A

=

I

A^TA=I

$A^{T} A = I$

A

A

$A$ 是酉矩阵当且仅当

A

H

A

=

I

A^HA=I

$A^{H} A = I$
若

A

∈

C

n

×

n

Ain C^{ntimes n}

$A \in C^{n \times n}$ ，则以下条件等价
2. $C^n Cn的标准正交集$
3. $A^HA=I AHA=I$
4. $A^{-1}=A^H A−1=AH$
5. $C^n,(Ax,Ay)=(x,y) ∀x,y∈Cn,(Ax,Ay)=(x,y)$
6. $C^n,(Ax,Ax)=(x,x) ∀x∈Cn,(Ax,Ax)=(x,x)$