,长度为
1
1
1的称为单位向量。如果
≠
0
v=0,则
∣
∣
v
∣
∣
frac{v}{||v||}
v
≠
0
vneq 0
v=0,则
u
u
u在
v
v
v上的数量投影被定义为:
α
=
(
u
,
v
)
∣
∣
v
∣
∣
α=∣∣v∣∣(u,v),
u
u
u在
v
v
v上的向量投影被定义为:
=
α
v
∣
∣
v
∣
∣
=
(
u
,
v
)
(
v
,
v
)
v
p=alphafrac{v}{||v||}=frac{(u,v)}{(v,v)}v
p=α∣∣v∣∣v=(v,v)(u,v)v
(
u
,
v
)
=
0
(u,v)=0
(u,v)=0,则称
u
u
u和
v
v
v正交
内积的基本性质
设
u
,
v
∈
V
u,vin V
u,v∈V,其中
V
V
V是内积空间,则
-
勾股定理:如果
u
⊥
v
u⊥v,则
∣
∣
u
−
v
∣
∣
2
=
∣
∣
u
∣
∣
2
+
∣
∣
v
∣
∣
2
||u-v||^2=||u||^2+||v||^2
∣∣u−v∣∣2=∣∣u∣∣2+∣∣v∣∣2
证明:
∣
∣
u
−
v
∣
∣
2
=
(
u
−
v
,
u
−
v
)
=
(
u
,
u
−
v
)
+
(
−
v
,
u
−
v
)
=
(
u
,
u
)
−
(
u
,
v
)
−
(
v
,
u
)
+
(
v
,
v
)
=
(
u
,
u
)
−
(
u
,
v
)
−
(
u
,
v
)
‾
+
(
v
,
v
)
||u-v||^2=(u-v,u-v)=(u,u-v)+(-v,u-v)\=(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-overline{(u,v)}+(v,v)
∣∣u−v∣∣2=(u−v,u−v)=(u,u−v)+(−v,u−v)=(u,u)−(u,v)−(v,u)+(v,v)=(u,u)−(u,v)−(u,v)+(v,v)
-
柯西不等式:
∣
(
u
,
v
)
∣
≤
∣
∣
u
∣
∣
∣
∣
v
∣
∣
∣(u,v)∣≤∣∣u∣∣ ∣∣v∣∣。等式成立当且仅当
u
u
u和
v
v
证明:
如果
u
,
v
u,v
u,v线性相关,则设
u
=
v
,
∈
F
u=kv,k∈F,则
(
u
,
v
)
=
(
k
v
,
v
)
=
k
∣
∣
v
∣
∣
2
(u,v)=(kv,v)=k||v||^2
(u,v)=(kv,v)=k∣∣v∣∣2
如果
u
,
v
u,v
u,v线性无关,设
z
=
u
−
(
u
,
v
)
(
v
,
v
)
v
z=u-frac{(u,v)}{(v,v)}v
z=u−(v,v)(u,v)v,则
(
z
,
v
)
=
(
u
−
(
u
,
v
)
(
v
,
v
)
v
,
v
)
=
(
u
,
v
)
−
(
u
,
v
)
(
v
,
v
)
(
v
,
v
)
=
0
(z,v)=(u-frac{(u,v)}{(v,v)}v,v)=(u,v)-frac{(u,v)}{(v,v)}(v,v)=0
(z,v)=(u−(v,v)(u,v)v,v)=(u,v)−(v,v)(u,v)(v,v)=0,则
z
z
z和
v
v
v正交。转换得到
u
=
z
+
(
u
,
v
)
(
v
,
v
)
v
u=z+frac{(u,v)}{(v,v)}v
u=z+(v,v)(u,v)v,根据正交性,结合勾股定理则
∣
∣
u
∣
∣
2
=
∣
∣
z
∣
∣
2
+
∣
(
u
,
v
)
(
v
,
v
)
∣
2
∣
∣
v
∣
∣
2
=
∣
∣
z
∣
∣
2
+
∣
(
u
,
v
)
∣
2
(
∣
∣
v
∣
∣
2
)
2
∣
∣
v
∣
∣
2
=
∣
∣
z
∣
∣
2
+
∣
(
u
,
v
)
∣
2
∣
∣
v
∣
∣
2
||u||^2=||z||^2+|frac{(u,v)}{(v,v)}|^2||v||^2=||z||^2+frac{|(u,v)|^2}{(||v||^2)^2}||v||^2=||z||^2+frac{|(u,v)|^2}{||v||^2}
∣∣u∣∣2=∣∣z∣∣2+∣(v,v)(u,v)∣2∣∣v∣∣2=∣∣z∣∣2+(∣∣v∣∣2)2∣(u,v)∣2∣∣v∣∣2=∣∣z∣∣2+∣∣v∣∣2∣(u,v)∣2
又因为
∣
∣
z
∣
∣
2
0
∣
∣
z
∣
∣
2
||z||^2
∣∣z∣∣2必大于
0
0
0),则
∣
(
u
,
v
∣
<
∣
∣
u
∣
∣
∣
∣
v
∣
∣
∣(u,v∣<∣∣u∣∣ ∣∣v∣∣
-
三角不等式:
∣
∣
u
+
v
∣
∣
2
≤
∣
∣
u
∣
∣
2
+
∣
∣
v
∣
∣
2
||u+v||^2leq ||u||^2+||v||^2
∣∣u+v∣∣2≤∣∣u∣∣2+∣∣v∣∣2
证明:
∣
∣
u
+
v
∣
∣
2
=
(
u
+
v
,
u
+
v
)
=
(
u
,
u
+
v
)
+
(
v
,
u
+
v
)
=
(
u
,
u
)
+
(
u
,
v
)
+
(
v
,
u
)
+
(
v
,
v
)
=
(
u
,
u
)
+
(
u
,
v
)
+
(
u
,
v
)
‾
+
(
v
,
v
)
≤
∣
∣
u
∣
∣
2
+
2
∣
(
u
,
v
)
∣
+
∣
∣
v
∣
∣
2
≤
∣
∣
u
∣
∣
2
+
2
∣
∣
u
∣
∣
∣
∣
v
∣
∣
+
∣
∣
v
∣
∣
2
=
(
∣
∣
u
∣
∣
+
∣
∣
v
∣
∣
)
2
||u+v||^2=(u+v,u+v)=(u,u+v)+(v,u+v)\=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+overline{(u,v)}+(v,v)\ leq ||u||^2+2|(u,v)|+||v||^2 leq ||u||^2+2||u||space ||v||+||v||^2=(||u||+||v||)^2
∣∣u+v∣∣2=(u+v,u+v)=(u,u+v)+(v,u+v)=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+(u,v)+(v,v)≤∣∣u∣∣2+2∣(u,v)∣+∣∣v∣∣2≤∣∣u∣∣2+2∣∣u∣∣ ∣∣v∣∣+∣∣v∣∣2=(∣∣u∣∣+∣∣v∣∣)2
-
平行四边形准则:
∣
∣
u
+
v
∣
∣
2
+
∣
∣
u
−
v
∣
∣
2
=
2
(
∣
∣
u
∣
∣
2
+
∣
∣
v
∣
∣
2
)
||u+v||^2+||u-v||^2=2(||u||^2+||v||^2)
∣∣u+v∣∣2+∣∣u−v∣∣2=2(∣∣u∣∣2+∣∣v∣∣2)
证明:
∣
∣
u
−
v
∣
∣
2
=
(
u
−
v
,
u
−
v
)
=
(
u
,
u
−
v
)
+
(
−
v
,
u
−
v
)
=
(
u
,
u
)
−
(
u
,
v
)
−
(
v
,
u
)
+
(
v
,
v
)
=
(
u
,
u
)
−
(
u
,
v
)
−
(
u
,
v
)
‾
+
(
v
,
v
)
∣
∣
u
+
v
∣
∣
2
=
(
u
+
v
,
u
+
v
)
=
(
u
,
u
+
v
)
+
(
v
,
u
+
v
)
=
(
u
,
u
)
+
(
u
,
v
)
+
(
v
,
u
)
+
(
v
,
v
)
=
(
u
,
u
)
+
(
u
,
v
)
+
(
u
,
v
)
‾
+
(
v
,
v
)
∣
∣
u
+
v
∣
∣
2
+
∣
∣
u
−
v
∣
∣
2
=
2
(
u
,
u
)
+
2
(
v
,
v
)
=
2
(
∣
∣
u
∣
∣
2
+
∣
∣
v
∣
∣
2
)
||u-v||^2=(u-v,u-v)=(u,u-v)+(-v,u-v)\=(u,u)-(u,v)-(v,u)+(v,v)=(u,u)-(u,v)-overline{(u,v)}+(v,v)\ ||u+v||^2=(u+v,u+v)=(u,u+v)+(v,u+v)\=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+overline{(u,v)}+(v,v)\ ||u+v||^2+||u-v||^2=2(u,u)+2(v,v)=2(||u||^2+||v||^2)
∣∣u−v∣∣2=(u−v,u−v)=(u,u−v)+(−v,u−v)=(u,u)−(u,v)−(v,u)+(v,v)=(u,u)−(u,v)−(u,v)+(v,v)∣∣u+v∣∣2=(u+v,u+v)=(u,u+v)+(v,u+v)=(u,u)+(u,v)+(v,u)+(v,v)=(u,u)+(u,v)+(u,v)+(v,v)∣∣u+v∣∣2+∣∣u−v∣∣2=2(u,u)+2(v,v)=2(∣∣u∣∣2+∣∣v∣∣2)
2 标准正交向量集
-
设
v
1
,
⋯
,
v
n
v1,⋯,vn是内积空间
V
V
V中的非零向量,如果
V
V
(
v
,
v
j
)
=
0
(
≠
j
)
V
V
V是一个正交向量集。
-
如果
V
V
V是一个正交向量集,且
V
V
V中的所有向量都是单位向量,即
(
v
,
v
)
=
1
(vi,vi)=1,则
V
V
-
正交向量集性质
如果
v
1
,
⋯
,
v
n
v1,⋯,vn是内积空间
V
V
V的一个正交向量集,则
v
1
,
⋯
,
v
n
v1,⋯,vn都是线性无关的。
-
正交基和标准正交基
在
n
n
n维内积空间中,由
n
n
n个正交向量组成的基称为正交基,由
n
n
-
设
u
1
,
⋯
,
u
n
u_1,cdots,u_n
u1,⋯,un是内积空间
V
V
v
=
∑
i
=
1
n
c
i
u
i
v=∑i=1nciui,则
c
i
=
(
v
,
u
i
)
c_i=(v,u_i)
ci=(v,ui)其中
c
i
c_i
ci为向量
v
v
v在向量
u
i
u_i
ui的标量投影。
-
设
u
1
,
⋯
,
u
n
u_1,cdots,u_n
u1,⋯,un是内积空间
V
V
V的一个标准正交基,如果
u
=
∑
i
=
1
n
i
u
i
,
v
=
∑
i
=
1
n
i
u
i
u=sum_{\i=1}^na_iu_i,v=sum_{\i=1}^nb_iu_i
u=∑i=1naiui,v=∑i=1nbiui,则
(
u
,
v
)
=
∑
i
=
1
n
i
i
ˉ
(u,v)=∑i=1naibiˉ。并且,
∣
∣
v
∣
∣
2
=
∑
i
=
1
n
b
i
b
i
ˉ
=
∑
i
=
1
n
∣
b
i
∣
2
||v||^2=sum_{\i=1}^n b_ibar{b_i}=sum_{i=1}^n|b_i|^2
∣∣v∣∣2=∑i=1nbibiˉ=∑i=1n∣bi∣2。
-
如果
S
S
S是内积空间
V
V
V的子空间,令
b
∈
V
bin V
b∈V,如果存在向量
p
∈
S
,
q
pin S,q
p∈S,q,使得
q
⊥
S
,
b
=
p
+
q
qperp S,b=p+q
q⊥S,b=p+q,则称
p
p
p是
b
b
b在子空间
S
S
S上的正交投影向量。
设
u
1
,
⋯
,
u
n
u1,⋯,un为
S
S
S的标准正交基,如果
p
=
∑
i
=
1
n
(
b
,
u
i
)
u
i
p=sum_{\i=1}^n(b,u_i)u_i
p=∑i=1n(b,ui)ui,则
-
设
S
S
S是内积空间
F
n
F^n
Fn的非零子空间,
b
∈
F
n
bin F^n
b∈Fn,
u
1
,
⋯
,
u
n
u1,⋯,un为
S
S
S的标准正交基,
U
=
{
u
1
,
⋯
,
u
n
}
U={u1,⋯,un},则
b
b
b在子空间
S
S
S的正交投影
p
=
U
U
H
b
p=UU^Hb
p=UUHb,其中
U
U
U则是投影矩阵。
3 Gram-Schmidt正交化方法
设
α
1
,
⋯
,
α
n
α1,⋯,αn是向量空间
V
V
V的线性无关向量组。我们按照以下步骤标准正交化得到标准正交向量组
β
1
,
⋯
,
β
n
β1,⋯,βn
- 单位化向量
α
1
β
1
=
α
1
∣
∣
α
1
∣
∣
beta_1=frac{alpha_1}{||alpha_1||}
s
p
a
n
(
α
1
)
=
s
p
a
n
(
β
1
)
- 找到
α
2
alpha_2
s
p
a
n
(
β
1
)
p
1
=
(
α
2
,
β
1
)
β
1
α
2
−
p
1
alpha_2-p_1
s
p
a
n
(
β
1
)
β
2
=
α
2
−
p
1
∣
∣
α
2
−
p
1
∣
∣
beta_2=frac{alpha_2-p_1}{||alpha_2-p_1||}
s
p
a
n
(
α
1
,
α
2
)
=
s
p
a
n
(
β
1
,
β
2
)
span(alpha_1,alpha_2)=span(beta_1,beta_2)
- 找到
α
3
alpha_3
s
p
a
n
(
β
1
,
β
2
)
span(beta_1,beta_2)
p
2
=
(
α
3
,
β
1
)
β
1
+
(
α
3
,
β
2
)
β
2
p_2=(alpha_3,beta_1)beta_1+(alpha_3,beta_2)beta_2
α
3
−
p
2
alpha_3-p_2
s
p
a
n
(
β
1
,
β
2
)
span(beta_1,beta_2)
β
3
=
α
3
−
p
2
∣
∣
α
3
−
p
2
∣
∣
beta_3=frac{alpha_3-p_2}{||alpha_3-p_2||}
s
p
a
n
(
α
1
,
α
2
,
α
3
)
=
s
p
a
n
(
β
1
,
β
2
,
β
3
)
span(alpha_1,alpha_2,alpha_3)=span(beta_1,beta_2,beta_3)
- 如上进行操作,
α
i
alpha_i
S
i
−
1
=
s
p
a
n
(
α
1
,
⋯
,
α
i
)
=
s
p
a
n
(
β
1
,
⋯
,
β
i
)
S_{i-1}=span(alpha_1,cdots,alpha_i)=span(beta_1,cdots,beta_i)
p
i
−
1
=
(
α
i
,
β
1
)
β
1
+
⋯
+
(
α
i
,
β
i
−
1
)
β
i
−
1
p_{i-1}=(alpha_i,beta_1)beta_1+cdots+(alpha_i,beta_{i-1})beta_{i-1}
α
i
−
p
i
−
1
alpha_i-p_{i-1}
S
i
−
1
S_{i-1}
β
i
=
α
i
−
p
i
−
1
∣
∣
α
i
−
p
i
−
1
∣
∣
beta_i=frac{alpha_i-p_{i-1}}{||alpha_i-p_{i-1}||}
s
p
a
n
(
α
1
,
⋯
,
α
i
)
=
s
p
a
n
(
β
1
,
⋯
,
β
i
)
span(alpha_1,cdots,alpha_{i})=span(beta_1,cdots,beta_{i})
- 直到求得
β
n
beta_n
β
1
,
⋯
,
β
n
beta_1,cdots,beta_n
4 正交子空间
-
正交子空间定义
X
,
Y
X,Y
X,Y是内积空间
V
V
V的子空间,如果
∀
∈
X
,
y
∈
Y
∀x∈X,y∈Y,
(
x
,
y
)
=
0
(x,y)=0
(x,y)=0,则
X
X
X和
Y
Y
Y正交,我们记作
X
⊥
Y
Xperp Y
X⊥Y。
-
正交补定义
设
Y
Y
Y是内积空间
V
V
V的子空间,则
V
V
V中与
Y
Y
Y的每个向量正交的所有向量称为
Y
⊥
Y^{perp}
Y⊥,
Y
⊥
=
{
x
∈
V
∣
∀
y
∈
Y
,
(
x
,
y
)
=
0
}
Y^perp ={xin V|forall yin Y,(x,y)=0 }
Y⊥={x∈V∣∀y∈Y,(x,y)=0}。
-
正交子空间定理
如果
V
1
V_1
V1和
V
2
V_2
V2正交,则
V
1
+
V
2
V_1+V_2
V1+V2的和为直和。
-
正交补性质
设
S
S
S为有限维内积空间
V
V
V的子空间,则:
-
设
S
S
S为有限维内积空间
V
V
V的子空间,
∀
b
∈
V
∀b∈V,则
S
S
S 中的给定向量
p
p
p 与给定向量
b
b
b 最接近,当且仅当
b
−
p
⊥
S
⊥
b−p⊥S⊥。即
p
p
p是
b
b
b在
S
S
S上的向量投影。
-
设
A
A
A为
×
n
N
(
A
)
=
{
x
∈
F
n
∣
A
x
=
0
}
N(A)={xin F^n|Ax=0}
N(A)={x∈Fn∣Ax=0}:
A
A
A的零空间,
F
n
F^n
Fn的子空间。
R
(
A
)
=
A
x
∣
x
∈
F
n
R(A)={Ax|xin F^n}
R(A)=Ax∣x∈Fn:
A
A
A的列空间,
F
F^m
Fm的子空间。
N
(
A
H
)
N(A^H)
N(AH):
A
H
A^H
AH的零空间,
F
F^m
Fm的子空间。
R
(
A
H
)
R(A^H)
R(AH):
A
H
A^H
AH的列空间,
F
n
F^n
Fn的子空间。
N
(
A
)
=
R
(
A
H
)
⊥
,
N
(
A
h
)
=
R
(
A
)
⊥
N(A)=R(A^H)^perp,N(A^h)=R(A)^perp
N(A)=R(AH)⊥,N(Ah)=R(A)⊥
F
n
=
N
(
A
)
⊕
N
(
A
)
⊥
=
N
(
A
)
⊕
R
(
A
H
)
F^n=N(A)oplus N(A)^perp=N(A)oplus R(A^H)
Fn=N(A)⊕N(A)⊥=N(A)⊕R(AH)
dim
(
F
n
)
=
dim
(
N
(
A
)
)
+
dim
(
R
(
A
H
)
)
dim(F^n)=dim(N(A))+dim(R(A^H))
dim(Fn)=dim(N(A))+dim(R(AH))
5 最小二乘问题
-
问题定义
设线性系统
A
x
=
b
Ax=b
Ax=b,其中
A
∈
F
m
×
n
A∈Fm×n,可能不相容(无解)。我们能否找到一个最佳解,即向量
x
^
hat{x}
x^使得
A
x
^
−
b
=
x
∈
F
n
∣
∣
A
x
−
b
∣
∣
Ahat{x}-b=min_{\xin F^n}||Ax-b||
Ax^−b=minx∈Fn∣∣Ax−b∣∣
-
找到向量
x
^
hat{x}
x^即是使得
A
x
^
Ahat{x}
Ax^等于
b
b
b在
R
(
A
)
R(A)
R(A)上的向量投影。
-
-
x
^
hat{x}
A
x
=
b
Ax=b
-
A
x
^
−
b
=
min
x
∈
F
n
∣
∣
A
x
−
b
∣
∣
Ahat{x}-b=min_{\xin F^n}||Ax-b||
-
A
x
^
Ahat{x}
b
b
R
(
A
)
R(A)
-
A
x
^
−
b
∈
R
(
A
)
⊥
=
N
(
A
H
)
-
A
H
(
A
x
^
−
b
)
=
0
A^H(Ahat{x}-b)=0
-
A
H
A
x
^
=
A
H
b
A^HAhat{x}=A^Hb
-
-
设
A
∈
F
m
×
n
Ain F^{mtimes n}
A∈Fm×n,则正规方程
A
H
A
x
=
A
H
b
A^HAx=A^Hb
AHAx=AHb有解,其为
A
x
=
b
Ax=b
Ax=b的最小二乘解。
x
,
y
x,y
x,y,
A
x
=
A
y
Ax=Ay
Ax=Ay,且
A
x
Ax
Ax和
A
y
Ay
Ay都是
b
b
b在
R
(
A
)
R(A)
R(A)上的向量投影。
-
设
A
∈
F
m
×
n
Ain F^{mtimes n}
A∈Fm×n,且
r
a
n
k
(
A
)
=
n
rank(A)=n
rank(A)=n(列满秩),
b
∈
F
n
bin F^n
b∈Fn,则正规方程
A
H
A
x
=
A
H
b
A^HAx=A^Hb
AHAx=AHb有唯一解
x
^
=
(
A
H
A
)
−
1
A
H
b
hat{x}=(A^HA)^{-1}A^Hb
x^=(AHA)−1AHb。
x
^
hat{x}
x^为
A
x
−
b
Ax-b
Ax−b的唯一最小二乘解。
6 正交矩阵和酉矩阵
-
正交矩阵定义
设
A
∈
R
n
×
n
Ain R^{ntimes n}
A∈Rn×n,
A
A
A的所有列向量构成
R
n
R^n
Rn的标准正交集,具有
R
n
R^n
Rn上的标准内积。
-
酉矩阵定义
设
A
∈
C
n
×
n
Ain C^{ntimes n}
A∈Cn×n,
A
A
A的所有列向量构成
C
n
C^n
Cn的标准正交集,具有
C
n
C^n
Cn上的标准内积。
易知,正交矩阵也是酉矩阵。
-
正交矩阵和酉矩阵的充要条件
A
A
A是正交矩阵当且仅当
A
T
A
=
I
A^TA=I
ATA=I
A
A
A是酉矩阵当且仅当
A
H
A
=
I
A^HA=I
AHA=I
-
若
A
∈
C
n
×
n
Ain C^{ntimes n}
A∈Cn×n,则以下条件等价
原文地址:https://blog.csdn.net/hzf0701/article/details/134737638
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.7code.cn/show_24458.html
如若内容造成侵权/违法违规/事实不符,请联系代码007邮箱:suwngjj01@126.com进行投诉反馈,一经查实,立即删除!