用循环矩阵作为预处理共轭梯度法的预处理矩阵始于1986年。在《Toeplitz系统预处理方法》中,作者主要从理论的角度研究了一些著名的预处理矩阵,并给出了其在求解常微分方程系统中的应用。《Toeplitz系统预处理方法》包含了近些年得到的关
304 139 5MB
Chinese Pages 120 [128] Year 2013
内容简介 用循环矩阵作为预处理共轭梯度法的预处理矩阵始于 1986 年。在这 本薄书中 , 作者主要从理论的角度研究了一些著名的预处理矩阵 , 并给 出了其在求解常微分方程系统中的应用。本书包含了近些年得到的关于 Toeplitz 快速迭代解法的一些重要的研究成果 , 它可为科学计算相关专业 的高年级本科生所接受 , 要求读者只要具有线性代数、微积分、数值分析 和科学计算的基本知识即可。同时,本书也可作为对 Toeplitz 快速迭代算 法感兴趣的科研和工程计算人员的参考书。 金小庆博士是澳门大学数学系的教授。他已出版了 6 本书 , 发表了 80 多篇学术论文。同时 , 他还是众多国际期刊的编委。
图书在版编目(C I P)数据 Toeplitz 系统预处理方法 / 金小庆著 . -- 北京 : 高等教育出版社,2013. 3 ISBN 978-7-04-036950-2 Ⅰ. ① T… Ⅱ. ①金… Ⅲ. ①矩阵 - 前处理 Ⅳ . ① O241.6 中国版本图书馆 CIP 数据核字(2013)第 025266 号
策划编辑 王丽萍 责任校对 李大鹏
责任编辑 李华英 责任印制 韩 刚
封面设计 张 楠
版式设计 杜微言
出版发行 社 址 邮政编码 印 刷 开 本 印 张 字 数 购书热线
高等教育出版社 北京市西城区德外大街4号 100120 涿州市星河印刷有限公司 787mm×1092mm 1/16 8.5 130千字 010-58581118
咨询电话 400-810-0598 网 址 http://www.hep.edu.cn http://www.hep.com.cn 网上订购 http://www.landraco.com http://www.landraco.com.cn 版 次 2013 年 3 月第 1 版 印 次 2013 年 3 月第 1次印刷 定 价 29.00元
本书如有缺页、倒页、脱页等质量问题,请到所购图书销售部门联系调换 版权所有 侵权必究 物 料 号 36950-00
Toeplitz , ,
[24, 28, 40, 47, 56, 61, 73], . , Toeplitz . ( PCG ) Toeplitz 1986 [74, 81]. n × n Toeplitz Tn x = b, O(n log n). , .
, , ( ODE) . . , . Krylov : ( CG ) ( GMRES ). CG Toeplitz .
· ii ·
, Strang s(Tn ), Strang 1986 [81].
Toeplitz Tn , , . s(Tn ) PCG . Strang Hermite Toeplitz . , T. Chan [35]. Toeplitz Tn , T. Chan cF (Tn ),
, Tn − Wn F , · F
Frobenius , Wn . cF (Tn ) PCG , T. Chan .
[87]. Toeplitz Tn , tF (Tn ) In − Wn−1 Tn F
, In n × n , Wn . tF (Tn ) PCG , . , . , Toeplitz [32] {ω}– [75] Toeplitz .
PCG Tmn x = b, Tmn
m × m Toeplitz , n × n Toeplitz . Tmn , . , Toeplitz , . , ( BVM) ODE [9, 29].
, GMRES
· iii ·
. Aν1 ,ν2 – BVM m × m ODE , I + L, I , L 2m(ν1 + ν2 ) . , GMRES , 2m(ν1 + ν2 ) + 1 . MATLAB . Toeplitz
. [24, 56, 73] , , , . , Toeplitz . , . , . , , Toeplitz , .
( ), . , : . , , MATLAB . , —— , .
. , , . RG-UL/07-08S/Y1/JXQ/FST UL020/08-Y2/MAT/JXQ01/FST . ——
· iv ·
: , [82]. , , . ! 11201192 SBK201220691 12KJB110004 . —— 2013 2
· · · · · · · · · · · · · · · · · · · · · · · · · ·
1
§1.1 · · · · · · · · · · · · · · · ·
1
§1.1.1 · · · · · · · · · · · · ·
1
§1.1.2 Hermite · · · · · · · · · · · · · ·
3
§1.1.3 · · · · · · · · · · · · · · · · · · ·
5
§1.2 Toeplitz · · · · · · · · · · · · · · · · · · · · · · ·
9
§1.3 · · · · · · · · · · · · · · · · · · · · · · · · 11 §1.4 · · · · · · · · · · · · · · · · · · · · · 17 §1.5 Toeplitz · · · · · · · · · · · · · · 21 §1.5.1 · · · · · · · · · · · · · · · · · · 22 §1.5.2 · · · · · · · · · · · · · · · · · 25
Strang · · · · · · · · · · · · · · 28
§2.1 · · · · · · · · · · · · · · · · · · · · · · · · · · · · 28
· ii ·
§2.2 · · · · · · · · · · · · · · · · · · · · · · · · · 30
T. Chan · · · · · · · · · · · · · 35
§3.1 · · · · · · · · · · · · · · · · · · · · · · · · · · · · 35 §3.2 · · · · · · · · · · · · · · · · · · · · · · · · · 39 §3.3 · · · · · · · · · · · · · · · · · · 41 §3.3.1 · · · · · · · · · · · · · 41 §3.3.2 · · · · · · · · · · · · · 42 §3.3.3 Hartley · · · · · · · · · · · 42 §3.3.4 · · · · · · · · · · · · · · · 43 §3.4 cU · · · · · · · · · · · · · · · · · · · · · · · 43 §3.5 · · · · · · · · · · · · · · · · · · · · · · · · · · 48
· · · · · · · · · · · · · · · · · · 51
§4.1 · · · · · · · · · · · · · · · · · · · · · · · · · · · · 51 §4.2 · · · · · · · · · · · · · · · · · · · · · · · · · 53 §4.3 · · · · · · · · · · · · · · · · · · 55 §4.4 · · · · · · · · · · · · · · · · · · · · · · · · · 58
Toeplitz · · · · · · · · · · · · · · · · · 60
§5.1 Toeplitz · · · · · · · · · · · · · · · · 60 §5.2 {ω} – · · · · · · · · · · · · · · · · · · 63 §5.2.1 · · · · · · · · · · · · · · · · · 64 §5.2.2 · · · · · · · · · · · · · · · · · · · · · · · 64
· · · · · · · · · · · · · · · · · · · · · 69 (b)
§6.1 cU · · · · · · · · · · · · · · · · · · · · · · · · · 70
§6.2 · · · · · · · · · · · · · · 76 §6.3 · · · · · · · · · · · · · · · · · · · · · · · · · 77 §6.4 · · · · · · · · · · · · · · · · · · · · · · · · · 85
· · · · · · · · · · · · · · · 86
§7.1 · · · · · · · · · · · · · · · · · · · 86 §7.1.1 · · · · · · · · · · · · · · · · · · 87 §7.1.2 · · · · · · · · · · · · · 90 §7.2 · · · · · · · · · · · · · · · · · · · · 92 §7.3 · · · · · · · · · · · · · · · · · · · · 95 §7.4 · · · · · · · · · · · · · · · · · · · · · · · · · 96
M · · · · · · · · · · · · · · · · · 99
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 105 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 114 · · · · · · · · · · · · · · · · · · · · · · · · · · · · 117
· iii ·
“,
. ” —— [84] , . , : ( CG ) ( GMRES ). , Toeplitz .
§1.1 , .
§1.1.1 , .
·2·
— R ; C ; i ≡
√ −1; Rn n
; Cn n . , , , . Rm×n m × n ; Cm×n m × n . dim(S) S . — , A, B, C, Δ, Λ , ; , x, y, z , . — (A)ij = aij A = (aij ) (i, j) .
n × n , i j 1 n,
0 n − 1. AT A∗ A n aii ; rank(A) A ; tr(A) ≡ i=1
A ; ⎛ ⎜ ⎜ ⎜ diag(a11 , . . . , ann ) = ⎜ ⎜ ⎜ ⎝
a11
0
0 .. .
a22 .. .
··· .. . .. .
0
···
0
⎞ 0 .. ⎟ ⎟ . ⎟ ⎟ ⎟ 0 ⎟ ⎠ ann
n × n ; In n × n , , I; ej I j . — A ∈ Rn×n , AT = A. A
( ), x ∈ Rn , xT Ax > 0 ( 0). A ∈ Cn×n Hermite , A∗ = A. Hermite A ( ), x ∈ Cn , x∗ Ax > 0 ( 0). — A ∈ Cn×n . x ∈ Cn λ ∈ C Ax = λx, λ A , x A λ
§1.1
. , Hermite , λmin (A) λmax (A) Hermite A .
ρ(A) ≡ max |λi (A)| A , λi (A) A . A A . — Amn m × m n × n
; (Amn )i,j;k,l Amn (k, l) (i, j) . — · ; · 1 , · 2 , · ∞
p – , p 1, 2, ∞. — C2π 2π f (x) ; C+ 2π
C2π f (x) 0 , f (x) ; C2π×2π 2π ( ) f (x, y) .
§1.1.2 Hermite Hermite .
[50, 61, 84, 93], . 1.1 () A ∈ Cn×n Hermite , Q ∈ Cn×n Λ ∈ Rn×n , A = QΛQ∗ . M ∈ Cn×n , M −1 = M ∗ . 1.2 (Cauchy ) A ∈ Cn×n Hermite , λ1 λ2 · · · λn .
μ1 μ2 · · · μm
A m , λk μk λk+n−m ,
·3·
·4·
k = 1, 2, . . . , m. 1.3 (Weyl ) A, E ∈ Cn×n Hermite , λi (A), λi (E) λi (A + E) . k = 1, 2, . . . , n, λk (A) + λ1 (E) λk (A + E) λk (A) + λn (E).
1.4 (Courant-Fischer ) A ∈ Cn×n Hermite , λ1 λ2 · · · λn .
k = 1, 2, . . . , n, λk =
=
minn
S⊆C dim(S)=k
max
0=x∈S
maxn
S⊆C dim(S)=n−k+1
x∗ Ax = x∗ x
min
0=x∈S
min
max x∗ Ax
x∈S S⊆Cn dim(S)=k x2 =1
x∗ Ax = x∗ x
S Cn , x2 =
min x∗ Ax,
max
x∈S S⊆Cn dim(S)=n−k+1 x2 =1
n
|xi |2
1/2
,
i=1
x = (x1 , x2 , . . . , xn )T ∈ Cn .
, x∗ Ax = min x∗ Ax, x=0 x∗ x x2 =1 x∗ Ax λn = max ∗ = max x∗ Ax. x=0 x x x2 =1
λ1 = min
, . [50], A ∈ C
m×n
, m n, U ∈ Cm×n U ∗ U = I
V ∈ Cn×n V ∗ V = I, A = U ΔV ∗ ,
Δ = diag(σ1 , σ2 , . . . , σn ), σ1 σ2 · · · σn 0. σk (k = 1, 2, . . . , n) A . , A∗ A σk2 , k = 1, 2, . . . , n.
·5·
§1.1
§1.1.3
,
, c ∈ C |c| . , Cn Cn×n , . , . , , . 1.5 x = (x1 , x2 , . . . , xn )T ∈ Cn , Cn , x ∈ Cn x, x , x, y ∈ Cn α ∈ C : (a) x 0
(x = 0 x = 0);
(b) αx = |α| · x; (c) x + y x + y.
p – , xp ≡
n
|xi |p
1/p
,
i=1
p 1. p – : x1 =
n
|xi |,
x2 =
n
i=1
|xi |2
1/2
,
x∞ = max |xi |.
i=1
1in
Cn , Cn
.
, · α · β Cn , c1 c2 , x ∈ Cn [50] c1 xα xβ c2 xα .
x2 x1
√
nx2 ,
x∞ x2
√ nx∞ .
·6·
, x∞ =
max |xi |2
1/2
1in
n max |xi |
2
x2 ≡
1/2
1in
n
|xi |2
1/2
i=1
√ = nx∞ .
. A = (aij ) ∈ Cn×n A = (c1 , c2 , . . . , cn ),
⎛
⎞ r1
⎜ ⎟ ⎜ ⎟ ⎜ r2 ⎟ ⎟ A=⎜ ⎜ .. ⎟ . ⎜ . ⎟ ⎝ ⎠ rn
1.6 A = (aij ) ∈ Cn×n , , A ∈ Cn×n A, A , A, B ∈ Cn×n α ∈ C : (a) A 0
(A = 0 A = 0);
(b) αA = |α| · A; (c) A + B A + B; (d) AB A · B.
, “” . · v , · M
AM ≡ max x=0
Axv = max Axv . xv xv =1
p – p – , p = 1, 2, ∞. [44, 61]: A1 ≡ max Ax1 = max x1 =1
1jn
n i=1
|aij | = max cj 1 , 1jn
·7·
§1.1
A∞ ≡ max Ax∞ = max x∞ =1
1in
A2 ≡ max Ax2 =
x2 =1
n
|aij | = max ri 1
j=1
1in
λmax (A∗ A) = σmax (A),
(1.1)
λmax (A∗ A) A∗ A , σmax (A) A
. , (1.1) . A2 = max Ax2 = max [(Ax)∗ (Ax)]1/2 x2 =1
x2 =1
∗
∗
= max [x (A A)x]1/2 . x2 =1
A∗ A Hermite , : 0 λ1 λ2 · · · λn .
1.1, v1 , . . . , vn ∈ Cn λ1 , . . . , λn . x ∈ Cn , x2 = 1, n n x= αi vi , |αi |2 = 1. i=1
i=1
x∗ A∗ Ax =
n
λi |αi |2 λn .
i=1
, x = vn , x∗ A∗ Ax = vn∗ A∗ Avn = vn∗ λn vn = λn .
A2 = max Ax2 = x2 =1
λn = λmax (A∗ A) = σmax (A).
Frobenius , n n n n
1/2
1/2
1/2 AF ≡ |aij |2 = cj 22 = ri 22 j=1 i=1
= [tr(A∗ A)]1/2 =
n k=1
j=1
1/2 λk (A∗ A) ,
i=1
·8·
tr(A∗ A) A∗ A . · 2 · F
, . 1.7 A ∈ Cn×n , Q Z, A2 = QAZ2 ,
AF = QAZF .
y = Qx, x ∈ Cn . · 2 ,
y22 = y∗ y = (Qx)∗ (Qx) = x∗ Q∗ Qx = x∗ x = x22 .
· 2 , (1.1) QAZ22 = λmax [(QAZ)∗ (QAZ)] = λmax (Z ∗ A∗ AZ) = λmax (A∗ A) = A22 .
· F , AZ = W = (w1 , w2 , . . . , wn ).
· 2 , QAZ2F = QW 2F =
n
Qwj 22 =
j=1
n
wj 22
j=1
= W 2F = AZ2F .
AZ2F = A2F . A , · 2 , AZ2F =
n
ri Z22 =
i=1
=
n
n
Z ∗ r∗i 22
i=1
r∗i 22 = A2F .
i=1
2
, . 1.8 A ∈ Cn×n , ·, ρ(A) A.
x ∈ Cn x = 0,
Ax = λx,
|λ| = ρ(A).
§1.2
·9·
Toeplitz
ρ(A)xeT1 = λxeT1 = AxeT1 A · xeT1 ,
e1 = (1, 0, . . . , 0)T ∈ Rn n 1 . ρ(A) A. 2
(1.1) 1.8 , Hermite H · , H2 = max
1jn
λ2j (H) = max |λj (H)| = ρ(H) H. 1jn
(1.2)
, . ·
, A . A κ(A) ≡ A · A−1 .
, , · 2 . κ(A)
, A . , κ(A) , A . Ax = b , . [44, 61].
§1.2 Toeplitz , Toeplitz , Toeplitz . n × n Toeplitz ⎞ ⎛ t0 t−1 · · · t2−n t1−n ⎟ ⎜ ⎜ t t0 t−1 · · · t2−n ⎟ ⎟ ⎜ 1 ⎜ . .. ⎟ .. ⎟ ⎜ . (1.3) Tn = ⎜ . . . ⎟, t1 t0 ⎟ ⎜ ⎟ ⎜ . . . .. .. .. ⎜ tn−2 t−1 ⎟ ⎠ ⎝ tn−1 tn−2 · · · t1 t0 tij = ti−j , Tn
. Toeplitz O. Toeplitz 1911 Laurent
· 10 ·
[83]. . , Laplace Toeplitz , :
⎞ −1 · · · 0 ⎜ .. ⎟ .. ⎟ ⎜ . ⎜ −1 2 . ⎟ ⎟. ⎜ ⎟ ⎜ . .. .. ⎜ .. . . −1 ⎟ ⎠ ⎝ 0 · · · −1 2 ⎛
2
Toeplitz Tn x = b , b , x . Toeplitz [14, 16, 24, 28, 40, 47, 56, 64, 73], ! Toeplitz , Toeplitz . Toeplitz . , Gauss , O(n3 ), n () . , n × n Toeplitz 2n − 1 n2 , " O(n3 )
Toeplitz . 1946 , Levinson O(n2 ) [70]. , , [48, 85, 94]. Tn (n − 1) × (n − 1) . O(n log2 n) (superfast) Toeplitz 20 # 80 [1, 12, 15]. Tn n/2 × n/2 . Bunch [16] , Toeplitz . , Tn , , . , Toeplitz .
§1.3
Strang [81] Olkin [74] 1986
( PCG ) Toeplitz . , n × n Toeplitz Tn x = b, O(n log n). , PCG Toeplitz 20 [24, 56, 73]. , Toeplitz , , . Toeplitz , Toeplitz ( ODE) . . , ( CG ), ( GMRES ).
§1.3 CG Hermite () Hn x = b
, [3, 44, 45, 61, 76]. x(0) (Hn x(0) ≈ b), Hn x = b CG [44] .
· 11 ·
· 12 ·
⎧ ⎪ ⎪ k=0 ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ r(0) = b − Hn x(0) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ while r(k) = 0 ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ k =k+1 ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ if k = 1 ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ p(1) = r(0) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ else ⎪ ⎨ ∗ ∗ βk = r(k−1) r(k−1) /r(k−2) r(k−2) ⎪ ⎪ ⎪ ⎪ ⎪ p(k) = r(k−1) + βk p(k−1) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ end ⎪ ⎪ ⎪ ⎪ ∗ ∗ ⎪ ⎪ αk = r(k−1) r(k−1) /p(k) Hn p(k) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ x(k) = x(k−1) + αk p(k) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ r(k) = r(k−1) − αk Hn p(k) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ end ⎪ ⎪ ⎪ ⎪ ⎩ x = x(k)
r(k) p(k) , αk βk , x(k) k . Hn p(k) , O(n2 ) . Hermite , 1.1 . , CG , (clustered spectrum) [28, 56, 73, 88]. Hn Hn
. 1.9 Hermite {Hn }∞ n=1 1 (clustered spectra around 1) : > 0, M N > 0
n > N , Hn − In M , In . 1.1.
§1.3
· 13 ·
1−
0
1
1+
?
? -
1.1 1
, CG . , . 1.10 0 < λ1 · · · λn Hermite Hn , p(t) t . v ∈ Cn p(Hn )vHn max |p(λj )| · vHn , 1jn
· Hn v2Hn ≡ v∗ Hn v .
y1 , y2 , . . . , yn Hn λ1 , λ2 , . . . , λn
. 1.1, y1 , y2 , . . . , yn Cn n βi yi . . , v ∈ Cn , v = i=1
v∗ p(Hn )Hn p(Hn )v =
n
∗
βi p(λi )yi Hn
n
i=1
=
n
βi p(λi )yi
i=1
λi βi2 p2 (λi ) max p2 (λj ) 1jn
i=1 2
n
λi βi2
i=1
∗
= max p (λj )v Hn v. 1jn
p(Hn )vHn max |p(λj )| · vHn . 1jn
2
, · · Hn . e(k) ≡ x − x(k) ,
(1.4)
x(k) CG Hn x = b k , x .
· 14 ·
1.11 e(k) min max |pk (λi )|, e(0) pk ∈Pk 1in
Pk k pk , λi (i = 1, 2, . . . , n) Hn .
CG k ,
[44, 61] x(k) : x(k) − x = min{y − x : y ∈ x(0) + K(Hn , r(0) , k)},
x Hn x = b , r(0) = b − Hn x(0) , K(Hn , r(0) , k) ≡ span{r(0) , Hn r(0) , . . . , Hnk−1 r(0) }
Krylov . y ∈ x(0) + K(Hn , r(0) , k), y = x(0) +
k
αj Hnj−1 r(0) .
j=1
x − y = x − x(0) −
k
k αj Hnj−1 r(0) = Hn−1 r(0) − αj Hnj r(0)
j=1
=
j=1
Hn−1 pk (Hn )r(0) ,
pk ∈ Pk . 1.10 x − x(k) = min{x − y : y ∈ x(0) + K(Hn , r(0) , k)} = min Hn−1 pk (Hn )r(0) = min pk (Hn )Hn−1 r(0) pk ∈Pk
min max |pk (λi )| · pk ∈Pk 1in
pk ∈Pk
Hn−1 r(0)
= min max |pk (λi )| · x − x(0) , pk ∈Pk 1in
e(k) min max |pk (λi )|. e(0) pk ∈Pk 1in 2
§1.3
1.11, pn (z) =
n λi − z i=1
λi
∈ Pn ,
e(n) max |pn (λi )| = 0. e(0) 1in
x(n) Hn x = b ,
, CG n . CG
, [44, 76]. 1.12 CG , e(k) 2 e(0)
√ κ2 − 1 k , √ κ2 + 1
e(k) (1.4), κ2 = κ2 (Hn ) = Hn 2 Hn−1 2 . , , [89] [73, p.16]. 1.13 Hn λj 0 < λ1 · · · λp b1 λp+1 · · · λn−q b2 λn−q+1 · · · λn ,
b1 b2 , k p + q, ⎫ ⎧ ⎬ k−p−q p n ⎨ (k) α−1 λ − λj λj − λ e 2 max , ⎭ α+1 λ λj λ∈[b1 ,b2 ] ⎩ e(0) j j=1 j=n−q+1 e(k) (1.4), α ≡ (b2 /b1 )1/2 1. b1 λ b2 n − q + 1 j n, 0
λj − λ < 1, λj
1.13 .
· 15 ·
· 16 ·
1.14 1.13 , k−p−q p α−1 λ − λj e(k) max 2 . α+1 λ∈[b1 ,b2 ] λj e(0) j=1 p q n , α > 1, n λ1 , 1.14 , α−1 e(k+1) = = c, (k) α+1 e
0 < c < 1. , CG n. , , α ≈ 1, . , 1.15 Hn λj 0 < δ < λ1 · · · λp 1 − λp+1 · · · λn−q 1 + λn−q+1 · · · λn ,
0 < < 1, e(k) 2 e(0)
1+ δ
p
k−p−q ,
k p + q.
1.14 α, 1/2 1/2 b2 1+ α≡ = . b1 1− √ 1 − 1 − 2 α−1 = < . α+1
0
λ − λj 1+ , < λj δ
1 j p, λ ∈ [1 − , 1 + ]. , 1.14 k−p−q p p α−1 λ − λj 1+ e(k) 2 max k−p−q . 2 α+1 λ δ λ∈[b1 ,b2 ] e(0) j j=1 2
§1.4
· 17 ·
, n . , → 0 n → ∞. > 0, p q n , n , λmin (Hn ) δ , 1.15 e(k+1) = . e(k)
k n n → ∞, e(k+1) = 0, k→∞ e(k) lim
CG . , [82, p.13].
$ ? Hermite Hn , . > 0, M N > 0 n > N , Hn Hn = In + Kn + Ln ,
(1.5)
Kn Ln Hermite , Kn 2 < , rank(Ln ) < M .
1.3 , Hn 1. , (1.5) In + Kn (1 − , 1 + ) , Ln M . Weyl , Hn M , (1 − , 1 + ) . , λmin (Hn ) , Hn 1.15 . CG Hn x = b , . (1.5) .
§1.4 Hermite () CG . An x = b, GMRES .
· 18 ·
GMRES Saad Schultz 1986 ,
[77]. GMRES [44, 61, 76]. x(0) (An x(0) ≈ b), GMRES [76] x, An x = b. ⎧ ⎪ ⎪ r(0) = b − An x(0) , β = r(0) 2 , v(1) = r(0) /β ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ for j = 1 : k ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ w(j) = An v(j) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ for i = 1 : j ⎪ ⎪ ⎪ T ⎪ ⎪ ⎪ hij = w(j) v(i) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ w(j) = w(j) − hij v(i) ⎪ ⎨ end ⎪ ⎪ ⎪ ⎪ ⎪ hj+1,j = w(j) 2 ; hj+1,j = 0, k = j (∗) ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ v(j+1) = w(j) /hj+1,j ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ end ⎪ ⎪ ⎪ ⎪ ⎪ (k) y2 y(k) . ⎪ (∗) βe1 − H ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ x(k) = x(0) + V(k) y(k) ⎪ ⎪ ⎪ ⎪ ⎩ x = x(k) (k) = (hij )1ik+1,1jk . V(k) = (v(1) , v(2) , . . . , v(k) ) ∈ H Rn×k , k n.
, GMRES m (m n) ( GMRES(m) ).
m
, . GMRES . , [66], k , x(k) min
y∈x(0) +K(An ,r(0) ,k)
b − An y2
, r(0) = b − An x(0) , (0) K(An , r(0) , k) ≡ span{r(0) , An r(0) , . . . , Ak−1 }. n r
§1.4
y = x(0) +
k−1
· 19 ·
γj Ajn r(0) ∈ x(0) + K(An , r(0) , k),
j=0
r = b − An y = b − An x(0) −
k−1
(0) γj Aj+1 = r(0) − n r
j=0
k
γj−1 Ajn r(0) .
j=1
r = pk (An )r(0) ,
pk ∈ Pk , Pk k pk (0) = 1 . , . 1.16 x(k) k GMRES , r(k) 2 = min pk (An )r(0) 2 min pk (An )2 r(0) 2 , pk ∈Pk
pk ∈Pk
r(k) 2 min pk (An )2 . pk ∈Pk r(0) 2
, CG , 1.17 n , GMRES An x = b .
An q(z) ≡ det(zI − An ),
q(z) n, q(0) = (−1)n det(An ) = 0, pn (z) =
q(z) ∈ Pn . q(0)
Cayley-Hamilton [50, p.86], pn (An ) =
q(An ) = 0. q(0)
· 20 ·
1.16 r(n) = b − An x(n) = 0.
x(n) An x = b .
2
An , An = V ΛV −1 , Λ , pk pk (An ) = V pk (Λ)V −1 .
1.18 An = V ΛV −1 , r(k) 2 κ2 (V ) min max |pk (λi )|, pk ∈Pk 1in r(0) 2
λi (i = 1, 2, . . . , n) An , κ2 (V ) = V 2 V −1 2 .
1.16
r(k) 2 = min pk (An )r(0) 2 = min V pk (Λ)V −1 r(0) 2 pk ∈Pk
pk ∈Pk
min V 2 V
−1
pk ∈Pk
2 pk (Λ)2 r(0) 2
= κ2 (V ) min pk (Λ)2 r(0) 2 pk ∈Pk
= κ2 (V ) min max |pk (λi )| · r(0) 2 . pk ∈Pk 1in
2
A∗n An = An A∗n An . An , An = V ΛV ∗ , V [50].
κ2 (V ) = 1, r(k) 2 min max |pk (λi )|. pk ∈Pk 1in r(0) 2
1.19 An k , GMRES k .
pk (z) =
k λi − z i=1
λi
∈ Pk ,
§1.5
· 21 ·
Toeplitz
λi (i = 1, 2, . . . , k) An . 1.18 r(k) = 0, An x(k) = b.
2
, GMRES . , [45] , GMRES , . , n × n : ⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝
⎞
0
1
0
···
0
0 .. .
0 .. .
1 .. .
··· .. .
0 .. .
0
0
···
0
c0 c1 · · ·
⎟ ⎟ ⎟ ⎟ ⎟ ⎟. ⎟ ⎟ 1 ⎟ ⎠
cn−2 cn−1
, z n −
n−1
cj z j ,
j=0
c0 , c1 , . . . , cn−1 . , r(0) e1 = (1, 0, . . . , 0)T , GMRES n [45, p.56] (
%). , , , ! 1 . [61, p.103], GMRES , ODE .
1.20 GMRES An x = b , An = I + L, rank(L) + 1 .
§1.5 Toeplitz , Toeplitz . .
· 22 ·
§1.5.1 , , . , CG . CG , Hermite Hn x = b, ˜ nx ˜ = b, H 1/2 ˜ = Mn−1/2 b, Mn Hermite n = Mn−1/2 Hn Mn−1/2 , x ˜ = Mn x, b H
. Mn [3, 24, 56, 61, 73]: (i) Mn ; (ii) Mn y = d ; n H n Hn . (iii) H ˜ nx ˜ = b, CG H
Mn−1 Hn v, v [44, 61, 76]. Strang [81] Olkin [74] , Toeplitz Tn ,
Cn , Cn−1 Tn v , O(n log n). : ⎛
c0
c−1
···
⎜ ⎜ c c0 c−1 ⎜ 1 ⎜ . ⎜ Cn = ⎜ .. c0 c1 ⎜ ⎜ . .. .. ⎜ cn−2 . ⎝ cn−1 cn−2 · · ·
c2−n c1−n ··· .. . .. . c1
c−k = cn−k , 1 k n − 1. ,
⎞
⎟ c2−n ⎟ ⎟ .. ⎟ ⎟ . ⎟, ⎟ ⎟ c−1 ⎟ ⎠ c0
§1.5
· 23 ·
Toeplitz
⎛
⎞ α β
δ
η
γ
⎜ ⎟ ⎜ ⎟ ⎜γ α β δ η⎟ ⎜ ⎟ ⎜ ⎟ ⎜η γ α β δ⎟ ⎜ ⎟ ⎜ ⎟ ⎜δ η γ α β⎟ ⎝ ⎠ β δ η γ α
. Fn [41], Cn = Fn∗ Λn Fn ,
(1.6)
√ 1 Fn (Fn )jk = √ e2πijk/n , 0 j, k n − 1, i ≡ −1, n Λn , Cn . Fn∗ Fn = In , Fn . 1 (1.6), Fn √ 1n , 1n = (1, 1, . . . , 1)T n 1 . 1 Fn Cn e1 = √ Λn 1n , n
(1.7)
e1 . , Λn Cn (c0 , c1 , . . . , cn−1 )T (FFT) [44] , O(n log n). , (1.7) Λn λk (k = 0, 1, . . . , n− 1)
λk =
n−1
cj e2πijk/n .
(1.8)
j=0
Λn , Cn y Cn−1 y FFT , O(n log n). , Fn F . , Tn v FFT . , Tn (1.3)
· 24 ·
, 2n × 2n : ⎛
⎞ .. t t · · · t t · · · t t . 0 t 0 −1 2−n 1−n n−1 2 1 ⎜ ⎟ ⎜ ⎟ .. .. .. .. .. ⎜ ⎟ . t2−n . t1−n . . . t2 ⎟ t0 0 ⎜ t1 ⎜ ⎟ .. ⎟ .. .. .. ⎜ .. .. .. .. .. .. .. ⎜ . ⎟ . . . . . . . . . . ⎜ ⎟ ⎜ ⎟ . .. .. .. .. ⎜t . . . . . t0 0 tn−1 ⎟ t−1 . t−2 ⎜ n−2 ⎟ ⎜ ⎟ .. ⎜ ⎟ ⎜ tn−1 tn−2 · · · t1 t0 0 ⎟ . t−1 t−2 · · · t1−n ⎜ ⎟ ⎜ ⎟ ⎜ .............................................................. ⎟. ⎜ ⎟ ⎜ ⎟ .. ⎜ 0 . t0 tn−1 · · · t2 t1 t−1 · · · t2−n t1−n ⎟ ⎜ ⎟ ⎜ ⎟ .. .. .. .. .. ⎜ . . t2−n ⎟ . . 0 t2 t0 . t1 ⎜ t1−n ⎟ ⎜ ⎟ ⎜ .. . . . . .. .. .. .. .. .. .. .. .. .. ⎟ ⎜ . ⎟ . . . . . . ⎜ ⎟ ⎜ ⎟ . .. .. .. .. ⎜t . . . . . 0 tn−1 . tn−2 t0 t−1 ⎟ ⎜ −2 ⎟ ⎝ ⎠ .. t t ··· t 0 . t t ··· t t −1
−2
n−1
1−n
n−2
1
0
Tn v ⎛ ⎞⎛ ⎞ ⎛ ⎞ Tn × v Tn v ⎝ ⎠⎝ ⎠ = ⎝ ⎠. 0 × Tn † (1.6)
⎛ ⎝
Tn
×
×
Tn
⎞ ∗ ⎠ = F2n Λ2n F2n ,
2n FFT, O 2n log(2n) . PCG
O(n log n). , PCG , O(n log n). Toeplitz O(n log2 n) [1, 12, 15] , PCG . Toeplitz [28].
§1.5
Toeplitz
§1.5.2 , —— Toepitz . 1.13 1.15 , Cn Toeplitz Tn x = b , PCG Cn−1 Tn , n . Tn (1 n < ∞) , Tn {tk }n−1 k=−n+1 f , 1 tk (f ) ≡ 2π
ˆ
π
f (x)e−ikx dx,
−π
f Tn . , Toeplitz f , Tn (f ) (1 n < ∞). , f Toeplitz Tn [28, 56, 73]. , — : f ; — : f ; — : f ; — : f ; — :
f .
, f &, Tn . : (i) f , n, Tn (f ) Hermite . (ii) f (f (−x) = f (x)) , n, Tn (f )
. C2π [−π, π] 2π . [46, pp.64–65] f Tn (f ) . 1.21 (Grenander-Szeg¨ o ) Tn (1.3) , f (x) ∈ C2π . fmin fmax f (x)
· 25 ·
· 26 ·
, fmin λmin (Tn ) λmax (Tn ) fmax ,
(1.9)
λmin (Tn ) λmax (Tn ) Tn . 2πj , fmin > 0 , Tn . , λj (Tn ) f n (j = 0, 1, . . . , n − 1) , g ∈ C2π , n−1 2πj
1 g λj (Tn ) − g f =0 n→∞ n n j=0
lim
. ∗
u Tn u =
(1.9) . u = (u0 , u1 , . . . , un−1 )T ∈ Cn , n−1 n−1
tp−q u ¯ p uq =
p=0 q=0
=
1 2π
ˆ
π
−π
n−1 n−1 p=0 q=0
1 2π
ˆ
π
−π
f (x)e−i(p−q)x dx u¯p uq
n−1 2 u ¯k e−ikx f (x)dx.
(1.10)
k=0
x, fmin f (x) fmax . u u∗ u = u22 =
1 2π
ˆ
π
−π
n−1 2 u¯k e−ikx dx = 1, k=0
(1.10) fmin u∗ Tn u fmax .
1.4, fmin λmin (Tn ) = min u∗ Tn u max u∗ Tn u = λmax (Tn ) fmax . u2 =1
u2 =1
2
1.21 Tn (f ) , . Tn x = b , . , , . .
§1.5
Toeplitz
C+ 2π C2π .
x0 ∈ [−π, π] f q , f (x0 ) = 0, q f (q) (x0 ) = 0 f (q+1) (x) x0
. Taylor
, & x f (x) =
f (q) (x0 ) (x − x0 )q + O (x − x0 )q+1 . q!
f , q
f (q) (x0 ) > 0.
1.21 , [20]. 1.22 f (x) ∈ C+ 2π fmin < fmax , n > 0 j = 1, 2, . . . , n,
fmin < λj Tn (f ) < fmax ,
λj (Tn ) Tn j . , f (x0 ) = 0 x0 ∈ [−π, π] 2p , n, Tn (f ) , 0 < λmin (Tn ) O(n−2p ).
1.22 , f 0 2p , Tn (f ) . , Tn κ2 (Tn ) =
λmax (Tn ) O(n2p ). λmin (Tn )
n , Tn . , f , Tn (f ) .
· 27 ·
Strang
“ , .” —— [41]
1986 , Toeplitz , [24, 28, 35, 40, 52, 56, 68, 73, 75, 81, 87]. Strang [81].
§2.1 Tn (1.3) , f (x) = ∞
Wiener , f
∞
tk eikx &
k=−∞
|tk (f )| < ∞,
k=−∞
tk (f ) =
1 2π
ˆ
π
f (x)e−ikx dx.
−π
Tn (f ) Hermite ( 1.5.2 ), Wiener
C2π [95].
§2.1
· 29 ·
Strang s(Tn ) ,
Tn
. , n =
2m + 1, s(Tn ) ⎧ ⎪ ⎪ 0 k m, t , ⎪ ⎨ k sk = tk−n , m < k n − 1, ⎪ ⎪ ⎪ ⎩ s¯−k , 0 < −k n − 1.
,
⎛
α β¯ γ¯
δ¯ η¯
⎞
⎟ ⎜ ⎟ ⎜ ⎜ β α β¯ γ¯ δ¯ ⎟ ⎟ ⎜ ⎟ ⎜ T5 = ⎜ γ β α β¯ γ¯ ⎟ , ⎟ ⎜ ⎟ ⎜ ⎜ δ γ β α β¯ ⎟ ⎠ ⎝ η δ γ β α
⎛
, ⎛ α ⎜ ⎜ ⎜β ⎜ ⎜ ⎜γ T6 = ⎜ ⎜ ⎜δ ⎜ ⎜ ⎜η ⎝ θ
β¯ γ¯
δ¯ η¯ θ¯
α β¯ γ¯ β α β¯ γ β α δ
γ β
η
δ
γ
⎞
⎟ ⎟ δ¯ η¯ ⎟ ⎟ ⎟ γ¯ δ¯ ⎟ ⎟, ⎟ β¯ γ¯ ⎟ ⎟ ⎟ α β¯ ⎟ ⎠ β α
α β¯ γ¯
⎜ ⎜ ⎜β ⎜ ⎜ s(T5 ) = ⎜ γ ⎜ ⎜ ⎜ γ¯ ⎝ β¯
n = 2m, s(Tn ) ⎧ ⎪ tk , ⎪ ⎪ ⎪ ⎪ ⎪ ⎨ 0 tm + t−m , 2 sk = ⎪ ⎪ tk−n , ⎪ ⎪ ⎪ ⎪ ⎩ s¯ , −k
(2.1)
⎞ γ
α β¯ γ¯ β α β¯ γ β α γ¯
γ β
β
⎟ ⎟ γ⎟ ⎟ ⎟ γ¯ ⎟ . ⎟ ⎟ ¯ β⎟ ⎠ α
0 k m − 1, k = m,
(2.2)
m < k n − 1, 0 < −k n − 1. ⎛
α β¯ γ¯
⎜ ⎜ ⎜β ⎜ ⎜ ⎜γ s(T6 ) = ⎜ ⎜ ⎜0 ⎜ ⎜ ⎜ γ¯ ⎝ β¯
⎞ 0
γ
α β¯ γ¯
0
β α β¯ γ¯ γ β α β¯ 0
γ β α
γ¯
0
γ
β
β
⎟ ⎟ γ⎟ ⎟ ⎟ 0⎟ ⎟, ⎟ γ¯ ⎟ ⎟ ⎟ β¯ ⎟ ⎠ α
¯ s(T6 ) 0 (δ + δ)/2. , n = 2m + 1. n = 2m , sm 0 (tm + t−m )/2.
· 30 ·
Strang
§2.2 s(Tn ) PCG Toeplitz Tn x = b , . 1.13 1.15 , [s(Tn )]−1 Tn , . , [s(Tn )]−1 Tn . . 2.1 f Wiener , · 2 , s(Tn ) [s(Tn )]−1 .
(1.8) , s(Tn ) j m λj s(Tn ) = tk e2πijk/n , k=−m
0 j n − 1.
∞
tk eikx x ∈ [−π, π] ",
k=−∞
> 0, N m > (N − 1)/2, ikx tk e < . |k|>m
, j m 2πj 2πj λj s(Tn ) = tk e2πijk/n − f +f n n k=−m m ∞ 2πj 2πijk/n 2πijk/n = tk e − tk e +f n k=−m k=−∞ 2πj =f tk e2πijk/n . − n |k|>m
§2.2
· 31 ·
fmin − fmin − tk e2πijk/n λj s(Tn ) |k|>m fmax + tk e2πijk/n fmax + , |k|>m
fmin fmax f (x) . f [−π, π] , 0 < δ fmin f (x) fmax < ∞,
δ (> ) , s(Tn )2 = max λj s(Tn ) fmax + < ∞ 0jn−1
[s(Tn )]−1 2 =
max
0jn−1
λj [s(Tn )]−1 =
min
0jn−1
1 λj s(Tn )
1 < ∞. fmin − 2
Tn − s(Tn ) . [31] ! , ! [19] . 2.2 f Wiener , > 0, M N > 0, n > N , Tn − s(Tn ) M .
Bn ≡ Tn (f )−s Tn (f ) Hermite Toeplitz
, bij = bi−j ⎧ ⎪ ⎪ 0, 0 k m, ⎪ ⎨ bk = tk − tk−n , m < k n − 1, ⎪ ⎪ ⎪ ⎩ ¯b , 0 < −k n − 1. −k
· 32 ·
Strang
f & Wiener , > 0, N > 0 ∞ (N ) |tk | < /2. m > N . Un Bn k=N +1
(n − N ) × (n − N ) n × n .
, rank(Un(N ) ) 2N . Wn(N ) ≡ Bn − Un(N ) , Wn(N ) (n − N ) × (n − N )
Bn (n − N ) × (n − N ) , Toeplitz
. Wn(N ) " ( (n − N − 1) ), Wn(N ) 1
=
n−N −1 k=m+1
(N )
Wn
|bk | =
n−N −1
|tk − tk−n | 2
k=m+1
n−N −1
|tk | < .
k=N +1
Hermite , (1.2) Wn(N ) 2 Wn(N ) 1 < ,
Wn(N ) (−, ) . Weyl ( 1.3),
Bn = Tn − s(Tn ) M ≡ 2N " . 2 , . 2.1 2.2 . 2.3 f Wiener , > 0, M N > 0, n > N , [s(Tn )]−1 Tn − In
M .
2.2, > 0, N > 0
n > N, [s(Tn )]−1 Tn = In + [s(Tn )]−1 [Tn − s(Tn )] = In + [s(Tn )]−1 (Wn(N ) + Un(N ) ) = In + Kn + Ln ,
§2.2
· 33 ·
Kn = [s(Tn )]−1 Wn(N ) Ln = [s(Tn )]−1 Un(N ) . , rank(Ln ) min{rank(Un(N ) ), n} 2N.
, 2.1 2.2 Kn 2 = [s(Tn )]−1 Wn(N ) 2 [s(Tn )]−1 2 Wn(N ) 2 .
, [s(Tn )]−1 Tn − In M ≡ 2N " . 2
, n, [s(Tn )]−1 Tn 1. , Courant-Fischer
( 1.4), Grenander-Szeg¨o
( 1.21) 2.1 0 0, M1 > 0 M2 > M1 , ∞
|tk |
M1 . .
m k=M1 +1
|tk | + 2
∞
|tk | <
k=m
2
· 40 ·
T. Chan
3.3 f ∈ C2π , cF (Tn ) [cF (Tn )]−1 · 2 .
Tn Hermite , 3.1 (iii) cF (Tn )
Hermite . 3.1 (iii) 1.21, cF (Tn )2 = λmax cF (Tn ) λmax (Tn ) fmax
[cF (Tn )]−1 2 =
1 1 1 . λmin (Tn ) fmin λmin cF (Tn ) 2
2.2 3.2 3.3, . . 3.4 f Wiener , > 0, M N > 0, n > N , [cF (Tn )]−1 Tn − In
M .
[cF (Tn )]−1 Tn = In +[cF (Tn )]−1 [Tn −s(Tn )]+[cF (Tn )]−1 [s(Tn )−cF (Tn )]. (3.5)
(3.5) , > 0, n , 3.2 3.3 [cF (Tn )]−1 [s(Tn ) − cF (Tn )]2 [cF (Tn )]−1 2 s(Tn ) − cF (Tn )2 < . (3.6)
(3.5) , 2.2 3.3, M N > 0 n > N , [cF (Tn )]−1 [Tn − s(Tn )] = Kn + Ln ,
(3.7)
Kn 2 < rank(Ln ) M . , n , (3.5) (3.6) (3.7) .
2
§3.3
3.4 , n , [cF (Tn )]−1 Tn 1. , 1.4 1.21 3.1 (iii) 0