Krylov部分空間

共役勾配法の計算手順において，残差を用いた． この残差はどこから来たのかを考える． まず，は

とかける．これを反復式とすると，

これで残差ベクトルがでてきた． さらに残差ベクトル間の関係を調べる．

よって，

同様にに関しても，

これらの式から，，は の線形結合で表されることがわかる．これを式にすると，

ここで，はベクトルの線形結合の集合で表される部分空間であり， 上式のような部分空間をクリロフ部分空間と呼ぶ．

の次元nは近似解を求めるための反復ごとに増えていく． そして，クリロフ部分空間内の任意の点はと書ける． ここでは次元がm-1以下の多項式を表している． つまり，クリロフ部分空間内の点はAに関するm-1次以下の多項式との積の形で書き表せる．

からクリロフ部分空間の中を探索することで解を得る非定常な反復解法のことを クリロフ部分空間法と呼ぶ．共役勾配法もクリロフ部分空間法のひとつである (ヤコビ反復やガウス・ザイデルは定常な反復解法)．

クリロフ部分空間法としては他に，

• 双共役勾配法(Bi-Conjugate Gradient method : BiCG法)
• 安定化双共役勾配法(Bi-Conjugate Gradient STABilized method : BiCGSTAB法)
• 自乗共役勾配法(Conjugate Gradiate Squared method : CGS法)
• 共役残差法(Conjugate Residual method : CR法)
• 一般化共役残差法(Generalized Conjugate Residual method : GCR法)
• 一般化最小残差法(Generalized Minimal RESidual method : GMRES法) などが提案されている．