1995年[ 技術開発研究助成 ] 成果報告 ： 年報第09号
内視鏡画像による3次元形状計測
概要
1はじめに
消化管壁のような狭あいな部分の形状を観察するのに,内視鏡は直接にその画像が得られる強力な方法であるが,自由にまた正確にヘッドの位置を制御することが出来ないので,得られた画像から対象の三次元形状を復元すること,特に,奥行き方向の寸法を正確に把握することが難しかった。いままで,観察者の勘によっていたこの奥行き情報を客観的に計測できれば,異常の診断や病理形態学的な研究におおいに役立てることが期待できる。
本研究では,凹凸を任意の位置で捉えた複数枚の内視鏡画像から,計算機処理によって対象の三次元形状を復元する手法を開発した。画像から,対象の三次元形状を復元する手法では,二枚の画像の視点の違い(視差)を用いて,三角測量の原理から奥行きを読みとる立体視が基本的な手法であるが,立体視では,その二枚の画像を撮ったカメラの位置が正確に分かる必要がある。そのため,二つの固定されたヘッドを持つ内視鏡が開発されてはいるが,視野が小さくなり,さらに視差を大きくとって測定精度を上げることが出来ないので,応用には限界がある。また,一つのヘッドを動かして複数の画像を得ても,内視鏡ではヘッドの位置を正確に制御し任意の位置に置くことが出来ないばかりか,ヘッドの位置も正確に知ることが難しかった。
これに対し,著者らは,これまで移動ロボットなどの移動体に取り付けられて自由に動き回れるカメラからの画像を用いて,移動体自身の正確な位置の復元,そして,同時に画像内の対象の三次元形状を計測する研究を行なってきており,そこで開発された因子分解法と呼ぶ手法を,内視鏡からの三次元形状の復元に応用する。そこでは,ヘッドを動かして得た連続する複数枚の画像上で対応する点の位置の差に基づき,まず,内視鏡のヘッドの相対的な位置の差を正確に復元し,それと同時に立体視の原理と同様にして対象の三次元形状を導き出す。本手法では,対象に対するヘッドの相対的な位置の差による画像のずれを利用するので,たとえば,胃壁のように,撮影中に対象が動いても構わない。
本稿では,その基本原理と,予備のシミュレーション実験,そして,実画像を用いた予備実験による本手法の有効性の検証について報告する。
2因子分解法による形状復元
内視鏡が,たとえば胃の中でFig.1(a)に示すように,自由に動きまわりながら胃の内壁を観察するものとする。内視鏡のヘッドの位置は正確には制御できないし,さらに,実際の位置を正確に計測することも困難である。カメラヘッドからは,同図(b)に示すように,その動きにつれて画像の系列が得られる。ここで,それぞれの画像で対象上の対応する点は読みとれるものとする。複数の画像上でそれぞれ対応する点を見つけること自体も,画像処理の主要な研究課題であるが,本研究の実験では相関法を用いた。これについては,実験結果の章で述べる。
利用する画像系列の画像の枚数をFとする。また,各画像上で対応がとれている対象上の点の数をPとする。そして,第f枚目の画像上のρ番目の点の位置の座標を(xfp,yfp)と表す。ただし,f=1…F,p=1…Pである。
この座標値を次のように行列の要素として並べて「計測行列」Wが得られる。
ただし,(cxf,cyf)は画像ごとに対象上の点の重心を計算した値である。すなわち,第f番目の画像に対しては,
ここでの対象の三次元形状の復元の基本的な原理は,充分よい精度で,これらの画像上で読みとられた座標値が,それぞれ,
という形に置けることにある。
2.1結像系の記述
カメラで画像へ結像する系を記述するための各座標をFig.2のように定める。
空間のある位置を基準として(図ではWorld originと表してある)対象上のP個の特徴点の位置ベクトルをsp,(p=1,...,P)とし,それらを並べたS=[s1,…,sp]を形状行列と呼ぶ。tfは第f番目の画像を撮ったカメラの位置を表すベクトルであり,Cf=[if,jf,kf]は,その時のカメラの姿勢を表す。簡単のため,空間の基準位置を対象の特徴点の重心にとる。すなわち,
すると,カメラの光軸方向は,kf=if×jfより与えられ,画像への投影線はすべてkfと平行であるから,
と表せる。
このことから,投影を正射影とすると計測行列Wは,結局W=MSと次のように分解できることになる。
このように分解できることは,まず第一に,観測行列Wのランクが3であること,Sは形状行列そのものであり,行列Mにカメラの運動の情報はすべて含まれることを表している。したがって,問題は,観測行列Wをそのランクが3であることをヂがかりに上記のようにMとS
に分解することになる。
2.2特異値分解による観測行列の分解
行列Wを特異値分解し,最大の3つの特異値σ1,σ2,σ3に対応する部分とそうでない部分に分ける。
ただし,
すると,行列Wが誤差を含まない時,そのランクは高々3であるので,形状と運動に関する情報は3つの最大の特異値に対応する項に含まれると考えられ,
はWの良い近似値といえる。そこで,
とすると,
となる。ただし,この分解は一意でなく任意性が残っている。これを考慮すると,Qをある正則行列として,
となる。ここで,運動に関する行列Mにはいくつかの物理的な制約があり,その制約条件から行列Qを求めれば,形状と運動が得られる。
2.3物理的な制約による適合化
Mの成分if,jfが満たすべき制約条件とは,
である。
q=QQTと置いて,9つのパラメーターについて,この制約条件は次式(14)で定義される各式がG1f=G2f=G3f=0となることである。
しかし,誤差があればこれらは同時に満たされないので,
で定義されるEをパラメータ決定のための評価関数とし,このEを最小化する行列Qを求める。
ただし,式(15)は各パラメーターに関して非線形なので,共役勾配法などにより反復修正し解を求める必要がある。非線形関数の最小化手法として,他には準ニュートン法とPowell法についても試みた。ただし,準ニュートン法,Powell法ともに共役勾配法とほぼ同じ挙動を示した。反復回数が少々異なる程度で,求められた解の精度は同じであった。他にこの問題を非線形最小自乗法を解くものと考え,方法としてLevenberg-Marquardt法についても試みた。
3シミュレーション実験
Fig.3,Fig.4は,共役勾配法で適合化する因子分解法により,画像から形状を復元した例である。視点を変えて得られた30枚の画像を合成し,それらの画像から元の立体形状を復元した。Fig.3では,それぞれ立方体の対象に対する1,15,30枚目の画像データと,右下に復元結果を示す。この立方体の場合,三次元形状の復元誤差は5%である。
Fig.4は,図中の(a)に示すように元の対象は球面上に332点とったものである。復元結果は図中の(b)であり,誤差は3%程度である。
また,カメラの運動のし方を変え,得られた画像系列に対して様々な適合法を試みた。対象はランダムに置かれた10点で,その画像の時系列に対して因子分解法による形状復元を行なった。
適合方法に関しては,共役勾配法,準ニュートン法,Powell法の3つについて実験を行なった。Table1に結果をまとめる。表中の運動と言う欄はカメラの運動のし方を指す。注視とは対象の重心を常に画像の中心におくカメラの運動のことで,""ランダム""とはカメラの位置と方向がランダムに変化する場合である。適合化では,CGは共役勾配法,QNは準ニュートン法,PWはPowell法を指す。線形化は線形式に展開して解く方法,MQはMarquardt法を意味する。画像データには,その位置読みとり値に標準偏差0.25画素のノイズを与えている。形状復元誤差は,元の形状での各点聞の距離の誤差の平均を示す。共役勾配法,準ニュートン法,Powell法により適合すれば,対象の形状は5%程度の精度で復元された。ただし,カメラの運動がランダムな場合,うまく求められないことがあった。これは方手法が対象がカメラの視線の奥行き方向に厚く分布している場合に弱いためであると考えられる。ただし,本研究での主要な目的である消化管壁の形状のように,視線方向には奥行きがあまりない形状に対しては十分有効であると考えられる。
4内視鏡実画像への適用
内視鏡により胃の底部を撮影した画像系列から胃壁の形状を復元した例を示す。内視鏡を移動させ視点を移動しながら撮影した10枚の画像を用いたが,実際の内視鏡ヘッドの運動と,胃壁の真の形状は分からない。画像系列の一部を,Fig.5に示す。
すべての画像上に写っている9個の特徴点を選び,それらの点の各画像での移動の軌跡を読みとり観測行列を構成し,空間的な配置を復現した。特徴点の対応付けは,第1枚目の画像上で設定した特徴点に対して,画像間で相関関数を計算することで行った。復元された各特徴点の三次元的な配置を,Fig.6に示す。また,これらの点をなめらかに結ぶ曲面で内挿・外挿して,形状を推定したものがFig.7である。
5まとめ
例えば消化管壁の凸凹やパイプ内の異物を任意の位置で捉えた複数枚の内視鏡画像から,計算機処理によって対象の3次元立体形状を復元する基本手法を構築し,実験によってその有効性を確認した。
対象が狭あいな空間でヘッドの動きが極端に制限されている状況で,どの程度の誤差の範囲内で形状計測が可能であるかを明らかにし,実用化に結びつけることが,今後の課題である。特に,本手法で前提にしている画像系列内で特徴点の対応付けが,色々な状態の生体表面のような対象に対していつも安定に行えるかの検証も必要である。
また,工業的にも内視鏡は,故障診断や保守のために広く使用されており,本手法はそのままこれら工業分野に応用できる。すなわち,パイプ内の異状や複雑に入り組んだ機器内の狭あいな部分の3次元形状が正確に計測できるようになれば,より正確・精密な診断,保守が出来るようになる。
消化管壁のような狭あいな部分の形状を観察するのに,内視鏡は直接にその画像が得られる強力な方法であるが,自由にまた正確にヘッドの位置を制御することが出来ないので,得られた画像から対象の三次元形状を復元すること,特に,奥行き方向の寸法を正確に把握することが難しかった。いままで,観察者の勘によっていたこの奥行き情報を客観的に計測できれば,異常の診断や病理形態学的な研究におおいに役立てることが期待できる。
本研究では,凹凸を任意の位置で捉えた複数枚の内視鏡画像から,計算機処理によって対象の三次元形状を復元する手法を開発した。画像から,対象の三次元形状を復元する手法では,二枚の画像の視点の違い(視差)を用いて,三角測量の原理から奥行きを読みとる立体視が基本的な手法であるが,立体視では,その二枚の画像を撮ったカメラの位置が正確に分かる必要がある。そのため,二つの固定されたヘッドを持つ内視鏡が開発されてはいるが,視野が小さくなり,さらに視差を大きくとって測定精度を上げることが出来ないので,応用には限界がある。また,一つのヘッドを動かして複数の画像を得ても,内視鏡ではヘッドの位置を正確に制御し任意の位置に置くことが出来ないばかりか,ヘッドの位置も正確に知ることが難しかった。
これに対し,著者らは,これまで移動ロボットなどの移動体に取り付けられて自由に動き回れるカメラからの画像を用いて,移動体自身の正確な位置の復元,そして,同時に画像内の対象の三次元形状を計測する研究を行なってきており,そこで開発された因子分解法と呼ぶ手法を,内視鏡からの三次元形状の復元に応用する。そこでは,ヘッドを動かして得た連続する複数枚の画像上で対応する点の位置の差に基づき,まず,内視鏡のヘッドの相対的な位置の差を正確に復元し,それと同時に立体視の原理と同様にして対象の三次元形状を導き出す。本手法では,対象に対するヘッドの相対的な位置の差による画像のずれを利用するので,たとえば,胃壁のように,撮影中に対象が動いても構わない。
本稿では,その基本原理と,予備のシミュレーション実験,そして,実画像を用いた予備実験による本手法の有効性の検証について報告する。
2因子分解法による形状復元
内視鏡が,たとえば胃の中でFig.1(a)に示すように,自由に動きまわりながら胃の内壁を観察するものとする。内視鏡のヘッドの位置は正確には制御できないし,さらに,実際の位置を正確に計測することも困難である。カメラヘッドからは,同図(b)に示すように,その動きにつれて画像の系列が得られる。ここで,それぞれの画像で対象上の対応する点は読みとれるものとする。複数の画像上でそれぞれ対応する点を見つけること自体も,画像処理の主要な研究課題であるが,本研究の実験では相関法を用いた。これについては,実験結果の章で述べる。
利用する画像系列の画像の枚数をFとする。また,各画像上で対応がとれている対象上の点の数をPとする。そして,第f枚目の画像上のρ番目の点の位置の座標を(xfp,yfp)と表す。ただし,f=1…F,p=1…Pである。
この座標値を次のように行列の要素として並べて「計測行列」Wが得られる。
ただし,(cxf,cyf)は画像ごとに対象上の点の重心を計算した値である。すなわち,第f番目の画像に対しては,
ここでの対象の三次元形状の復元の基本的な原理は,充分よい精度で,これらの画像上で読みとられた座標値が,それぞれ,
という形に置けることにある。
2.1結像系の記述
カメラで画像へ結像する系を記述するための各座標をFig.2のように定める。
空間のある位置を基準として(図ではWorld originと表してある)対象上のP個の特徴点の位置ベクトルをsp,(p=1,...,P)とし,それらを並べたS=[s1,…,sp]を形状行列と呼ぶ。tfは第f番目の画像を撮ったカメラの位置を表すベクトルであり,Cf=[if,jf,kf]は,その時のカメラの姿勢を表す。簡単のため,空間の基準位置を対象の特徴点の重心にとる。すなわち,
すると,カメラの光軸方向は,kf=if×jfより与えられ,画像への投影線はすべてkfと平行であるから,
と表せる。
このことから,投影を正射影とすると計測行列Wは,結局W=MSと次のように分解できることになる。
このように分解できることは,まず第一に,観測行列Wのランクが3であること,Sは形状行列そのものであり,行列Mにカメラの運動の情報はすべて含まれることを表している。したがって,問題は,観測行列Wをそのランクが3であることをヂがかりに上記のようにMとS
に分解することになる。
2.2特異値分解による観測行列の分解
行列Wを特異値分解し,最大の3つの特異値σ1,σ2,σ3に対応する部分とそうでない部分に分ける。
ただし,
すると,行列Wが誤差を含まない時,そのランクは高々3であるので,形状と運動に関する情報は3つの最大の特異値に対応する項に含まれると考えられ,
はWの良い近似値といえる。そこで,
とすると,
となる。ただし,この分解は一意でなく任意性が残っている。これを考慮すると,Qをある正則行列として,
となる。ここで,運動に関する行列Mにはいくつかの物理的な制約があり,その制約条件から行列Qを求めれば,形状と運動が得られる。
2.3物理的な制約による適合化
Mの成分if,jfが満たすべき制約条件とは,
である。
q=QQTと置いて,9つのパラメーターについて,この制約条件は次式(14)で定義される各式がG1f=G2f=G3f=0となることである。
しかし,誤差があればこれらは同時に満たされないので,
で定義されるEをパラメータ決定のための評価関数とし,このEを最小化する行列Qを求める。
ただし,式(15)は各パラメーターに関して非線形なので,共役勾配法などにより反復修正し解を求める必要がある。非線形関数の最小化手法として,他には準ニュートン法とPowell法についても試みた。ただし,準ニュートン法,Powell法ともに共役勾配法とほぼ同じ挙動を示した。反復回数が少々異なる程度で,求められた解の精度は同じであった。他にこの問題を非線形最小自乗法を解くものと考え,方法としてLevenberg-Marquardt法についても試みた。
3シミュレーション実験
Fig.3,Fig.4は,共役勾配法で適合化する因子分解法により,画像から形状を復元した例である。視点を変えて得られた30枚の画像を合成し,それらの画像から元の立体形状を復元した。Fig.3では,それぞれ立方体の対象に対する1,15,30枚目の画像データと,右下に復元結果を示す。この立方体の場合,三次元形状の復元誤差は5%である。
Fig.4は,図中の(a)に示すように元の対象は球面上に332点とったものである。復元結果は図中の(b)であり,誤差は3%程度である。
また,カメラの運動のし方を変え,得られた画像系列に対して様々な適合法を試みた。対象はランダムに置かれた10点で,その画像の時系列に対して因子分解法による形状復元を行なった。
適合方法に関しては,共役勾配法,準ニュートン法,Powell法の3つについて実験を行なった。Table1に結果をまとめる。表中の運動と言う欄はカメラの運動のし方を指す。注視とは対象の重心を常に画像の中心におくカメラの運動のことで,""ランダム""とはカメラの位置と方向がランダムに変化する場合である。適合化では,CGは共役勾配法,QNは準ニュートン法,PWはPowell法を指す。線形化は線形式に展開して解く方法,MQはMarquardt法を意味する。画像データには,その位置読みとり値に標準偏差0.25画素のノイズを与えている。形状復元誤差は,元の形状での各点聞の距離の誤差の平均を示す。共役勾配法,準ニュートン法,Powell法により適合すれば,対象の形状は5%程度の精度で復元された。ただし,カメラの運動がランダムな場合,うまく求められないことがあった。これは方手法が対象がカメラの視線の奥行き方向に厚く分布している場合に弱いためであると考えられる。ただし,本研究での主要な目的である消化管壁の形状のように,視線方向には奥行きがあまりない形状に対しては十分有効であると考えられる。
4内視鏡実画像への適用
内視鏡により胃の底部を撮影した画像系列から胃壁の形状を復元した例を示す。内視鏡を移動させ視点を移動しながら撮影した10枚の画像を用いたが,実際の内視鏡ヘッドの運動と,胃壁の真の形状は分からない。画像系列の一部を,Fig.5に示す。
すべての画像上に写っている9個の特徴点を選び,それらの点の各画像での移動の軌跡を読みとり観測行列を構成し,空間的な配置を復現した。特徴点の対応付けは,第1枚目の画像上で設定した特徴点に対して,画像間で相関関数を計算することで行った。復元された各特徴点の三次元的な配置を,Fig.6に示す。また,これらの点をなめらかに結ぶ曲面で内挿・外挿して,形状を推定したものがFig.7である。
5まとめ
例えば消化管壁の凸凹やパイプ内の異物を任意の位置で捉えた複数枚の内視鏡画像から,計算機処理によって対象の3次元立体形状を復元する基本手法を構築し,実験によってその有効性を確認した。
対象が狭あいな空間でヘッドの動きが極端に制限されている状況で,どの程度の誤差の範囲内で形状計測が可能であるかを明らかにし,実用化に結びつけることが,今後の課題である。特に,本手法で前提にしている画像系列内で特徴点の対応付けが,色々な状態の生体表面のような対象に対していつも安定に行えるかの検証も必要である。
また,工業的にも内視鏡は,故障診断や保守のために広く使用されており,本手法はそのままこれら工業分野に応用できる。すなわち,パイプ内の異状や複雑に入り組んだ機器内の狭あいな部分の3次元形状が正確に計測できるようになれば,より正確・精密な診断,保守が出来るようになる。