2005年[ 技術開発研究助成 ] 成果報告 ： 年報第19号
複眼光学系を利用した超小型・薄型三次元内視鏡の開発と三次元表示系への展開
概要
1.はじめに
内視鏡外科手術は低侵襲性のため、前立腺摘出手術や冠動脈バイパス手術など、細かい操作が必要な症例においても実施されている。しかし狭い視野と粗い画素構成の制約のため、現状以上の安全性は望めず、医療事故が増加している。内視鏡外科手術を正確に行うには、画質改良に加えて奥行き方向の3次元情報が必要である。従来提案された3次元内視鏡は、2眼式立体映像・時分割式を採用するため撮像素子を2台以上組み込み、それぞれの信号を同期する回路が必要であった。そのためシステムが複雑かつ大掛かりでコストが高く不利である。また光学系には単眼系を使用しているため、大口径・長焦点となり、システムの小型化が困難であった。一方、3次元表示技術においては、液晶シャッター眼鏡や偏光眼鏡を装着するタイプや眼鏡を使用せずにモニタで3次元表示するタイプなど様々な方式がある。しかし、観察による眼精疲労が指摘され、広く普及するには至っていない。眼精疲労は、肉眼で直接ものを観察する時とは異なった不自然な画像を観察することによって、眼球に不自然な動きを強いることによって起こるものであり、次の2つ原因が起因していると考えられている。1つ目は、左右の眼でとらえた画像の差(すなわち、大きさ・解像力・明るさ・色・歪みなど)が大きいこと、2つ目は、左右の画像のクロストーク(右画像が左目でも、左画像が右目でも見えてしまうこと)がある。本研究では、昆虫などに見られる複眼構造である連立眼光学系に着目し、連立眼画像入力装置を用いて、非常に小型化が可能な3次元内視鏡システムの開発を行う。また、3次元表示技術の一方式であるインテグラルフォトグラフィーを用いた3次元表示技術の検討を行った。
2.複眼光学系を用いた3次元内視鏡システム
2.1複眼光学系を用いた画像入力装置
昆虫などの複眼光学系を模した画像入力方式には、浜中らが提案しているセルフォックレンズを用いた方式がある。図1に複眼構造の一例として連立眼光学系を示す。連立眼光学系は、マイクロレンズアレイと視細胞からなり、1つのマイクロレンズに1つの視細胞が対応した単位光学系が多数配列している。対称物体は個々のマイクロレンズにより、その倒立像が視細胞上で結像される。結像された物体は受光部でその一部分がサンプリングされる。図2はサンプリングされた様子を示したものである。すべての個眼像は同一であるが、レンズピッチと結像する位置のピッチがずれることから、サンプリングされる信号は個眼ごとに異なる。すべての個眼像から受光信号を集めることにより、元の物体情報を取得することが可能となる。また、個眼においてサンプリングする受光セルの位置を変えることにより、取得画像に様々な操作を行うことができる。各個眼の光軸上の受光セルをサンプリングすると正立像を得ることができるが、サンプリングの位置を幾何学的にある決まった関係にしたがってずらすことにより、拡大、縮小などの画像処理が容易にしかも高速に実現できる。しかし、再構成された画像の画素数は複眼の数に等しい。つまり、個眼が少ない場合には、高品位の画像を得ることができない。
2.2連立撮像画像入力装置
図3に装置の概略図を示す。連立撮像画像入力装置は、マイクロレンズアレイ、隔壁および撮像素子で構成される。本装置の特徴は、1つのマイクロレンズに対して撮像素子の複数の画素(受光セル)が対応することである。これは個眼あたり1つの受光セルが対応する連立眼光学系とは異なる。また、隣接するマイクロレンズからの光信号を防ぐため、隔壁によりクロストークをなくした。マイクロレンズアレイにより、複数の個眼像を取得し、これらを電子的に後処理することで、複眼画像の画素数制限を解決し、解像度の高い3次元再構成像を得る。図4に連立撮像画像入力装置の側面図を示す。本装置を特徴づける1次元方向のパラメータとして、ユニット数μ、ユニットサイズd、ユニットあたりの受光セル数v、セルサイズsとする。総画素数N、セルサイズsの受光セルアレイ上に、1つのユニットに対し整数個の受光セルを対応させるには、以下の関係式を満たす必要がある。
3.試作システム
3.1試作システムの概要
図5に試作システムの外観を示す。使用したマイクロレンズアレイのレンズピッチは500μm、焦点距離は1.3mmであり、6軸ステージを用いることにより撮像素子とマイクロレンズアレイの位置合わせを行った。また、レンズアレイの数は10×10である。隔壁は、正方形の穴を加工した厚さ50μmのステンレス板を21枚重ね合わせたものを作成した。撮像素子には画素ピッチ3.125μm、画素数1600×1600のCCDを用いた。1つのマイクロレンズあたりの画素数は160×160画素であり、総ユニット数は10×10となる。
3.2 3次元画像再構成
取得した複眼像から3次元画像を再構成する方法として、マルチベースラインステレオ法と統計学的処理を用いた方法がある。ここでは、実時間処理が可能なマルチベースラインステレオ法を用いた手法を開発し、試作システムに適用して評価した。マルチベースラインステレオ法は、水平に3台以上配置した等価なカメラより得た画像を用いて3次元距離計測を行う多眼ステレオ法である。これは、異なる基線長のステレオ画像対について評価情報を足しあわせることにより、信頼性の高い対応点探索を行う手法である。図6に示すように、各レンズの中心間の距離をBとする。各ユニット即からPnで得た画像をImage0からImagersとする。焦点距離をF、3次元上の点Pまでの距離をZと仮定すれば、各ステレオ画像対Image0とImagenの対応点での視差dnは式(1)で表す事が出来る。
Image0における3次元空間上での点Pに対応する座標を(x、y)とする。またlmage0とlmageの対応点での輝度はf0(x、y)、f1(x+(i/n)dn、y)とする。このとき、非類似度の評価値として知られるSSD(Sum of Squared difference)は最小になっているはずである。SSDを式(2)に示す。
ここでwは対応点近傍の画素を切り出す窓を表している。また、マルチベースラインステレオ法を用いたステレオマシーン開発では非類似度にはSSDの代わりに式(3)のようなSAD(Sum of Absolute difference)を用いられている。
従来の両眼ステレオ法では式(2)や式(3)のような非類似度を評価値として用いそれが最小になる視差dを探し対応点を決定する。マルチベースラインステレオ法では、各ステレオ対ごとの非類似度を足し合わせた式(4)に示すSSSD(Sum of SSD)を用いる。評価尺度にSSSDを用いる事で最適な視差が決定できる。
3.3実験結果
図8に示すような実験系で、鶏肉の計測を行った。鶏肉の中心はマイクロレンズアレイの先端から50mmの位置とした。また、大きさは50×70mmのものを使用した。得られた複眼像を図9に示す。図10には20mm、30mmの位置での再構成画像を示す。鶏肉の中心を3.2で述べた方法で計測した結果、48.5mmであった。
4. 3次元表示技術の検討
インテグラルイメージングの概要を図11に示す。インテグラルイメージングは、複眼光学系を用いた3次元ディスプレイの表示技術であり、眼鏡をかける必要がなく、また眼精疲労を少なくすることができる。試作システムとして、直径2mmのレンズを蜂の巣状に配置した250×200mmのレンズアレイを用いた。レンズアレイは液晶の前に配置し、システムを構成した。表示結果を図12に示す。
5.まとめ
複眼光学系の一方式である連立眼光学系を用いた3次元内視鏡の開発を行った。システムを設計し、厚さ1,8mm、12×14mmの大きさの試作システムを作製した。また、3次元形状検出アルゴリズムとして、実時間処理を考慮したマルチベースステレオライン法を使用した。結果は、1mmほどの誤差があった。これは実際に鶏肉を配置した際の誤差や光学系の歪による誤差が考えられる。また、取得した情報をもとに3次元表示する技術としてインテグラルイメージングを用い、試作システムを作製した。今後は、より精度の高い測定ができるように画像再構成アルゴリズムの改善を行う共に、システムの小型化を検討する。
内視鏡外科手術は低侵襲性のため、前立腺摘出手術や冠動脈バイパス手術など、細かい操作が必要な症例においても実施されている。しかし狭い視野と粗い画素構成の制約のため、現状以上の安全性は望めず、医療事故が増加している。内視鏡外科手術を正確に行うには、画質改良に加えて奥行き方向の3次元情報が必要である。従来提案された3次元内視鏡は、2眼式立体映像・時分割式を採用するため撮像素子を2台以上組み込み、それぞれの信号を同期する回路が必要であった。そのためシステムが複雑かつ大掛かりでコストが高く不利である。また光学系には単眼系を使用しているため、大口径・長焦点となり、システムの小型化が困難であった。一方、3次元表示技術においては、液晶シャッター眼鏡や偏光眼鏡を装着するタイプや眼鏡を使用せずにモニタで3次元表示するタイプなど様々な方式がある。しかし、観察による眼精疲労が指摘され、広く普及するには至っていない。眼精疲労は、肉眼で直接ものを観察する時とは異なった不自然な画像を観察することによって、眼球に不自然な動きを強いることによって起こるものであり、次の2つ原因が起因していると考えられている。1つ目は、左右の眼でとらえた画像の差(すなわち、大きさ・解像力・明るさ・色・歪みなど)が大きいこと、2つ目は、左右の画像のクロストーク(右画像が左目でも、左画像が右目でも見えてしまうこと)がある。本研究では、昆虫などに見られる複眼構造である連立眼光学系に着目し、連立眼画像入力装置を用いて、非常に小型化が可能な3次元内視鏡システムの開発を行う。また、3次元表示技術の一方式であるインテグラルフォトグラフィーを用いた3次元表示技術の検討を行った。
2.複眼光学系を用いた3次元内視鏡システム
2.1複眼光学系を用いた画像入力装置
昆虫などの複眼光学系を模した画像入力方式には、浜中らが提案しているセルフォックレンズを用いた方式がある。図1に複眼構造の一例として連立眼光学系を示す。連立眼光学系は、マイクロレンズアレイと視細胞からなり、1つのマイクロレンズに1つの視細胞が対応した単位光学系が多数配列している。対称物体は個々のマイクロレンズにより、その倒立像が視細胞上で結像される。結像された物体は受光部でその一部分がサンプリングされる。図2はサンプリングされた様子を示したものである。すべての個眼像は同一であるが、レンズピッチと結像する位置のピッチがずれることから、サンプリングされる信号は個眼ごとに異なる。すべての個眼像から受光信号を集めることにより、元の物体情報を取得することが可能となる。また、個眼においてサンプリングする受光セルの位置を変えることにより、取得画像に様々な操作を行うことができる。各個眼の光軸上の受光セルをサンプリングすると正立像を得ることができるが、サンプリングの位置を幾何学的にある決まった関係にしたがってずらすことにより、拡大、縮小などの画像処理が容易にしかも高速に実現できる。しかし、再構成された画像の画素数は複眼の数に等しい。つまり、個眼が少ない場合には、高品位の画像を得ることができない。
2.2連立撮像画像入力装置
図3に装置の概略図を示す。連立撮像画像入力装置は、マイクロレンズアレイ、隔壁および撮像素子で構成される。本装置の特徴は、1つのマイクロレンズに対して撮像素子の複数の画素(受光セル)が対応することである。これは個眼あたり1つの受光セルが対応する連立眼光学系とは異なる。また、隣接するマイクロレンズからの光信号を防ぐため、隔壁によりクロストークをなくした。マイクロレンズアレイにより、複数の個眼像を取得し、これらを電子的に後処理することで、複眼画像の画素数制限を解決し、解像度の高い3次元再構成像を得る。図4に連立撮像画像入力装置の側面図を示す。本装置を特徴づける1次元方向のパラメータとして、ユニット数μ、ユニットサイズd、ユニットあたりの受光セル数v、セルサイズsとする。総画素数N、セルサイズsの受光セルアレイ上に、1つのユニットに対し整数個の受光セルを対応させるには、以下の関係式を満たす必要がある。
3.試作システム
3.1試作システムの概要
図5に試作システムの外観を示す。使用したマイクロレンズアレイのレンズピッチは500μm、焦点距離は1.3mmであり、6軸ステージを用いることにより撮像素子とマイクロレンズアレイの位置合わせを行った。また、レンズアレイの数は10×10である。隔壁は、正方形の穴を加工した厚さ50μmのステンレス板を21枚重ね合わせたものを作成した。撮像素子には画素ピッチ3.125μm、画素数1600×1600のCCDを用いた。1つのマイクロレンズあたりの画素数は160×160画素であり、総ユニット数は10×10となる。
3.2 3次元画像再構成
取得した複眼像から3次元画像を再構成する方法として、マルチベースラインステレオ法と統計学的処理を用いた方法がある。ここでは、実時間処理が可能なマルチベースラインステレオ法を用いた手法を開発し、試作システムに適用して評価した。マルチベースラインステレオ法は、水平に3台以上配置した等価なカメラより得た画像を用いて3次元距離計測を行う多眼ステレオ法である。これは、異なる基線長のステレオ画像対について評価情報を足しあわせることにより、信頼性の高い対応点探索を行う手法である。図6に示すように、各レンズの中心間の距離をBとする。各ユニット即からPnで得た画像をImage0からImagersとする。焦点距離をF、3次元上の点Pまでの距離をZと仮定すれば、各ステレオ画像対Image0とImagenの対応点での視差dnは式(1)で表す事が出来る。
Image0における3次元空間上での点Pに対応する座標を(x、y)とする。またlmage0とlmageの対応点での輝度はf0(x、y)、f1(x+(i/n)dn、y)とする。このとき、非類似度の評価値として知られるSSD(Sum of Squared difference)は最小になっているはずである。SSDを式(2)に示す。
ここでwは対応点近傍の画素を切り出す窓を表している。また、マルチベースラインステレオ法を用いたステレオマシーン開発では非類似度にはSSDの代わりに式(3)のようなSAD(Sum of Absolute difference)を用いられている。
従来の両眼ステレオ法では式(2)や式(3)のような非類似度を評価値として用いそれが最小になる視差dを探し対応点を決定する。マルチベースラインステレオ法では、各ステレオ対ごとの非類似度を足し合わせた式(4)に示すSSSD(Sum of SSD)を用いる。評価尺度にSSSDを用いる事で最適な視差が決定できる。
3.3実験結果
図8に示すような実験系で、鶏肉の計測を行った。鶏肉の中心はマイクロレンズアレイの先端から50mmの位置とした。また、大きさは50×70mmのものを使用した。得られた複眼像を図9に示す。図10には20mm、30mmの位置での再構成画像を示す。鶏肉の中心を3.2で述べた方法で計測した結果、48.5mmであった。
4. 3次元表示技術の検討
インテグラルイメージングの概要を図11に示す。インテグラルイメージングは、複眼光学系を用いた3次元ディスプレイの表示技術であり、眼鏡をかける必要がなく、また眼精疲労を少なくすることができる。試作システムとして、直径2mmのレンズを蜂の巣状に配置した250×200mmのレンズアレイを用いた。レンズアレイは液晶の前に配置し、システムを構成した。表示結果を図12に示す。
5.まとめ
複眼光学系の一方式である連立眼光学系を用いた3次元内視鏡の開発を行った。システムを設計し、厚さ1,8mm、12×14mmの大きさの試作システムを作製した。また、3次元形状検出アルゴリズムとして、実時間処理を考慮したマルチベースステレオライン法を使用した。結果は、1mmほどの誤差があった。これは実際に鶏肉を配置した際の誤差や光学系の歪による誤差が考えられる。また、取得した情報をもとに3次元表示する技術としてインテグラルイメージングを用い、試作システムを作製した。今後は、より精度の高い測定ができるように画像再構成アルゴリズムの改善を行う共に、システムの小型化を検討する。