2013年[ 技術開発研究助成 (開発研究) ] 成果報告 ： 年報第27号
極めて深い被写界深度を有する高機能照明内蔵型3次元マルチスペクトル内視鏡の開発
概要
1.はじめに
1.1概要
小型複眼カメラTOMBO (Thin Observation Module by Bound Optics)に、拡張被写界深度技術を適用し、立体情報、分光・偏光情報を効率的に取得する内視鏡の基礎技術を開発した1-6)(図1)。 球面収差に基づく波面符号化技術を利用することで、F/5.6の明るさで5mm～100mmの極めて深い被写界深度をもつ0.85㎜ピッチ3×3麟ガラスモールドレンズアレイを実現した7)。 波面符号化による画像のボケを取り除く鮮鋭化処理、3次元形状推定処理、複眼画像を1つの画像に統合して鮮鋭化する超解像処理を統合した複眼画像処理ソフトウェアを開発し、波面符号化レンズに適用した。
本研究の特徴は、明るい光学系による深い被写界深度と、立体・分光画像をスナップショット(一回の撮影で異なるモードの画像を同時に撮影)で小型のカメラシステムにより取得できる点である。 また、レンズへの負担を画像処理で分担することで、被写界深度拡張という機能を与えながらレンズの小型化を実現した。 複眼撮像系の多眼性を利用することで、拡張被写界深度により失われた距離情報を視差から補い、立体情報取得を可能とした。 複眼カメラの多眼性は、3次元情報の取得のみならず、光の多次元情報を取得する上でも重要である。 レンズ単位でカラーフィルタや偏光フィルタを設けることで、狭帯域波長画像による生体の血管構造や、偏光画像による表面・深部構造のスナップショット撮影を可能とした8-12)。
2.拡張被写界深度
2.1原理
文献13)に示される波面符号化技術は、レンズに制御されたボケを意図的に与え、それを画像処理により取り除くことで被写界深度を拡張する(図2)。 ボケは物体距離にほとんど依存せず、空間周波数領域においてゼロ点を持たないように設計している。 このため、点像分布関数が既知であれば、ボケを含まない高精細な原画像を復元できる。 この技術を内視鏡に導入することで、明るい光学系で極めて深い被写界深度の画像が得られる。 観察領域中のピント外れの領域がほとんどなくなるため、患部の見落としの減少が期待できる。 しかしながら、単眼撮像系では波面符号化を用いることで、ボケという形で表現された距離感が失われるという欠点がある。 それに対し、TOMBO内視鏡では、複眼画像に含まれる視差から距離分布を推定できる。 詳細は後述するが、図3に示すように、距離分布と波面符号化複眼画像から、反復法を用いて高精細な画像を復元できる。
2.2単体レンズ
TOMBOは、撮像素子の受光面積で決まる限られた空間に、レンズアレイを配置する必要がある。 少ない構成要素で実現するために、追加素子を必要としない球面収差を利用した波面符号化14)を用いた。 また、画像処理で除去することを前提に、点像の像高依存性を許容する。 これにより、1群1枚両面非球面という簡素な構造で、直径0.8mm、F/3.5の明るいガラスモールド波面符号化レンズを実現した。 表1に仕様、図4に光路図を示す。 いくつかの像高について、デフォーカスによるMTFの変化を図5に示す。 MTFがデフォーカスに対してほぼ一定であり、ゼロ点が無いことがわかる。 一方、例えば100cycle/mmの空間周波数では、回折限界性能に対して1/4程度の強度となるため、大きなボケが生じることがわかる。
波面符号化は3次元形状推定においても有効である。 点像が被写体距離に依存しないため、形状が未知の状態でも画像の鮮鋭化を行うことができる。 そのため、異なる被写体距離に対しても同一の点像を用いて鮮鋭化処理を行えるため、処理時間の短縮に繋がる。
2.3鮮鋭化処理
波面符号化により生じたボケの除去および複眼画像を1枚の画像に合成するために、Farsiuらの方法15)を利用した。 鮮鋭化処理では、以下の最適化問題を最急降下法を用いて反復的に解いた。 ここで、Xは被写体の劣化前の高解像度画像、Ykは個眼kの個眼像、は求めるべき推定高解像度画像である。 Dk、Hkはそれぞれ、イメージセンサによるダウンサンプリング、結像系による点像分布を表す。
係数λがかかった項は滑らかさを与える拘束項であり、bilateral total variation(BTV)と呼ばれる。 S。 、Syはそれぞれ画像のX,Y方向へのシフト演算子、m、1はシフト量である。 αは近傍画素値の変動の重みを表す定数である。 LlノルムとBTVは、実際と処理に用いる点像分布の誤差、画像に加わったノイズに対する耐性が高いことが知られている。 図5に示すように、デフォーカスに対してMTFはあまり変化しないが、完全に同じではない。 したがって、物体の距離によっては、実際と異なる点像分布関数を用いて鮮鋭化を行うことになる。 そのため、波面符号化画像の鮮鋭化には、BTVの耐ノイズ性が有効である。
図6に波面符号化レンズを3×2のアレイ状に配列して撮影した、牛の胃の複眼画像と、鮮鋭化画像を示す。 鮮鋭化処理により、ボケが除去され、はっきりした画像になっていることがわかる。
2.4 3次元形状推定
複眼像から単一の被写体像を再構成するには、被写体の距離分布が既知でなければならない。 複眼内視鏡は、解像度と機能性を両立する必要から、個眼数(=レンズ数)が少ない。 そこで、マルチベースラインステレオに基づく方法を選択した。 図7に示す距離推定手法を用いる。 この方法は、粗密探索(高速化)、マルチベースラインステレオ法16)(測定精度向上)、適応重み法17)(距離分布の不連続性の再現)、joint bilateral filtering(ノイズ除去)、joint bilateral upsampling l8)(アップサンプリング)を組み合わせた。
マルチベースラインステレオ法では、中央の個眼像を基準(基準個眼)とし、周囲の個眼(参照個眼)との間で、各点で画像の一致度を評価する。 個眼ごとに被写体像を再構成し、それらを比較する。 このとき、基準個眼の逆投影像が被写体距離が変化しても不変となるように、座標系をとる。 すなわち、被写体座標の原点を基準個眼の中心(正確には、入射瞳面と光軸が交差する点)に配置する。 階層k、個眼Zの、デプスDk(瓦めを用いた再構成像を51,k(X,Y,D(X,Y))とおくと、デプスの推定値Dk(X,Y)は次式で与えられる。
ここで、E(X,Y,D(X、η)は、被写体像上の画素(瓦}りに対する距離の評価関数である。 以下Dix,ηを簡単のため、単にDと書く。 固定窓・固定重みにより差分絶対値を用いる場合、次式で与えられる。
ただし、Ωc鷲}りは画素偶}りを含む近傍領域、基準個眼を個眼bとする。 Nは複眼カメラの個眼数である。 この評価値は、テクスチャが少ない場合に誤った距離が得られやすい。 一方、テクスチャを多く含むように窓を大きくすると、窓内に異なる距離の物体が複数ある場合、平均的な距離が得られ、物体境界が再現されないという問題がある。
急峻な形状変化の再現性が高く、物体境界などに生じる不連続な距離変化にも対応できる適応重み法をマルチベースラインステレオに拡張して利用している。 評価値を、次式に示す。
△g、△Ciはそれぞれ、近接性、類似性を示し、γ、、γgは重みの制御パラメータである。 この評価関数を用いることで、固定窓を用いた場合でも、物体境界における距離の不連続性を再現できる。
2.5レンズアレイ
複眼内視鏡に向けた波面符号化機能をもつガラスレンズアレイの一括成形法を提案し、設計および試作を行った。 図9にレンズの成形法を示す。
3×3個のレンズを一括で成形するためのくぼみをもつ上下に配置した金型により、ボール硝材を加熱しながらプレスする。 ボール硝材は鏡筒内で相互に融合し、一体化した素子になる。 ボール硝材問に、成形時に硝材が逃げる大きい空間があるため、成形前後で形状が大きく変わる場合にも対応できる。 このため、平板硝材の成形よりも、成形可能なレンズ形状に対する制約が少ない。
表2に、単体レンズとレンズアレイの仕様の比較を示す。 F値と焦点深度のバランスをとることで、±120pmという極めて深い深度を実現した。
図10に、焦点深度の両端に対するMTFを示す。 ゼロ点をもたず、デフォーカスに対して若干の変化はあるものの、ほぼ同様の特性が得られている。
図11に成形したレンズアレイの外観を示す。
図12は、黒染め前の開口絞りを取り付けた状態である。
図13に撮像例を示す。
8.Bum/lpまでははっきり結像しており、4.4um/lpでもある程度のコントラストをもっている。 したがって、前述の鮮鋭化処理により、ボケを除去して解像感を向上できる。
3.個眼フィルタ画像
複眼カメラの個眼に異なる特性をもつ光学フィルタを設けることで、異なる光学情報を取得することができる。 以下に、狭帯域画像、偏光画像の例を示す。
3.1狭帯域画像
ヘモグロビンの吸収ピークに対応した狭帯域照明により、血管構造を強調した撮像が可能であることが知られている20)。 個眼ごとに、狭帯域フィルタを設けることで、血管などの構造を強調した撮像が可能となる。 市販のゼラチンカラーフィルタを利用して、415nm、540nm、660nmの波長域の狭帯域画像をスナップショットで取得できるTOMBOを試作した。 摘出された胃癌の撮像例を図14に示す。 1行目左右が415nm、3行目左右が540nm、1・3行目の中央が660nm、2行目3眼分が通常のRGB画像となっている。
3.2偏光画像
生体から観察される光は大きく3種類に分類される。 表面反射、浅い位置からの後方散乱、深い位置からの後方散乱である。 表面反射光は偏光が保存されているため、完全偏光である。 一方、光が生体組織に深く侵入するほど散乱により偏光は崩れ、徐々に非偏光となる。
散乱による直線偏光の崩れをモデル化する。 散乱による偏光の崩れは、偏光角度に対する確率密度関数をガウス分布として表現されることが知られている。 偏光角θに対する確率密度関数p(θ)は次式で表される21)。
ここで、σ2=xr、τ=μ、Lであり、xτ、μ、、Lはそれぞれ、偏光拡散性、光学厚、拡散係数、物理厚を表す。
N個の異なる深さに構造体が存在する場合、検光子角度θに対する観察画像は次式で表される。 (各観察点において、次式が成り立つ)
ただし、ム(のニEi恢の、E;は構造体Zの輝度とし、FT[κκ)]は関数fix)のフーリエ変換を表す。 式10は、次式で簡単に表すことができる。
ただし、
とする。 ここで、αは検光子の向きを表し、-1から+1の値をとる。 -1のとき入射光の偏光に対して0°、1のとき90°である。 k;は偏光度を表し、0から1の値をとる。 0のとき非偏光、1のとき完全偏光となる。 図15に、行ごとに異なる方向の検光子を設けた複眼カメラによる摘出された胃癌の撮影結果を示す。 上の行ほど深部での散乱、下では表面付近の反射・散乱が強調されている。
1.まとめ
小型複眼カメラTOMBO (Thin Observation Module by Bound Optics)に、拡張被写界深度技術を適用し、立体情報、分光・偏光情報を効率的に取得する内視鏡の基礎技術を開発した(図1)。 球面収差に基づく波面符号化技術を利用することで、F/5.6の明るさに対して5mm～100mmの極めて深い被写界深度をもつ0.85mmピッチ3×3要素ガラスモールドレンズアレイを実現した。 波面符号化による画像のボケを取り除く鮮鋭化処理、3次元形状推定処理、複眼画像を1つの画像に統合して鮮鋭化する超解像処理を統合した複眼画像処理ソフトウェアを開発し、波面符号化レンズに適用した。 レンズ単位でカラーフィルタや偏光フィルタを設けることで、狭帯域波長画像による生体の血管構造や、偏光画像による表面・深部構造のスナップショット撮影を可能とした。
今後、開発した波面符号化レンズアレイを用いて、より現実的なプロトタイプを試作し、実証実験を行なっていく。
1.1概要
小型複眼カメラTOMBO (Thin Observation Module by Bound Optics)に、拡張被写界深度技術を適用し、立体情報、分光・偏光情報を効率的に取得する内視鏡の基礎技術を開発した1-6)(図1)。 球面収差に基づく波面符号化技術を利用することで、F/5.6の明るさで5mm～100mmの極めて深い被写界深度をもつ0.85㎜ピッチ3×3麟ガラスモールドレンズアレイを実現した7)。 波面符号化による画像のボケを取り除く鮮鋭化処理、3次元形状推定処理、複眼画像を1つの画像に統合して鮮鋭化する超解像処理を統合した複眼画像処理ソフトウェアを開発し、波面符号化レンズに適用した。
本研究の特徴は、明るい光学系による深い被写界深度と、立体・分光画像をスナップショット(一回の撮影で異なるモードの画像を同時に撮影)で小型のカメラシステムにより取得できる点である。 また、レンズへの負担を画像処理で分担することで、被写界深度拡張という機能を与えながらレンズの小型化を実現した。 複眼撮像系の多眼性を利用することで、拡張被写界深度により失われた距離情報を視差から補い、立体情報取得を可能とした。 複眼カメラの多眼性は、3次元情報の取得のみならず、光の多次元情報を取得する上でも重要である。 レンズ単位でカラーフィルタや偏光フィルタを設けることで、狭帯域波長画像による生体の血管構造や、偏光画像による表面・深部構造のスナップショット撮影を可能とした8-12)。
2.拡張被写界深度
2.1原理
文献13)に示される波面符号化技術は、レンズに制御されたボケを意図的に与え、それを画像処理により取り除くことで被写界深度を拡張する(図2)。 ボケは物体距離にほとんど依存せず、空間周波数領域においてゼロ点を持たないように設計している。 このため、点像分布関数が既知であれば、ボケを含まない高精細な原画像を復元できる。 この技術を内視鏡に導入することで、明るい光学系で極めて深い被写界深度の画像が得られる。 観察領域中のピント外れの領域がほとんどなくなるため、患部の見落としの減少が期待できる。 しかしながら、単眼撮像系では波面符号化を用いることで、ボケという形で表現された距離感が失われるという欠点がある。 それに対し、TOMBO内視鏡では、複眼画像に含まれる視差から距離分布を推定できる。 詳細は後述するが、図3に示すように、距離分布と波面符号化複眼画像から、反復法を用いて高精細な画像を復元できる。
2.2単体レンズ
TOMBOは、撮像素子の受光面積で決まる限られた空間に、レンズアレイを配置する必要がある。 少ない構成要素で実現するために、追加素子を必要としない球面収差を利用した波面符号化14)を用いた。 また、画像処理で除去することを前提に、点像の像高依存性を許容する。 これにより、1群1枚両面非球面という簡素な構造で、直径0.8mm、F/3.5の明るいガラスモールド波面符号化レンズを実現した。 表1に仕様、図4に光路図を示す。 いくつかの像高について、デフォーカスによるMTFの変化を図5に示す。 MTFがデフォーカスに対してほぼ一定であり、ゼロ点が無いことがわかる。 一方、例えば100cycle/mmの空間周波数では、回折限界性能に対して1/4程度の強度となるため、大きなボケが生じることがわかる。
波面符号化は3次元形状推定においても有効である。 点像が被写体距離に依存しないため、形状が未知の状態でも画像の鮮鋭化を行うことができる。 そのため、異なる被写体距離に対しても同一の点像を用いて鮮鋭化処理を行えるため、処理時間の短縮に繋がる。
2.3鮮鋭化処理
波面符号化により生じたボケの除去および複眼画像を1枚の画像に合成するために、Farsiuらの方法15)を利用した。 鮮鋭化処理では、以下の最適化問題を最急降下法を用いて反復的に解いた。 ここで、Xは被写体の劣化前の高解像度画像、Ykは個眼kの個眼像、は求めるべき推定高解像度画像である。 Dk、Hkはそれぞれ、イメージセンサによるダウンサンプリング、結像系による点像分布を表す。
係数λがかかった項は滑らかさを与える拘束項であり、bilateral total variation(BTV)と呼ばれる。 S。 、Syはそれぞれ画像のX,Y方向へのシフト演算子、m、1はシフト量である。 αは近傍画素値の変動の重みを表す定数である。 LlノルムとBTVは、実際と処理に用いる点像分布の誤差、画像に加わったノイズに対する耐性が高いことが知られている。 図5に示すように、デフォーカスに対してMTFはあまり変化しないが、完全に同じではない。 したがって、物体の距離によっては、実際と異なる点像分布関数を用いて鮮鋭化を行うことになる。 そのため、波面符号化画像の鮮鋭化には、BTVの耐ノイズ性が有効である。
図6に波面符号化レンズを3×2のアレイ状に配列して撮影した、牛の胃の複眼画像と、鮮鋭化画像を示す。 鮮鋭化処理により、ボケが除去され、はっきりした画像になっていることがわかる。
2.4 3次元形状推定
複眼像から単一の被写体像を再構成するには、被写体の距離分布が既知でなければならない。 複眼内視鏡は、解像度と機能性を両立する必要から、個眼数(=レンズ数)が少ない。 そこで、マルチベースラインステレオに基づく方法を選択した。 図7に示す距離推定手法を用いる。 この方法は、粗密探索(高速化)、マルチベースラインステレオ法16)(測定精度向上)、適応重み法17)(距離分布の不連続性の再現)、joint bilateral filtering(ノイズ除去)、joint bilateral upsampling l8)(アップサンプリング)を組み合わせた。
マルチベースラインステレオ法では、中央の個眼像を基準(基準個眼)とし、周囲の個眼(参照個眼)との間で、各点で画像の一致度を評価する。 個眼ごとに被写体像を再構成し、それらを比較する。 このとき、基準個眼の逆投影像が被写体距離が変化しても不変となるように、座標系をとる。 すなわち、被写体座標の原点を基準個眼の中心(正確には、入射瞳面と光軸が交差する点)に配置する。 階層k、個眼Zの、デプスDk(瓦めを用いた再構成像を51,k(X,Y,D(X,Y))とおくと、デプスの推定値Dk(X,Y)は次式で与えられる。
ここで、E(X,Y,D(X、η)は、被写体像上の画素(瓦}りに対する距離の評価関数である。 以下Dix,ηを簡単のため、単にDと書く。 固定窓・固定重みにより差分絶対値を用いる場合、次式で与えられる。
ただし、Ωc鷲}りは画素偶}りを含む近傍領域、基準個眼を個眼bとする。 Nは複眼カメラの個眼数である。 この評価値は、テクスチャが少ない場合に誤った距離が得られやすい。 一方、テクスチャを多く含むように窓を大きくすると、窓内に異なる距離の物体が複数ある場合、平均的な距離が得られ、物体境界が再現されないという問題がある。
急峻な形状変化の再現性が高く、物体境界などに生じる不連続な距離変化にも対応できる適応重み法をマルチベースラインステレオに拡張して利用している。 評価値を、次式に示す。
△g、△Ciはそれぞれ、近接性、類似性を示し、γ、、γgは重みの制御パラメータである。 この評価関数を用いることで、固定窓を用いた場合でも、物体境界における距離の不連続性を再現できる。
2.5レンズアレイ
複眼内視鏡に向けた波面符号化機能をもつガラスレンズアレイの一括成形法を提案し、設計および試作を行った。 図9にレンズの成形法を示す。
3×3個のレンズを一括で成形するためのくぼみをもつ上下に配置した金型により、ボール硝材を加熱しながらプレスする。 ボール硝材は鏡筒内で相互に融合し、一体化した素子になる。 ボール硝材問に、成形時に硝材が逃げる大きい空間があるため、成形前後で形状が大きく変わる場合にも対応できる。 このため、平板硝材の成形よりも、成形可能なレンズ形状に対する制約が少ない。
表2に、単体レンズとレンズアレイの仕様の比較を示す。 F値と焦点深度のバランスをとることで、±120pmという極めて深い深度を実現した。
図10に、焦点深度の両端に対するMTFを示す。 ゼロ点をもたず、デフォーカスに対して若干の変化はあるものの、ほぼ同様の特性が得られている。
図11に成形したレンズアレイの外観を示す。
図12は、黒染め前の開口絞りを取り付けた状態である。
図13に撮像例を示す。
8.Bum/lpまでははっきり結像しており、4.4um/lpでもある程度のコントラストをもっている。 したがって、前述の鮮鋭化処理により、ボケを除去して解像感を向上できる。
3.個眼フィルタ画像
複眼カメラの個眼に異なる特性をもつ光学フィルタを設けることで、異なる光学情報を取得することができる。 以下に、狭帯域画像、偏光画像の例を示す。
3.1狭帯域画像
ヘモグロビンの吸収ピークに対応した狭帯域照明により、血管構造を強調した撮像が可能であることが知られている20)。 個眼ごとに、狭帯域フィルタを設けることで、血管などの構造を強調した撮像が可能となる。 市販のゼラチンカラーフィルタを利用して、415nm、540nm、660nmの波長域の狭帯域画像をスナップショットで取得できるTOMBOを試作した。 摘出された胃癌の撮像例を図14に示す。 1行目左右が415nm、3行目左右が540nm、1・3行目の中央が660nm、2行目3眼分が通常のRGB画像となっている。
3.2偏光画像
生体から観察される光は大きく3種類に分類される。 表面反射、浅い位置からの後方散乱、深い位置からの後方散乱である。 表面反射光は偏光が保存されているため、完全偏光である。 一方、光が生体組織に深く侵入するほど散乱により偏光は崩れ、徐々に非偏光となる。
散乱による直線偏光の崩れをモデル化する。 散乱による偏光の崩れは、偏光角度に対する確率密度関数をガウス分布として表現されることが知られている。 偏光角θに対する確率密度関数p(θ)は次式で表される21)。
ここで、σ2=xr、τ=μ、Lであり、xτ、μ、、Lはそれぞれ、偏光拡散性、光学厚、拡散係数、物理厚を表す。
N個の異なる深さに構造体が存在する場合、検光子角度θに対する観察画像は次式で表される。 (各観察点において、次式が成り立つ)
ただし、ム(のニEi恢の、E;は構造体Zの輝度とし、FT[κκ)]は関数fix)のフーリエ変換を表す。 式10は、次式で簡単に表すことができる。
ただし、
とする。 ここで、αは検光子の向きを表し、-1から+1の値をとる。 -1のとき入射光の偏光に対して0°、1のとき90°である。 k;は偏光度を表し、0から1の値をとる。 0のとき非偏光、1のとき完全偏光となる。 図15に、行ごとに異なる方向の検光子を設けた複眼カメラによる摘出された胃癌の撮影結果を示す。 上の行ほど深部での散乱、下では表面付近の反射・散乱が強調されている。
1.まとめ
小型複眼カメラTOMBO (Thin Observation Module by Bound Optics)に、拡張被写界深度技術を適用し、立体情報、分光・偏光情報を効率的に取得する内視鏡の基礎技術を開発した(図1)。 球面収差に基づく波面符号化技術を利用することで、F/5.6の明るさに対して5mm～100mmの極めて深い被写界深度をもつ0.85mmピッチ3×3要素ガラスモールドレンズアレイを実現した。 波面符号化による画像のボケを取り除く鮮鋭化処理、3次元形状推定処理、複眼画像を1つの画像に統合して鮮鋭化する超解像処理を統合した複眼画像処理ソフトウェアを開発し、波面符号化レンズに適用した。 レンズ単位でカラーフィルタや偏光フィルタを設けることで、狭帯域波長画像による生体の血管構造や、偏光画像による表面・深部構造のスナップショット撮影を可能とした。
今後、開発した波面符号化レンズアレイを用いて、より現実的なプロトタイプを試作し、実証実験を行なっていく。