2004年[ 技術開発研究助成 ] 成果報告 ： 年報第18号
三次元医用画像投影システムにおける精度評価のための計測手法に関する研究
概要
1.はじめに
現在、X線CTやMRI、超音波断層画像装置により患部周囲の断層画像を撮影・観察しながら生検(生体検査)や薬物注入等の治療を行いつつある。特に穿刺治療は、体内にある腫瘍などの患部に向かって経皮的に直径1mm程度の針を刺入し、針先端から薬物の注入・腫瘍吸引・レーザ焼灼・RF照射などを行うことで患部に対して直接治療を行うことを可能とした方法であり、針刺入を正しく操作できれば正常組織を不必要に傷つけることのない低侵襲治療が実現されるものと考えられる。また、腫瘍除去手術等においては、腫瘍の取り残しをいかに低減させるかが治療成績に大きく反映し、より客観的に画像情報を術野に展開することが必要であると考えられる。
針の刺入や切除の進入経路を正しく把握し操作するためには、患部周囲の状態・腫瘍の位置等を正確に把握する必要があり、そのために予めX線CTやMRI等の画像を撮影し、画像情報の持つ患部の位置や大きさなどの情報を的確に処理し把握することがまず重要となる。しかしながら、実際に穿刺を行う際、術者は脇に設置されたディスプレイ画面上に映し出されたCGなどを観察しながら針刺入作業を行っているため、目標位置および画像との位置関係は術者の経験・思考に強く依存する。また、X線を用いた場合は被曝の問題もある。このため、必ずしも客観的・正確な穿刺を行っていないのが現状である。本研究では、この問題解決のための三次元医用画像投影システムの開発を行い、また精度評価のための計測手法及び実験を行ったので報告する.
2.画像投影オーバーレイ装置の開発
2.1三次元画像の術野への投影手法
ナビゲーション手術において患者・患部と手術器具の位置対応をより客観的に得る方法として、われわれは術前・術中に取得した三次元MRI画像と術野の患者空間を同時に観察することができる画像統合システムの構築を試みてきている。画像情報と実体とを視覚的に統合させることは複合現実感(Mixed Reality)、もしくは拡張現実感(Augmented Reality)と言われおり、医療分野における応用としてこれまでに数多く研究が行われてきている1～3)。しかしながら、多くが採用している2眼式立体視による手法は、焦点距離・輻積角が固定されるものが多く、立体視の見え方に個人差がある。そのため、2眼式立体視による画像統合は、ターゲットの大まかな観察・位置確認などには適するものの、治療など正確な位置合わせを行うような作業には不適であることが指摘されている。
一方で個人差のない、より正確な治療を実現するためにレーザフォログラフィやインテグラルフォトグラフィ、体積走査型ディスプレイ等の真の三次元画像の医療応用が研究されており成果が得られている4・5)。しかしながら、現状の技術では三次元画像を生成するための装置等は大掛かりとなり、医療現場に普及するためにはよりシンプルな手法が望まれるのも事実である。
そこで、我々は立体表示には拘らず、術者が見慣れている2次元断層画像を患者内部に映しこむシステムの提案を行っている。ここで`映しこむ'とは、単にプロジェクタ等により画像を投影するのではなく、実際の患者内部の同位置・同方向に同スケールの画像を提示するということである6)。
2.2システムの詳細
本研究で採用した画像重ねあわせの原理図をFig.1に示す。ハーフミラー越しに、術者は半分患者自体を観察し、同時にディスプレイ画面の鏡像も観察する。座標を合わせることにより、最初に一度だけディスプレイとハーフミラーと撮像断面の位置を合わせるだけで、それ以後、撮影断面が撮影対象物と位置(奥行き方向)も正確に重なって表示されることとなる。これまでに、X線CT画像装置に直結した装置の開発を行ってきたが6)、本研究では通常の手術室内でも使えるように、フレームレス画像表示装置の開発を行った。
画像表示装置部(以後デバイスと略す)は、画像表示用6インチ液晶モニタ、半透明鏡(ハーフミラー)、直動アクチュエータおよびデバイスを保持・固定するパッシブアームからなる。デバイスの保持具には多関節式医療保持具(PointSetter、三鷹光器社製)を用いた。これにより、術中にデバイスの位置・姿勢を任意に設定することができる。デバイス位置・姿勢計測は光学式三次元位置計測装置(Polaris、NDI社製、以下Polarisとする)を用い、デバイス位置に対応した2D断層画像を、事前取得した3D・MRI画像から得ることを可能とした。PC上では主に画像転送、三次元座標変換,画像処理(断層像作成、拡大処理)を行う。画像表示のためにソフトウェアVblume One8)を用いた。VolumeOneとは、GTKを用いた3次元画像のVisualizationソフトウェアであり、サーバ・クライアント間通信により外部アプリケーションと視点の位置・方向情報等のデータ交換を容易にすることを特長としている。本ソフトはVolumeOne開発者グループにより配布されており、8)より入手可能である。また、断層画像をLCDに表示するため、PCで作成した画面をNTSC信号にダウンコンバートするスキャンコンバータを、ハーフミラーに映る鏡像を左右画像反転器により反転させることにより正しい向きの像を得た。
本装置の特徴として、術者は自然な両眼視をしているため、3次元的に両者の位置関係を捉えることが挙げられる。LCDとハーフミラーによりできるLCDの鏡像の平面位置はデバイスにより幾何学的に保障されるため、術者の視点位置によって画像がずれることはなく、常に一意の面において断層像が表示される。開発したデバイスの概観をFig.2に示す。
2.3画像の位置合わせ手法(Registration)
断層画像と患者との位置を統合(Registration)する必要がある。本装置では、術前に撮影したMRI画像、術中の患者位置および術中のデバイスの位置関係をあわせる必要がある。本研究では、人間の目で3点のマーキングポイントを指示することにより行うRegistration手法を第1段階として取り入れた。各座標系の関係と3次元変換行列の大まかな相関関係をFig.3に示す。基本的にはPolarisの有する座標系を中心としたアフィン変換により、デバイス・患者・画像・鏡像平面の空間位置関係を表す。
デバイスのもつ座標系をSD座標系、ハーフミラーにより出来た鏡像の座標系をImage座標系、術前・術中に取得する三次元MRI画像の座標系を3DImage座標系として、予めSD座標系およびImage座標系との関係をキャリブレーションにより求めておく。また、3DImage座標系は通常のナビゲーション手術と同様に患者にマーカを4箇所取り付けた上で位置対応を行っておく。SD座標系は随時Polarisにより更新される。これらにより,空間上の任意の点Qの各座標系における座標値が求まることとなり、デバイスの位置に応じた画像を提示できる。
2.4ファントム・被験者による実験
以上で述べた全てのシステムを構築し、基本動作実験および臨床使用を想定したfeasibilityテストとして被験者による実験を行った。Fig.4およびFig.5に立方体ファントムによるテストおよび被験者によるテストの様子を示す。デバイスを手で動かすことにより断層像が正しい方向に追従し変化していくことが確認された。
3.精度評価実験
空間位置認識誤差の計測
本研究の目的の一つである精度評価実験について述べる。本装置は言わば空間上に浮かび上がっている画像および実像の位置を合わせるものである。このため、システムとしての誤差を評価するためには理論的な位置合わせの誤差と人間の視覚による誤差の双方を考慮する必要がある。前者の手法については文献6)で詳しく述べてあるが、本研究では特に後者について検討した。人間の視覚には個人差があり、その差は本装置を実際に使用する際にも大きな誤差として現れると考え、手術支援用MRI断層画像オーバーレイ表示システムの評価実験の一環として人間の視覚により生じる誤差を測定し評価を行った。Fig.6に実験時の座標の定義を示す。空間上に浮かび上がる像を仮想画像平面と呼ぶこととする。Fig.6に示す仮想画像平面上にx,y軸をとり、z軸は奥行き方向とする。測定機器は、PolarisとPassiveマーカつき指示棒(プローブ)である。また、全ての実験は5人の被験者により行われた。
被験者の道具により示された3次元の座標位置と理論値の差を計測・算出する。これにより、視覚的に把握している空間上の点がどの程度正確であるかを把握することができる。
まず、事前実験としてディスプレイ中央に半径1[mm]の点を1つ表示し、その点をプローブで指示してもらい、その測定値を求めた。ハーフミラーとディスプレイ間は330[mm]であり、3秒間、3セット計測を行った。サンプリングはPolarisの性能限界である20[Hz]とした。次に、ディスプレイの中央、右端、上部に半径1[mm]の3点を表示し、事前実験と同様に被験者は画像表示装置を用いて見える点を指示し、その3次元の座標値を取得した。その後、被験者の指示値と理論値を比較し,両者の差を算出し誤差とした。計測の際に、ハーフミラーとディスプレイ間は300・330・360[mm]とし、1秒間計測、各距離で3点計測した。サンプリングは同様20[Hz]である。
各被験者の指示値と理論値の差の結果をTable1に示す。被験者によっては誤差1mmから10mm程度まで有しており、穿刺治療など少なくとも誤差1～3mmで位置決めを行うために用いるには不十分であり大きな誤差と一見すると考えられるが、ここで事前実験およびTable1の誤差の分散値に着目し補正方法を検討した。例としてTable2に被験者1による測定結果の詳細を示す。
被験者1の指示値と理論値の差は、1mmから10mmと、その値は大きくばらついている。しかし、これを軸方向別に見ると、x軸に関しては9[mm]、y軸には・6[mm]、z軸では3[mm]前後の差となり分散値も1mm以下である。よって、被験者1が認識している位置は、常に前述の値だけシフトしているものと十分に考えられる。そこで、事前実験で得られた被験者1の指示値と理論値の差を、被験者1の"補正ベクトル"と定義し、本実験で求められた被験者1の指示値からこの補正ベクトルを減算することで補正を試みた。事前実験での被験者1の指示値と理論値の差は、x=10.96[mm],y=・6.36[mm]、z=4.73[mm]であり、補正結果をTable3に示す。Table.3から、理論値との差が各軸方向に1.5[mm]以内であることが分かる。
また、各被験者の指示値と理論値の差はTable.1に示してあるが、被験者1と同様な補正を行った結果、Table.4のような値となった。各被験者とも、それぞれの方向に理論値との差が2[mm]以内となり、被験者の空間位置認識が個人の見方によってシフトしている結果となった。
実験の考察
実験の結果、本システムを用いた際、被験者の位置の認識は各被験者によって特定の方向にシフトしていることが明らかとなったが、この原因としてはいくつかの要因が考えられる。まず、位置の認識には個人差があり、空間上の点の捉え方の違いにより位置の認識が特定方向にシフトしている可能性が考えられる。また、画像表示装置の軽量化のために厚さ5mmのプラスチック板ハーフミラーを用い、その保持を上部1箇所により行っていることから、ハーフミラーの平面度が低下し、それにより視点位置・被験者の姿勢によって鏡像のずれが生じて画像統合の様子が異なったとも考えられる。今後はその点について追究する。補正後の理論値と指示値の差は各軸方向で-0.87±1.48[mm]、0.09±0.56[mm]、0.54±1.85[mm]となり、これは実際手術で用いるために必要最低限である誤差3mm以下の精度を満たしていると言えるが、しかしながら、目標値とすべき各軸方向誤差1mm以下は満たしていなかった。また、本実験では空間上に浮かぶ1点を指示しているため、周囲との相対的な位置感覚などが得られず、誤認識する可能性が高いとも考えられる。そのため、臨床時には表示されている画像と患部とを見比べることによって、点の認識も比較的正確なものになると考えられる。
4.結言
本研究では拡張現実感によるナビゲーション表示装置のプロトタイプを開発した。一連の作業を行い、動作の確認ができた。本システムの有効性を示すための精度評価実駿として、本装置による空間認識・位置指示誤差計測実験を行った。その結果、本システムのような透過型ディスプレイにおいては事前に空間位置認識のキャリブレーションを行う必要があり、補正を行うことにより治療に用いるために必要な精度を有する結果が得られた。より精度を向上させるため、今後は空間認識をより明確にするためのレーザポインタ等の指示具の導入を行い、補正せずに客観的に空間位置認識することの出来る装置改良が必要であると考えられた。これらの改良により、本表示装置は、手術情報をより簡便に視覚的に術野に表示することが可能であり、術者が直感的にナビゲーション情報を取得することを可能にすると考えられる。
現在、X線CTやMRI、超音波断層画像装置により患部周囲の断層画像を撮影・観察しながら生検(生体検査)や薬物注入等の治療を行いつつある。特に穿刺治療は、体内にある腫瘍などの患部に向かって経皮的に直径1mm程度の針を刺入し、針先端から薬物の注入・腫瘍吸引・レーザ焼灼・RF照射などを行うことで患部に対して直接治療を行うことを可能とした方法であり、針刺入を正しく操作できれば正常組織を不必要に傷つけることのない低侵襲治療が実現されるものと考えられる。また、腫瘍除去手術等においては、腫瘍の取り残しをいかに低減させるかが治療成績に大きく反映し、より客観的に画像情報を術野に展開することが必要であると考えられる。
針の刺入や切除の進入経路を正しく把握し操作するためには、患部周囲の状態・腫瘍の位置等を正確に把握する必要があり、そのために予めX線CTやMRI等の画像を撮影し、画像情報の持つ患部の位置や大きさなどの情報を的確に処理し把握することがまず重要となる。しかしながら、実際に穿刺を行う際、術者は脇に設置されたディスプレイ画面上に映し出されたCGなどを観察しながら針刺入作業を行っているため、目標位置および画像との位置関係は術者の経験・思考に強く依存する。また、X線を用いた場合は被曝の問題もある。このため、必ずしも客観的・正確な穿刺を行っていないのが現状である。本研究では、この問題解決のための三次元医用画像投影システムの開発を行い、また精度評価のための計測手法及び実験を行ったので報告する.
2.画像投影オーバーレイ装置の開発
2.1三次元画像の術野への投影手法
ナビゲーション手術において患者・患部と手術器具の位置対応をより客観的に得る方法として、われわれは術前・術中に取得した三次元MRI画像と術野の患者空間を同時に観察することができる画像統合システムの構築を試みてきている。画像情報と実体とを視覚的に統合させることは複合現実感(Mixed Reality)、もしくは拡張現実感(Augmented Reality)と言われおり、医療分野における応用としてこれまでに数多く研究が行われてきている1～3)。しかしながら、多くが採用している2眼式立体視による手法は、焦点距離・輻積角が固定されるものが多く、立体視の見え方に個人差がある。そのため、2眼式立体視による画像統合は、ターゲットの大まかな観察・位置確認などには適するものの、治療など正確な位置合わせを行うような作業には不適であることが指摘されている。
一方で個人差のない、より正確な治療を実現するためにレーザフォログラフィやインテグラルフォトグラフィ、体積走査型ディスプレイ等の真の三次元画像の医療応用が研究されており成果が得られている4・5)。しかしながら、現状の技術では三次元画像を生成するための装置等は大掛かりとなり、医療現場に普及するためにはよりシンプルな手法が望まれるのも事実である。
そこで、我々は立体表示には拘らず、術者が見慣れている2次元断層画像を患者内部に映しこむシステムの提案を行っている。ここで`映しこむ'とは、単にプロジェクタ等により画像を投影するのではなく、実際の患者内部の同位置・同方向に同スケールの画像を提示するということである6)。
2.2システムの詳細
本研究で採用した画像重ねあわせの原理図をFig.1に示す。ハーフミラー越しに、術者は半分患者自体を観察し、同時にディスプレイ画面の鏡像も観察する。座標を合わせることにより、最初に一度だけディスプレイとハーフミラーと撮像断面の位置を合わせるだけで、それ以後、撮影断面が撮影対象物と位置(奥行き方向)も正確に重なって表示されることとなる。これまでに、X線CT画像装置に直結した装置の開発を行ってきたが6)、本研究では通常の手術室内でも使えるように、フレームレス画像表示装置の開発を行った。
画像表示装置部(以後デバイスと略す)は、画像表示用6インチ液晶モニタ、半透明鏡(ハーフミラー)、直動アクチュエータおよびデバイスを保持・固定するパッシブアームからなる。デバイスの保持具には多関節式医療保持具(PointSetter、三鷹光器社製)を用いた。これにより、術中にデバイスの位置・姿勢を任意に設定することができる。デバイス位置・姿勢計測は光学式三次元位置計測装置(Polaris、NDI社製、以下Polarisとする)を用い、デバイス位置に対応した2D断層画像を、事前取得した3D・MRI画像から得ることを可能とした。PC上では主に画像転送、三次元座標変換,画像処理(断層像作成、拡大処理)を行う。画像表示のためにソフトウェアVblume One8)を用いた。VolumeOneとは、GTKを用いた3次元画像のVisualizationソフトウェアであり、サーバ・クライアント間通信により外部アプリケーションと視点の位置・方向情報等のデータ交換を容易にすることを特長としている。本ソフトはVolumeOne開発者グループにより配布されており、8)より入手可能である。また、断層画像をLCDに表示するため、PCで作成した画面をNTSC信号にダウンコンバートするスキャンコンバータを、ハーフミラーに映る鏡像を左右画像反転器により反転させることにより正しい向きの像を得た。
本装置の特徴として、術者は自然な両眼視をしているため、3次元的に両者の位置関係を捉えることが挙げられる。LCDとハーフミラーによりできるLCDの鏡像の平面位置はデバイスにより幾何学的に保障されるため、術者の視点位置によって画像がずれることはなく、常に一意の面において断層像が表示される。開発したデバイスの概観をFig.2に示す。
2.3画像の位置合わせ手法(Registration)
断層画像と患者との位置を統合(Registration)する必要がある。本装置では、術前に撮影したMRI画像、術中の患者位置および術中のデバイスの位置関係をあわせる必要がある。本研究では、人間の目で3点のマーキングポイントを指示することにより行うRegistration手法を第1段階として取り入れた。各座標系の関係と3次元変換行列の大まかな相関関係をFig.3に示す。基本的にはPolarisの有する座標系を中心としたアフィン変換により、デバイス・患者・画像・鏡像平面の空間位置関係を表す。
デバイスのもつ座標系をSD座標系、ハーフミラーにより出来た鏡像の座標系をImage座標系、術前・術中に取得する三次元MRI画像の座標系を3DImage座標系として、予めSD座標系およびImage座標系との関係をキャリブレーションにより求めておく。また、3DImage座標系は通常のナビゲーション手術と同様に患者にマーカを4箇所取り付けた上で位置対応を行っておく。SD座標系は随時Polarisにより更新される。これらにより,空間上の任意の点Qの各座標系における座標値が求まることとなり、デバイスの位置に応じた画像を提示できる。
2.4ファントム・被験者による実験
以上で述べた全てのシステムを構築し、基本動作実験および臨床使用を想定したfeasibilityテストとして被験者による実験を行った。Fig.4およびFig.5に立方体ファントムによるテストおよび被験者によるテストの様子を示す。デバイスを手で動かすことにより断層像が正しい方向に追従し変化していくことが確認された。
3.精度評価実験
空間位置認識誤差の計測
本研究の目的の一つである精度評価実験について述べる。本装置は言わば空間上に浮かび上がっている画像および実像の位置を合わせるものである。このため、システムとしての誤差を評価するためには理論的な位置合わせの誤差と人間の視覚による誤差の双方を考慮する必要がある。前者の手法については文献6)で詳しく述べてあるが、本研究では特に後者について検討した。人間の視覚には個人差があり、その差は本装置を実際に使用する際にも大きな誤差として現れると考え、手術支援用MRI断層画像オーバーレイ表示システムの評価実験の一環として人間の視覚により生じる誤差を測定し評価を行った。Fig.6に実験時の座標の定義を示す。空間上に浮かび上がる像を仮想画像平面と呼ぶこととする。Fig.6に示す仮想画像平面上にx,y軸をとり、z軸は奥行き方向とする。測定機器は、PolarisとPassiveマーカつき指示棒(プローブ)である。また、全ての実験は5人の被験者により行われた。
被験者の道具により示された3次元の座標位置と理論値の差を計測・算出する。これにより、視覚的に把握している空間上の点がどの程度正確であるかを把握することができる。
まず、事前実験としてディスプレイ中央に半径1[mm]の点を1つ表示し、その点をプローブで指示してもらい、その測定値を求めた。ハーフミラーとディスプレイ間は330[mm]であり、3秒間、3セット計測を行った。サンプリングはPolarisの性能限界である20[Hz]とした。次に、ディスプレイの中央、右端、上部に半径1[mm]の3点を表示し、事前実験と同様に被験者は画像表示装置を用いて見える点を指示し、その3次元の座標値を取得した。その後、被験者の指示値と理論値を比較し,両者の差を算出し誤差とした。計測の際に、ハーフミラーとディスプレイ間は300・330・360[mm]とし、1秒間計測、各距離で3点計測した。サンプリングは同様20[Hz]である。
各被験者の指示値と理論値の差の結果をTable1に示す。被験者によっては誤差1mmから10mm程度まで有しており、穿刺治療など少なくとも誤差1～3mmで位置決めを行うために用いるには不十分であり大きな誤差と一見すると考えられるが、ここで事前実験およびTable1の誤差の分散値に着目し補正方法を検討した。例としてTable2に被験者1による測定結果の詳細を示す。
被験者1の指示値と理論値の差は、1mmから10mmと、その値は大きくばらついている。しかし、これを軸方向別に見ると、x軸に関しては9[mm]、y軸には・6[mm]、z軸では3[mm]前後の差となり分散値も1mm以下である。よって、被験者1が認識している位置は、常に前述の値だけシフトしているものと十分に考えられる。そこで、事前実験で得られた被験者1の指示値と理論値の差を、被験者1の"補正ベクトル"と定義し、本実験で求められた被験者1の指示値からこの補正ベクトルを減算することで補正を試みた。事前実験での被験者1の指示値と理論値の差は、x=10.96[mm],y=・6.36[mm]、z=4.73[mm]であり、補正結果をTable3に示す。Table.3から、理論値との差が各軸方向に1.5[mm]以内であることが分かる。
また、各被験者の指示値と理論値の差はTable.1に示してあるが、被験者1と同様な補正を行った結果、Table.4のような値となった。各被験者とも、それぞれの方向に理論値との差が2[mm]以内となり、被験者の空間位置認識が個人の見方によってシフトしている結果となった。
実験の考察
実験の結果、本システムを用いた際、被験者の位置の認識は各被験者によって特定の方向にシフトしていることが明らかとなったが、この原因としてはいくつかの要因が考えられる。まず、位置の認識には個人差があり、空間上の点の捉え方の違いにより位置の認識が特定方向にシフトしている可能性が考えられる。また、画像表示装置の軽量化のために厚さ5mmのプラスチック板ハーフミラーを用い、その保持を上部1箇所により行っていることから、ハーフミラーの平面度が低下し、それにより視点位置・被験者の姿勢によって鏡像のずれが生じて画像統合の様子が異なったとも考えられる。今後はその点について追究する。補正後の理論値と指示値の差は各軸方向で-0.87±1.48[mm]、0.09±0.56[mm]、0.54±1.85[mm]となり、これは実際手術で用いるために必要最低限である誤差3mm以下の精度を満たしていると言えるが、しかしながら、目標値とすべき各軸方向誤差1mm以下は満たしていなかった。また、本実験では空間上に浮かぶ1点を指示しているため、周囲との相対的な位置感覚などが得られず、誤認識する可能性が高いとも考えられる。そのため、臨床時には表示されている画像と患部とを見比べることによって、点の認識も比較的正確なものになると考えられる。
4.結言
本研究では拡張現実感によるナビゲーション表示装置のプロトタイプを開発した。一連の作業を行い、動作の確認ができた。本システムの有効性を示すための精度評価実駿として、本装置による空間認識・位置指示誤差計測実験を行った。その結果、本システムのような透過型ディスプレイにおいては事前に空間位置認識のキャリブレーションを行う必要があり、補正を行うことにより治療に用いるために必要な精度を有する結果が得られた。より精度を向上させるため、今後は空間認識をより明確にするためのレーザポインタ等の指示具の導入を行い、補正せずに客観的に空間位置認識することの出来る装置改良が必要であると考えられた。これらの改良により、本表示装置は、手術情報をより簡便に視覚的に術野に表示することが可能であり、術者が直感的にナビゲーション情報を取得することを可能にすると考えられる。