2010年[ 技術開発研究助成 (開発研究) ] 成果報告 ： 年報第24号
マルチモーダル脳計測手法を用いた脳情報デコーディング技術の開発
概要
1.はじめに
インターネットの普及などで大量の情報が氾濫する中で、情報の受け手側であるヒトに優しい通信技術の開発が望まれている。そのような技術の開発のためには、ヒトが、どのように情報を理解しているかの脳システムの理解と共に、ヒトの理解度や意識した内容を、脳活動から抽出する技術の開発が不可欠となってきている。これまでにおこなった研究では、知覚闘争において、主観的意識の切り替わりに関係する脳活動を調べてきた。知覚闘争とは、たとえば、左下のような図を見ると、「壷」と「人の横顔」のどちらかに見えるように、同じ入力に対して、脳は異なる「見え」、主観的体験をし、かつそれら複数の解釈は競合し、さらに、その見えは固定化されることなく、時間的に遷移する現象のことであり、ヒトの意識を調べる現象として近年、非常に注目されている現象である。最近、非侵襲の脳計測手法を用いて、主観的情報を読み取る技術開発(BCI=Brain-Computer Interface技術)に関する研究が進められている中で1)～4)、現在行っている研究が、このようなBCI技術に貢献できるのではないかと考えた。主観的意識の切り替わりを脳活動から読み取る、つまり、被験者の見えがいつ切り替わったかを脳活動だけから抽出する技術の開発である(図1参照)。そこで、本研究では、多義的な情報を理解するときのヒトの脳活動を測定し、その活動の時空間周波数パターンに着目して、ヒトが意識している内容を復元・抽出する技術の開発を目指す。前述の研究も含めて、BCI研究は、単一の非侵襲脳計測法に頼ってきた。しかしながら、核磁気共鳴機能画像法(fMRI)は、空間分解能は非常に高いが、時間分解能は悪い。一方では、脳磁場計測(MEG)、脳波(EEG)は、時間分解能は非常に高いが、空間分解能は悪いというように、脳活動計測法は、それぞれの特長を持つ。そこで、複数の脳機能計測手法を組み合わせることにより、より時間精度の高いBCI技術の開発を目指した。
2.研究方法・研究内容
本研究では、ヒトの自然・不自然の感覚を脳波から抽出できるかを検討するとともに、空間分解能の高い核磁気共鳴機能画像法(fMRI)と時間分解能の高い脳波(EEG)を組み合わせることにより、両方の特長を生かした精度の高い脳活動を計測して、その情報から、主観的知覚の切り替わりの時間変化の情報を抽出する。
2.1実験1
まずは、脳波だけで高次な知覚情報が引き出すことが可能かどうかを検討するため、オドボール課題におけるP300成分の判別を行った。本研究ではオドボール課題におけるP3振幅と刺激対との関係に着目した。具体的には、2種類の刺激A、Bに対し、Aを標的刺激(Bを標準刺激)に設定した場合と、Bを標的刺激(Aを標準刺激)に設定した場合について、P3振幅を比較する。もし、P3振幅が刺激頻度のみによって決まっているのであれば、それは刺激の役割を入れ替えることで変化しないはずである。逆に、刺激頻度のみではなく、いわゆる実世界における頻度、すなわち見慣れているか、あるいは自然かによってもP3振幅が変化するのであれば、標的刺激と標準刺激の質の違いを反映したP3非対称性が現れることが期待される。実験刺激として、顔画像、オレンジ画像、ポーズ画像の不自然画像と自然画像(図2)を使用した。顔の不自然画像は青い色をした顔であり、オレンジの不自然画像は、果実の色が灰色になっており、実生活において一般に見ることのない色で表される。ポーズの不自然画像は人間が行うことが出来ない、関節が折れ曲がった形となっている。実験の結果、2種類の画像で、オドボール課題を行い、その画像の役割を交代させることでERPに非対称性が現れる画像(顔画像、身体ポーズ画像、記憶色)があることがわかった(図3)。特に、身体ポーズ画像に対しては、倒立させた場合には、そうしたP3非対称性が消失し、倒立効果(倒立させることによって対象物の不自然さを知覚しにくくなる現象)との相関が認められた。また、顔色などの記憶色に関わる反応からも、P3非対称性が認められた。このように、オドボール課題におけるP300成分が、呈示刺激画像に対する「自然」、「不自然」という感性に強く影響を与えていることをわれわれは、報告した5)。
この結果をうけて、P3に着目することにより、ヒトがある刺激に対して、不自然に感じているか、自然に感じているかの意識情報が、脳活動から抽出できないかと考えて、その検討を行った。生体アンプ(Polymate、TEAC製)を用いて、課題遂行中の被験者の脳波を計測した。エレクトロキャップ(日本光電製)を用いて被験者に装着し、国際10-20法に基づく、19チャンネルの電極から計測した。測定された脳波データから、不自然画像を標的刺激、自然画像を標準刺激としたオドボール課題の標的刺激と、自然画像を標的刺激、不自然画像を標準刺激としたオドボール課題の標的刺激を判別する。このタスクでは人が「自然」、「不自然」と感じている認知状態がオドボール課題の標的刺激のP300から推定できるか検証する。それぞれの標的刺激の試行回数はほぼ同等のため、可能な限り学習データとして使用した。オドボール課題におけるP300は頭頂の電極Fz、Cz、Pzで強く観測され、潜時300-500[ms]で出現することが一般的に知られている。そこで、P300が強く観測されていると思われる電極Fz、Cz、Pzの3電極と刺激呈示後250-500[ms]をセグメンテーションした。また、P300以外の成分が判別において強く関係している可能性を考慮し、(図4)の19チャンネルの電極と刺激呈示後0-600[ms]でのセグメンテーションを行った。また、本研究では空間的主成分分析として、チャンネルの次元を減少させた。チャンネル方向に主成分分析を適用し、各チャンネル問でERPの特徴を抽出し、次元を減少させることでSVMにおける、計算量の減少が目的である。本研究では、主成分分析によって得られた成分から、第一成分のみをと第三成分までの成分を使用した。それぞれ、累積寄与率がおよそ60%と90%となっている。
近年、サポートベクタマシンと呼ばれる分類手法が注目を浴びている。データを2つに分類するための、マージン最大化という考え方により従来の線形判別システムより、未学習のデータ郡をより高精度で判別することを可能にしている。このマージン最大化とは、超平面とトレーニングデータの隙間を出来る限り大きく取ろうと試みることである。このマージン最大化により、データの特徴量の次元が大きくなっても分類精度を高く保てるという利点を有する。主成分分析から得られた時間成分データを正規化したデータにSVMを使用して、オドボール課題で得られた単一試行脳波データから人の認知状態判別を行った。SVMはSuykensら6)により提案された最小自乗サポートベクタマシンLeast Squares Support Vector Machines(LS-SVM)を使用した。カーネルは線形カーネルを使用した。SVMのトレーニングは交差確認法により、すべての単一試行で行った。
2.2実験2
次に、研究では、空間分解能の高い核磁気共鳴機能画像法(fMRI)と時間分解能の高い脳波(EEG)を組み合わせることにより、両方の特長を生かした精度の高い脳活動を計測して、その情報から、主観的知覚の切り替わりの時間変化の情報の抽出を目指した。被験者には、EEGキャップをかぶった状態で、fMRIスキャナの中に入ってもらう。その中で、多義図形(双安定性仮現運動)(図5)を観察し、主観的な見えの切り替わりをボタン報告するというタスクを行う。そのときの脳活動について、fMRI-EEG同時測定(10試行)した。
fMRI計測は、NiCTにあるSiemens製3.OTMRI装置(Siemens MAGNETOM Trio)を用いた。EEG計測には、同じくNiCTにあるBrainamp、Braincap MR 64 (Brain Products社)を用いた(図6)。
fMRI信号はSPM5 (http://www.fil.ion.ucl.ac.uk/spm/software/spm5/)によって解析を行った。脳波信号は、Brainanalyzer2を用いて、MRIのスキャンによるスキャンアーチファクトと心拍によるパルスアーチファクトを除去し、EOG信号を利用して、眼球運動によるアーチファクトも除去した。それらの信号を、被験者のボタン押しに関連してセグメンテーションした後に、複素モレットウェーブレット変換を用いて、4Hz～51Hzの周波数パワー信号に変換した(ベースラインはボタン押し後50～450msとした)。これらのパワーデータを用いて、被験者が、双安定性仮現運動の縦・横どちらの方向を知覚しているかを判別した。判別には、libsvmパッケージを使用した。カーネルは線形カーネルを使用した。SVMのトレーニングは交差確認法により、すべての単一試行で行った。
3.実験結果
3.1実験1
それぞれのオドボール課題の標的刺激を呈示したときに誘発された脳波から認知状態推定を行った。図7の結果から、19チャンネル、EpochO-600msの解析条件において最も精度よく状態判別できた。3チャンネル、Epoch250-500msの条件結果と比較すると、ポーズ画像の判別はほぼ同じとなっているが、顔画像とオレンジ画像において大きく精度が異なっている。本タスクでは、どちらの状態もオドボール課題の標的刺激で得られたデータであるため、P300成分は似たような波形となっている。標的刺激同士の判別においてP300成分だけを比較して判別することは困難であるといえる。そのため、頭頂以外のチャンネル、幅広い時間幅も含めたトレーニングデータが状態判別において大きく関わっていると考えられる。被験者全体の平均では、状態推定率64%と充分に判別できているとはいえない。しかし、個々の被験者の結果では最も高い確率で91%の精度で判別できた。本タスクでは、ERPにおける微細な変化から認知状態推定を行っているため、測定時における被験者の体調や、個人差により推定結果の分散が大きくなったと思われる。
3.2実験2
次に、知覚闘争中のfMRIによる脳活動結果を図8に示す。同時計測した脳波データに関して、知覚方向の判別を行うと、被験者平均で、54%の判別精度しか得られなかった。原因としては、実験1の課題と異なり、刺激事態の変化はないという判別タスク自体の難易度や、MRI関連のアーチファクトがうまく取り除けていない可能性がある。今後は、fMRIシグナルも特徴量に加えるとともに、事前処理や判別手法などを検討することにより、判別精度を上げていきたい。
4.まとめ
日常身体活動におけるヒトの意図抽出という観点からは、fMRIという巨大な装置に頼っている限りは、実用化は困難であると考えられる。しかしながら、本研究によって、fMRI-EEG同時測定によるBCI技術の有効性が示されれば、fMRIと同様、脳活動に伴う血流量変化をとらえるが、可搬性の高い近赤外分光法(NIRS)とEEGを組み合わせた小型の計測装置の開発につながると考えられる。本研究における基礎技術の開発は、コミュニケーションが不自由になってしまった患者に対する補助器具の開発や、車などのドライバーの注意力の低下を検出する運転補助装置の開発、消費者の心理を分析するようなマーケティング分野での応用など幅広い分野への波及効果が考えられる。
インターネットの普及などで大量の情報が氾濫する中で、情報の受け手側であるヒトに優しい通信技術の開発が望まれている。そのような技術の開発のためには、ヒトが、どのように情報を理解しているかの脳システムの理解と共に、ヒトの理解度や意識した内容を、脳活動から抽出する技術の開発が不可欠となってきている。これまでにおこなった研究では、知覚闘争において、主観的意識の切り替わりに関係する脳活動を調べてきた。知覚闘争とは、たとえば、左下のような図を見ると、「壷」と「人の横顔」のどちらかに見えるように、同じ入力に対して、脳は異なる「見え」、主観的体験をし、かつそれら複数の解釈は競合し、さらに、その見えは固定化されることなく、時間的に遷移する現象のことであり、ヒトの意識を調べる現象として近年、非常に注目されている現象である。最近、非侵襲の脳計測手法を用いて、主観的情報を読み取る技術開発(BCI=Brain-Computer Interface技術)に関する研究が進められている中で1)～4)、現在行っている研究が、このようなBCI技術に貢献できるのではないかと考えた。主観的意識の切り替わりを脳活動から読み取る、つまり、被験者の見えがいつ切り替わったかを脳活動だけから抽出する技術の開発である(図1参照)。そこで、本研究では、多義的な情報を理解するときのヒトの脳活動を測定し、その活動の時空間周波数パターンに着目して、ヒトが意識している内容を復元・抽出する技術の開発を目指す。前述の研究も含めて、BCI研究は、単一の非侵襲脳計測法に頼ってきた。しかしながら、核磁気共鳴機能画像法(fMRI)は、空間分解能は非常に高いが、時間分解能は悪い。一方では、脳磁場計測(MEG)、脳波(EEG)は、時間分解能は非常に高いが、空間分解能は悪いというように、脳活動計測法は、それぞれの特長を持つ。そこで、複数の脳機能計測手法を組み合わせることにより、より時間精度の高いBCI技術の開発を目指した。
2.研究方法・研究内容
本研究では、ヒトの自然・不自然の感覚を脳波から抽出できるかを検討するとともに、空間分解能の高い核磁気共鳴機能画像法(fMRI)と時間分解能の高い脳波(EEG)を組み合わせることにより、両方の特長を生かした精度の高い脳活動を計測して、その情報から、主観的知覚の切り替わりの時間変化の情報を抽出する。
2.1実験1
まずは、脳波だけで高次な知覚情報が引き出すことが可能かどうかを検討するため、オドボール課題におけるP300成分の判別を行った。本研究ではオドボール課題におけるP3振幅と刺激対との関係に着目した。具体的には、2種類の刺激A、Bに対し、Aを標的刺激(Bを標準刺激)に設定した場合と、Bを標的刺激(Aを標準刺激)に設定した場合について、P3振幅を比較する。もし、P3振幅が刺激頻度のみによって決まっているのであれば、それは刺激の役割を入れ替えることで変化しないはずである。逆に、刺激頻度のみではなく、いわゆる実世界における頻度、すなわち見慣れているか、あるいは自然かによってもP3振幅が変化するのであれば、標的刺激と標準刺激の質の違いを反映したP3非対称性が現れることが期待される。実験刺激として、顔画像、オレンジ画像、ポーズ画像の不自然画像と自然画像(図2)を使用した。顔の不自然画像は青い色をした顔であり、オレンジの不自然画像は、果実の色が灰色になっており、実生活において一般に見ることのない色で表される。ポーズの不自然画像は人間が行うことが出来ない、関節が折れ曲がった形となっている。実験の結果、2種類の画像で、オドボール課題を行い、その画像の役割を交代させることでERPに非対称性が現れる画像(顔画像、身体ポーズ画像、記憶色)があることがわかった(図3)。特に、身体ポーズ画像に対しては、倒立させた場合には、そうしたP3非対称性が消失し、倒立効果(倒立させることによって対象物の不自然さを知覚しにくくなる現象)との相関が認められた。また、顔色などの記憶色に関わる反応からも、P3非対称性が認められた。このように、オドボール課題におけるP300成分が、呈示刺激画像に対する「自然」、「不自然」という感性に強く影響を与えていることをわれわれは、報告した5)。
この結果をうけて、P3に着目することにより、ヒトがある刺激に対して、不自然に感じているか、自然に感じているかの意識情報が、脳活動から抽出できないかと考えて、その検討を行った。生体アンプ(Polymate、TEAC製)を用いて、課題遂行中の被験者の脳波を計測した。エレクトロキャップ(日本光電製)を用いて被験者に装着し、国際10-20法に基づく、19チャンネルの電極から計測した。測定された脳波データから、不自然画像を標的刺激、自然画像を標準刺激としたオドボール課題の標的刺激と、自然画像を標的刺激、不自然画像を標準刺激としたオドボール課題の標的刺激を判別する。このタスクでは人が「自然」、「不自然」と感じている認知状態がオドボール課題の標的刺激のP300から推定できるか検証する。それぞれの標的刺激の試行回数はほぼ同等のため、可能な限り学習データとして使用した。オドボール課題におけるP300は頭頂の電極Fz、Cz、Pzで強く観測され、潜時300-500[ms]で出現することが一般的に知られている。そこで、P300が強く観測されていると思われる電極Fz、Cz、Pzの3電極と刺激呈示後250-500[ms]をセグメンテーションした。また、P300以外の成分が判別において強く関係している可能性を考慮し、(図4)の19チャンネルの電極と刺激呈示後0-600[ms]でのセグメンテーションを行った。また、本研究では空間的主成分分析として、チャンネルの次元を減少させた。チャンネル方向に主成分分析を適用し、各チャンネル問でERPの特徴を抽出し、次元を減少させることでSVMにおける、計算量の減少が目的である。本研究では、主成分分析によって得られた成分から、第一成分のみをと第三成分までの成分を使用した。それぞれ、累積寄与率がおよそ60%と90%となっている。
近年、サポートベクタマシンと呼ばれる分類手法が注目を浴びている。データを2つに分類するための、マージン最大化という考え方により従来の線形判別システムより、未学習のデータ郡をより高精度で判別することを可能にしている。このマージン最大化とは、超平面とトレーニングデータの隙間を出来る限り大きく取ろうと試みることである。このマージン最大化により、データの特徴量の次元が大きくなっても分類精度を高く保てるという利点を有する。主成分分析から得られた時間成分データを正規化したデータにSVMを使用して、オドボール課題で得られた単一試行脳波データから人の認知状態判別を行った。SVMはSuykensら6)により提案された最小自乗サポートベクタマシンLeast Squares Support Vector Machines(LS-SVM)を使用した。カーネルは線形カーネルを使用した。SVMのトレーニングは交差確認法により、すべての単一試行で行った。
2.2実験2
次に、研究では、空間分解能の高い核磁気共鳴機能画像法(fMRI)と時間分解能の高い脳波(EEG)を組み合わせることにより、両方の特長を生かした精度の高い脳活動を計測して、その情報から、主観的知覚の切り替わりの時間変化の情報の抽出を目指した。被験者には、EEGキャップをかぶった状態で、fMRIスキャナの中に入ってもらう。その中で、多義図形(双安定性仮現運動)(図5)を観察し、主観的な見えの切り替わりをボタン報告するというタスクを行う。そのときの脳活動について、fMRI-EEG同時測定(10試行)した。
fMRI計測は、NiCTにあるSiemens製3.OTMRI装置(Siemens MAGNETOM Trio)を用いた。EEG計測には、同じくNiCTにあるBrainamp、Braincap MR 64 (Brain Products社)を用いた(図6)。
fMRI信号はSPM5 (http://www.fil.ion.ucl.ac.uk/spm/software/spm5/)によって解析を行った。脳波信号は、Brainanalyzer2を用いて、MRIのスキャンによるスキャンアーチファクトと心拍によるパルスアーチファクトを除去し、EOG信号を利用して、眼球運動によるアーチファクトも除去した。それらの信号を、被験者のボタン押しに関連してセグメンテーションした後に、複素モレットウェーブレット変換を用いて、4Hz～51Hzの周波数パワー信号に変換した(ベースラインはボタン押し後50～450msとした)。これらのパワーデータを用いて、被験者が、双安定性仮現運動の縦・横どちらの方向を知覚しているかを判別した。判別には、libsvmパッケージを使用した。カーネルは線形カーネルを使用した。SVMのトレーニングは交差確認法により、すべての単一試行で行った。
3.実験結果
3.1実験1
それぞれのオドボール課題の標的刺激を呈示したときに誘発された脳波から認知状態推定を行った。図7の結果から、19チャンネル、EpochO-600msの解析条件において最も精度よく状態判別できた。3チャンネル、Epoch250-500msの条件結果と比較すると、ポーズ画像の判別はほぼ同じとなっているが、顔画像とオレンジ画像において大きく精度が異なっている。本タスクでは、どちらの状態もオドボール課題の標的刺激で得られたデータであるため、P300成分は似たような波形となっている。標的刺激同士の判別においてP300成分だけを比較して判別することは困難であるといえる。そのため、頭頂以外のチャンネル、幅広い時間幅も含めたトレーニングデータが状態判別において大きく関わっていると考えられる。被験者全体の平均では、状態推定率64%と充分に判別できているとはいえない。しかし、個々の被験者の結果では最も高い確率で91%の精度で判別できた。本タスクでは、ERPにおける微細な変化から認知状態推定を行っているため、測定時における被験者の体調や、個人差により推定結果の分散が大きくなったと思われる。
3.2実験2
次に、知覚闘争中のfMRIによる脳活動結果を図8に示す。同時計測した脳波データに関して、知覚方向の判別を行うと、被験者平均で、54%の判別精度しか得られなかった。原因としては、実験1の課題と異なり、刺激事態の変化はないという判別タスク自体の難易度や、MRI関連のアーチファクトがうまく取り除けていない可能性がある。今後は、fMRIシグナルも特徴量に加えるとともに、事前処理や判別手法などを検討することにより、判別精度を上げていきたい。
4.まとめ
日常身体活動におけるヒトの意図抽出という観点からは、fMRIという巨大な装置に頼っている限りは、実用化は困難であると考えられる。しかしながら、本研究によって、fMRI-EEG同時測定によるBCI技術の有効性が示されれば、fMRIと同様、脳活動に伴う血流量変化をとらえるが、可搬性の高い近赤外分光法(NIRS)とEEGを組み合わせた小型の計測装置の開発につながると考えられる。本研究における基礎技術の開発は、コミュニケーションが不自由になってしまった患者に対する補助器具の開発や、車などのドライバーの注意力の低下を検出する運転補助装置の開発、消費者の心理を分析するようなマーケティング分野での応用など幅広い分野への波及効果が考えられる。