1991年[ 技術開発研究助成 ] 成果報告 ： 年報第05号
手の動作の計測・評価システムに関する研究―3次元空間での手の運動の最適制御問題への応用―
概要
1.まえがき
本研究の目的は,手の機能とその制御の仕組みを解析するための,手の動作の計測と評価の方法を確立することにある。
手の働きとしては,物体の操作,情報の表現,センシングなどが考えられるが,本研究では,物体を把持する動作(Grasping)とそのための構え(Preshaping)を具体的な対象としてとりあげた。
ヒトがある物を手で持とうとするとき,手を伸ばしながら,掴もうとする物体の形状に合うように手の形をつくる。この動作をPreshapingと呼んでいる。この動作は,生まれつきプログラムされているものではなく,生後,視覚や体性感覚と運動系の連携によって獲得されるものである。本研究では,この学習の過程を説明し得る神経回路モデルを提案した。物体の形状に関する情報は,主に,視覚を通して得られるが,運動に伴う体性感覚情報が頭頂連合野において統合され,形状認識に使われていると考えられている。
そこで,ここでは,とりあえず,体性感覚情報から物体の形状に関する情報が抽出され,脳内で表現されるとして,そのための神経回路を構成する。ついで,これを用い,対象物に関する情報が与えられたとき,それに適した手の形を決定するモデルを提案する。形状の内部表現の方法は,シンボリックな表現(3節)とPopulation Codingによる表現(4節)を用い,両者の比較を行っている。
2.順システム構築のためのデータの収集
まず体性感覚情報から対象の形状の内部表現への変換(以下これを順システムと呼ぶ)を神経回路網を用いて構成するが,体性感覚情報としてはVPL社製のデータグローブから得られる値を指の関節角情報として用いる。データグローブは布製の手袋の関節位置に光ファイバーを取り付けたもので,指が曲がったときの光ファイバーからの光の漏れを測定することで指の関節角が測定できる。ここでは扱うタスクは最も簡単な例として,充分な高さのある木製の円柱を握るという運動を取り上げる。被験者には対象をしっかり把握するように指示を与え,安定した把握が達成されたときのデータグローブからの出力をデータとして用いる。対象物としては高さ10cm,直径が2cmから7cmまで,1cmきざみの合計6種類の円柱を用意する。1種類の円柱に対して50回試行させ,合計300バターンのデータを収集する。また,これ以外に指を自由に動かして測定し,その中で明らかに円柱を握れていないデータを握っていないデータとする(約600パターン)。
3.シンボリックな表現方法を用いたモデル
物を手で操作する場合に,指関節の運動にとって必要である対象に関する情報は,形に関する情報と大きさに関する情報であると考えられる。従って,本節ではこの2種類の情報をそれぞれ出力する3層の神経回路で順システムを構成する。
3.1順システムの構成
今回の実験では神経回路の第3層に,大きさを表現するためには円柱の直径を表すニューロン(yd),形を表現するためには円柱を握ったかどうかを判定するニューロン(y。)それぞれ1個を用意すればよい(Fig.1)。入力は2節の実験によって得られたデータを正規化した指関節角情報で,データグローブのセンサーの数だけ第1層のニューロンを用意する。
順システムは以下のようにして神経回路の学習により獲得される。大きさを出力する神経回路には円柱を握ったときのデータのみトレーニングパターンとして用い,教師信号として円柱の直径を正規化した値を与える。形を出力する神経回路には握ったときのデータと握っていないときのデータの両方を用い,教師信号としては円柱を握っている入力バターンには1を,握っていない入力パターンに対してはoを与える。しかし実際には,Sigmoid関数を用いているので出力ニューロンの値は0,1を取り得ない。従って,出力ニューロンの値は握っているパターンに対しては0.98より大きい値,握れていないパターンに対しては0.7よりも小さい値であれば良いとして学習を行う。学習にはBack Propagation法を用いる。
3.2神経回路による手の形の決定
体性感覚情報から対象の内部表現へ変換する順システムを学習により獲得した後,これを用いて対象の情報が与えられたときに適した手の形を神経回路の緩和計算(Relaxation)により決定する。対象の情報から手の形を決定する問題は,3.1節の順システムの逆変換を求める問題である。しかし一般に1種類の円柱に対して複数パターンの握り方が存在するので,これは解が一意に決定できない不良設定問題である。そこで本研究では評価関数を設定し,対象を正しく握れていてかつ評価関数の値を最小にするような場合を最適な握り方であると仮定し,これを求めることにする。すなわちここで解く問題は拘束条件付きの最適化問題であり,本研究では順システムを利用した緩和計算によってこの問題を解く。今回は手の形(指関節角情報)を表すニューロンの持つ値xに関する評価関f(x)を次のように設定した。
これは安定な把握のなかで,指関節が充分に曲げられている場合が最も安定であると仮定する。データグローブと指関節角の関係は単調減少の関数であるから,指関節の曲げが大きいとはセンサーの出力が小さいことに相当すると考えられるので(1)式を設定した。αという重みは,指の開きを計測するセンサー(abduction sensor)が指の曲げを計測するセンサーの出力と性質が異なるのでついている。この評価関f(x)が最小になるような握り方を最適な握り方と仮定し,対象の円柱に関する情報が与えられたときのネットワークのエネルギー関数を次のように設定する。
dは与えられた円柱の直径を正規化した値であり,λ,μは重みである。(2)式で第1項と第2項は対象を正しく握れているかを表す項,第3項は評価関数である。今,指関節角情報xを表すニューロン群が次式に従って状態推移するものとする。
Sはニューロンの状態推移時間,cは時定数である。このように設定したときに(3)式の第1,2項は神経回路で出力誤差の逆伝搬によって計算できる。第3項は神経回路の第1層の値すなわち指関節角が評価関数を小さくするような負のフィードバックを示している。このとき,
であるから,エネルギー関数Eは状態推移時間Sがすすむにつれて減少する。さらに,エネルギー関数の第3項(評価関数)にかかっている重みμをSに従って減少させるとEを最小にするようなxを求めることができる。この計算方法は軌道生成に用いた方法と同様である。
3.3計算機シミュレーション
直径が4cmという情報が与えられた場合に神経回路の緩和計算で求められたxと,トレーニングで与えた直径4cmのパターンの中で評価関数が最小であるパターンとの比較をFig.2(a)に示した。求められたxは評価関数f(x)の値がトレーニングのデータよりも非常に小さい値をとり,かつエネルギー項の第1,2項を満たしていて,神経回路では対象を握れていると判定してい'る。しかし,これは明らかに握れていない手の形を示している。これは形を判定する神経回路の学習において,握れていないトレーニングデータが不十分であるために,汎化学習がうまくいっていないことによると考えられる。そこで求められたxを,形を出力する神経回路の握れていないときのパターンに加えて,神経回路を再学習させる。この再学習を繰り返すと順システムが次第に正しいものになっていって,緩和計算の結果が握れているデータに近い値をとるようになる。Fig.2(b)に6回再学習をした後の緩和計算の結果を示す。また,手の形状をより正確にデータに反映させるためにデータグローブのセンサーの数を16個に増やした(xが16次元)ときの結果をFig.3に示す。ここでは直径は7cmである。Fig.3(a)は再学習を行う前の結果,Fig.3(b)は再学習を20回行った後の緩和計算の結果である。
4.PopulationCodingを用いて表現するモデル
3節のモデルでは対象物の形状の表現形態としてシンボリックな表現を用いている。このモデルには次のような問題点がある。
1.体性感覚情報から形状認知するときに,形を表現する神経回路の構築のために何も握れないようなデータが必要となるのは不自然である。特に指関節情報の次元が大きくなると神経回路の汎化が難しくなる。
2.似た形を表現する際にもまったく別のニューロンを用意し,なおかつ大きさの表現方法もその度に適した方法に変更しなければならない。
そこで本節ではPopulation Codingを用いた形状の表現方法を検討する。すなわち,形に関する情報と大きさに関する情報を同じニューロン群によって表す方法である。
4.1順システムの構成
既に述べたように形状に関する内部表現はその表現形態は明らかではなく,また今回は視覚と体性感覚情報の統合過程については扱っていないので,簡単のために次のような表現方法を用いた。
・対象の形は出力層のニューロンの興奮の分布の形状で表す。
・対象の大きさは出力層のニューロンの興奮の局在位置で表す。
今回の実験では対象物は円柱に限ったので,大きさについては円柱の直径のみを表せば良い。従って,ニューロンは1次元に並んだものを用意し,興奮の分布は円柱に対してその直径の大きさに対応したニューロンを中心としたガウス関数になるようにした(Fig.4)。入力層には3節と同様にデータグローブのセンサーの数(13個),出力層には15個のニューロンを用意し,円柱を握ったときのデータのみをトレーニングデータとして与える。教師信号にはグ番目の出力ニューロンに対し次のような島を与えて学習させる。
ndは与えられた円柱の直径dに対応するニューロンを表すインデックスである。
4.2緩和計算による手の形の決定
できあがった順システムに対し3節と同様に,対象となる円柱が与えられたときのエネルギー関数を次式のように定義する。
f(x)は先述の評価関数,μはそれにかかる重みを表す。後は3節と同様な緩和計算により最適なxを求めることができる。直径が4cmと与えたときの結果をFig.5に示した。このモデルでは握れていないデータを与えていないにもかかわらず,比較的良い結果が得られていることが分かる。
5.まとめ
今回のシミュレーンヨンで,情報表現としてはPopulation Codingを用いた方がシンボリックな表現を用いたときより,運動司令生成のための順システムをつくる上では有利であることを示唆する結果が得られた。しかし,対象の形状の種類が増えたときに,把持運動の運動計画の立案において必要となる,対象の3次元形状に関するパラメータの種類と,その表現方法は検討の必要がある。そして,その内部表現が視覚情報と体性感覚情報との統合により自己組織化されるよう,その統合過程を含めたモデルを構成することも今後の重要な課題である。また,最適な手の形を指定する評価関数を指関節のダイナミクスを考慮して設定できるよう,行動実験を行いたいと思っている。
本研究の課題は,手の動作の計測・評価システムを提案することにあったが,ここでは,把持運動に限定して,操作対象となる物体の形状に対応して,手の構えがどのように準備されるか,その学習の過程を神経回路によってモデル化することを試みた。現段階での手の動作の表現に関する研究成果は,限られたものとなったが,より広い問題に拡張する土台がつくられたといえる。
本研究の目的は,手の機能とその制御の仕組みを解析するための,手の動作の計測と評価の方法を確立することにある。
手の働きとしては,物体の操作,情報の表現,センシングなどが考えられるが,本研究では,物体を把持する動作(Grasping)とそのための構え(Preshaping)を具体的な対象としてとりあげた。
ヒトがある物を手で持とうとするとき,手を伸ばしながら,掴もうとする物体の形状に合うように手の形をつくる。この動作をPreshapingと呼んでいる。この動作は,生まれつきプログラムされているものではなく,生後,視覚や体性感覚と運動系の連携によって獲得されるものである。本研究では,この学習の過程を説明し得る神経回路モデルを提案した。物体の形状に関する情報は,主に,視覚を通して得られるが,運動に伴う体性感覚情報が頭頂連合野において統合され,形状認識に使われていると考えられている。
そこで,ここでは,とりあえず,体性感覚情報から物体の形状に関する情報が抽出され,脳内で表現されるとして,そのための神経回路を構成する。ついで,これを用い,対象物に関する情報が与えられたとき,それに適した手の形を決定するモデルを提案する。形状の内部表現の方法は,シンボリックな表現(3節)とPopulation Codingによる表現(4節)を用い,両者の比較を行っている。
2.順システム構築のためのデータの収集
まず体性感覚情報から対象の形状の内部表現への変換(以下これを順システムと呼ぶ)を神経回路網を用いて構成するが,体性感覚情報としてはVPL社製のデータグローブから得られる値を指の関節角情報として用いる。データグローブは布製の手袋の関節位置に光ファイバーを取り付けたもので,指が曲がったときの光ファイバーからの光の漏れを測定することで指の関節角が測定できる。ここでは扱うタスクは最も簡単な例として,充分な高さのある木製の円柱を握るという運動を取り上げる。被験者には対象をしっかり把握するように指示を与え,安定した把握が達成されたときのデータグローブからの出力をデータとして用いる。対象物としては高さ10cm,直径が2cmから7cmまで,1cmきざみの合計6種類の円柱を用意する。1種類の円柱に対して50回試行させ,合計300バターンのデータを収集する。また,これ以外に指を自由に動かして測定し,その中で明らかに円柱を握れていないデータを握っていないデータとする(約600パターン)。
3.シンボリックな表現方法を用いたモデル
物を手で操作する場合に,指関節の運動にとって必要である対象に関する情報は,形に関する情報と大きさに関する情報であると考えられる。従って,本節ではこの2種類の情報をそれぞれ出力する3層の神経回路で順システムを構成する。
3.1順システムの構成
今回の実験では神経回路の第3層に,大きさを表現するためには円柱の直径を表すニューロン(yd),形を表現するためには円柱を握ったかどうかを判定するニューロン(y。)それぞれ1個を用意すればよい(Fig.1)。入力は2節の実験によって得られたデータを正規化した指関節角情報で,データグローブのセンサーの数だけ第1層のニューロンを用意する。
順システムは以下のようにして神経回路の学習により獲得される。大きさを出力する神経回路には円柱を握ったときのデータのみトレーニングパターンとして用い,教師信号として円柱の直径を正規化した値を与える。形を出力する神経回路には握ったときのデータと握っていないときのデータの両方を用い,教師信号としては円柱を握っている入力バターンには1を,握っていない入力パターンに対してはoを与える。しかし実際には,Sigmoid関数を用いているので出力ニューロンの値は0,1を取り得ない。従って,出力ニューロンの値は握っているパターンに対しては0.98より大きい値,握れていないパターンに対しては0.7よりも小さい値であれば良いとして学習を行う。学習にはBack Propagation法を用いる。
3.2神経回路による手の形の決定
体性感覚情報から対象の内部表現へ変換する順システムを学習により獲得した後,これを用いて対象の情報が与えられたときに適した手の形を神経回路の緩和計算(Relaxation)により決定する。対象の情報から手の形を決定する問題は,3.1節の順システムの逆変換を求める問題である。しかし一般に1種類の円柱に対して複数パターンの握り方が存在するので,これは解が一意に決定できない不良設定問題である。そこで本研究では評価関数を設定し,対象を正しく握れていてかつ評価関数の値を最小にするような場合を最適な握り方であると仮定し,これを求めることにする。すなわちここで解く問題は拘束条件付きの最適化問題であり,本研究では順システムを利用した緩和計算によってこの問題を解く。今回は手の形(指関節角情報)を表すニューロンの持つ値xに関する評価関f(x)を次のように設定した。
これは安定な把握のなかで,指関節が充分に曲げられている場合が最も安定であると仮定する。データグローブと指関節角の関係は単調減少の関数であるから,指関節の曲げが大きいとはセンサーの出力が小さいことに相当すると考えられるので(1)式を設定した。αという重みは,指の開きを計測するセンサー(abduction sensor)が指の曲げを計測するセンサーの出力と性質が異なるのでついている。この評価関f(x)が最小になるような握り方を最適な握り方と仮定し,対象の円柱に関する情報が与えられたときのネットワークのエネルギー関数を次のように設定する。
dは与えられた円柱の直径を正規化した値であり,λ,μは重みである。(2)式で第1項と第2項は対象を正しく握れているかを表す項,第3項は評価関数である。今,指関節角情報xを表すニューロン群が次式に従って状態推移するものとする。
Sはニューロンの状態推移時間,cは時定数である。このように設定したときに(3)式の第1,2項は神経回路で出力誤差の逆伝搬によって計算できる。第3項は神経回路の第1層の値すなわち指関節角が評価関数を小さくするような負のフィードバックを示している。このとき,
であるから,エネルギー関数Eは状態推移時間Sがすすむにつれて減少する。さらに,エネルギー関数の第3項(評価関数)にかかっている重みμをSに従って減少させるとEを最小にするようなxを求めることができる。この計算方法は軌道生成に用いた方法と同様である。
3.3計算機シミュレーション
直径が4cmという情報が与えられた場合に神経回路の緩和計算で求められたxと,トレーニングで与えた直径4cmのパターンの中で評価関数が最小であるパターンとの比較をFig.2(a)に示した。求められたxは評価関数f(x)の値がトレーニングのデータよりも非常に小さい値をとり,かつエネルギー項の第1,2項を満たしていて,神経回路では対象を握れていると判定してい'る。しかし,これは明らかに握れていない手の形を示している。これは形を判定する神経回路の学習において,握れていないトレーニングデータが不十分であるために,汎化学習がうまくいっていないことによると考えられる。そこで求められたxを,形を出力する神経回路の握れていないときのパターンに加えて,神経回路を再学習させる。この再学習を繰り返すと順システムが次第に正しいものになっていって,緩和計算の結果が握れているデータに近い値をとるようになる。Fig.2(b)に6回再学習をした後の緩和計算の結果を示す。また,手の形状をより正確にデータに反映させるためにデータグローブのセンサーの数を16個に増やした(xが16次元)ときの結果をFig.3に示す。ここでは直径は7cmである。Fig.3(a)は再学習を行う前の結果,Fig.3(b)は再学習を20回行った後の緩和計算の結果である。
4.PopulationCodingを用いて表現するモデル
3節のモデルでは対象物の形状の表現形態としてシンボリックな表現を用いている。このモデルには次のような問題点がある。
1.体性感覚情報から形状認知するときに,形を表現する神経回路の構築のために何も握れないようなデータが必要となるのは不自然である。特に指関節情報の次元が大きくなると神経回路の汎化が難しくなる。
2.似た形を表現する際にもまったく別のニューロンを用意し,なおかつ大きさの表現方法もその度に適した方法に変更しなければならない。
そこで本節ではPopulation Codingを用いた形状の表現方法を検討する。すなわち,形に関する情報と大きさに関する情報を同じニューロン群によって表す方法である。
4.1順システムの構成
既に述べたように形状に関する内部表現はその表現形態は明らかではなく,また今回は視覚と体性感覚情報の統合過程については扱っていないので,簡単のために次のような表現方法を用いた。
・対象の形は出力層のニューロンの興奮の分布の形状で表す。
・対象の大きさは出力層のニューロンの興奮の局在位置で表す。
今回の実験では対象物は円柱に限ったので,大きさについては円柱の直径のみを表せば良い。従って,ニューロンは1次元に並んだものを用意し,興奮の分布は円柱に対してその直径の大きさに対応したニューロンを中心としたガウス関数になるようにした(Fig.4)。入力層には3節と同様にデータグローブのセンサーの数(13個),出力層には15個のニューロンを用意し,円柱を握ったときのデータのみをトレーニングデータとして与える。教師信号にはグ番目の出力ニューロンに対し次のような島を与えて学習させる。
ndは与えられた円柱の直径dに対応するニューロンを表すインデックスである。
4.2緩和計算による手の形の決定
できあがった順システムに対し3節と同様に,対象となる円柱が与えられたときのエネルギー関数を次式のように定義する。
f(x)は先述の評価関数,μはそれにかかる重みを表す。後は3節と同様な緩和計算により最適なxを求めることができる。直径が4cmと与えたときの結果をFig.5に示した。このモデルでは握れていないデータを与えていないにもかかわらず,比較的良い結果が得られていることが分かる。
5.まとめ
今回のシミュレーンヨンで,情報表現としてはPopulation Codingを用いた方がシンボリックな表現を用いたときより,運動司令生成のための順システムをつくる上では有利であることを示唆する結果が得られた。しかし,対象の形状の種類が増えたときに,把持運動の運動計画の立案において必要となる,対象の3次元形状に関するパラメータの種類と,その表現方法は検討の必要がある。そして,その内部表現が視覚情報と体性感覚情報との統合により自己組織化されるよう,その統合過程を含めたモデルを構成することも今後の重要な課題である。また,最適な手の形を指定する評価関数を指関節のダイナミクスを考慮して設定できるよう,行動実験を行いたいと思っている。
本研究の課題は,手の動作の計測・評価システムを提案することにあったが,ここでは,把持運動に限定して,操作対象となる物体の形状に対応して,手の構えがどのように準備されるか,その学習の過程を神経回路によってモデル化することを試みた。現段階での手の動作の表現に関する研究成果は,限られたものとなったが,より広い問題に拡張する土台がつくられたといえる。