1.まえがき
人間が外界から得る情報の大部分は視覚によるものであり,文字や図・絵の認識,定位と移動のための室内外環境の認識において視覚は重要な役割を果たしている。視覚機能を失った人々(約35万人(成人)1980年2月厚生省社会局調べ)が情報を獲得する手段は非常に限られ,近年の技術の進歩にもかかわらず視覚代行装置の研究・開発は満足なものではない。
地図や回路図などの図面は,社会生活や学校教育においてよく登場し,重要な情報形態である。そこで,われわれは,盲人が図面を認識するのを支援するシステムの研究開発を行った。
2.研究内容
2.1システムの概要
システムの概観を写真1に示す。対象図面をCCDカメラで撮影する。メモリボードに記録された画像を,パソコンで処理し,図面のもつ情報を抽出する。その結果に基づき,触覚に適した情報(図全体の構成)を触覚ディスプレイに表示する。使用者はまず触覚ディスプレイを指で走査することで図面全体の情報を得る。もし指で押している部分の詳しい情報を知りたい場合は,触覚ディスプレイはディジタイザの機能を有するので,情報獲得キーを押すと,合成音声でその部分の情報(図を構成する個々の要素名など)が示される。
本システムの特徴は1)コンピュータによる図面認識というシステムの知能化と,2)触覚・聴覚という複数のモダリティの最適利用,さらに,3)システムとの対話的な操作が可能なことである。
2.2図面処理
図面には,回路図,地図,プラント図など多いが,本研究では盲人が電気の勉強をする場合を考え,電気回路図を選んだ。対象は一般の本に掲載されている回路図とし,今回は「交流電源,直流電源,コイル,コンデンサー,抵抗,端子」で構成されていて,図面中に文字がないものとする。
図面の処理手順は図1に示すとおりであり,a)の電気回路図を入力すると,線図形b)に変換して図面認識c)を行い,d)にように触覚ディスプレイに適した形に変換される。d)の黒丸●は素一子(分岐点を含む)で,配線部分が◎で表されている。
この手順により26の回路図について実験したところ,すべての図面を認識し,16×16のマトリックス表示への変換までの所用時間は約50秒であった。なお,電気[叫路図以外の他図面については図1の手順を対象図面に対応したものに変換することで適応できる。
2.3情報提示
2.3.1触覚ディスプレイ
触知覚には能動的触知覚と受動的触知覚がある。前者は点字を読む場合のように使用者が手や指を動かして知覚する方法で,後者は触覚刺激物の振動により知覚する方法である。手のひらや指先で2次元パターンを触知覚する場合,能動的触知覚が受動的触知覚よりも一般的に優れている結果が報告されている。そこで,本研究では.凸状の触覚刺激物のパターンを使用者が指先で自由に走査できるような触覚ディスプレイ(写真2)を開発した。
この触覚ディスプレイは,ピンが8×8のマトリックス状に配置されたもので,ピンは2個の小型ソレノイドにより押し上げられる。ピンの高さは3段階で,高さ0は両方のソレノイドがオフ,高さ1(2mm)は一方がオン,そして高さ2(4mm)は両方がオンとなるときである。ピン間隔を狭めるために写真のように2層構造とした。また,ピンの先端部には,加圧導電性ゴム(PCR)を埋め込み,使用者がディスプレイ上のどのピンに触れているかを計測できるようにした(ディジタイズ機能)。そして,指で触っている場所の詳しい情報を知りたいときなどに押す情報獲得キーは3つのキーからなっており,その押し方により音声情報の選択(全体情報,個別情報),内容変更(接続関係の有無)ができる。
このディスプレイの特色は,1)ピンの高さが3段階であるため情報を多く伝達でき,2)指が触れている位置を計測するディジタイザ機能を備えていることである。
2.3.2音声出力
音声出力の方法としては合成音声出力と録音音声出力の2通りがあり,前者は任意の文を再生できるが,規則が複雑で辞書が大きくなる。後者はその逆で,データをあらかじめ用意しておかなければならないが,システム自体は小さい。コスト面と上記のことより,録音再生出力のうちメモリ効率がよく音質も必要十分なADPCM方式(8KHz,67秒録再生可能)の音声出力ボードを採用した。
音声出力は次にようになされる。まず,ファイル内の音声データをパソコンのメモリ上に読み込み,必要なデータを取り出して組合せ,音声ボードのメモリへ転送し,再生する。以下に,図1の図面の音声出力を例に説明する。用意するデータは表1のように回路情報,素子名,数字など30個であり,これらの組み合せで出力音声が形成される。例えば,全体情報として「閉回路」,「素子の数は」,「個」,「10」,「4」,無音という6個のデータを組み合わせて,『閉回路素子の数は14個』が出力される。また,左上のコンデンサーを押さえた場合は,『コンデンサー1』(同じ種類の素子が図中に複数個あるときは区別をするために番号を付ける)と出力される。また,接続関係情報ありの場合は,『コンデンサー1分岐点2と分岐点3と接続』と出力される。
2.4評価実験
電気回路図を触覚・音声とによる呈示法の検討およびシステムの有効性を調べるために実験を行った。
2.4.1方法
被験者は晴限の男子大学生9人で,全員電気回路図に関する知識を有していた。実験には5種類の電気回路図(閉回路,二端子網回路,4端子網回路)を使用した。目隠しをした被験者は,触覚ディスプレイ上の突出したピンを指先で探索し,必要に応じ情報獲得キーを押し,素子名(例:コイル)などの音声情報を得る。また,回路情報(例二『閉回路素子の数は7個』)はいつでも聞くことができる。そして,頭の中に回路図を完全に思い浮かべることができるまでこれらのやりとりを繰り返した後,その回路図を紙に描いてもらう。
このような実験を,触覚情報の4つの呈示法『標準,拡大,縮小,合成』について実施した。呈示法の特徴はそれぞれ以下の通りである。
「標準」:素子と素子の間に配線部分が少なくとも一つある。
「拡大」二標準より素子間隔が空いているもの。
「縮小」:素子と素子の間がつまっているもの。
「合成」:触覚情報を減らし9音声情報を増やす表示(例えば,コイルと抵抗が並列なとき,それらを一つの要素とみなして表示し,音声でそれらが並列であることを知らせる)。
また,音声情報として,接続関係がある場合(例:『抵抗コンデンサーと分岐点2と接続』)とない場合(例:『抵抗』)を,「標準」呈示で実験した。さらに,回路図を音声だけで確認するのと,本システムのように触覚と音声とで認識するのと,どちらが良いかの比較実験もした。
2.4.2結果
図面認識は一人につき一ヵ所程度の間違い(素子名,位置関係など)で,ほぼ正しく行われた。全素子数に対する誤り率は4%であった。そして9実験結果をまとめたものが表2である。
表2のa)のように,触覚情報の4つの呈示法『標準,拡大,縮小,合成』に対する評価は,被験者によって異なるので使用者に選択できるようにすることが大切である。また,表b)のように,9人の被験者全員が,「音声情報は素子名だけでよい」,「触覚&音声で提示のほうがわかりやすい」,「回路情報はある方が便利」,「認識する手順は全体像を把握してから個々の部分を理解」という結果であった。
なお,ピンの高さ(0,2,4mm)に,もう少し差をつけた法がわかりやすいとする人が7人いた。
3.まとめ
盲人が対話的な操作で触覚と音声情報から図面を理解できるようなシステムを開発し,触覚・音声情報の呈示方法およびシステムの有効性を調べるために評価実験を行った。実験より,『触知覚の最適な表示方法は被験者によって異なり,すべての人に共通な方法はない。』,『音声情報は簡潔なものほど良い。』,『事前に図面情報を与えることで認識しやすくなる。』ということが言えた。また,触覚と音声とによる情報呈示は,音声だけの呈示に比べ,認識しやすいことが確かめられた。以上のことから,われわれが開発したシステムを使用することで,盲人は図面情報を容易に獲得できると考えられる。
本システムは現在プロトタイプができた段階で,今後に残された数多くの課題がある。それらの中で重要なものとしては,
①いろいろな図面を取り扱えること。
②触知覚により得られる情報を多くするため,16×16表示のディスプレイの開発。
③実用化のための,ヒューマン・インターフェースの確立。
などがあり,今後検討する予定である。