1988年[ 技術開発研究助成 ] 成果報告 ： 年報第02号
音声合成方式発声代行システムのための電子計測技術に関する研究
概要
I.まえがき
発声機能障害者,とくに喉頭切除者が音声を発声しようとするときの,残存調音器官の活動状態を電子的に計測し,障害者の意図する音声を判別し,合声音として発声するシステムにつき研究を行った。
残存調音器官の活動状態を計測する手段としては,エレクトロパラトグラフ,磁気センサ式開口度検出器,および筋電図を採用した。
これらの手段により計測された信号を処理して,できるだけ多くの音素の判別を試み,これをリアルタイム判別発声システムとして構築した。さらに発声の個人差対策や,音の高低と強弱のような超音節的情報の抽出方法についても検討し,実験を行った。
Ⅱ.内容
1.計測法
a.エレクトロパラトグラフ
舌と口蓋との接触状態を検出するためにエレクトロバラトグラフを使った。この装置は図1に示すように,口蓋表面の63個の電極と,舌との接触の有無を,1秒間に64フレームの割合で検出する。
b.開口度検出器
ロの開きの度合いを検出するために,磁気センサーを上顎の奥歯に,それに相対する下顎の奥歯に磁石を装着し,センサーの出力電圧により開口度を測定した。図2に装着位置を示す。
c.筋電図
音の高低の検出可能性を調べるために,甲状舌骨筋と胸骨舌骨筋に表面電極を装置し,筋電計を介して計測を行った。
2.判別方法
a.母音の判別
ア,イ,ウ,エ,オの5つの母音発声時の開口度検出器の出力を図3に示す。これから,母音を口の開きの大(ア),中(エ,オ,),小(イ,ウ,)の3種類に分類できることが分かる。
他方,エレクトロパラトグラフを用いると,図4に示すように,アとオでは舌と口蓋との接触がまったくないこと,ウとエでは接触パターンがほぼ等しいこと,イは独自の接触パターンを持つことが分かる。
以上から,開口度検出器とエレクトロパラトグラフとを組み合わせて,表1のようにすれば,5つの母音のすべてが判別できる。
b.子音の判別
子音については,主としてエレクトロパラトグラフの出力を用いて判別する。判別可能な子音は,発音記号でs,∫,t,t∫,r,rj,kj,nの8種類である。判別は,63個の電極と舌との接触の有無に,各電極ごとに音素に応じた重みを掛けたものを,標準のものと照合することにより行う。
c.単音節単位の判別
エレクトロパラトグラフや開口度検出器から送られてくる時系列信号を有限オートマトンに入力して,信号の揺らぎを吸収して安定な単音節単位の判別を行う。
図5は実験例で,最左列は64分の1秒ごとのフレーム数,EMO～NYOは,母音3種類,子音9種類のエレクトログラフ標準パターンとの照合結果(最大値は90),SDMEは開口度で60未満,60以上180未満,180以上に応じて,小開き(C),中開き(M),大開き(0)に分類される。TとSの並んだ列は,過渡状態か定常状態かを表わすものでエレクトロパラトグラフと開口度検出器からの信号を用いて判定する。最右列は最終的な判別結果で,ラと判別されている。
d.リアルタイム判別システム
単音節単位で,りアルタイムの判別を行なうシステムを図6のように構成した。
エレクトロパラトグラフからの口蓋の接触パターンの分類を高速に行なうために,マツチングプロセッサを用いる。その分類結果と磁気センサの出力とを総合して,単音節単位の判別をパーソナルコンピュータで行ない,音声合成装置を駆動して発声する。
以上では発声できない音素については,簡易キーボードから指定する。表2に示すようにキー1を押して,ザ,ジ,ズ,ゼ,ゾと口を動かせば,そのように発声できる。押さなければ,サ,シ,ス,セ,ソとなる。
e.発声の個人差対策
調音器官の活動状態には,かなりの個人差が認められる。たとえば,口蓋の接触パターンは同じ音を発声してもかなりの個人差がある。口蓋の接触パターンを11種類に分類するのに,各電極に重みをつけた標準バターンを人手で作っているのが現状であるが,これを自動化することを試みた。図7にその手順を示す。標準パターン問の距離ができるだけ大きくなるような重みを探索するという考え方にもとついているものである。
f.音の高低の検出
箸(はし)と,橋(はし)のように音の高低の区別は大切である。そこで音の高低に関係すると言われる甲状舌骨筋および,胸骨舌骨筋から表面電極により筋電位を記録した。5母音のそれぞれにつき,音を次第に高めるときには甲状舌骨筋の活動が増大すること,逆に音を次第に低めるときには胸骨舌骨筋の活動が次第に増大することが認められる。
Ⅲ.成果
リアルタイム判別システムを用いて,日本語92単音節に対する判別結果を表3に示す。母音については正解率は96%と高い。子音ではラ行が低正解率である。これは,舌の動きがrの発音中は変化が激しいためである。
音の高低については,今後さらに研究を続ける必要がある。該当する筋肉が皮膚表面から深い所にあるため,表面電極による記録に不向きであること,喉頭切除者では,これらの筋肉が切除される可能性の高いことなどに留意する必要がある。
個人差対策についても研究は緒についたばかりであるが,これは必ず実行可能な課題であるのでなんとか成果を出したい。
Ⅳ.まとめ
エレクトロパラトグラフ,開口度検出器および簡易キーボードからの入力にもとづき,日本語の92の単音節をリアルタイムで判別発声する,音声合成方式発声代行システムを開発した。判別の正解率は,使用者の短期間の訓練後80%以上に達した。
個人差を吸収できる判別法,音の高低の検出法についても検討し,データを収集した。
発声機能障害者,とくに喉頭切除者が音声を発声しようとするときの,残存調音器官の活動状態を電子的に計測し,障害者の意図する音声を判別し,合声音として発声するシステムにつき研究を行った。
残存調音器官の活動状態を計測する手段としては,エレクトロパラトグラフ,磁気センサ式開口度検出器,および筋電図を採用した。
これらの手段により計測された信号を処理して,できるだけ多くの音素の判別を試み,これをリアルタイム判別発声システムとして構築した。さらに発声の個人差対策や,音の高低と強弱のような超音節的情報の抽出方法についても検討し,実験を行った。
Ⅱ.内容
1.計測法
a.エレクトロパラトグラフ
舌と口蓋との接触状態を検出するためにエレクトロバラトグラフを使った。この装置は図1に示すように,口蓋表面の63個の電極と,舌との接触の有無を,1秒間に64フレームの割合で検出する。
b.開口度検出器
ロの開きの度合いを検出するために,磁気センサーを上顎の奥歯に,それに相対する下顎の奥歯に磁石を装着し,センサーの出力電圧により開口度を測定した。図2に装着位置を示す。
c.筋電図
音の高低の検出可能性を調べるために,甲状舌骨筋と胸骨舌骨筋に表面電極を装置し,筋電計を介して計測を行った。
2.判別方法
a.母音の判別
ア,イ,ウ,エ,オの5つの母音発声時の開口度検出器の出力を図3に示す。これから,母音を口の開きの大(ア),中(エ,オ,),小(イ,ウ,)の3種類に分類できることが分かる。
他方,エレクトロパラトグラフを用いると,図4に示すように,アとオでは舌と口蓋との接触がまったくないこと,ウとエでは接触パターンがほぼ等しいこと,イは独自の接触パターンを持つことが分かる。
以上から,開口度検出器とエレクトロパラトグラフとを組み合わせて,表1のようにすれば,5つの母音のすべてが判別できる。
b.子音の判別
子音については,主としてエレクトロパラトグラフの出力を用いて判別する。判別可能な子音は,発音記号でs,∫,t,t∫,r,rj,kj,nの8種類である。判別は,63個の電極と舌との接触の有無に,各電極ごとに音素に応じた重みを掛けたものを,標準のものと照合することにより行う。
c.単音節単位の判別
エレクトロパラトグラフや開口度検出器から送られてくる時系列信号を有限オートマトンに入力して,信号の揺らぎを吸収して安定な単音節単位の判別を行う。
図5は実験例で,最左列は64分の1秒ごとのフレーム数,EMO～NYOは,母音3種類,子音9種類のエレクトログラフ標準パターンとの照合結果(最大値は90),SDMEは開口度で60未満,60以上180未満,180以上に応じて,小開き(C),中開き(M),大開き(0)に分類される。TとSの並んだ列は,過渡状態か定常状態かを表わすものでエレクトロパラトグラフと開口度検出器からの信号を用いて判定する。最右列は最終的な判別結果で,ラと判別されている。
d.リアルタイム判別システム
単音節単位で,りアルタイムの判別を行なうシステムを図6のように構成した。
エレクトロパラトグラフからの口蓋の接触パターンの分類を高速に行なうために,マツチングプロセッサを用いる。その分類結果と磁気センサの出力とを総合して,単音節単位の判別をパーソナルコンピュータで行ない,音声合成装置を駆動して発声する。
以上では発声できない音素については,簡易キーボードから指定する。表2に示すようにキー1を押して,ザ,ジ,ズ,ゼ,ゾと口を動かせば,そのように発声できる。押さなければ,サ,シ,ス,セ,ソとなる。
e.発声の個人差対策
調音器官の活動状態には,かなりの個人差が認められる。たとえば,口蓋の接触パターンは同じ音を発声してもかなりの個人差がある。口蓋の接触パターンを11種類に分類するのに,各電極に重みをつけた標準バターンを人手で作っているのが現状であるが,これを自動化することを試みた。図7にその手順を示す。標準パターン問の距離ができるだけ大きくなるような重みを探索するという考え方にもとついているものである。
f.音の高低の検出
箸(はし)と,橋(はし)のように音の高低の区別は大切である。そこで音の高低に関係すると言われる甲状舌骨筋および,胸骨舌骨筋から表面電極により筋電位を記録した。5母音のそれぞれにつき,音を次第に高めるときには甲状舌骨筋の活動が増大すること,逆に音を次第に低めるときには胸骨舌骨筋の活動が次第に増大することが認められる。
Ⅲ.成果
リアルタイム判別システムを用いて,日本語92単音節に対する判別結果を表3に示す。母音については正解率は96%と高い。子音ではラ行が低正解率である。これは,舌の動きがrの発音中は変化が激しいためである。
音の高低については,今後さらに研究を続ける必要がある。該当する筋肉が皮膚表面から深い所にあるため,表面電極による記録に不向きであること,喉頭切除者では,これらの筋肉が切除される可能性の高いことなどに留意する必要がある。
個人差対策についても研究は緒についたばかりであるが,これは必ず実行可能な課題であるのでなんとか成果を出したい。
Ⅳ.まとめ
エレクトロパラトグラフ,開口度検出器および簡易キーボードからの入力にもとづき,日本語の92の単音節をリアルタイムで判別発声する,音声合成方式発声代行システムを開発した。判別の正解率は,使用者の短期間の訓練後80%以上に達した。
個人差を吸収できる判別法,音の高低の検出法についても検討し,データを収集した。