音声入力による手話描画システムの研究

八十田　弓子

　最近では手話によるコミュニケーションが盛んになってきており、TV番組などでも手話を表示しているものが増えてきた。しかし残念ながら全ての番組がそれに対応しているわけではない。そのため聾唖者（聴覚障害者）にとって必ずしも十分な情報が享受されないのが現状である。コミュニケーション手段の利用が制限されることは、人としての平等と社会への完全参加の観念において大きな障害であると考えられる。最近ではコンピュータを用いたインタラクティブな操作で手話表現についてさまざまな研究がされてきており、その中でもコミュニケーションの簡易化や手話学習の手段として音声認識を取り入れたシステムの研究が盛んになってきている。

　ニュースなどの音声を入力することにより、CG（コンピュータグラフィックス）人形に手話を表現させることが出来れば聾唖者における情報享受や社会参加がより容易になるのではないかと考えた。そこで本研究では音声で単語を入力することにより手話をコンピュータ上に表示できるシステムの構築を目的とした。システムはC言語で構築し、CG人形やGUI（グラフィカルユーザインタフェース）を表示するグラフィックス部分にはグラフィックスライブラリのOpenGL、音声認識には大語彙連続音声認識エンジンJuliusをライブラリ化したJulius for Windows Juliuslibと日本IBM株式会社から販売されたViaVoice for Windowsを使用した。

　本システムを使用するには、まずシステム画面の手話言語選択ボタンで表示させたい手話言語を選択する。その後、同画面上にある音声入力ボタンを押し、マイク入力が可能な状態で日本語の単語を音声入力すると、CG人形の関節データを保存した辞書ファイルを参照し、単語が存在すればCG人形が手話を再生するという流れになっている。また手話単語追加・削除機能、拡大・縮小機能、視点変更機能、手話再生速度変更機能、再生・終了機能などを実装している。

　本システムは、単語入力でCG人形に手話表示させているが、しかし、本来手話言語には自然言語とは異なった文法体系があり、入力された自然言語を解析し、その手話言語独自の文法体系に基づいて変換する必要がある。また、音声入力が正しく反映されずに誤認識するといった問題もある。そこで自然言語を入力し形態素解析を行えるようにした上で、手話言語の文法規則に変換できるような機能を追加しなくてはならない。一方、認識した音声の強弱で感情の表情や手話動作の身振りの大きさや速さを変化させるといった機能、また手話動作をセンサ入力し、さらに音声合成でも表現できるような機能があれば聾唖者に情報を伝えるだけでなく聾唖者からの情報発信にも役立つような、より一層便利なシステムになるのではないかと期待される。