JPH08115408A - 手話認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 表現される文脈や状況によって変化する部分
を持つ一般的な手話を、柔軟かつ効率的、しかも精度良
く認識する手話認識装置を実現する。 【構成】 手話単語をこれを構成している動作要素に分
解し、動作要素を表す記号の組み合わせとして手話単語
を表現する。それぞれの動作要素の認識を独立に行い、
その認識結果からそれぞれの手話単語を構成する動作要
素を検索し、動作要素間の同時的および逐次的な組み合
わせを調べることにより手話単語を認識する。また、各
動作要素の認識には、それぞれの動作要素の認識に最適
な認識方式を用いる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、手話を認識し、これを
音声言語に変換して出力する手話認識装置に関し、特に
手話を入力し、その結果を音声言語の形で出力すること
により、聴覚障害者と健聴者との間のコミュニケーショ
ンを支援することができる手話認識装置に関するもので
ある。

【０００２】

【従来の技術】従来の手話認識装置としては、手袋（デ
ータグローブ）を用いた装置により手話の手動作データ
を入力し、そのデータに対して音声認識や画像認識等の
一般的なパターン照合の技術やニューラルネットワーク
の技術を用いて、手話の認識を行う方法が行われてい
た。また、手話認識に近い分野である音声認識や画像認
識の技術では、あるパターンを認識するために必要な特
徴量を計算し、その結果を用いて認識を行っていた。こ
の場合、いくつかの特徴パラメータから直接対象を認識
する方法があるが、その他の方法として、音素や直線の
ような大きな構造を構成する要素を先ず認識し、その組
み合わせによって対象全体を認識する方法がある。ま
た、本出願人によって本願より先に提案された特願平６
−１０１０９７号明細書および図面（手話通訳装置）で
は、手話単語の境界に特定の手振りや表情を挿入した
り、手話単語の境界で別の入力装置から信号を入力する
ことにより、手話単語の境界を明確にして、手話文の認
識を手話単語単位の認識により行っている。しかし、こ
の方法においても、文脈や周囲の状況により手話単語が
変化してしまう部分があるので、明確に手話単語の境界
を認識することができないことがある。さらに、本出願
人により本願より先に提案された特願平５−１２５６９
８号明細書および図面では、手動作の認識はすなわち単
語の認識であった。これでは、前述と同じように、文脈
や周囲の状況によって手話単語が変化してしまうという
問題がある。

【０００３】

【発明が解決しようとする課題】一般に、手話の動作
は、手話単語と呼ばれる単位を連続的につなぎ合わせて
表現することにより手話文が表現され、手話文を交換し
合うことにより会話が行われる。この場合、手話単語に
は、常に同じ動作が行われる手話単語と文脈や周囲の状
況によって一部が変化する手話単語が存在する。このた
め、一般的な手話を認識するためには、手話単語の動作
のうち文脈や状況によって変化しない部分と変化する部
分を明確に分離する必要がある。しかしながら、従来の
手話認識技術では、入力されてきた手話データ全体を１
つのパターンとみなして認識を行っている場合が殆んど
であり、このために文脈や状況によって変化する一般的
な手話の認識を行うことができなかった。一方、人工的
に作成した手話単語の認識においては、手話単語の動作
をいくつかの要素に分離し、特定の要素の変化に特定の
意味を与えて認識を行っている技術もある。例えば、英
単語の語幹に付加された語尾を示す手話で、過去、過去
完了等を手話で表わすために、同じ形状でも手を下に向
けたならば過去、手を横に向けたならば過去完了と決め
ておく方法等がある。しかし、一般的な手話では、文脈
や状況によって変化する部分は共通ではなく、手話単語
の種類によって異なるため、そのような手話には対処す
ることができない。また、静止状態の認識が基本になっ
ているため、手の形状の変化の仕方や手の動き方そのも
のが意味を持つような手話の認識はできない。

【０００４】結局、このような手話を認識するために
は、動作をその構成要素に分解し、それぞれの構成要素
を認識した後に、構成要素の認識結果の組み合わせを変
化の少ない構成要素に重点をおいて調べることによって
認識を行う方法が良いと考える。ただし、手話の場合に
は、動作の構成要素が逐次的に組み合わされるだけでな
く、同時的にも組み合わされるという問題がある。音声
認識や画像認識では、対象の構成要素を認識して、その
組み合わせから対象全体を認識する方法があるが、その
うちの音声認識に限定すれば、構成要素の逐次的な組み
合わせのみであり、また、画像認識に限定すれば、基本
的には同時的な組み合わせのみしか扱っていない。従っ
て、手話のように複数の要素が同時的かつ逐次的に組み
合わされる場合には、画像認識や音声認識の処理方法で
は対応できないことになる。本発明の目的は、このよう
な従来の課題を解決し、表現される文脈や状況によって
変化する部分を持つ一般的な手話を、柔軟に、かつ効率
的で精度良く認識することが可能な手話認識装置を提供
することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明の手話認識装置では、手話単語における動作
を手の形や方向，位置，動き方，関係などの動作要素に
分解し、それらの動作要素を表す記号の組み合わせとし
て手話単語を表現する。それらの組み合わせの中には、
逐次的（時系列的）に接続された動作要素と、同時的
（並列的）に接続された動作要素とが含まれる。そし
て、認識処理に際しては、先ず、必要な動作の動作要素
（逐次的な要素と同時的な要素）の認識をそれぞれ独立
に行って、記憶手段に格納する。次に、その記憶手段に
格納された認識結果から、認識を行う手話単語に必要な
動作要素を検索し、検索された動作の構成要素の同時的
および逐次的な組み合わせを調べることにより手話単語
を認識する。また、各動作の構成要素の認識には、それ
ぞれの構成要素の認識に最適な認識方法を用いるものと
する。

【０００６】

【作用】本発明においては、手話単語を動作要素の組み
合わせとして表現し、独立に認識を行った動作要素の認
識結果の同時的および逐次的な組み合わせを評価して、
手話単語を認識する。すなわち、従来の手話認識装置で
は、全体としての手動作パターンを単語辞書に格納され
た標準手動作パターンと比較して、一致するか否かによ
り認識していた。しかし、本発明では、手動作パターン
を先ず動作要素単位（例えば、図１、図８の手話動作中
に表われる部分的パターン参照）で認識する。この段階
では、特定の単語とは無関係である。次に、その動作要
素の結果を統合して単語を認識するのである。従って、
より小さな単位（動作要素）で認識するので、処理が容
易であり、また単語を認識する場合でも、動作要素の有
無に関する情報を統合すればよいので、処理が容易であ
り、かつ高速処理が可能である。これにより、表現され
る文脈や状況で変化する動作を含む手話単語に対して
も、変化しない構成要素に重点をおいて手話単語を認識
することができる。さらに、各動作要素の認識はそれぞ
れの動作要素の性質に適した方法を用いて認識を行うこ
とができるので、柔軟かつ効率的、かつ精度の良い手話
認識を行うことができる。

【０００７】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明の一実施例を示す手話認識装
置の概念ブロック図である。図１において、手話入力部
１０１は手話における動作を電気信号に変換する。動作
要素認識部１０２では、動作データから手話単語を構成
している動作の構成要素（以下，動作要素と記す）を認
識する。動作要素認識部１０２は、独立したそれぞれの
動作要素毎の認識部１０３，１０５，１０７から構成さ
れている。各動作要素認識部１０３，１０５，１０７に
は、それぞれの認識処理に必要な認識用パラメータ１０
４，１０６，１０８が用意される。動作要素認識部１０
２では、同じ入力データに対して各動作要素の認識がそ
れぞれ独立に行われる。そのうちの１つの動作要素認識
部で認識が完了することにより、その認識部に対応する
動作要素が含まれていたことがわかる。動作要素認識部
１０２で認識された認識結果出力は、動作要素認識結果
記憶部１１０に格納される。動作要素認識結果記憶部１
１０では、認識された動作要素の情報がそれぞれ記憶さ
れる。次の手話単語認識部１１１では、動作要素認識結
果記憶部１１０と手話単語辞書１１２に記憶されている
動作要素の情報の照合を行い、一致したか否かで手話単
語の認識を行う。手話単語辞書１１２には、認識を行う
手話単語の情報が、その手話単語を構成する動作要素を
表す記号の同時的逐次的な組み合わせとして記憶されて
いる。最後に、手話単語認識部１１１で認識された手話
単語を出力部１１３を介して外部に出力する。

【０００８】図２は、図１における手話認識装置を実現
するためのハードウェアの一構成例図である。図２にお
いて、手動作入力装置２０１は手話における手動作を電
気信号に変換する装置であり、手袋にセンサを設置し、
手の形状や動きを電気信号に変換する装置として良く知
られている装置（例えば、データグローブ）を利用する
ことができる。手動作入力装置２０１により、手話の手
動作は指の曲げ角度や手の位置などからなる多次元の時
系列データに変換される。すなわち、後述の図３に示す
ような手の位置、方向、指の曲げにより分類された次元
のデータに変換され、図３の場合には１６次元のデータ
に変換されることになる。演算装置２０２は、動作要素
の認識や手話単語の認識を行う装置であり、メモリ２０
４，２０５からプログラムを読み込み、そのプログラム
に従って認識処理を行う。出力装置２０３は、手話単語
の認識結果を出力する装置であり、文字による出力や音
声合成を用いた音声による出力を利用することができ
る。メモリ２０４は、動作要素を認識するためのプログ
ラムを記憶するための記憶装 置であり、メモリ２０５
は、手話単語を認識するためのプログラムを記憶するた
めの記憶装置である。また、メモリ２０６は、各動作要
素を認識するために必要なパラメータを記憶するための
記憶装置であり、メモリ２０７は、各手話単語を認識す
るために必要な動作要素の組み合わせを表した手話単語
辞書を記憶するための記憶装置であり、メモリ２０８
は、手話単語認識において参照するために動作要素の認
識結果を記憶するための記憶装置である。

【０００９】図３は、本発明の手話入力装置により変換
された手動作データのフォーマット図である。図３にお
いて、３０１は手の位置に関するデータであり、手の位
置はさらにｘ軸のデータ３０２，ｙ軸のデータ３０３，
ｚ軸のデータ３０４から構成されている。３０５は手の
方向に関するデータであり、手の方向はさらにｘ軸回り
の角度３０６，ｙ軸回りの角度３０７，ｚ軸回りの角度
３０８から構成されている。３０９は指の曲げに関する
データであり、指の曲げはさらに親指の第２関節の曲げ
角度３１０，親指の第３関節の曲げ角度３１１，人差し
指の第１関節の曲げ角度３１２，人差し指の第２関節の
曲げ角度３１３，中指の第１関節の曲げ角度３１４，中
指の第２関節の曲げ角度３１５，薬指の第１関節の曲げ
角度３１６，薬指の第２関節の曲げ角度３１７，小指の
第１関節の曲げ角度３１８，小指の第２関節の曲げ角度
３１９から構成されている。また，３２０，３２１，３
２２はそれぞれ時刻ｔ１，ｔ２，ｔｎにおける手の位
置，方向，指の曲げの情報を表す。このように、手話に
おける動作は、手の位置３０１，手の方向３０５，指の
曲げ３０９からなる時系列データとして表される。

【００１０】図４は、本発明の動作要素パラメータ・メ
モリに格納される動作要素を認識するためのパラメータ
の格納フォーマット図である。図４において、動作要素
名４０１は、そのパラメータを認識処理に使用する動作
要素の名称を表し、パラメータ数４０２は、その動作要
素の認識に使用するパラメータの数を表し、４０３から
４０５は、各パラメータを表す。また、パラメータ名４
０６は、そのパラメータの意味を表す名称であり、パラ
メータ４０７は、実際に認識処理に利用されるパラメー
タの値を表す。具体的には、パラメータは手の動きの速
度、直線度を表す数値、手の位置を示す範囲等を示す数
値である。図５は、本発明の手話単語辞書メモリに格納
される手話単語辞書のフォーマット図である。図５にお
いて、手話単語名５０１は、その動作要素の組み合わせ
が表す手話単語名を表す。動作タイプ５０２は、動作要
素の組み合わせによって表現される全体の動作が一回の
み行われる単一動作か、あるいは何回か繰り返される繰
り返し動作かを表している。繰り返し動作の場合は、繰
り返し回数も指定する。逐次組み合わせ数５０３は、逐
次的に組み合わされる動作の個数を表す。逐次動作５０
４から５０６は、逐次的に組み合わされるそれぞれの動
作を表す。各逐次動作は、さらに同時組み合わせ数５０
７，動作要素５０８，５１０，５１２，および各動作要
素の重要度を表す重み値５０９，５１１，５１３が格納
される。同時組み合わせ数５０７は、各逐次動作を表す
ために同時的に組み合わされる動作要素の個数である。

【００１１】次に、図６から図１７を用いて本発明の手
話認識方法を詳細に説明する。図６は、図３のフォーマ
ットで入力されてくる動作データを認識するための演算
装置の処理のフローチャートである。認識処理では、先
ず、ステップ６０１において手話入力装置２０１から読
み込まれてくる動作データが最後かどうかの判定を行
い、最後でない場合はステップ６０２に進む。動作デー
タが最後の場合には、認識処理を終了する。ステップ６
０２では、手話入力装置２０１から１時刻分の動作デー
タを読み込む。次のステップ６０３では、入力した動作
データに対して各動作要素の認識処理を行う。ステップ
６０３の動作を、図７を用いて詳細に説明する。各動作
要素の認識では、認識を行うべき動作要素が多数あるた
め、先ずステップ７０１において認識処理を行う動作要
素があるかどうかの判定を行う。認識処理を行う動作要
素がある場合は、ステップ７０２に進み、ない場合は処
理を終了する。ステップ７０２では、認識処理を行う動
作要素を認識処理を行っていない動作要素の中から１つ
選択する。次に、ステップ７０３において、選択した動
作要素の認識処理を行う。認識処理では、前述のよう
に、それぞれパラメータを用いて該当する動作要素が認
識できるか否かを判定する。

【００１２】図８は、手話における動作要素の一覧を示
す図であり、図９は、動作要素『方向』の範囲を説明す
るための図であり、図１０は、動作要素『位置』の範囲
を説説明するための図であり、図１１は、動作要素『方
向』の認識方法を説明するための図である。例えば、動
作要素の１〜５等の数字やアイウエオ等のカタカナ文
字、２Ｂ，３Ａ等の記号、薬、佐、等の漢字は、手の形
状により認識される。また、上、下、左、右等の方向
は、手の方向で認識され、口、頭等の身体の部分は手の
位置で認識され、静止、直線、円等の曲線は運動の軌跡
で認識され、つまむ、引っかける等の動作は指の関係に
より認識され、大、中、小等の種類は運動の大きさで認
識される。認識すべき動作要素には、図８に示すように
手の形状や方向，位置，動き方などに関するさまざまな
種類がある。これらの動作要素の認識方法は、音声認識
や画像認識と同様に、パターン認識の一種である。パタ
ーン認識の方法としては、パターン照合による方式，統
計的手法による方式，手続きによる方式の３種類の方式
が広く知られている。動作要素の認識には、その動作要
素の性質に応じてこれらの認識方法のうちの最適な認識
方法を利用することができる。例えば、手の形状に関し
ては形状を決定するパラメータ数が多く、また微妙なパ
ラメータ間の関係が必要になる場合も多いので、多くの
データを集めて統計的な手法によって認識を行う方式が
適している。手の方向や位置，両手の関係に関しては、
パラメータ数が少なく、明確にパラメータの範囲を決定
できるので、手続き的な方式が適している。例えば、方
向の動作要素は図９のように、位置の動作要素は図１０
のように、それぞれ範囲を決定できる。

【００１３】この場合、例えば方向に関する動作要素の
認識には、入力された方向データとその範囲に関して、
下記（数１）に示すような評価関数を用いて認識を行う
ことができる。

【数１】 例えば、求める方向が「上」の場合、（数１）における
基準ベクトル（ｘ０，ｙ０，ｚ０）は図１１におけるベ
クトル１１０１を表す。また、入力ベクトルを１１０２
とすると、（数１）におけるＡｄは基準ベクトルと入力
ベクトルのなす角度１１０３を表す。そして、ＴＨ２の
値が斜線で示した範囲１１０４であるとするならば、
（数１）によって求められる評価値Ｄ１は斜線で示した
範囲１１０４について、０より大きい値が与えられる。
さらに、手の動きに関する動作要素の認識の場合、およ
び直線や円運動のように比較的容易にルール化できる動
作要素の場合には、手続き的な方式を用いることができ
る。図１２は、動作要素『直線』の認識方法を示す動作
フローチャートであり、図１３は、動作要素『直線』の
認識における角度の評価方法の説明図である。例えば、
直線を認識するための動作は、図１２に示すようなフロ
ーの処理で行うことができる。すなわち、直線を求める
為には、先ずステップ１２０１において、どの方向の直
線を求めるか、その方向を決定する。 次に、ステップ
１２０２で直線の始点を、ステップ１２０３で直線の終
点を、それぞれ求める。直線的な手の動作では、通常、
動作の開始点および終了点において動作が停止か、ある
いは緩慢になる傾向がある。そこで、手の動作速度を計
算し、その極小値を求めることによって始点および終点
を求めることができる。 ステップ１２０４では、求め
ようとしている直線と、始点と終点を結ぶ直線の方向の
角度を求める。すなわち、図１３における直線１３０１
と直線１３０２の間の角度１３０３を求める。

【００１４】ステップ１２０５において、角度が閾値以
下かどうかの判定を行い、閾値以下の場合はステップ１
２０６に進む。角度が閾値より大きい場合には、処理を
終了する。ステップ１２０６では、始点から終点までの
軌跡が直線からどの程度ずれているかを調べ、ずれの最
大値を求める。図１４は、動作要素『直線』の認識にお
けるずれの評価方法の説明図である。すなわち、図１４
において、始点１４０１から終点１４０２の間の軌跡１
４０３から、始点と終点を結ぶ直線１４０４への垂線１
４０５を求め、その長さの最大値１４０６を求めること
である。ステップ１２０７では、求めたずれの最大値が
閾値以下か否かの判定を行い、閾値以下の場合はステッ
プ１２０８に進む。一方、ずれが閾値より大きい場合に
は、処理を終了する。ステップ１２０８では、ステップ
１２０４で求めた角度とステップ１２０６で求めたずれ
から、検出した直線の評価値を計算する。評価値の計算
には、例えば、（数２）のような計算式を用いることが
できる。

【数２】 ここで、Ａｎｇが求める直線と、始点および終点を結ぶ
直線とのなす角度、ＴＨａ２は角度の閾値、ＴＨｄ２は
ずれの閾値、ｄ２１は角度に対する評価値、ｄ２２はず
れに対する評価値、Ｄ２は検出した直線に対する評価値
である。このようにして、円弧や波線，円，螺旋，振動
についても、同様な方法で検出処理を手続き化し、認識
を行うことができる。また、自由曲線のようにルール化
が困難な場合は、パターン照合による方式を用いること
ができる。パターン照合による方法としては、音声認識
や画像認識において良く知られている方法を使用するこ
とができる。例えば、ＤＰ照合（白井良明 編，「パタ
ーン理解」 オーム社，１９８７）を使用することがで
きる。また、動作要素の認識を行う際のパラメータは、
メモリ２０２中から該当する動作要素のパラメータを読
み出して使用する。動作要素の認識方法として、各動作
要素を１種類の認識方法で認識する以外に、複数の認識
方法を用いて認識処理を行い、その結果求められた評価
値の中で最も良い値をその動作要素の認識結果としても
良い。

【００１５】図７に示す動作要素の認識処理フローにお
けるステップ７０３で、選択した動作要素の認識処理を
行った後、ステップ７０４において認識処理を行った動
作要素が認識されたかどうかの判定を行う。この判定
は、（数１）や（数２）のような評価式を用いた場合、
評価値が０より大きいか否かによって判定することがで
きる。評価値が０の場合には、動作要素は検出されなか
ったと判断することができ、その場合にはステップ７０
１に戻って、他の動作要素の認識処理を行う。評価値が
０より大きい場合には、動作要素が検出されたと判断
し、ステップ７０５において検出された動作要素の開始
時刻，終了時刻，評価値からなる動作要素の情報を図２
における動作要素認識結果のメモリ２０８に格納する。
ステップ７０５の処理が終了した後はステップ７０１に
戻り、他の動作要素の認識処理を行う。図６に示す演算
装置の処理フローにおけるステップ６０３で、各動作要
素の認識を行った後、ステップ６０４において新しい動
作要素が検出されたか否かを判定する。この判定には、
図２におけるメモリ２０８の内容を参照して、新たな動
作要素が格納されているか否かを調べることにより行う
ことができる。新たな動作要素が格納されている場合に
はステップ６０５に進み、手話単語の認識を行う。一
方、新たな動作要素が格納されていない場合にはステッ
プ６０１に戻り、次のデータに対する処理を行う。

【００１６】図１５は、本発明の一実施例を示す手話単
語の認識方法の動作フローチャートであり、図１６は動
作要素間の重なりを説明する図である。図６のステップ
６０５における手話単語の認識方法について、図１５，
図１６を用いて説明する。手話単語は、動作要素の同時
的逐次的な組み合わせによって表現され、それらの情報
はメモリ２０７の手話単語辞書に格納されている。先
ず、ステップ１５０１では、図６のステップ６０３にお
いて新しく検出された動作要素を含む手話単語を、メモ
リ２０７に格納されている手話単語辞書から検索する。
次に、ステップ１５０２において認識処理を行うべき手
話単語があるか否かの判定を行い、手話単語がある場合
にはステップ１５０３に進む。手話単語がない場合は処
理を終了する。ステップ１５０３では、認識処理を行う
手話単語をステップ１５０１において検索された手話単
語から１つ選択する。次に、ステップ１５０４におい
て、その手話単語を構成する動作要素を動作要素認識結
果が格納されているメモリ２０８から検索する。ステッ
プ１５０５では、認識処理を行う手話単語に必要な動作
要素が全て見つかったか否かの判定を行い、見つかった
場合にはステップ１５０６に進む。動作要素が全てそろ
っていない場合にはステップ１５０２に戻り、他の手話
単語の認識を行う。ステップ１５０６では、動作要素の
うち同時的に表現される動作要素，すなわち図５におい
て５０７〜５１３のそれぞれの逐次動作中に記述されて
いる動作要素１〜ｎについてのチェックを行う。同時的
な動作要素のチェックは、必要な動作要素の時間範囲の
重なりを求めることによって行う。

【００１７】この重なりは、例えば３個の動作要素が、
図１６に示すように存在する場合には１６０１に示す範
囲に相当する。動作要素がｎ個の場合、この重なりは
（数３）によって求めることができる。

【数３】 図１６では、時間軸は左側の小さい方から右側の大きい
方に進むので、（数３）の式のように、動作要素ｉの始
点の最大値が重なりの始点となり、また動作要素ｉの終
点のうちの最小値が重なりの終点となる。ステップ１５
０７では、同時的に表現される動作要素の検出位置が許
容範囲内に含まれているかどうかの判定を行う。この判
定には（数３）によって求めた動作要素の重なりの範囲
が、ある閾値以上であるか否かを調べることによって行
うことができる。同時的な動作要素の検出範囲が許容範
囲内であれば、ステップ１５０８に進む。許容範囲外の
場合にはステップ１５０２に戻り、他の手話単語の認識
処理を行う。ステップ１５０８では、逐次的に表現され
る動作の関係，すなわち図５における逐次動作５０４，
５０５，５０６がその順序で許容範囲内に検出されてい
るか否かを調べる。このためには、ステップ１５０６で
求めた同時的に表現される動作要素の重なり範囲を用い
る。この重なり範囲を各逐次動作の検出範囲として、そ
の範囲間の時間的な関係を調べる。範囲間の関係は、例
えば、ある動作の範囲とその後にくる動作の範囲の大き
さと、それらの動作間の重なり、あるいはギャップの大
きさとの比によって評価することができる。このような
定義で、ｉ番目と（ｉ＋１）番目の逐次動作の関係の評
価値としては（数４）のような式を用いることができ
る。

【数４】 （数４）では、ｉ番目と（ｉ＋１）番目の逐次動作のギ
ャップまたは重なりの大きさと、検出範囲が小さい方の
逐次動作の範囲の大きさの比を求めている。これは、図
１７における１７０１と１７０２の比となる。図１７
は、逐次動作間の関係を説明する図である。

【００１８】ステップ１５０９では、ステップ１５０８
で求めた逐次動作間の関係が閾値以下にあるか否かの判
定を行う。全ての逐次動作間の関係が閾値以下であれ
ば、ステップ１５１０に進む。閾値より大きい場合には
ステップ１５０２に戻り、他の手話単語の認識処理を行
う。ステップ１５１０では、手話単語が認識されたこと
を使用者に通知するために、その手話単語に相当する音
声語の単語名、すなわち図５における手話単語名５０１
を出力する。図１８は、本発明の第２の実施例を示す手
話認識装置のハードウェア構成図であって、２つの演算
装置を使用する場合を示す。ハードウェア構成として
は、図２に示すような演算装置が１つである構成の他
に、図１８に示すように２つの演算装置からなる構成の
ものにすることができる。この場合、演算装置ａ１８０
１は動作要素の認識を行い、演算装置ｂ１８０２は手話
単語の認識を行うが、各演算装置はメモリ１８０３を介
して結合されることになる。また、それぞれの演算装置
の認識アルゴリズムは、図６における認識処理を分割し
た処理となる。図１９は、図１８における演算装置（ａ
１８０１）の認識処理のフローチャートである。図１９
では、ステップ１９０１において手動作入力装置２０１
から読み込むべき動作データが最後か否かの判定を行
い、最後の場合は処理を終了する。最後でない場合に
は、ステップ１９０２に進み、手動作入力装置２０１か
ら一時刻分のデータを読み込む。次にステップ１９０３
に進み、各動作要素の認識処理を行う。各動作要素の認
識処理は、図７のフローチャートに従って行うことがで
きる。

【００１９】図２０は、図１８における演算装置（ｂ１
８０２）の認識処理のフローチャートである。図２０に
おいて、先ず、ステップ２００１で図１８のメモリ１８
０３における動作要素認識結果の検索を行い、新たに検
出された動作要素の検索を行う。次に、ステップ２００
２では、動作要素の検索の結果、新しい動作要素が検出
されたか否かの判定を行い、新しい動作要素がある場合
にはステップ２００３に進む。新しい動作要素が検出さ
れていない場合には、ステップ２００４に進み、動作要
素の検索を入力データの最後の時刻まで行ったか否かを
調べる。入力データの最後の時刻まで検索を行っていた
場合には、処理を終了し、そうでない場合にはステップ
２００１に戻って、新たな動作要素の検索を行う。ステ
ップ２００３では、新たに検出された動作要素に対して
手話単語の認識処理を行う。手話単語の認識処理として
は、図１５に示すフローチャートに従って行うことがで
きる。図２１は、本発明の第３の実施例を示す手話認識
装置のハードウェア構成図であって、手話入力装置とし
て画像入力装置を加えたものである。図２１に示すよう
に、手話の入力装置として手動作入力装置２１０１以外
に、表情や口の動き、顔の動きなどを認識するために画
像入力装置２１０２を利用してもよい。この場合、画像
から検出される表情や顔の動きなどの動作要素の認識方
法として、画像認識で良く知られている方法を利用する
ことができる。また、画像から検出される動作要素を図
８に示す動作要素と同様に扱うことにより、手話単語辞
書は図５に示すフォーマットをそのまま利用することが
できる。また、手話単語の認識方法も、図１５に示す方
法をそのまま利用することができる。

【００２０】

【発明の効果】以上説明したように、本発明によれば、
手動作パターンを先ず動作要素単位で認識し、次に動作
要素の認識結果を統合して単語を認識するので、表現さ
れる文脈や状況で変化する動作を含む手話単語について
も、変化しない構成要素に重点をおいて手話単語を認識
することができ、さらに各動作要素の認識はそれぞれの
動作要素の性質に適した方法を用いて認識することがで
きるので、柔軟かつ効率的に、しかも精度の良い手話認
識を行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す手話認識装置の機能概
念ブロック図である。

【図２】本発明の第１の実施例を示す手話認識装置のハ
ードウェア構成図である。

【図３】本発明の手話入力装置から入力される動作デー
タのフォーマット図である。

【図４】本発明における動作要素の認識に使用するパラ
メータのフォーマット図である。

【図５】本発明における手話単語辞書のフォーマット図
である。

【図６】図２における演算装置の手話認識方法を説明す
るためのフローチャートである。

【図７】図６における動作要素の認識方法を説明するた
めのフローチャートである。

【図８】本発明の手話における動作要素の一覧を示す図
である。

【図９】本発明の動作要素「方向」の範囲を説明するた
めの図である。

【図１０】本発明の動作要素「位置」の範囲を説明する
ための図である。

【図１１】本発明における動作要素「方向」の認識方法
を説明するための図である。

【図１２】本発明における動作要素「直線」の認識方法
を説明するためのフローチャートである。

【図１３】図１２のフローで示す動作要素「直線」の認
識における角度の評価方法を説明するための図である。

【図１４】図１２の動作要素「直線」の認識におけるず
れの評価方法を説明するための図である。

【図１５】本発明における手話単語の認識方法を説明す
るためのフローチャートである。

【図１６】本発明における動作要素間の重なりを説明す
るための図である。

【図１７】図１５における逐次動作間の関係を説明する
ための図である。

【図１８】本発明の第２の実施例を示す，２つの演算装
置を使用した手話認識装置のハードウェア構成図であ
る。

【図１９】図１８における動作要素を認識する演算装置
の動作を説明するためのフローチャートである。

【図２０】図１８における手話単語を認識する演算装置
の動作を説明するためのフローチャートである。

【図２１】本発明の第３の実施例を示す，手話入力装置
として画像入力装置を加えた手話認識装置のハードウェ
ア構成図である。

Claims (11)

【特許請求の範囲】
1. 【請求項１】 手の形状や動きのパターンを電気信号に
   変換して、認識手段に入力する手話入力手段と、 手の動作パターンを予め動作の構成要素である動作要素
   に分割しておき、入力した手の情報から手話単語におけ
   る各動作要素毎に認識する動作要素認識手段と、 動作要素の認識結果を記憶する動作要素認識結果記憶手
   段と、 動作要素を表す記号の組み合わせにより表現した，手話
   単語を表す手話データを記憶する手話単語辞書と、 認識した動作要素と手話データの内容を照合することに
   より、該動作要素から構成される手話単語を認識する手
   話単語認識手段と、 認識した手話単語に対応する音声語を音声や文字で出力
   する出力手段と、を有することを特徴とする手話認識装
   置。
2. 【請求項２】 請求項１記載の手話認識装置おいて、上
   記動作要素認識手段は、各動作要素の認識を独立に行
   い、認識した動作要素を動作要素認識結果記憶手段に記
   憶することを特徴とする手話認識装置。
3. 【請求項３】 請求項２記載の手話認識装置において、
   上記動作要素認識手段は、動作要素毎にその性質に応じ
   て選択された認識方法を使用して認識処理することを特
   徴とする手話認識装置。
4. 【請求項４】 請求項３記載の手話認識装置において、
   上記動作要素認識手段は、手の形状の認識処理には統計
   的な手法による方式を、また手の方向や位置の認識，簡
   単な手の動きの認識処理には手続き的な方式を、また複
   雑な手の動きの認識にはパターン照合による方式を、そ
   れぞれ用いることにより認識を行うことを特徴とする手
   話認識装置。
5. 【請求項５】 請求項３記載の手話認識装置において、
   上記動作要素認識手段は、その構成要素の認識に利用で
   きる複数の認識方法を使用して行い、最も良い結果が得
   られた方法の認識結果をその構成要素の認識結果とする
   ことを特徴とする手話認識装置。
6. 【請求項６】 請求項２記載の手話認識装置において、
   上記動作要素認識手段と上記手話単語認識手段は独立に
   動作し、該動作要素認識手段と手話単語認識手段が動作
   要素の認識結果の記憶手段を介して結合されることを特
   徴とする手話認識装置。
7. 【請求項７】 請求項１記載の手話認識装置において、
   上記手話データを記憶する手話単語辞書は、各手話単語
   の基本的な動作を表現するために必要な動作要素を表す
   記号と、各手話単語が表現される文脈や状況による動作
   要素の変化の度合いに基づいた各動作要素に対する重み
   値と、を含む手話データを記憶していることを特徴とす
   る手話認識装置。
8. 【請求項８】 請求項１記載の手話認識装置において、
   上記手話データを記憶する手話単語辞書は、手話単語が
   表現される文脈や状況の違いによって変化しない動作要
   素のみの記号を、それぞれの手話単語について記憶する
   ことを特徴とする手話認識装置。
9. 【請求項９】 請求項１記載の手話認識装置において、
   上記手話単語認識手段は、動作要素の認識結果と手話デ
   ータの照合を行う場合、照合を行う手話に必要な動作要
   素の認識結果を検索し、検索された動作要素間の時間的
   な関係が手話データに記憶されている動作の動作要素間
   の時間的な関係と同じであるか否かを検証することによ
   り行うことを特徴とする手話認識装置。
10. 【請求項１０】 請求項９記載の手話認識装置におい
    て、上記手話単語認識手段は、動作要素の認識結果と手
    話データの照合を行う場合、新たな動作要素が認識され
    た場合に該動作要素を含む手話データの照合のみを行う
    ことを特徴とする手話認識装置。
11. 【請求項１１】 手の形状や動きのパターンを電気信号
    に変換して、認識手段に入力する手話入力手段と、 画像を電気信号に変換して入力する画像入力手段と、手
    の動作パターンを予め動作の構成要素である動作要素に
    分割しておき、入力した手の情報から手話単語における
    各動作要素を認識する動作要素認識手段と、 入力した顔映像から手話における表情，口の動き，顔の
    動きの動作要素を認識する表情動作認識手段と、 手動作，表情，口の動き，顔の動きの動作要素で表現し
    た手話を表す手話データを記憶する手話単語辞書と、 認識した動作要素と手話データの内容を照合することに
    より手話を認識する手話単語認識手段と、 認識した手話単語に対応する音声語を音声や文字で出力
    する出力手段と、を有することを特徴とする手話認識装
    置。