JPH06251123A - Device for generating talking with hands - Google Patents
Device for generating talking with handsInfo
- Publication number
- JPH06251123A JPH06251123A JP3634693A JP3634693A JPH06251123A JP H06251123 A JPH06251123 A JP H06251123A JP 3634693 A JP3634693 A JP 3634693A JP 3634693 A JP3634693 A JP 3634693A JP H06251123 A JPH06251123 A JP H06251123A
- Authority
- JP
- Japan
- Prior art keywords
- sign language
- pattern
- word
- hand
- elbow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
Abstract
(57)【要約】
【目的】 本発明の目的は、手話単語CGパタンを実際
の手の動きをもとに作成することによって自然な手話C
Gアニメーションを生成し、手話単語CGパタンに補正
を加えることによって、読み取りやすい手話CGアニメ
ーションを生成することである。
【構成】 本発明では、一手話単語分の実際の手の動き
に関するデータを連続的に記憶し、単語と単語の間を補
間することによって、手話を連続的に表示する。また、
肘の動き方を拘束することによって、肘の位置を一意に
決定するとともに計算量を軽減し、自然に近い速さで手
話を表示する。さらに、データに補正を加え、手話を行
う際の表情と視線を表示する。
(57) [Summary] [Object] The purpose of the present invention is to create a natural sign language C by creating a sign language word CG pattern based on actual hand movements.
By generating a G animation and correcting the sign language word CG pattern, a sign language CG animation that is easy to read is generated. According to the present invention, data about an actual hand movement for one sign language word is continuously stored, and the sign language is continuously displayed by interpolating between the words. Also,
By constraining the movement of the elbow, the position of the elbow is uniquely determined, the amount of calculation is reduced, and sign language is displayed at a speed close to that of nature. Furthermore, the data is corrected and the facial expression and gaze when sign language is displayed are displayed.
Description
【0001】[0001]
【産業上の利用分野】本発明は、健聴者から聴覚障害者
への通訳を行うシステムに関するものであり、特に、健
聴者の入力した文章を手話に変換してCG(コンピュー
タグラフィックス)のアニメーションで表示する方法お
よびその装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system for interpreting from a hearing-impaired person to a hearing-impaired person, and in particular, converting a sentence input by the hearing-impaired person into a sign language and CG (computer graphics) animation. And a device therefor.
【0002】[0002]
【従来の技術】手話は、手の位置、向き、移動方向、移
動速度、表情等の手段を使って情報を相手に伝える、聴
覚障害者のための言語で、音声を中心として発達してき
た健聴者の用いている自然言語とは異なった体系を持っ
ている。したがって、聴覚障害者が健聴者と会話を行う
際には音声言語の体系に属する自然言語を用いて筆談や
口話を行うよりも、手話で会話を行った方が楽である上
に伝達速度も速い。そのため、自然言語と手話の間の変
換システムが望まれている。Sign language is a language for the hearing impaired that conveys information to the other party by means of the position, direction, moving direction, moving speed, facial expression, etc. of the hand. It has a system different from the natural language used by people. Therefore, when a deaf person has a conversation with a normal hearing person, it is easier and more convenient to have a conversation in sign language than to use a natural language that belongs to the spoken language system to have a conversation or a verbal conversation. Is also fast. Therefore, a conversion system between natural language and sign language is desired.
【0003】従来の手話を生成する方法としては、単語
単位で撮影した画像をそのままつないで表示する方法や
アニメーションを用いる方法がある。前者の例として
は、河合,田村,岡崎:光デイスクによる手話生成シス
テム,テレビ誌,14(1990)(文献1)、後者の
例としては、寺内,長嶋(祐),三原,長嶋(秀),大
和:アニメーションによる日本語手話表現に関する基礎
的検討,情処理学会ヒューマンインターフェース,41
−7(1992)が挙げられる(文献2)。で生成して
いる手話画像は2次元の線画で、1連の動作の中から画
像パタンを選んで登録し、画像パタン間は自動的に補間
してアニメーションを生成している。また、関節の位置
は手話動作コードを参照しながらキーフレーム毎にキー
ボードから入力している。As a conventional method of generating sign language, there are a method of connecting images displayed by word unit as they are and a method of using animation. Examples of the former are Kawai, Tamura, and Okazaki: Sign language generation system using optical disks, TV magazine, 14 (1990) (reference 1), and examples of the latter are Terauchi, Nagashima (Yu), Mihara, and Nagashima (Shu). , Yamato: Basic study on Japanese sign language expression by animation, Information Processing Society of Japan Human Interface, 41
-7 (1992) can be mentioned (Reference 2). The sign language image generated in (2) is a two-dimensional line drawing, and image patterns are selected and registered from a series of operations, and animation is generated by automatically interpolating between the image patterns. The joint position is input from the keyboard for each key frame while referring to the sign language operation code.
【0004】手袋型センサに関する従来の技術として、
特開平4−134515号公報の手話翻訳装置が提案さ
れている。As a conventional technique relating to a glove type sensor,
Japanese Patent Laid-Open No. 4-134515 proposes a sign language translation device.
【0005】[0005]
【発明が解決しようとする課題】手話での会話が円滑に
行なわれるためには、手話アニメーションの表示速度は
会話のリズムを壊さない程度に速いことが望ましい。ま
た、手の形が正しく認識されるためには、画像は立体的
である必要がある。さらに、手の構造は複雑で大きさが
小さいうえに、指の関節の角度によって手話の意味が異
なるため、手の指の角度の表示は実際のものよりも、多
少大げさに表現した方が認識しやすい。In order to smoothly carry out a conversation in sign language, it is desirable that the display speed of the sign language animation is fast enough not to destroy the rhythm of the conversation. Further, in order for the shape of the hand to be recognized correctly, the image needs to be three-dimensional. Furthermore, the structure of the hand is complicated and small, and the meaning of sign language differs depending on the angle of the finger joint, so it is better to express the finger angle of the hand slightly exaggeratedly than the actual one. It's easy to do.
【0006】実際に手話を撮影した画像をそまま用いる
合成方法では、画像は立体的であるが記憶すべき情報量
が多い。手話単語を登録する手話CG辞書には、一手話
単語あたり60枚前後のカラー画像を2000単語以上
記憶しなければならないことから、一手話単語あたりの
記憶すべき情報量が多いと多くのメモリを必要とする。
また、同一人物同一条件で画像を作成することが難しい
といったことも、辞書メインテナンス上大きな問題とな
る。さらに、表示される単語画像の間の肘や腕の自然な
補間は非常に困難である。In the synthesizing method in which an image obtained by actually capturing a sign language is used as it is, the image is stereoscopic, but the amount of information to be stored is large. Since a sign language CG dictionary for registering sign language words must store more than 2000 words of about 60 color images per sign language word, if there is a large amount of information to be stored per sign language word, a large amount of memory is required. I need.
In addition, it is difficult to create an image under the same condition for the same person, which is a big problem in dictionary maintenance. Moreover, natural interpolation of elbows and arms between displayed word images is very difficult.
【0007】一方、(文献2)のCGを用いた従来技術
では、CGが2次元の線画であるために奥行きがわから
ず、指の詳しい形状を認識することが難しい。また、肘
の位置はキーフレーム毎にキーボードから入力するため
に作業が煩雑であり、手話単語のうちのどの部分を選択
するかという点も問題となる。On the other hand, in the conventional technique using the CG of (Reference 2), since the CG is a two-dimensional line drawing, the depth is unknown and it is difficult to recognize the detailed shape of the finger. Further, since the position of the elbow is input from the keyboard for each key frame, the work is complicated, and there is a problem in which part of the sign language word is selected.
【0008】手袋型センサのデータをそのまま手話の生
成に用いると、人体モデルの指が十分に伸びたり曲がっ
たりせず、手話の表示が認識しにくい場合がある。この
原因としては、手袋型センサを装着して手話を行なった
人物の癖による場合と、手袋型センサの精度による場合
とが考えられる。また、座標位置のデータに含まれる細
かな振動(ノイズ)のために手話アニメーションの自然
さが損なわれる場合もある。さらに、標準的な手袋型セ
ンサのセットを用いた場合には、得られる情報は手首か
ら先の部分のみなので、肘の位置と、肩と肘の関節角度
は計算によって求めなければならない。If the data of the glove type sensor is used as it is for the generation of sign language, the finger of the human body model may not be sufficiently extended or bent, and the sign language display may be difficult to recognize. This may be due to the habit of the person who wears the glove-type sensor and has performed sign language, or due to the accuracy of the glove-type sensor. Further, the naturalness of the sign language animation may be impaired due to the small vibration (noise) included in the coordinate position data. Furthermore, with a standard set of glove-type sensors, the only information obtained is from the wrist to the tip, so the elbow position and the shoulder-elbow joint angles must be calculated.
【0009】[0009]
【課題を解決するための手段】本発明では、手話の表示
を見やすくするために、3次元のカラーコンピュータグ
ラフィックスで人体モデルを生成し、このモデルを動か
すための手話単語CGデータは手話単語単位で登録す
る。手話単語CGデータは、あらかじめ手袋型センサを
装着して一手話単語毎に手話を行うことによって、手話
単語単位で手の位置、向き、指の関節角度の時系列デー
タを取り込み、手話単語CGパタンとして記憶する。According to the present invention, in order to make the display of sign language easy to see, a human body model is generated by three-dimensional color computer graphics, and the sign language word CG data for moving this model is a sign language word unit. Register with. As for the sign language word CG data, a glove-type sensor is attached in advance and sign language is performed for each sign language word. Memorize as.
【0010】手袋型センサから得られる情報は手首から
先の部分のみなので、肘の位置と肩と肘の関節角度は計
算によって求める。ここでは、肘位置を一意に決定し、
少ない計算量で見た目に不自然でない肘位置を求めるた
めに以下の2つの条件(a)肘位置は人体モデルの手の
位置と左右の肩の位置とを含んだ平面内にある、(b)
肘位置は、そのつけ根にある肩の位置と手の位置を結ん
だ線より体側には入らないを採用する。Since the information obtained from the glove type sensor is only the part from the wrist to the tip, the position of the elbow and the joint angle of the shoulder and the elbow are calculated. Here, the elbow position is uniquely determined,
The following two conditions (a) the elbow position is within a plane including the hand position and the left and right shoulder positions of the human body model, in order to obtain an elbow position that does not look unnatural with a small amount of calculation (b)
For the elbow position, use the line that connects the shoulder position at the base and the hand position so that it does not enter the body side.
【0011】また、手話では指の関節の角度が異なると
手話単語が異なることから、指の形を意味の違いを表す
ために必要な5つの基本パタンに分類する。そして、手
話単語CGパタンの登録の際には、手袋型センサを用い
て収集されたデータの中から指の形が保持されている部
分を探し、保持されている指の形と基本パタンを比較
し、最も形が似ているパタンのデータを最終的に登録す
る。この際、データに含まれるノイズも取り除いてお
く。In sign language, the sign language words are different when the angle of the finger joint is different. Therefore, the shape of the finger is classified into five basic patterns necessary for expressing the difference in meaning. Then, when registering the sign language word CG pattern, a part in which the shape of the finger is held is searched from the data collected by using the glove-shaped sensor, and the shape of the held finger is compared with the basic pattern. Then, the pattern data with the most similar shape is finally registered. At this time, noise included in the data is also removed.
【0012】さらに、手話を行う人体モデルを自然に動
かすために、手話単語CGパタン間の手の動きを以下の
ように線形補間する。まず、生成するある単語の最後の
時点での人体モデルの手の位置(ここでは始点と呼ぶこ
とにする)と、後続する単語の始めの時点での人体モデ
ルの手の位置(ここでは終点と呼ぶことにする)との間
に、手が移動すべき軌道を指定する。軌道上の座標点が
与えられると、人体モデルの肘位置とその関節角度は本
発明の方法によって自動的に決定されるので、人体モデ
ルの手は自然に指定軌道上を移動し、始点と終点の間は
補間される。また、指の関節の曲がり方は、始点での曲
がり角と終点での曲がり角の差をとり、軌道の分割数で
割った値を、始点における曲がり角に加えながら表示す
る。Further, in order to naturally move the human body model for sign language, the motion of the hand between the sign language word CG patterns is linearly interpolated as follows. First, the position of the human body model's hand at the end of a certain word to be generated (referred to as the starting point here), and the position of the human body model's hand at the beginning of the following word (here, the end point). In addition, specify the trajectory that the hand should move. Given the coordinate points on the trajectory, the elbow position of the human body model and its joint angle are automatically determined by the method of the present invention, so the hand of the human body model naturally moves on the designated trajectory, and the start point and the end point. Is interpolated. In addition, the bending of the knuckle is displayed by adding the difference between the bending angle at the starting point and the bending angle at the ending point and dividing by the number of divisions of the trajectory to the bending angle at the starting point.
【0013】[0013]
【作用】第一に、手話単語CGパタンを登録する際に手
袋型センサを用いることによって、実際の手話を時間
的、空間的に一定の比率で変形した手話パタンを登録す
ることができるので、人体モデルの手の動きが自然であ
る。また、一手話単語毎の手の動きを連続的に登録して
いるので、どの部分を登録画像パタンとして切り出すか
という問題も解消される。First, by using the glove-shaped sensor when registering the sign language word CG pattern, it is possible to register the sign language pattern obtained by transforming the actual sign language at a constant ratio temporally and spatially. The movement of the hands of the human body model is natural. Further, since the movement of the hand for each one sign language word is continuously registered, the problem of which part to be cut out as a registered image pattern can be solved.
【0014】第二に、肘の位置は手の位置から自動的に
計算するため、表示枚数を多くしても、肘位置決定の際
の煩雑な作業は必要ない。また、自然さを損なわない範
囲で肘の位置を限定する条件を設けることによって、肘
位置が一意に決まる。この条件によって、肘位置とその
関節の角度の計算量を減らすことができ、手話CGの表
示が高速化される。Second, since the position of the elbow is automatically calculated from the position of the hand, the complicated work for determining the position of the elbow is not necessary even if the number of displayed images is increased. Further, the elbow position is uniquely determined by providing a condition for limiting the elbow position within a range that does not impair the naturalness. This condition can reduce the calculation amount of the elbow position and the angle of the joint, and speed up the display of the sign language CG.
【0015】第三に、手話単語間の手の動きは補間処理
されるため、自然なアニメーション表示が可能である。Thirdly, since the movement of the hand between the sign language words is interpolated, a natural animation display is possible.
【0016】第四に、手袋型センサを用いて収集された
指の形のデータを、5つの基本的な指の形に分類して補
正することいよって、指の形が明確になり手話が認識し
やすくなる。Fourthly, the finger shape data collected using the glove type sensor is classified into five basic finger shapes and corrected, so that the finger shape becomes clear and the sign language is It becomes easier to recognize.
【0017】第五に、手袋型センサを用いて収集された
手の位置の座標のノイズを取り除くことによって、通常
の人間が行なわないような細かな手の振動が取り除か
れ、第六に、パタンの入力を手袋型センサで一単語毎に
行うことによって、手話単語CGパタンの登録が容易に
なるため、登録する手話単語を増やしたり、登録されて
いる手話の表現方法をその地方の方言や個人の好みの表
現に変えることが容易になる。Fifth, by removing noises of hand position coordinates collected by using a glove-type sensor, fine hand vibrations which are not normally performed by human beings are removed. The sign language word CG pattern can be easily registered by inputting each word with a glove type sensor. Therefore, the number of sign language words to be registered can be increased, and the registered sign language expression method can be changed according to the local dialect or individual. It becomes easy to change the expression of your choice.
【0018】[0018]
【実施例】以下、本発明の実施例を図1から図21を用
いて説明する。Embodiments of the present invention will be described below with reference to FIGS. 1 to 21.
【0019】図1は、本発明の一実施例を示すブロック
図である。1は文章を入力するためのマイク、2はマイ
ク1から送られて来る信号を計算機で認識可能なかな漢
字混じり文に変換するための音声インタフェイス部で、
従来の音声認識装置で実現可能である(例えば、特開平
2−14000号公報参照)。3は文章を入力するため
のキーボードで、4は入力3をかな漢字混じり文に変換
するためのキーボードインタフェイス部である。このよ
うな技術は従来のワープロなどで用いられているかな漢
字変換技術で実現可能である(例えば、特開平4−36
3755号公報参照)。5では入力された文章の自然言
語解析を行ない、手話単語を手話らしい表現になるよう
に並びかえ、手話の表示位置を決定する自然言語処理部
である。自然言語解析の技術は従来の技術を用いること
ができる(例えば、日本語情報処理、長尾 真、電子通
信学会編参照)。次の手話CGアニメーション生成部6
では、手話単語の並びに従って手話単語CGパタン10
から該当する手話単語CGパタンを検索して人体モデル
を組み立てる。そして、手話単語CGパタン間の人体モ
デルの手の動きの補間を行う。最後に、3次元表示ディ
スプレイなどの手話アニメーション表示画面7に手話ア
ニメーションを3次元カラーCGで表示する。8は手話
単語CGデータを登録するための手袋型センサで、手話
単語を登録したい人が手袋型センサを装着し、手話を手
話単語毎に行なう。9は手袋型センサインタフェイス部
で手袋型センサから送られてくるデータに見だしを付け
て、手話単語CGパタン10へ登録する。また、「うれ
しい」、「悲しい」、「苦痛だ」などの基本的な表情を
生成するための顔のデータも予め作成し、見出しをつけ
て10に格納しておく。FIG. 1 is a block diagram showing an embodiment of the present invention. 1 is a microphone for inputting a sentence, 2 is a voice interface unit for converting a signal sent from the microphone 1 into a kana-kanji mixed sentence that can be recognized by a computer,
It can be realized by a conventional voice recognition device (see, for example, Japanese Patent Laid-Open No. 2-14000). Reference numeral 3 is a keyboard for inputting a sentence, and reference numeral 4 is a keyboard interface portion for converting the input 3 into a sentence containing kana-kanji characters. Such a technique can be realized by the kana-kanji conversion technique used in a conventional word processor or the like (for example, Japanese Patent Laid-Open No. 4-36).
3755). Reference numeral 5 is a natural language processing unit for performing natural language analysis of the input sentence, rearranging the sign language words so as to have a sign language-like expression, and determining the display position of the sign language. Conventional techniques can be used for the technique of natural language analysis (for example, Japanese information processing, Makoto Nagao, edited by The Institute of Electronics and Communication Engineers). Next sign language CG animation generator 6
Then, according to the sequence of the sign language words, the sign language word CG pattern 10
The corresponding sign language word CG pattern is searched from to assemble a human body model. Then, the movement of the hand of the human body model between the sign language words CG patterns is interpolated. Finally, the sign language animation is displayed in a three-dimensional color CG on the sign language animation display screen 7 such as a three-dimensional display. Reference numeral 8 is a glove type sensor for registering sign language word CG data. A person who wants to register a sign language word wears the glove type sensor and performs sign language for each sign language word. Reference numeral 9 denotes a glove-type sensor interface section, which finds the data sent from the glove-type sensor and registers it in the sign language word CG pattern 10. In addition, face data for generating basic expressions such as “happy”, “sad”, and “painful” is also created in advance and stored in 10 with a heading.
【0020】以下、本発明の実施例の動作を図1から図
21を用いて詳細に説明する。The operation of the embodiment of the present invention will be described in detail below with reference to FIGS.
【0021】まず、図1で「あたまがいたい」という文
章がマイク1あるいはキーボード3から入力されると、
音声インタフェス部2あるいはキーボードインタフェイ
ス部4で計算機で認識可能なかな漢字混じり文に変換さ
れる。First, in FIG. 1, when the sentence "Atama gatai" is input from the microphone 1 or the keyboard 3,
It is converted into a kana-kanji mixed sentence that can be recognized by a computer by the voice interface unit 2 or the keyboard interface unit 4.
【0022】次に、図1の5において表示様式を概念的
に決定する方法を図2を用いて説明する。手話単語「頭
が痛い」が入力されると51、構文・意味解析を行な
い、文章から助詞と助動詞を取り除き「頭が痛い」を
「頭」と「痛い」に分解する52。そして、「痛い」を
表す際の手の概念的位置が(頭)であり、動きの方向が
図5の6409に示す頭に垂直な法線方向であることを
指定する53。また、表情は「苦痛」55で首はまっす
ぐ56であることも指定する。ここで(頭)は、「頭」
という言葉ではなく頭の位置を表すことにし、上記の表
示指定のための表現は「見だし(表示位置)、(動く向
きを表すベクトルがある位置)、ベクトルの方向)、表
情、首の傾き」とする。従って、ここでは「痛い
(頭)、((頭)、法線)、苦痛、まっすぐ」となる。
一方、「頭」の表示位置は手話単語CGパタンが頭の位
置に来るように登録されているので指定しない。この時
点では、「痛い」という手話を(頭)の部分に表示する
ことは与えられているが、(頭)の具体的な座標は指定
されていない。Next, a method of conceptually determining the display style in 5 of FIG. 1 will be described with reference to FIG. When the sign language word "headache" is entered 51, a syntactic / semantic analysis is performed to remove the particle and auxiliary verb from the sentence and decompose "headache" into "head" and "pain" 52. Then, it is designated 53 that the conceptual position of the hand when expressing "pain" is (head) and the direction of movement is the normal direction perpendicular to the head shown at 6409 in FIG. It also specifies that the expression is "distress" 55 and that the neck is straight 56. Here (head) is "head"
The expression for designating the display above is "find (display position), (position with vector indicating movement direction), vector direction), facial expression, neck inclination. ". Therefore, it becomes "pain (head), ((head), normal), pain, straight" here.
On the other hand, the display position of "head" is not specified because the sign language word CG pattern is registered so as to come to the head position. At this point, the sign language "painful" is displayed on the (head) part, but the specific coordinates of the (head) are not specified.
【0023】図3は手話CGアニメーション生成部6の
ブロック図である。実座標決定部61では表示概念位置
実座標対応ルール64に従って、表示概念位置(痛い)
に具体的な座標位置を与える。人体モデル姿勢決定部6
2では、手話単語CGパタン10から見出し「頭」、
「痛い」を持った、図10のようなデータ構造を有する
データと「苦痛」の表情CGを検索し、肘位置を決定す
る。人体モデル構成部品65には人体モデルを構成して
いるポリゴンと基本姿勢を表示するためのポリゴンの配
置の情報が格納されている。人体モデル組立て部63で
は、それらの情報と人体モデル姿勢決定部62で求めら
れた、肘と肩の関節の角度に従ってポリゴンを移動させ
て人体モデルを組み立てる。FIG. 3 is a block diagram of the sign language CG animation generator 6. In the real coordinate determination unit 61, the display concept position (painful) according to the display concept position real coordinate correspondence rule 64.
Give the specific coordinate position. Human body model posture determination unit 6
In 2, the heading “head” from the sign language word CG pattern 10,
Data having the data structure as shown in FIG. 10 having "pain" and the facial expression CG of "pain" are searched, and the elbow position is determined. The human body model component 65 stores information on the polygons forming the human body model and the arrangement of the polygons for displaying the basic posture. The human body model assembling unit 63 assembles the human body model by moving the polygons according to the information and the angles of the joints of the elbow and shoulder obtained by the human body model posture determining unit 62.
【0024】図4と図5に人体モデルと、空間的な概念
位置の関係を示し、図6には人体モデルと体の位置を表
す概念位置の関係と、各々の概念位置に対応した法線ベ
クトル、図7には概念位置とその座標の間の関係を表す
データの構造を示す。ここで、二重丸は紙面から垂直に
手前に向かうベクトルを示している。図3のブロック図
中、実座標決定部61では表示概念位置実座標対応ルー
ル64に従って、図6の6409と図7の6420に示
す(頭)という概念位置に、図7の6421の具体的な
座標位置を与える。4 and 5 show the relationship between the human body model and the spatial conceptual position, and FIG. 6 shows the relationship between the human body model and the conceptual position representing the position of the body, and the normal line corresponding to each conceptual position. A vector, FIG. 7, shows the structure of data representing the relationship between the conceptual position and its coordinates. Here, a double circle indicates a vector that is vertically directed from the paper surface. In the block diagram of FIG. 3, the real coordinate determination unit 61 follows the display conceptual position real coordinate correspondence rule 64 at the conceptual position of (head) 6409 in FIG. 6 and 6420 in FIG. Gives the coordinate position.
【0025】次の、人体モデル姿勢決定部62では手話
単語CGパタン10を参照しながら、図11と図12に
示したPADに従って人体モデルの姿勢を決定する。ま
ず、図4、図5、図6、図8、図9を用いて人体モデル
について説明する。人体モデルは、手を持っていくべき
目標点が与えられる前は、図8に示すような基本姿勢を
とっている。Csh6505,Cel6509はそれぞ
れ肩の位置S6501を原点に持つ、6502から65
04に示す局所座標系(Xsh,Zsh,Ysh)と肘
の位置を原点に持つ局所座標系であり、Cw6512は
人体モデル全体が属しているグローバルな座標系であ
る。また、lup6510とllo6511はそれぞ
れ、上腕の長さと前腕の長さである。ここで、丸の中に
×が書いてある記号は紙面から垂直に奥に向かう方向に
増加するベクトルを表している。人体モデルの上腕を動
かすにはCsh6505における、Xsh6502,Y
sh6504,Zsh6503軸の周りの回転角を指定
し、上腕を表すポリゴンを、与えられた回転角の分だけ
回転移動する。同様に前腕を動かすには、Cel650
9における、Xel6506,Yel6507,Zel
6508軸周りの回転角を指定し、前腕を表すポリゴン
を回転移動させる。また、Yel6507は図9に示し
たようにYsh6504に伴って動く。次に、手話単語
CGパタン10に登録されている手話単語CG辞書のデ
ータについて説明する。そのデータ構造を図10に示
す。「見だし」1001、「品詞」1002は手話単語
を検索する際に用いるためのもので、「中心」1003
は手話を行なった際に手が動く範囲の中心をCw651
5における座標で表したものである。また、手話では手
を動かす方向も重要な意味を持つので、「方向軸」10
04には登録した手話パタンが動く向きに沿ったベクト
ルを登録する。「データ」1012には手の位置や指の
間接の角度を時間ごとに登録しておく。ここで、配列d
ataの1列目1022はそのデータが右手のものであ
るか左手のものであるかを表しており、0は右手を1は
左手を表している。2列目1023は時刻を表してお
り、3列目は手の位置1007、手の向き1008、親
指の第1関節の角度1009といったデータの種類を表
している。Next, the human body model posture determining unit 62 determines the posture of the human body model according to the PAD shown in FIGS. 11 and 12 while referring to the sign language word CG pattern 10. First, a human body model will be described with reference to FIGS. 4, 5, 6, 8, and 9. The human body model takes a basic posture as shown in FIG. 8 before a target point to bring a hand is given. Csh6505 and Cel6509 each have a shoulder position S6501 as the origin, 6502 to 65
A local coordinate system (Xsh, Zsh, Ysh) indicated by 04 and a local coordinate system having the position of the elbow as an origin, and Cw6512 is a global coordinate system to which the entire human body model belongs. Also, lup6510 and llo6511 are the length of the upper arm and the length of the forearm, respectively. Here, a symbol in which a cross is written in a circle represents a vector increasing in a direction from the paper surface to the back in the vertical direction. To move the upper arm of the human body model, Xsh6502, Y in Csh6505
A rotation angle around the sh6504 and Zsh6503 axes is specified, and the polygon representing the upper arm is rotationally moved by the given rotation angle. Similarly, to move the forearm, use Cel650
9, Xel6506, Yel6507, Zel
The rotation angle around the 6508 axis is designated, and the polygon representing the forearm is rotationally moved. Further, Yel6507 moves along with Ysh6504 as shown in FIG. Next, the data of the sign language word CG dictionary registered in the sign language word CG pattern 10 will be described. The data structure is shown in FIG. “Find” 1001 and “part of speech” 1002 are used for searching sign language words, and “center” 1003
Is the center of the range of hand movement when performing sign language Cw651
5 is represented by coordinates. Also, in sign language, the direction in which the hand moves is also important, so "direction axis" 10
In 04, a vector along the direction in which the registered sign language pattern moves is registered. In "data" 1012, the hand position and the indirect angle of the finger are registered every hour. Where array d
The first column 1022 of ata indicates whether the data is for the right hand or the left hand, where 0 represents the right hand and 1 represents the left hand. The second column 1023 represents the time, and the third column represents the type of data such as the hand position 1007, the hand direction 1008, and the angle 1009 of the first joint of the thumb.
【0026】以上で説明した内容をもとに、図11と図
12に示したフローチャートに従って人体モデルの姿勢
決定の方法を説明する。ここでは、「痛い」という手話
単語を例にとる。手話単語「痛い」とその表示概念位置
「痛い(頭)、((頭)、法線)、苦痛、まっすぐ」6
21が入力されると、図3の手話単語CGパタン10か
ら「頭」に対応する手話単語CGパタンを探す622。
表示位置の指定があるので62301、図3の表示概念
位置実座標対応ルール63に従って、図6の6409に
示す表示位置(頭)に図7の6421に示す具体的な座
標を与える。次に、図10の1003に示す手話単語の
中心座標位置と、図7の6421に示す表示座標位置と
の差を求め6204、手話単語CGパタンのデータに登
録されている手の位置のデータ(図10の1012)を
(頭)の位置に平行移動する62301。「動く向き」
の指定もあるので62304、図3の手話単語CGパタ
ン10に登録されている図10の1004の方向軸のベ
クトルと、図3の表示概念位置実座標対応ルール64に
登録されている、頭の法線ベクトル(図7の6422)
との間の角度を計算し62305、手の位置のデータ
(図10の1012)を回転移動する62306。さら
に、表情の指定があるので62307図3の手話単語C
Gパタン10から表情CGパタン「苦痛」を検索する6
2308。最後に、首の角度の指定は「まっすぐ」なの
で62309、首は図8の基本姿勢のままにする623
09。ここで、データの補間に使うために、図7の64
21に示す表示座標位置に移動した後の手話開始時の座
標と、手話終了時の座標を記憶する624。手話単語
「痛い」の表示の前には、手話単語「頭」があるので6
25、手話単語「頭」終了時の人体モデルの手の座標
と、手話単語「痛い」の開始時の座標との間を中割り補
間する626。補間の際には、「頭」の最終位置を表示
する人体モデルの手の位置と、「痛い」の始点を表す人
体モデルの手の位置との間を、手が移動すべき軌道を描
いて、その軌道を10分割した座標位置を手話単語CG
パタン「頭」と「痛い」の間に挿入することによって補
間する。また、指の関節角度は、始点での曲がり角と終
点での曲がり角の差を軌道の分割数で割った値を、始点
における曲がり角に加えながら表示することによって補
間する。以上で人体モデルの手の位置が全て決まったの
で、肘位置を図13に示すPADに従って決定する62
7。「痛い」の後には手話単語はないので620、終了
する。ここで、図13のPADに従って、肘位置決定の
方法を説明する。入力される全データは、表示概念位置
に変換された手話単語のデータと単語間に挿入された補
間のためのデータである。まず、図14に示すような手
の位置P(Px,Py,Pz)621620が入力され
ると、P621620をZsh6503の周りに回転さ
せてYZ平面内にもってきた場合の位置P’62162
1と、その回転角θ621623を求める62162。
次に、中心が肩の位置S(Sx,Sy,Sz)650
1、半径が上腕の長さlup6510である円と、中心
がP’621621で半径が前腕の長さllo6511
である円との交点を求める62163。交点は図15に
示すように、A621626とB621627の2点が
得られるが、「問題を解決するための手段」で提示した
条件(b)により、S6501とP’621621を結
んだ線よりも体から見て外側にある点A621626を
選ぶ62164。これで肘位置は決定したので、図15
に示したように、S6501を中心とした、上腕のXs
h6502回りの回転角rxu621624と、Xel
6506を中心とした前腕の回転角rxl621625
を求める62165。最後に、上腕をXsh6502回
りにrxu621625、前腕をXel621626回
りにrxl621625回転させ、Zsh6503回り
に−θ621623回転させると手は目標位置P621
620に到達する。次の人体モデル組立て部63では、
人体モデル構成部品65に格納されている基本姿勢のポ
リゴンの配置と、以上で求めた肘と肩の関節の角度の両
方を考慮して人体モデルを組み立てる。Based on the contents described above, a method for determining the posture of the human body model will be described with reference to the flowcharts shown in FIGS. 11 and 12. Here, the sign language word "painful" is taken as an example. Sign language word "pain" and its display concept position "pain (head), ((head), normal), pain, straight" 6
When 21 is input, a sign language word CG pattern corresponding to "head" is searched 622 from the sign language word CG pattern 10 in FIG.
Since the display position is designated 62301, the display position (head) 6409 in FIG. 6 is given the specific coordinates 6421 in FIG. 7 according to the display concept position real coordinate correspondence rule 63 in FIG. Next, the difference between the central coordinate position of the sign language word shown in 1003 of FIG. 10 and the display coordinate position shown in 6421 of FIG. 7 is obtained 6204, and the hand position data registered in the data of the sign language word CG pattern ( 62301 which translates 1012) in FIG. 10 to the (head) position. "Moving direction"
62304, the vector of the direction axis of 1004 of FIG. 10 registered in the sign language word CG pattern 10 of FIG. 3 and the vector of the directional axis 1004 of FIG. Normal vector (6422 in Figure 7)
62305 to calculate the angle between and and 62306 to rotate and move the hand position data (1012 in FIG. 10). Furthermore, since the facial expression is designated, 62307 the sign language word C in FIG.
Search for facial expression CG pattern “pain” from G pattern 10 6
2308. Finally, since the designation of the angle of the neck is “straight”, it is 62309, and the neck is left in the basic posture shown in FIG.
09. Here, in order to use for data interpolation, 64 of FIG.
The coordinates at the start of the sign language after moving to the display coordinate position shown in 21 and the coordinates at the end of the sign language are stored 624. Since the sign language word "head" is displayed before the sign language word "pain" is displayed, 6
25. Split interpolation 626 between the coordinates of the hand of the human body model at the end of the sign language word “head” and the coordinates at the start of the sign language word “pain” 626. At the time of interpolation, draw a trajectory that the hand should move between the position of the human body model's hand that displays the final position of the "head" and the position of the human body model hand that represents the "painful" starting point. , The sign position of the orbit is divided into 10 and the sign position is CG
Interpolate by inserting between the pattern "head" and "painful". The finger joint angle is interpolated by displaying a value obtained by dividing the difference between the bending angle at the starting point and the bending angle at the ending point by the number of divisions of the trajectory while adding the value to the bending angle at the starting point. Since all the positions of the hands of the human body model have been determined, the elbow position is determined according to the PAD shown in FIG.
7. Since there is no sign language word after "painful", the process ends at 620. Here, a method of determining the elbow position will be described with reference to the PAD of FIG. All the input data are the data of the sign language word converted into the display concept position and the data for interpolation inserted between the words. First, when the hand position P (Px, Py, Pz) 621620 as shown in FIG. 14 is input, the position P′62162 when P621620 is rotated around Zsh6503 and brought into the YZ plane.
1 and 62162 for obtaining the rotation angle θ621623.
Next, the center is the shoulder position S (Sx, Sy, Sz) 650
1. A circle whose radius is the upper arm length lup6510, and whose center is P'621621 and whose radius is the forearm length llo6511.
62163 for the intersection with the circle. As shown in FIG. 15, two points of A621626 and B621627 are obtained as the intersections. However, due to the condition (b) presented in “Means for Solving Problems”, the body is better than the line connecting S6501 and P′621621. 62164 which selects the point A621626 which is outside from the viewpoint. Now that the elbow position has been determined, FIG.
As shown in, the Xs of the upper arm centered on S6501.
Rotation angle rxu621624 around h6502 and Xel
Forearm rotation angle rxl621625 around 6506
62165. Finally, when the upper arm is rotated around rxu621625 around Xsh6502, the forearm is rotated around rxl621625 around Xel621626, and is rotated by -θ621623 around Zsh6503, the hand is moved to the target position P621.
Reach 620. In the next human body model assembly section 63,
The human body model is assembled in consideration of both the arrangement of the polygons of the basic posture stored in the human body model component 65 and the angles of the joints of the elbow and shoulder obtained above.
【0027】手話アニメーションの表示7例を図16に
示す。71には入力されたカナ漢字混じり文(ここでは
「頭が痛い」)を表示し、72には現在画面に表示され
ているアニメーションが表している単語(「頭」)を表
示する。73から76はアニメーションの表示方法を変
更するための入力エリアで、73はアニメーションを再
表示するための入出力エリア、74は表示速度を速くす
るための入出力エリアで、75は表示速度を遅くするた
めの入出力エリア、76は表示を中止するための入出力
エリアである。FIG. 16 shows a display example of a sign language animation. An input sentence containing mixed kana-kanji characters (here, "headache") is displayed at 71, and a word ("head") represented by the animation currently displayed on the screen is displayed at 72. Reference numerals 73 to 76 are input areas for changing the animation display method, 73 is an input / output area for redisplaying the animation, 74 is an input / output area for increasing the display speed, and 75 is a slow display speed. And an input / output area 76 for canceling the display.
【0028】次に、図1を用いて手話単語CGパタンを
登録する方法について説明する。ここでは、「頭」とい
う手話単語CGパタンを登録をする場合を例に説明す
る。まず、手話単語CGパタンを登録したい人が、手袋
型センサ8を装着して「頭」という手話を行う。手袋型
センサ8は手話を行っている間、手の位置、向き、指の
第1関節と第2関節の角度のデータを1/30秒毎に検
出して、手袋型センサインタフェイス部9に送る。手袋
型センサインタフェイス部9では、データを計算機が認
識可能な形に変換し、手話単語CGパタン10に登録す
る。また、「うれしい」、「悲しい」、「苦痛だ」など
の基本的な表情を生成するための顔のデータも、ポリゴ
ンを組み合わせて予め作成し、見出しをつけて手話単語
CGパタン10に格納しておく。Next, a method of registering the sign language word CG pattern will be described with reference to FIG. Here, a case where the sign language word CG pattern “head” is registered will be described as an example. First, a person who wants to register the sign language word CG pattern wears the glove-type sensor 8 and performs the sign language "head". While performing the sign language, the glove type sensor 8 detects data of the position and orientation of the hand and the angle of the first joint and the second joint of the finger every 1/30 seconds, and causes the glove type sensor interface unit 9 to detect the data. send. The glove-type sensor interface unit 9 converts the data into a form that can be recognized by a computer and registers it in the sign language word CG pattern 10. In addition, face data for generating basic expressions such as “happy”, “sad”, and “painful” is also created in advance by combining polygons, and is stored in the sign language word CG pattern 10 with a heading. Keep it.
【0029】最後に、上記の方法で収集された手話単語
CGパタンを補正する方法について述べる。まず、指の
関節の角度を補正する方法について述べる。まず、保持
されている時間がある程度長い指の形は手話を認識する
上で重要な鍵となっているので、保持時間の長い指の形
を補正しする。その際には、指の関節の角度を大きく3
つに分類し、各々の指を図17と図18に示す指の形の
基本5パタンのどれかと対応させることによって補正後
の角度を決める。この分類は以下の基準で選んだ。第一
に、手話に現われる指の形では第二関節と第三関節の角
度が同じであるため、指の形は第一関節と第二関節の関
係で分類する。第二に、異なる情報を表すために必要で
あると考えられる関節の角度は、指がまっすぐであるこ
とを表す0゜、曲がっていることを表す90゜、親指と
他の指を用いて円を描く際に必要な60゜である。以上
の基準に従うと指の形は図17と図18のように5パタ
ンに分類することができる。Finally, a method of correcting the sign language word CG pattern collected by the above method will be described. First, a method of correcting the angle of the finger joint will be described. First, the shape of a finger that has been held for a while is an important key for recognizing sign language, so the shape of a finger that has been held for a long time is corrected. In that case, increase the angle of the knuckles 3
The corrected angle is determined by classifying each finger into one of the five basic finger-shaped patterns shown in FIGS. 17 and 18. This classification was selected based on the following criteria. First, since the angles of the second joint and the third joint are the same in the finger shape appearing in sign language, the finger shape is classified according to the relationship between the first joint and the second joint. Second, the joint angles that are considered necessary to represent different information are 0 ° to indicate that the finger is straight, 90 ° to indicate that the finger is bent, and a circle with the thumb and other fingers. It is 60 ° required when drawing. According to the above criteria, the finger shape can be classified into 5 patterns as shown in FIGS.
【0030】これらのパタンを使って手話単語CGパタ
ンの指の関節のデータを、図20と図21に示したフロ
ーチャートに従って補正する。補正したい手話単語CG
パタンが入力される1700と、指の形が1秒以上保持
されている部分を探す1701。そして、指の形の保持
が始まる時間t1と、保持終了の時間t2を記憶する1
702。t1とt2の間を3つの領域、補間領域1、保
持領域、補間領域2に分ける。ここで、3で割り切れな
い分は保持領域に含める1703。図10の1009に
示す両手のt1のデータについて1704第一関節の角
度ang1と第二関節の角度の差を求め、その差がΔa
ng以上で1705かつ、第一関節の角度が90°に近
かった場合には図18のcase51504に示したよ
うに第一関節は90°、第二関節は0°、第三関節は0
°に設定し、第一関節の角度が0°に近い場合には第
二、第三関節の角度は90°に設定する1502。一
方、差がΔang以下であった場合には1806、第一
関節の角度が0°、60°、90°のどの角度に近いか
によってcase1の1500、case4の150
3、case2の1501のどれかの状態に設定する。
以上のようにして決定された指の関節の角度のデータ1
009を、手の形が保持されている領域に複写する18
07、1808。最後に、t=t1−1の時刻のデータ
と、保持領域の初めのデータとの間を補間して、補間領
域1のデータ1009に登録する。同様にして、保持領
域の終わりのデータとt=t2+1のデータとの間を補
間して補間領域2に登録する1809。以上の作業を指
の形が保持されている時間t=t1からt2までの間の
両手の全ての指について行う。Using these patterns, the finger joint data of the sign language word CG pattern is corrected according to the flowcharts shown in FIGS. 20 and 21. Sign language word CG you want to correct
A pattern is input 1700 and a part 1701 in which the shape of the finger is held for 1 second or more is searched 1701. Then, the time t1 at which the holding of the finger shape starts and the time t2 at which the holding ends are stored 1
702. The area between t1 and t2 is divided into three areas, an interpolation area 1, a holding area, and an interpolation area 2. Here, 1703 that is not divisible by 3 is included in the holding area. The difference between the angle ang1 of the first joint 1704 and the angle of the second joint 1704 is calculated for the data t1 of both hands shown in 1009 of FIG. 10, and the difference is Δa.
If the angle is 1705 or more and the angle of the first joint is close to 90 °, the first joint is 90 °, the second joint is 0 °, and the third joint is 0 ° as shown in case 51504 of FIG.
If the angle of the first joint is close to 0 °, the angles of the second and third joints are set to 90 ° 1502. On the other hand, if the difference is Δang or less, 1806, 1500 of case 1 and 150 of case 4 depending on which angle of the first joint is 0 °, 60 °, or 90 °.
3 and 1502 of case 2 are set.
Data 1 of the knuckle angle determined as described above
Copy 009 to the area where the shape of the hand is held 18
07, 1808. Finally, the data at the time t = t1-1 and the first data in the holding area are interpolated and registered in the data 1009 of the interpolation area 1. Similarly, the data between the end of the holding area and the data of t = t2 + 1 is interpolated and registered in the interpolation area 2 1809. The above work is performed for all fingers of both hands during the time t = t1 to t2 during which the shape of the finger is held.
【0031】次に、手の位置の座標に含まれるノイズを
取り除くための方法について述べる。その方法を図19
に示した。ある時間の区間t=a1601とb1602
の間に図19の曲線のようなノイズが入っていたとす
る。このままの状態で、人体モデルの手を表示すると、
不自然な細かな動きが表示されてしまう。そこで、図1
9の太い直線で示したようにa1601とb1602の
間を直線で結んで近似する。Next, a method for removing noise contained in the coordinates of the hand position will be described. The method is shown in FIG.
It was shown to. Certain time interval t = a1601 and b1602
It is assumed that noise like the curve in FIG. In this state, displaying the hands of the human body model,
Unnatural fine movements are displayed. Therefore, in FIG.
As indicated by the thick straight line 9 in FIG. 9, a 1601 and b 1602 are connected by a straight line to perform approximation.
【0032】以上で述べたように、本発明によれば、肘
の位置を拘束することによって肘位置が一意に決定さ
れ、少なくない計算量で不自然でない手話をCGのアニ
メーションで表示することができる。また、一手話単語
分のアニメーションは手袋型センサを用いて収集した実
際の手の動きのデータをもとに、3次元カラーアニメー
ションとして生成しているので、手の動き方がより自然
である。また、手袋型センサを用いて収集した手と指の
データを補正して、実際の手話で行う場合よりも多少大
げさに曲げることによって、手の表示が人間の手の大き
さよりもかなり小さい場合でも、指の形が認識できる。
さらに、手話に合った表情を表示することによって、同
じ形で意味の異なる手話が表示できるようになり、首を
傾けてその場に合った方向に視線を送ることによって手
話の受信者が空間内で注目すべき点が明らかになる。こ
れらの工夫によって手話が読み取りやすくなり、読み取
りの間違いを減らすことができるとともに、受信者の負
担を軽減することができる。また、ここで用いた人体モ
デルは、新井:動力学を応用した多関節構造体のキーフ
レームアニメーション;グラフィックスとCAD,57
−3(1992)で報告されたものである。As described above, according to the present invention, the elbow position is uniquely determined by constraining the elbow position, and unnatural sign language can be displayed by CG animation with a considerable amount of calculation. it can. Further, the animation for one sign language word is generated as a three-dimensional color animation based on the data of the actual hand movement collected by using the glove type sensor, so that the movement of the hand is more natural. In addition, even if the hand display is considerably smaller than the size of a human hand, the hand and finger data collected using a glove-type sensor is corrected and bent slightly more exaggerated than in actual sign language. , The shape of the finger can be recognized.
Furthermore, by displaying facial expressions that match sign language, it is possible to display sign language with different meanings in the same shape.By tilting your head and sending your line of sight in the direction that suits the situation, the sign language recipient can see in the space. The points that should be noted become clear. With these measures, sign language can be easily read, mistakes in reading can be reduced, and the burden on the receiver can be reduced. The human body model used here is Arai: Keyframe animation of articulated structure applying dynamics; Graphics and CAD, 57.
-3 (1992).
【0033】[0033]
【発明の効果】本発明によれば、手袋型センサなどで採
取された手話単語CGパタンを用いてアニメーションを
作成することによって、自然な手話の生成が可能とな
り、手話単語CGパタンに補正を加えることによって、
見やすい手話の表示が可能となるAccording to the present invention, by creating an animation using a sign language word CG pattern collected by a glove type sensor or the like, natural sign language can be generated and a correction is added to the sign language word CG pattern. By
Enables display of easy-to-read sign language
【図1】本発明の一実施例の構成を示したブロック図。FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention.
【図2】表示様式を概念的に決定するためのPAD。FIG. 2 is a PAD for conceptually determining the display style.
【図3】手話CGアニメーション生成部のブロック図。FIG. 3 is a block diagram of a sign language CG animation generation unit.
【図4】上下関係と奥行きを表す表示概念位置と人体モ
デルの関係。FIG. 4 is a relationship between a display concept position indicating a vertical relationship and depth and a human body model.
【図5】上下関係と左右の関係を表す表示概念位置と人
体モデルの関係。FIG. 5 is a relationship between a display concept position representing a vertical relationship and a horizontal relationship and a human body model.
【図6】体の部位を表す表示概念位置と人体モデルの関
係。FIG. 6 is a relationship between a display concept position representing a body part and a human body model.
【図7】表示概念位置と実座標の対応関係を表すデータ
の構造。FIG. 7 is a data structure showing a correspondence relationship between a display concept position and real coordinates.
【図8】人体モデルの基本姿勢と座標系。FIG. 8 is a basic posture and coordinate system of a human body model.
【図9】上腕と前腕の関係。FIG. 9 shows the relationship between the upper arm and the forearm.
【図10】手話単語CGパタンに登録されるデータの構
造。FIG. 10 is a structure of data registered in a sign language word CG pattern.
【図11】人体モデル姿勢決定部のPAD。FIG. 11 is a PAD of a human body model posture determination unit.
【図12】表示様式決定部のPAD。FIG. 12 is a PAD of a display style determination unit.
【図13】肘位置決定のPAD。FIG. 13: PAD for elbow position determination.
【図14】目標点Pと仮目標点P’の関係。FIG. 14 shows a relationship between a target point P and a temporary target point P '.
【図15】肩と肘の角度の決定。FIG. 15: Determination of shoulder and elbow angles.
【図16】表示画面の構成。FIG. 16 is a configuration of a display screen.
【図17】指の関節角度の補正のための基本5パタン
I。FIG. 17 is a basic 5 pattern I for correcting a finger joint angle.
【図18】指の関節角度の補正のための基本5パタンI
I。FIG. 18 is a basic 5 pattern I for correcting a finger joint angle.
I.
【図19】手の位置座標の振動補正。FIG. 19 is a vibration correction of hand position coordinates.
【図20】手の指の関節角度の補正のためのPAD。FIG. 20: PAD for correction of finger joint angles of the hand.
【図21】指関節補正のPAD。FIG. 21. PAD for knuckle correction.
1…マイク、2…音声インタフェイス部、3…キーボー
ド、4…キーボードインタフェイス部、5…自然言語処
理部、6…手話CGアニメーション生成部、7…手話ア
ニメーション表示画面、8…手話型センサ、9…手話型
センサインタフェイス部、10手話単語CGパタン、6
1…実座標決定部、62…人体モデル姿勢決定部、63
…人体モデル組立部、64…表示概念位置実座標対応ツ
ール、65…人体モデル構成部品。1 ... Microphone, 2 ... Voice interface section, 3 ... Keyboard, 4 ... Keyboard interface section, 5 ... Natural language processing section, 6 ... Sign language CG animation generation section, 7 ... Sign language animation display screen, 8 ... Sign language sensor, 9 ... Sign language type sensor interface part, 10 sign language word CG pattern, 6
1 ... Real coordinate determination unit, 62 ... Human body model posture determination unit, 63
Human body model assembling section 64, display conceptual position actual coordinate correspondence tool, 65 human body model component parts.
Claims (5)
(CG)のアニメーションで表示す装置において、あら
かじめ手袋型センサなどで採取された手や指の動きの時
系列データ(手話単語CGパタン)を保持する手段と、
手話単語CGパタンに手話の表示を見やすくするための
補正を加える手段を有することを特徴とする手話生成装
置。1. A device for displaying sign language as an animation of three-dimensional computer graphics (CG), which holds time-series data (sign language word CG pattern) of hand and finger movements previously sampled by a glove type sensor or the like. Means and
A sign language generating apparatus comprising means for adding a correction to a sign language word CG pattern to make the display of the sign language easy to see.
語CGパタンの補正は、肘位置を一意に決定し、肘位置
決定のための計算量を少なくするための2つの拘束条
件、(a)肘位置は人体モデルの手の位置と左右の肩の
位置とを含んだ平面内にある(b)肘位置は肩の位置と
手の位置を結んだ線より体側には入らない、のうち少な
くとも1つの拘束条件を設けて手の位置から肘の位置を
計算する手段を有することを特徴とする手話生成装置。2. The sign language generation apparatus according to claim 1, wherein the correction of the sign language word CG pattern uniquely determines the elbow position, and two constraint conditions (a) for reducing the calculation amount for determining the elbow position. ) The elbow position is within a plane including the hand position and the left and right shoulder positions of the human body model. (B) The elbow position does not enter the body side of the line connecting the shoulder position and the hand position. A sign language generation apparatus comprising means for calculating the position of an elbow from the position of a hand by providing at least one constraint condition.
語CGパタンの補正は、手袋型センサなどで採取された
指の関節の角度のデータを、指の形の基本5パタンに対
応させて補正する手段を有することを特徴とする手話生
成装置。3. The sign language generation device according to claim 1, wherein the correction of the sign language word CG pattern is performed by associating the finger joint angle data collected by a glove type sensor or the like with the basic five patterns of the finger shape. A sign language generation apparatus having means for correcting.
語CGパタンの補正は、手袋型センサから送られてくデ
ータに含まれる、座標位置の細かな振動(ノイズ)を取
り除く手段を有することを特徴とする手話生成装置。4. The sign language generation apparatus according to claim 1, wherein the correction of the sign language word CG pattern has means for removing fine vibration (noise) of the coordinate position included in the data sent from the glove type sensor. Characteristic sign language generation device.
保持する手段において、手袋型センサを装着した人物が
行なった一手話単語分の手の位置、向き、指の関節角度
の時系列データをサンプリングし、手話単語毎に見出し
をつけて格納することを特徴とする手話生成装置。5. The means for holding a sign language word CG of the sign language generating apparatus according to claim 1, wherein the position, orientation, and finger joint angle of one sign language word performed by a person wearing a glove-type sensor is time series. A sign language generation device characterized in that data is sampled and a heading is added for each sign language word and stored.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3634693A JP3169727B2 (en) | 1993-02-25 | 1993-02-25 | Sign language generator |
US08/200,702 US5659764A (en) | 1993-02-25 | 1994-02-23 | Sign language generation apparatus and sign language translation apparatus |
US08/854,093 US5953693A (en) | 1993-02-25 | 1997-05-09 | Sign language generation apparatus and sign language translation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3634693A JP3169727B2 (en) | 1993-02-25 | 1993-02-25 | Sign language generator |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06251123A true JPH06251123A (en) | 1994-09-09 |
JP3169727B2 JP3169727B2 (en) | 2001-05-28 |
Family
ID=12467281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3634693A Expired - Fee Related JP3169727B2 (en) | 1993-02-25 | 1993-02-25 | Sign language generator |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3169727B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08115408A (en) * | 1994-10-19 | 1996-05-07 | Hitachi Ltd | Sign language recognizer |
JPH08314625A (en) * | 1995-05-03 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Apparatus and system for control of computer |
US5734923A (en) * | 1993-09-22 | 1998-03-31 | Hitachi, Ltd. | Apparatus for interactively editing and outputting sign language information using graphical user interface |
US5990878A (en) * | 1995-05-18 | 1999-11-23 | Hitachi, Ltd. | Sign language editing apparatus |
JP2001034776A (en) * | 1999-07-22 | 2001-02-09 | Fujitsu Ltd | Animation editing system and storage medium recording animation editing program |
JP2009540384A (en) * | 2006-06-15 | 2009-11-19 | ベライゾン・データ・サービシーズ・エルエルシー | Method and system for a sign language graphical interpreter |
JP2013097339A (en) * | 2011-11-04 | 2013-05-20 | Honda Motor Co Ltd | Sign language operation generation device and communication robot |
KR20180044171A (en) * | 2016-10-21 | 2018-05-02 | 주식회사 네오펙트 | System, method and program for recognizing sign language |
-
1993
- 1993-02-25 JP JP3634693A patent/JP3169727B2/en not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5734923A (en) * | 1993-09-22 | 1998-03-31 | Hitachi, Ltd. | Apparatus for interactively editing and outputting sign language information using graphical user interface |
JPH08115408A (en) * | 1994-10-19 | 1996-05-07 | Hitachi Ltd | Sign language recognizer |
JPH08314625A (en) * | 1995-05-03 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | Apparatus and system for control of computer |
JP2001084411A (en) * | 1995-05-03 | 2001-03-30 | Mitsubishi Electric Inf Technol Center America Inc | Character control system on screen |
US5990878A (en) * | 1995-05-18 | 1999-11-23 | Hitachi, Ltd. | Sign language editing apparatus |
JP2001034776A (en) * | 1999-07-22 | 2001-02-09 | Fujitsu Ltd | Animation editing system and storage medium recording animation editing program |
JP2009540384A (en) * | 2006-06-15 | 2009-11-19 | ベライゾン・データ・サービシーズ・エルエルシー | Method and system for a sign language graphical interpreter |
US8411824B2 (en) | 2006-06-15 | 2013-04-02 | Verizon Data Services Llc | Methods and systems for a sign language graphical interpreter |
JP2013097339A (en) * | 2011-11-04 | 2013-05-20 | Honda Motor Co Ltd | Sign language operation generation device and communication robot |
KR20180044171A (en) * | 2016-10-21 | 2018-05-02 | 주식회사 네오펙트 | System, method and program for recognizing sign language |
Also Published As
Publication number | Publication date |
---|---|
JP3169727B2 (en) | 2001-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5953693A (en) | Sign language generation apparatus and sign language translation apparatus | |
US5990878A (en) | Sign language editing apparatus | |
Kennaway | Synthetic animation of deaf signing gestures | |
US9431027B2 (en) | Synchronized gesture and speech production for humanoid robots using random numbers | |
Kennaway | Experience with and requirements for a gesture description language for synthetic animation | |
JP2779448B2 (en) | Sign language converter | |
JP6424050B2 (en) | Articulated skeleton model processing apparatus and program | |
JP6506443B1 (en) | Image generation apparatus and image generation program | |
JP3169727B2 (en) | Sign language generator | |
Pausch et al. | Tailor: creating custom user interfaces based on gesture | |
JP2002006874A (en) | Voice processor, moving picture processor, voice and moving picture processor, and recording medium with voice and moving picture processing program recorded | |
JPH10154238A (en) | Action generation device | |
CN114428879A (en) | Multimode English teaching system based on multi-scene interaction | |
Francik et al. | Animating sign language in the real time | |
CN119131900A (en) | A Chinese sign language translation method and system based on large language model | |
JPH11184370A (en) | Finger language information presenting device | |
JP2020006482A (en) | Android gesture generation device and computer program | |
Zhao et al. | Realizing speech to gesture conversion by keyword spotting | |
Ma et al. | Animating visible speech and facial expressions | |
Glauert et al. | Virtual human signing as expressive animation | |
Papadogiorgaki et al. | Gesture synthesis from sign language notation using MPEG-4 humanoid animation parameters and inverse kinematics | |
Fabian et al. | Synthesis and presentation of the Polish sign language gestures | |
JP3179636B2 (en) | Sign language synthesizer | |
JP2015203860A (en) | Sign language action generation device and sign language action generation program | |
JP2021009552A (en) | Information processing apparatus, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 8 Free format text: PAYMENT UNTIL: 20090316 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 8 Free format text: PAYMENT UNTIL: 20090316 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 9 Free format text: PAYMENT UNTIL: 20100316 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 10 Free format text: PAYMENT UNTIL: 20110316 |
|
LAPS | Cancellation because of no payment of annual fees |