JP2002342234A

JP2002342234A - 表示方法

Info

Publication number: JP2002342234A
Application number: JP2001147455A
Authority: JP
Inventors: Toshiko Murata; 寿子村田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2001-05-17
Filing date: 2001-05-17
Publication date: 2002-11-29

Abstract

(57)【要約】【課題】送信者の意図した通りの表情付きの文章
を送信することができ、これにより、臨場感あふれる通
信が可能となる。【解決手段】文章中に含まれる感情表記記号を検出す
るステップと、検出された前記感情表記記号に対応する
顔画像のアニメーションデータを抽出するステップと、
前記文章を表示しながら前記感情表記記号が検出された
位置で前記アニメーションデータを表示するステップと
からなる表示方法を提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、携帯電話や携帯用
端末、パーソナルコンピュータ等において、電子メール
等の文章情報と顔画像情報を表示し、文章情報の内容に
応じて顔画像を変化させるための表示方法に関する。

【０００２】

【従来の技術】従来、電子メール等で情報を伝達する場
合、文章情報のみによる伝達では角が立ったり、違う意
味に取られたりしかねないので、（＾＾）のような、い
わゆる顔文字と呼ばれる感情表記記号を本文に織り交ぜ
ながら文章を作成していた。

【０００３】ところで、情報を伝達する場合、画像情報
を使用すれば文章情報を伝達する場合に比べて適切に意
思が伝達できるため、テレビ電話等を使用することが考
えられる。しかしながら、画像情報が大きすぎて伝送が
スムーズに行かずに画像が途切れ途切れになるという不
具合が考えられる。また、本人そのままの顔がリアルに
映ってしまう、部屋の中が丸見えになってしまうといっ
た理由で普及していないのが現実である。

【０００４】また、上述した画像情報が大きいといった
問題や、文章情報だけでは意思の伝達が困難であるとい
った問題に対しては、文章のテキスト表示や文章の読み
上げを行い、送り手本人の平常時の顔画像やキャラクタ
の顔画像に対してあたかも文章に沿ってしゃべっている
かのように顔画像の口部分を変形させたアニメーション
を表示するものがあった。しかしながら、この方法であ
っても一文字毎の口の形をした画像データを保存してお
くか、画像を変形させるということが必要であった。

【０００５】ところで、このような口の変形だけでな
く、笑顔や悲しい顔などの表情を切り替えて表示するこ
とで、更に送り手の意思を伝達することができるものも
ある。例えば、特開平１１−２４２７５１号公報には任
意の文章の表現方法、つまり、「きっと、…でしょう」
や「…によると、…そうです」という文章から、前者は
「伝聞」、後者は「確信」というムード情報を引き出
し、このムード情報に対応した表情データによってアニ
メーション表示を制御した。また、特開平６−１６２１
６７号公報によれば、表示側で文章情報に基づいて合成
音声或いは顔合成画像を表示するにあたり、その文章の
作成側の人が意図した通りの表示が可能となるように、
文章情報の作成側で表情生成のためのパラメータを作成
し、表示側に渡している。

【０００６】また、特開平１１−３０５９８７号公報に
は、電子メールアドレスやＵＲＬ、顔文字などの読み上
げを合成音声によって適切に行うテキスト音声変換装置
が開示されている。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た特開平１１−２４２７５１号では、システムが伝聞や
確信というムード情報を自動的に認識するものであるか
ら、テキストを入力する際にムード情報に対応するよう
な定型の文章としなければならないため、比較的柔らか
い表現が使用される個人的な文章には適応し難く、ま
た、ユーザが意図する心理状態を表現できない可能性が
高いという問題があった。

【０００８】また、特開平６−１６２１６４号では、作
成側で表情生成のためのパラメータを作成する必要があ
るため、正確に心理状態を表現することができるもの
の、作業が煩雑になってしまうという問題があった。

【０００９】更に、特開平１１−３０５９８７号では、
顔文字を音声として読み上げるだけで視覚に訴えるもの
がないため、印象が薄くなってしまうという問題があ
り、顔文字の挿入位置で顔文字の音声を読み上げている
ので、文章の内容が途切れてしまうという問題があっ
た。

【００１０】そこで、本発明に係る表示方法によれば、
通常の電子メール等を書く要領で文章を作成するだけ
で、送信側が意図した通りの表情を受け手に伝達するこ
とができることを目的とするものである。

【００１１】

【課題を解決するための手段】上述した課題を解決する
ために、文章中に含まれる感情表記記号を検出するステ
ップと、検出された前記感情表記記号に対応する顔画像
のアニメーションデータを前記感情表記記号と前記顔画
像のアニメーションとを対応付ける対応テーブルに基づ
き抽出するステップと、前記文章を表示しながら前記感
情表記記号が検出された位置で前記アニメーションデー
タを表示するステップとからなる表示方法を提供する。

【００１２】

【発明の実施の形態】以下、本発明に係る表示方法につ
いて、図面を参照して説明する。図１は本発明の表示方
法を適用した電子メール送受信システムであり、図２は
その動作を示すフローチャートである。

【００１３】送受信手段２はアンテナ１を介して電子メ
ールのメッセージを送受信する。通信制御手段３は送受
信手段２から入力した信号やマイク５から入力した音声
をデコードし、送受信手段２から出力する信号やスピー
カ４から出力される音声をエンコードしている。中央制
御手段６はいわゆるパーソナルコンピュータのＣＰＵ部
分であり、通信制御手段３、メモリバッファ７、メッセ
ージ作成手段８と相互に接続されている。また、文字色
変更手段１０とも接続されている。メモリバッファ７
は、メールを受信した場合には受信メッセージや添付フ
ァイルを蓄積し、メールを送信する場合には送信メッセ
ージや送信用添付ファイルを蓄積する。

【００１４】メッセージ作成手段８では図示しないキー
ボード等を使用して、感情表記記号９を用いつつ文章を
入力する。これは通常の顔文字を織り交ぜながら電子メ
ールの文章を入力することと同じ要領で行われる。感情
表記記号９は図３に示すような顔文字のほかに表情を表
す漢字一文字を括弧でくくったものを含んでも良い。な
お、これらの感情表記記号９は同じ感情を表すものであ
ってもその表記によって表情の度合いを変化させても良
い。具体的には、「（＾．＾）」は微笑む程度の笑いを
表し、「（＾○＾）」は大笑いを表す。

【００１５】そして、文章の入力を終了すると、文字色
変更手段１０が動作し、文章の頭からちょうど文章を読
む速度で色変わりしていく。同時に検索手段１１は色変
わりした文字が前述した感情表記記号９であるかどうか
をチェックしていく。文章中に感情表記記号９が発見さ
れると、アニメーション対応テーブル１２から同じ記号
を探し出し、対応するアニメーションを特定する。この
とき、対応するアニメーションとは、感情表記記号９が
「（＾．＾）」の場合には段々微笑んでいく顔のアニメ
ーションであり、感情表記記号９が「（＾○＾）」の場
合には微笑んでから大笑いに変化するアニメーションで
ある。

【００１６】そして、感情表記記号９に対応するアニメ
ーションデータ番号を獲得したら、再生手段１３へデー
タ番号を送る。再生手段１３ではデータ記憶部１４から
アニメーションデータを選択し、アニメーションを再生
し、表示する。このようにして、文章の入力が終了する
まで文字色の色変わりとアニメーション再生を繰り返
す。

【００１７】次に図２を使用して本発明に係る表示方法
の動作を説明する。なお、本実施例では、「こんにちは
！（＾○＾）今日は寒いね〜（Ｔ＿Ｔ）」という例文を
用いている。まず、送信者によって本分の入力が行われ
る（Ｓ１）。入力が終了した段階では入力のためのカー
ソルが本文の文末に来ているので、本文の文頭に戻す
（Ｓ２）。次に本分の文字色をカラオケにおける歌詞の
色変わりと同じ要領で変更して行く（Ｓ３）。本実施例
の例文の場合、黒の文字列が赤に色変わりするものとし
て、赤色の文字が「こ」→「こん」→「こんに」…とい
うように増えて行く。そして、色変わりの文字列が増え
るごとに、その文字列が感情表記記号であるかアニメー
ション対応テーブルを使用して検索する（Ｓ４）。

【００１８】検索の例を以下に示す。感情表記記号であ
る顔文字は通常「（」で始まるので、「（」が検出され
たら、感情表記記号との比較を開始する。一文字目が合
致したら次の文字を比較し、最後の「）」まで合致すれ
ば、合致した感情表記記号であると判定する。

【００１９】このような検索により感情表記記号である
「（＾○＾）」が見つかった場合（Ｓ４にてＹ）、Ｓ５
に進み、対応しているアニメーションデータ番号３を獲
得する（Ｓ５）。一方、感情表記記号でない場合（Ｓ４
にてＮ）、Ｓ３に戻り文字色の変更を続行する。

【００２０】Ｓ５にてアニメーションデータ番号３を獲
得することができたら、データ記憶部１４からアニメー
ションデータ番号３に対応するアニメーションデータを
読み出して表示する（Ｓ６）。すると、アニメーション
データ番号３の「（＾○＾）」は微笑んでから大笑いに
変わっていくアニメーションであるから、そのアニメー
ションの表示を行う。

【００２１】そして、本文終了かを調べ（Ｓ７）、まだ
本文が終了していないので、Ｓ３に戻り文字色の変更を
行う。続いて感情表記記号である「（Ｔ＿Ｔ）」が見つ
かったので、アニメーションデータ番号６を獲得するこ
とができ、アニメーションデータ番号６の表示が行われ
る。本実施例では、本文はここで終了するので（Ｓ７に
てＹ）、処理を終了する。

【００２２】次に送受信処理について説明する。本発明
の表示方法を備えた送受信装置の場合、送信すべき情報
は一般的な電子メールと同じく、メールヘッダと本文の
みである。メールヘッダには本発明の表示方法を使用し
たことが記載されており、受信側が本発明の表示方法を
採用していなかった場合には一般的な電子メールの表示
となる。一方、受信側も本発明の表示方法を採用してい
る場合、中央制御手段６はメモリバッファに蓄積したメ
ールの内容を次の要領で表示する。

【００２３】文字色変更手段１０は、本文の先頭から文
字色の変更を開始する。前述した通り、文字を次々と赤
色に変更する。そして、文字色を変更された文字が感情
表記記号であるかを検索手段１１にて検索し、感情表記
記号であった場合には、アニメーション対応テーブルか
らアニメーションデータ番号１２を獲得し、そのデータ
を再生手段１３にて再生して表示手段１５に表示する。
なお、本実施例のアニメーションデータ及びアニメーシ
ョン対応テーブルは送信側と受信側とで共通のものであ
る。

【００２４】以上のように、受信側にアニメーション対
応テーブルとアニメーションデータ記憶部があらかじめ
設けられているため、通常送信している顔文字を使用し
た電子メールを記述するだけで、送信者の意図したタイ
ミングで意図した表情をつけたアニメーションの顔画像
を表示することができ、電子メールの内容がより１層臨
場感を持って相手に伝達される。受信側でもアニメーシ
ョン画像を見ながら電子メールを読むことができるの
で、一層楽しく電子メールを受け取ることができる。

【００２５】次に本発明に係る表示方法の第２実施例に
ついて説明する。図５は本発明に係る表示方法を適用し
た電子メール送受信システムであり、図６はその動作を
示すフローチャートである。なお、図１の電子メール送
受信システムと同じ構成要素については一部説明を省略
する。図２によれば、中央制御手段６にはメモリバッフ
ァ７の他、メッセージ作成手段８、文字色変更手段１
０、顔データ設定手段２１、編集手段２２が接続されて
いる。ここで、顔データとは、顔画像を構成する顔部品
のベクトル座標や各顔部品の色などが記述されたデータ
ファイルを指し、顔部品を座標通りにプロットすると、
無表情の静止状態の顔画像が表示されるものである。ま
た、編集手段２２は、顔データを一部編集したり、後述
するように顔画像の表情の度合いを変更したりすること
ができる。

【００２６】変更したデータは保存手段２３にて顔デー
タ記憶部２４及び表情テーブル２５へと上書きされる。
本実施例では無表情の顔画像に対して、表情動作データ
（関数など）を読み込んで実行することで、顔画像の表
情を笑顔にしたり泣き顔にすることができる。このと
き、表情テーブルは図７に示すようになっており、表情
動作データと、笑い顔や泣き顔の表情の度合いを感情表
記記号に対応させている。

【００２７】次に図６を利用して処理の流れを説明す
る。メッセージの作成が開始されると、送信者は感情表
記記号を用いて本文を入力する（Ｓ１１）。次に送信者
本人の顔データを設定する（Ｓ１２）。このとき、同時
に表示手段１５に顔画像が描画されても良い。次に、送
信者が表情の確認をすべくメッセージ作成手段８に設け
られた確認スイッチを押下すると（Ｓ１３にてＹ）、文
字色変更手段１０が本文の文頭の文字から文字色を赤色
に変更していく（Ｓ１４）。そして、検索手段１１がそ
の文字は感情表記記号であると判断したときには（Ｓ１
５にてＹ）、表情テーブル２５から対応する表情の程度
（値）を獲得して（Ｓ１６）、再生手段１３は顔データ
記憶部２４と表情動作データ記憶部２６から先に設定さ
れた顔データとを読み込み、表情の程度が先の価になる
まで実行される（Ｓ１７）。

【００２８】具体的には、表情動作データ「laugh」はF
aceクラスのpublic関数であり、int型の整数を引数に持
つlaughメソッド(関数)である。顔を表示する際、Face
クラスのオブジェクトfaceを生成する。そして文章中、
顔文字「（＾．＾）」が見つかるとface.laugh（１０）
が呼び出される。face.laughの内容は左目(left eye)、
右目(right eye)、上唇(upper lip)、下唇(lower lip)
のlaughメソッドを実行して描画することを、１０回繰
り返す、というものである。図８にFaceクラスのlaugh
メソッド及び、LeftEyeクラスのlaughメソッドを示す。

【００２９】同図によれば、描画する度に、左目を構成
する各座標値がvalueずつ増加し、笑った目になってい
く。右目(right eye.laugh)、上唇(upper lip.laugh)、
下唇(lower lip.laugh)も同様である。このようにし
て、描画が行われ、笑っていく仮定の顔がアニメーショ
ン表示される（Ｓ１８）。

【００３０】ここで、顔画像の笑った様子が文面で表現
したい気持ちとずれていたとする。このようなときには
編集を行う（Ｓ１９にてＹ）。すると編集手段２２は、
例えばその感情表記記号における表情の程度が変更でき
るように、新たに顔画像と編集ウインドウを表示手段１
５に表示する。そして、スクロールバーで笑う程度を大
きくし（Ｓ２０）、設定すると、保存手段２３により表
情テーブル２５にかかれている程度の値を２０に更新す
る（Ｓ２１）。更に、本文に戻って文字色の変更を行
う。この繰り返しにより、各感情表記記号に送信者の意
図した表情を設定することができる。

【００３１】そして、本文の色変わりが終了したら（Ｓ
２２にてＹ）、メッセージの作成処理は終了する。な
お、編集手段２２ではこの他にも顔部品の色を設定した
り、顔画像輪郭を編集したりすることもできる。この場
合は、顔データ記憶部２４のデータを更新することにな
る。また、送信の際にはメールヘッダ及び本文の他に設
定した顔データと表情テーブルとを送信する。

【００３２】受信側が上述した表示方法を適用したメー
ル送受信システムを導入している場合、表情動作データ
は共通のものを使用することができる。そのときには、
受信側も前述した送信側の表情確認と同様な処理によっ
て文字色の変更と共に感情表記記号のところで設定され
た表情が表示され、送信者の意図通りに電子メールの内
容が伝達される。

【００３３】以上のように、電子メール本文の他に、顔
データと表情テーブルとを送信するだけで、送信者の顔
で、且つ、送信者の意図したタイミング及び表情で表示
を行うことが可能である。なお、第二実施例では、所定
の表情の程度で満足できない場合に、簡単に表情の編集
を行うことができ、この変更点は単なる設定変更である
から、編集前と何ら情報量を増加させることなく送信す
ることができる。なお、例としてメール送受信装置側に
表情動作データが予め記憶された状態を説明したが、も
ちろん表情動作のための動作オブジェクト（実行プログ
ラム）を送信側で作成し、それを送信しても良い。この
場合は、受信側に表情動作データを持っておく必要がな
く、受信側が本発明を適用したメール送受信システムを
導入していない場合でも表示を行うことができる。

【００３４】

【発明の効果】以上、詳述したように、本発明に係る表
示方法を適用した電子メール送受信システムによれば、
通常の電子メールを記述する要領で、送信者の意図した
通りの表情付きの電子メールを送信することができる。
これにより、臨場感あふれる電子メール通信ができると
いう効果がある。また、表示される顔画像の表情が予め
決められた表情では満足できない場合には、表情の程度
を簡単に編集することができ、編集前と情報量を増加さ
せることなく送信することができるという効果がある。
更に、表情動作データがオブジェクトである場合には受
信側が仮に本発明に係る表示方法を適用した電子メール
送受信システムを採用していない場合でも表情付きの臨
場感あふれる電子メールを受け取ることができるという
効果がある。

【図面の簡単な説明】

【図１】本発明に係る表示方法を適用した電子メール送
受信システムの構成を示すブロック図である。

【図２】本発明に係る表示方法の一実施例を示す図であ
る。

【図３】感情表記記号の一例を示す図である。

【図４】本発明に係る表示方法にて使用するアニメーシ
ョン対応テーブルを示す図である。

【図５】本発明に係る表示方法を適用した電子メール送
受信システムの他の構成を示す図である。

【図６】本発明に係る表示方法の第二実施例を示す図で
ある。

【図７】本発明に係る表示方法の第二実施例における表
情テーブルを示す図である。

【図８】本発明に係る表示方法の第二実施例におけるla
ughを示す図である。

【符号の説明】

１アンテナ２送受信手段３通信制御手段４スピーカ５マイク６中央制御手段７メモリバッファ８メッセージ作成手段９感情表記記号１０文字色変更手段１１検索手段１２アニメーション対応テーブル１３再生手段１４データ記憶部１５表示手段

Claims

【特許請求の範囲】

【請求項１】文章中に含まれる感情表記記号を検出する
ステップと、検出された前記感情表記記号に対応する顔画像のアニメ
ーションデータを前記感情表記記号と前記顔画像のアニ
メーションとを対応付ける対応テーブルに基づき抽出す
るステップと、前記文章を表示しながら前記感情表記記号が検出された
位置で前記アニメーションデータを表示するステップ
と、からなる表示方法。