JP3018865B2

JP3018865B2 - 感情表出装置

Info

Publication number: JP3018865B2
Application number: JP5251462A
Authority: JP
Inventors: 浩史川本; 賢悟大村
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1993-10-07
Filing date: 1993-10-07
Publication date: 2000-03-13
Anticipated expiration: 2015-03-13
Also published as: JPH07104778A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は人工感情を持ち、その感
情状態に従って表情や音声を変化させて出力する感情表
出装置に関する。

【０００２】

【従来の技術】『心をもった機械』という著書の中で、
戸田正直が指摘しているように（１９８７年）、コンピ
ュータやロボット等の機械が、人間と同じような感情を
もち、喜んだり、悲しんだり、人を思いやったりするこ
とができれば、人間と機械とのコミュニケーションは、
いまよりずっと暖かで、楽しくなり、また人間にとって
親しみやすいものになるものと思われる。

【０００３】機械、特に対話システムに人工感情を与え
ようという試みの背後には、このような実用的な期待が
ある。現在までに様々な感情表出装置が提案されている
が、それらの多くは、基本的には次のような構成をとっ
ている。以下、図１４を用いて、従来の感情表出装置の
一例について簡単に説明する。

【０００４】なお、この種の感情表出装置は音声対話装
置などの対話システムに組み込まれて利用されるが、こ
こでは煩雑を避けるために対話システムについては言及
しない。図１４は従来の感情表出装置の一例を説明する
基本構成図であって、０１は入力、０２は認識部、０３
は感情喚起部、０４は表情・音声合成部、０５は出力で
ある。

【０００５】同図において、感情表出装置への入力情報
０１は認識部０２においてその意味が認識される。認識
された意味が予め規定された感情喚起入力に該当する場
合には、感情喚起部０３において、例えば、「感情喚起
入力Ｘを認知したなら、感情成分Ｙの強度をＺだけ増加
せよ」等の規則に従って、感情喚起部０３に内在する感
情状態レジスタの強度値の書き換えを行なう。

【０００６】ここで、感情状態レジスタとは、例えば、
“驚き、恐れ、嫌悪、怒り、幸福、悲しみ”といった感
情成分の強度値を記憶するレジスタのことである。感情
状態レジスタの強度値は、上記したように感情喚起入力
が認知される度に感情喚起規則に従って変更されるが、
先行感情の状態や各基本感情間の相互作用などの要因に
よっても変動するように設定される場合もある。

【０００７】また、通常、喚起された感情を定常状態に
戻すために、感情状態レジスタの強度値を時間経過に伴
って減衰させる工夫が施されることが多い。さて、表情
・音声合成部０４は、感情状態レジスタ内のいずれかの
感情成分の強度値が前もって規定された表出閾値を越え
た場合にはその感情に対応した表情や音声を合成する
が、そうでない場合には無感情の表情と感情的な抑揚の
ない音声を合成する。合成された表情や音声は、表示装
置や音声出力装置を介して対話者に出力（０５）され
る。

【０００８】なお、このような感情表出装置に関する技
術の詳細は、例えば、「情報処理学会第４５回（平成４
年度後期）全国大会講演論文集、２」の『擬人化エージ
ェントの感情モデル』（川本浩史、大村賢悟著）の記事
や、「日本認知科学会１９９２年度定例シンポジウム論
文集、感情の認知科学」の『調和理論による人工感情』
（原文雄、茂木秀介著）に報告されている。

【０００９】

【発明が解決しようとする課題】しかし、上記従来の感
情表出装置においては、以下のような問題点がある。（１）従来の感情表出装置には、利用者が自分の好み
や、好みの変化に合わせて当該感情表出装置の感情表出
スタイルを自在に設定、変更できるような手段が提供さ
れていない。

【００１０】例えば、喜びの感情は頻繁に表出するが、
嫌悪、怒り、悲しみの感情は滅多に表出しないようなス
タイルに変更したくとも、それを許さないのである。そ
こで、本発明の第１の目的は、感情表出装置の感情表出
スタイルを利用者が自在に設定、変更できるようにする
点にある。（２）従来の感情表出装置は、対話相手、状況、話題、
過去の対話量等の違いに基づき、感情表出の傾向を適切
なものに自動的に変化させることができない。すなわ
ち、所謂「表示規則」に基づく感情表出の制御機能を具
備しない。

【００１１】ここで「表示規則」とは、本来、様々な社
会的な場面や役割などのもとで、人がどのように感情表
出を行えばよいかについての社会的、文化的規範や因習
をいう。感情表出装置も人間と対話する以上、表示規則
を遵守することが好ましいが、既存の装置ではそれがで
きないのである。なお、上記したように、表示規則は本
来社会的に規定されるものであるが、感情表出装置の場
合には、利用者自身がその表示規則を規定できれば便利
である。

【００１２】そこで、本発明の第２の目的は、対話相
手、状況、過去の対話量等の違いに基づき、感情表出の
傾向を適切なものに自動的に変更することができるよう
にする点にある。

【００１３】

【課題を解決するための手段】上記第１の目的を達成す
るために、本発明の感情表出装置は、図１に示すよう
に、予め規定された感情喚起情報を認知する感情喚起情
報認識手段２と、“驚き、恐れ、嫌悪、怒り、幸福、悲
しみ”等の各感情成分に感情強度を反映させた数量を与
えることで全体の感情状態を表現し、感情喚起情報が認
知された場合には、予め規定された感情状態遷移規則に
則してその感情状態を遷移せしめる感情喚起手段３と、
感情喚起手段により規定された感情状態に対応づけて表
情や音声の韻律を変化させて出力する表情・音声合成手
段４と、感情成分別にそれぞれの表出閾値を指定するこ
とにより装置の感情表出スタイルの設定または変更を行
なう表出スタイル設定手段６−１と、前記表出スタイル
設定手段に６−１おいて設定された表出閾値を保持する
表出スタイル記憶手段６−２１を内在し、そこに保持さ
れた表出閾値と前記感情喚起手段３において規定された
感情状態とを比較して表出すべき表情や音声を決定する
表出内容決定手段６−２と、前記表出スタイル設定手段
において設定された表出閾値を複数記憶・保存すること
ができる表出スタイル群保持手段６−３を備えたことを
特徴とする。

【００１４】また、上記第２の目的を達成するために、
本発明の感情表出装置は、図１に示すように、対話相手
を識別，同定する話者同定手段６−４１と、前記話者同
定手段６−４１により同定された話者との過去の対話回
数又は対話総時間を計測しそれを記録する対話量記憶手
段６−４２と、予め範疇化された複数の状況から目下の
状況を特定する状況認識手段６−４３と、対話相手，対
話量，状況の違いに基づいて前記表出スタイル群保持手
段６−３に記憶されている表出閾値集合の中から特定の
表出閾値を読み出して、前記表出スタイル記憶手段６−
２１にセットする表出スタイル変更手段６−５とを備え
たことを特徴とする。なお、ここで、表出スタイル変更
手段６−５は、予め規定されたいくつかの変換式の中か
ら特定の変換式を選択して、それを前記表出スタイル記
憶手段６−２１に記憶されている表出閾値に適応するこ
とにより直接書き換える方式をとることもできる。

【００１５】

【作用】前記第１の目的を達成するための感情表出装置
において、感情喚起情報認識手段２は、入力情報１の中
から予め規定された感情喚起情報を認識する。感情喚起
手段３は、前記感情喚起情報認識手段２の認識結果と予
め規定された感情状態遷移規則に基づいて、“驚き、恐
れ、嫌悪、怒り、幸福、悲しみ”等の各感情成分に付与
された強度値パターンを変化せしめ、これにより現在の
感情状態を規定する。

【００１６】一方、表出スタイル設定手段６−１は、各
感情成分に対応する表出閾値の設定を利用者７に許し、
それによって全体の表出スタイルを規定する。表出スタ
イル記憶手段６−２１は前記表出スタイル設定手段６−
１において設定された表出閾値を保持する。表出内容決
定手段６−２は、前記感情喚起手段３によって規定され
た各感情成分の強度値と前記表出スタイル記憶手段６−
２１において保持された各感情成分の表出閾値を比較参
照して予め規定された規則に従って、表出すべき表情と
音声の種類を決定する。

【００１７】表情・音声合成手段４は、前記表出内容決
定手段６−２の決定に基づいて表情と音声を合成して出
力する。なお、表出スタイル群保持手段６−３は、幾つ
かの代表的な表出スタイルを反映するような表出閾値パ
ターンを保持するとともに、前記表出スタイル設定手段
６−１において設定された表出閾値パターンも保持す
る。

【００１８】利用者７は、前記表出スタイル設定手段６
−１を介して、表出スタイル群保持手段６−３から特定
の表出閾値パターンを読み出して、前記表出スタイル記
憶手段６−２１にセットすることができる。また、前記
第２の目的を達成するための感情表出装置において、話
者同定手段６−４１は、対話相手を識別，同定する。

【００１９】対話量記憶手段６−４２は、前記話者同定
手段６−４１により同定された話者との過去の対話回数
又は対話総時間を計測しそれを記録する。また、状況認
識手段６−４３は、予め範疇化された複数の状況から目
下の状況を認識する。表出スタイル変更手段６−５は、
これらの認識結果と予め規定された規則（表示規則）に
則して、前記表出スタイル群保持手段に記憶された表出
閾値集合の中から特定の表出閾値を読み出してそれを前
記表出スタイル記憶手段６−２１にセットするか、ある
いは、予め規定されたいくつかの変換式の中から特定の
変換式を適用して、前記表出スタイル記憶手段６−２１
に記憶されている表出閾値を直接書き換えることによっ
て、対話相手、対話量、状況の違いに基づいて、表示ス
タイルを自動変更することができる。

【００２０】

【実施例】以下、本発明の実施例につき、図面を参照し
て詳細に説明する。本実施例は、本発明による感情表出
システムを、音声対話型電子秘書に応用したものであ
る。図２は音声対話型電子秘書のシステムを説明するブ
ロック図であって、７は利用者、８は話者特定部、９は
発話理解部、１０は意図推定部、１１はタスク遂行部、
１２は秘書タスク管理情報データベース、１３は感情管
理部、１４は音声合成／画像表示部、１５は音声データ
格納部、１６は表情画像データ格納部である。

【００２１】同図において、話者特定部８は発話者を特
定するサブシステム、発話理解部９は発話の記号内容を
認識するサブシステム、意図推定部１０は発話の意味内
容を推定するサブシステム、タスク遂行部１１は利用者
７の意図からタスクに関する行為をプラン・遂行するサ
ブシステム、秘書タスク管理情報データベース１２はタ
スクに関わる諸情報を格納するデータべース、感情管理
部１３は人工感情の生成・表出管理を行うサブシステ
ム、音声合成／画像表示部１４はタスク遂行に基づく音
声応答／画像表示を行うサブシステム、音声データ格納
部１５は感情タイプ別に構成された音声応答情報を格納
するデータべース、表情画像データ格納部１６は感情タ
イプ別に構成された秘書動画像情報を格納するデータべ
ースである。

【００２２】まず、上記ブロック図にもとづいて、電子
秘書全体の機構を概説し、その次にシステムを構成する
各サブシステムについて説明する。［全体構成］利用者７から電子秘書への音声入力は、話
者特定部８と発話理解部９へ渡されて発話者が特定され
ると同時に、発話の記号的内容が認識される。

【００２３】この発話の記号的内容から、意図推定部１
０において、さらに利用者のタスク要求意図が推定さ
れ、タスク遂行部１１へ渡される。一方、話者の特定情
報と発話内容は、話者特定部８と発話理解部９から感情
管理部１３へ入力される。感情管理部１３では、これら
２つの情報とタスク遂行部１１でのイベント発生状態に
より、感情の生成および表出が管理される。ここでの表
出管理とは、生成した感情状態を、対話者や対話状況の
考慮によりどれほど表出するかを制御する機構である。

【００２４】タスク遂行部１１では、推定された利用者
の意図に従って、秘書タスク管理情報データベース１２
を参照しながら、スケジュール・文書管理等のタスクを
プラン実行する。同時に、感情管理部１３に対して利用
者の意図にもとづく感情変動の要求が送られる。また逆
に、感情管理部１３における感情状態はタスク遂行部１
１に伝えられ、プラン選択や実行に影響をおよぼす。

【００２５】すなわち、計画された一連のアクションが
遂行される（或るいは失敗する）と、その結果は感情管
理部１３に伝えられ、感情状態の変化をひきおこす。感
情管理部１３において表出の決定された感情内容は、音
声データ格納部１５と表情画像データ格納部１６に格納
されている音声データと表情画像データに基づいて音声
合成／画像表示部１４が生成する動画像や発話音声とし
て出力される。

【００２６】感情管理部１３で決定された感情表出内容
は、音声合成／画像表示部１４において具体的出力とな
り、利用者７に提示される。以下、本発明の主たる構成
要素である感情管理部について詳説する。［感情管理部］図３は関連するシステム・モジュールと
共に感情管理部の構成を説明するブロツク図であって、
１３は感情管理部、１３−１は感情生成部、１３−２は
感情表出制御部、前記図２と同一符号は同一部分に対応
する。

【００２７】同図において、感情管理部１３は、感情生
成部１３−１と感情表出制御部１３−２から構成され
る。感情生成部１３−１は、電子秘書の活動する環境か
らの刺激により人工感情を生成・保持するシステムであ
り、例えば本発明者等の出願に係る特願平４−１６９５
７４号に開示されているような構成を採用することが可
能である。

【００２８】感情表出制御部１３−２は、感情生成部１
３−１で保持される感情状態をどのように表出するかを
自動的／強制的に制御するシステムである。自動的な制
御とは、電子秘書の対話相手や、活動時間、対話履歴な
どの状況に応じて、自動的に表出スタイルを適応・変化
させる制御である。この適応変化により、電子秘書の対
話態度を状況に適した自然なスタイルへ導くことが可能
となる。

【００２９】一方、強制的な制御とは、電子秘書の対話
者すなわち利用者が、自分自身の好みにより電子秘書の
感情表出傾向を調整するための機構である。この制御機
構により、感情表出のきらいな利用者が完全にクールな
電子秘書を設定したり、あるいは、電子秘書が怒ること
を許さない利用者は怒りだけは表出しないよう設定する
ことができる。

【００３０】感情表出制御部１３−２では、このような
２種の制御のもとで、感情生成部１３−１における感情
状態を音声合成／画像表示部１４に伝達する。［感情表出制御部］図４は感情表出制御部の構成を説明
するブロツク図であって、１３−２１は表出値決定部、
１３−２２はシーン構成部、１３−２３は人工感情値レ
ジスタ（Ｒｅ）、１３−２４は表出値レジスタ（Ｒ
ｒ）、１３−２５は表出特性閾値レジスタ（Ｒｔ）、１
３−２６は表示モード・フラグ（Ｆｍ）レジスタ、１３
−２７は表出特性編集器、１３−２７１は表出特性閾値
設定変更器、１３−２７２は表示モード・フラグ設定変
更器、１３−２７３は表出特性規則編集器、１３−２７
４は表出特性閾値パタン編集器、１３−２８は表出特性
規則インタプリタ、１３−２９は表出特性規則データベ
ース、１３−３０は表出特性閾値パタンデータベースで
ある。

【００３１】同図において、この感情表出制御部を構成
するサブシステムは、（１）感情状態や表示モード、表
出特性、最終的な表出値をそれぞれ保持するためのレジ
スタ群（人工感情値レジスタ（Ｒｅ）１３−２３，表出
値レジスタ（Ｒｒ）１３−２４，表出特性閾値レジスタ
（Ｒｔ）１３−２５）と、（２）話者特定部８，発話理
解部９，意図推定部１０，タスク特定部１１からの状況
情報から、表出特性閾値を自動的に決定・変更するため
の表出特性規則インタプリタ１３−２８および表出特性
規則データベース１３−２９および表出特性閾値パタン
データベース１３−３０と、（３）最終的な表出値を決
定する表出値決定部１３−２１と、（４）表出特性や表
示モードに関する利用者の設定をうけつける表出特性編
集器１３−２７と、（５）決定された表出値から出力す
るシーンを構成するシーン構成部１３−２２と、から構
成される。

【００３２】以下、このサブシステム上でのプロセスを
説明する。１．表出特性規則インタプリタ１３−２８上でのプロセ
ス話者特定部８、発話理解部９、意図推定部１０、タスク
遂行部１１から得られた情報は、表出特性規則インタプ
リタ１３−２８に送られる。表出特性規則とは、上記の
状況情報に応じて表出特性を自動的に変化させるための
規則群であり、表出特性規則インタプリタ１３−２８
は、表出特性規則データベース１３−２９における表出
特性規則に諸条件を設定し、各時点において条件を満た
す規則を随時適用する機構である。

【００３３】下記の［数１］〜［数６］は、表出特性規
則データベース１３−２９における表出特性規則（ディ
スプレイルール）の一例である。

【００３４】

【数１】

【００３５】ルールの意味ＩＦ：発話者が利用者リストに含まれない、すなわち未
知の話者に対応している場合である。ＴＨＥＮ：表出閾値Θ_1,2に抑制係数ＤＥＰＲＥＳＳ
ＲＡＴＥ（＞１．０）を乗ずる。表出抑制を開始したこ
とを示すフラグｃｏｎｔｒｏｌｆｌｇをオンにする。）

【００３６】

【数２】

【００３７】ルールの意味ＩＦ：発話者が利用者リストに含まれる。すなわち現在
応対している相手は、既知の話者である。ＴＨＥＮ：表出閾値Θ_1,2に利用者リストにおける該当
者（発話者）の閾値を設定する。さらに、該当者の閾値
にＦＲＩＥＤＬＹＲＡＴＥ（＜１．０）を乗じて、感
情表出の頻度を高める。対話回数ｃｏｎｔａｃｔｔｉ
ｍｅに１を加算しておく。

【００３８】ＡＮＤＩＦ：発話者がＭＹＭＡＳＴＥ
Ｒ’ＳＦＲＩＥＮＤすなわち主たる利用者の友人リス
トに含まれる。ＴＨＥＮ：表出抑制フラグをオフにして表出抑制を解除
する。

【００３９】

【数３】

【００４０】ルールの意味ＩＦ：時刻区分設定（ｃｕｒｒｅｎｔｔｉｍｅｔｙ
ｐｅ）が定義から外れている。すなわち、時間タイプ
（勤務中、勤務外）の設定が正しくない。ＴＨＥＮ：時刻区分設定を勤務中（または勤務外）に再
設定する。表出特性閾値にＦＯＲＭＡＬＲＡＴＥ（ま
たはＲＥＬＡＸＲＡＴＥ）を乗じ、変更する。

【００４１】

【数４】

【００４２】ルールの意味ＩＦ：感情モデルにおける要素感情が怒りまたは嫌悪に
おいて最大であり、かつ、その値が表出閾値Θ_1,2にお
ける強閾値を越えており、かつ、利用者発話語にＮＥＧ
ＡＴＩＶＥＷＯＲＤが含まれている。ＴＨＥＮ：表出閾値における怒りと嫌悪の成分にＡＮＧ
ＥＲＤＥＰＲＥＳＳＲＡＴＥ（＞１．０）を乗じて引
き上げる。

【００４３】表出抑制フラグをオンにして表出抑制を開
始する。利用者リストにおける現在の対話者の閾値にＣ
ＬＯＳＥＲＡＴＥ（＞１．０）を乗じて、引き上げ
る。

【００４４】

【数５】

【００４５】ルールの意味ＩＦ：タスク遂行部により「タスクの失敗が継続」のシ
グナルを受信。ＴＨＥＮ：表出閾値にＤＥＰＲＥＳＲＡＴＥ（＞１．
０）を乗じて、閾値全体を引き上げる。表出抑制フラグ
をオンにして表出抑制を開始する。

【００４６】

【数６】

【００４７】ルールの意味ＩＦ：利用者の発話語にＰＯＳＩＴＩＶＥＷＯＲＤが含
まれている。ＴＨＥＮ：表出閾値にＯＰＥＮＤＥＰＲＥＳＳＲＡ
ＴＥ（＜１．０）を乗じて引き下げる。表出抑制フラグ
をオフにして表出抑制を解除する。

【００４８】なお、〔数１〕における「ＵＳＥＲＬＩ
ＳＴ〕は、下記〔表１〕に示したようなフォーマットで
構成される。

【００４９】

【表１】

【００５０】また、Θ_1,2は表出特性閾値で、下記〔表
２〕に示したようなものである。

【００５１】

【表２】

【００５２】これらの規則は条件部をみたすものすべて
が順次実行され、最終的な表出特性閾値の変更が表出値
決定部に提案される。２．表出値決定部上のプロセス表出値決定部１３−２１には、以下の信号が送られる。（１）表出特性規則インタプリタ１３−２８からの表出
特性変更。（２）感情生成部１３−１からの感情変化通報。（３）タスク遂行部１１からのタスク遂行イベント発
生。

【００５３】表出値決定部１３−２１では、これらの要
求と、表示モードフラグの設定により、表出を決定す
る。図５はモードフラグＦｍの説明図であって、感情表
出許可ｆ_e、ｍａｎｕａｌ＜−＞オート優先ｆ_pの２種
からなる。また、表出値決定部１３−２１には、図６に
示した３つのレジスタと１つのフラグ・レジスタがあ
る。

【００５４】図６は感情表出制御部におけるレジスタ群
と格納値の一例の説明図であって、人工感情値レジスタ
（Ｒｅ）、表出特性閾値レジスタ（Ｒｔ）、表出値レジ
スタ（Ｒｒ）の３つのレジスタからなる。人工感情値レ
ジスタ（Ｒｅ）とは、感情生成部１３−１から送られて
くる感情状態値を保存するものである。また、表出特性
閾値レジスタ（Ｒｔ）とは、感情表出を行うべきか否か
を判断するための閾値を保持するものである。そして、
表出値レジスタ（Ｒｒ）とは、表出値決定部が主に人工
感情値レジスタ（Ｒｅ）と表出特性閾値レジスタ（Ｒ
ｔ）とを比較することで決定した感情の表出値を格納す
るものである。

【００５５】なお、図４における表示モード・フラグ・
レジスタ（Ｆｍ）は、前記図５に示したような表示に関
する様々な制御情報を設定するものである。図７は表出
特性規則インタプリタ上のプロセスを説明するフローチ
ヤートであって、表示モード・フラグレジスタ（Ｒｍ）
からプロセスの起動／停止を指示する表示モード・フラ
グｆ_eが出力されると、表出特性制御プロセスが起動し
（Ｓ−１）、話者特定部，発話理解部，意図推定部，タ
スク遂行部からのイベント・シグナルを待つ（Ｓ−
２）。

【００５６】上記各部からのイベント・シグナルの入力
に応じて、規則条件部を設定し（Ｓ−３）、設定した規
則を表出特性規則データべースと表出特性閾値パタンデ
ータべースのデータとの規則照合を実行する（Ｓ−
４）。規則照合を実行した結果を表出値決定部に渡す
（Ｓ−５）。次に、表出値決定部において基本となる表
出特性変更信号からのプロセスを説明する。

【００５７】表出値決定プロセス図８は表出値決定部上のプロセスの概略を説明するフロ
ーチヤートであって、表出値決定部上のプロセスＳ−１
０は、感情生成部１３−１からの感情変化発生信号と表
出特性規則インタプリタ１３−２８からの表出特性変更
要求に基づいて表出特性値書き換えを行う表出値決定プ
ロセスＳ−１０２、およびタスク遂行部１１からのタス
ク情報に基づいてタスク遂行シーンへの感情付与を行う
タスク遂行への感情付与プロセスＳ−１０３とからな
る。

【００５８】この表出値決定部上のプロセスＳ−１０の
プロセス実行結果は、シーン構成部１３−２２に与えら
れる。以下、上記表出値決定部上のプロセスを構成する
微表情要求プロセス、表出値決定プロセスおよびタスク
遂行への感情付与プロセスの詳細を順次説明する。表出値決定プロセス図９と図１０は表出特性値書き換えプロセスを説明する
フローチヤートであって、感情生成部１３−１から感情
変化を通報されたとき（Ｓ−３６）、および表出特性規
則インタプリタ１３−２８より表出特性の変更を要求さ
れたとき（Ｓ−３０）に起動する。

【００５９】表出特性の変更は、モード・フラグの感情
表出許可ｆｅがオンであり、かつ表出特性閾値レジスタ
Ｒｔのユーザ指定フラグがオフの場合、あるいはユーザ
指定フラグがオンであるがモード・フラグのｆｐがオン
である場合にのみ許可され、表出特性閾値レジスタＲｔ
における表出特性閾値が書き換えられる（Ｓ−３３）。

【００６０】このように表出特性閾値が書き換えられた
とき、および感情変化の通報を受けたときには、人工感
情値レジスタＲｅの最大値検出が行われる（Ｓ−３
５）。求められた最大値と、表出特性閾値レジスタＲｔ
における強・弱閾値とが比較され（Ｓ−３７）、最大値
となった第ｉ感情の表出値が弱−強度（Ｓ−３８）また
は強−強度（Ｓ−３９）に決定され、表出値レジスタＲ
ｉに格納されると共に、ただちにシーン構成部１３−２
２に送信される。

【００６１】タスク遂行部および感情生成部の通報によ
るプロセス図１１と図１２はタスク遂行シーンへの感情付与プロセ
スを説明するフローチヤートである。タスク遂行部にお
いてタスク遂行イベントが発生すると、表出値決定部に
その旨の通報信号が届く。タスク遂行にともなう画像表
示および音声合成を決定するためには、感情情報が必要
である。そのため、先述のプロセスにおいて特性閾値の
書き換えを省略した感情表出値決定プロセスが起動され
る。

【００６２】タスク遂行発生信号受信待機（Ｓ−４１）
がタスク遂行の発生を検知すると、モード・フラグｆｅ
がチェックされる（Ｓ−４２）。ｆｅがオフの場合、す
なわち感情表出をしない場合には、以降のプロセスは行
わずにタスク番号のみをシーン構成部１３−２２に送信
する。ｆｅがオン０場合には、人工感情値レジスタにお
ける最大値検出がなされる（Ｓ−４３）。

【００６３】求められた最大値と、表出特性閾値レジス
タＲｔにおける強−弱閾値とが比較され（Ｓ−４４）、
最大値となった第ｉ感情の表出が弱−強度以下であった
場合にはタスク番号のみがシーン構成部に送信される
が、そうでないときには弱−強度（Ｓ−４５）または強
−強度（Ｓ−４６）に決定され、表出値レジスタＲｉに
格納される。

【００６４】そしてただちに、表出値レジスタＲｉの内
容とタスク番号とがシーン構成部に奏しされる（Ｓ−７
およびＳ−８）。３．ユーザの表出特性編集器による表出制御指定図４の感情表出制御部のブロック図における表出特性編
集器１３−２７は、利用者すなわち電子秘書の対話者
が、電子秘書の感情表出を強制的に制御するための編集
装置である。

【００６５】表出特性編集器１３−２７は、表出特性閾
値設定変更器１３−２７１，表示モード・フラグ設定変
更器１３−２７２，表出特性規則編集器１３−２８３，
表出特性閾値パタン編集器１３−２７４の４つのサブモ
ジュールより構成される。表出特性閾値設定変更器１３
−２７１の機能は、表出特性閾値レジスタ上の値を希望
値に固定するものである。この固定をうけた値は表出特
性閾値レジスタに付与されたユーザ指定フラグによって
識別される。

【００６６】表示モード・フラグ設定変更器１３−２７
２の機能は、表出値決定部１３−２１の制御情報である
表示モード・フラグを指定するためのものである。この
フラグは微表情の表出許可／不許可や状況による表出特
性の適応を指定したりする。表出特性規則編集器１３−
２７３の機能は、表出特性規則データベース１３−２９
中の規則を編集するためのエディタである。これらの規
則は、システムが表出特性値を自動的に書き換えるため
のものである。

【００６７】表出特性閾値パタン編集器１３−２７４の
機能は、表出特性閾値パタンデータベース１３−３０中
のパタン群を編集・登録するためのエディタである。表
出特性閾値パタンの編集により、ユーザは好みの表出特
性を設定することができる。４．シーン構成部上のプロセス表出値決定部１３−２１において、感情表出すべき要素
感情のタイプと強度が決定されると、シーン構成部に出
力構成が要求される。

【００６８】図１３はシーン構成部上のプロセスを説明
するフローチヤートである。同図における表出値決定部
１３−２１の各機能を順に説明する。ａ．タスク遂行要求タスク遂行シーンが要求された場合には、指定感情およ
び強度の遂行シーンがシーンデータベース１５から検索
される。ｂ．感情変化要求感情変化表出が要求された場合には、まずタスク遂行シ
ーン構成（Ｓ−５１）がビジー（ｂｕｓｙ）でないか確
認され（Ｓ−５２）、現状の表示状態に関するシーンが
新しい感情モードでシーンデータベース１５から検索さ
れ構成される（Ｓ−５３）。ここで構成されるシーン
は、画像コードおよび発話データコードのシーケンスか
らなっており、ただちに音声合成／画像表示部１４に送
られる。

【００６９】

【発明の効果】以上説明したように、本発明による感情
表出装置は、各感情成分ごとに表出のための閾値を設定
できるために、利用者は装置の感情表出スタイルを自分
の好みにあわせて自在に調節することができる。また、
本発明による感情表出装置では、話者、過去の対話量、
状況などの表出制御情報を認識するとともに、それらの
認識結果に対応づけて表出閾値を変更するので、話者、
親密度、状況の違いに合わせて、感情表示スタイルを自
発的かつ適切に切り換えることができる。

【図面の簡単な説明】

【図１】本発明による感情表出装置の基本構成を説明
するブロック図である。

【図２】本発明による感情表出装置の１実施例の構成
を説明するブロック図である。

【図３】図２に示した実施例における感情管理部の構
成を説明するブロック図である。

【図４】図３に示した感情管理部における感情表出制
御部の構成を説明するブロック図である。

【図５】図５は図４に示した感情表出制御部における
モードフラグの説明図である。

【図６】図４に示した感情表出制御部におけるレジス
タ群の説明図である。

【図７】表出特性規則インタプリタ上のプロセスを説
明するフローチヤートである。

【図８】表出値決定部上のプロセスの概略を説明する
フローチヤートである。

【図９】表出特性値書き換えプロセスを説明する部分
フローチヤートである。

【図１０】表出特性値書き換えプロセスを説明する図
９に続く部分フローチヤートである。

【図１１】タスク遂行シーンへの感情付与プロセスを
説明する部分フローチヤートである。

【図１２】タスク遂行シーンへの感情付与プロセスを
説明する図１１に続く部分フローチヤートである。

【図１３】シーン構成部上のプロセスを説明するフロ
ーチヤートである。

【図１４】従来の感情表出装置の一例を説明する基本
構成図である。

【符号の説明】

１・・・・入力、２・・・・感情喚起情報認識手段、３
・・・・感情喚起手段、４・・・・表情・音声合成手
段、５・・・・出力、６・・・・感情表出制御部、７・
・・・利用者、６−１・・・・表出スタイル設定手段、
６−２・・・・表出内容決定手段、６−２１・・・・表
出スタイル記憶手段、６−３・・・・表出スタイル群保
持手段、６−４・・・・表出制御情報認識手段、６−４
１・・・・話者同定手段、６−４２・・・・対話量記録
手段、６−４３・・・・状況認識手段。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭60−144799（ＪＰ，Ａ) 特開平２−183371（ＪＰ，Ａ) 特開平４−199098（ＪＰ，Ａ) 特開平５−100692（ＪＰ，Ａ) 特開平５−216618（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 3/00 G06F 3/16 G06T 13/00

Claims

(57)【特許請求の範囲】

【請求項１】予め規定された感情喚起情報を認知する
感情喚起情報認識手段と、“驚き、恐れ、嫌悪、怒り、
幸福、悲しみ”等の各感情成分に感情強度を反映させた
数量を与えることで全体の感情状態を表現し、感情喚起
情報が認知された場合には、予め規定された感情状態遷
移規則に即してその感情状態を遷移せしめる感情喚起手
段と、感情喚起手段により規定された感情状態に対応づ
けて表情や音声の韻律を変化させて出力する表情・音声
合成手段とを備えた感情表出装置において、前記感情成分別にそれぞれの表出閾値を指定することに
より装置の感情表出スタイルの設定または変更を行なう
表出スタイル設定手段と、前記表出スタイル設定手段において設定された表出閾値
を保持する表出スタイル記憶手段を内在し、そこに保持
された表出閾値と前記感情喚起手段において規定された
感情状態とを比較して表出すべき表情や音声を決定する
表出内容決定手段と、前記表出スタイル設定手段において設定された表出閾値
を複数記憶し、保存することができる表出スタイル群保
持手段とを具備することを特徴とする感情表出装置。
【請求項２】請求項１において、対話相手を識別、同
定する話者同定手段と、前記話者同定手段により同定された話者との過去の対話
回数又は対話総時間を計測しそれを記録する対話量記憶
手段と、予め範疇化された複数の状況から目下の状況を特定する
状況認識手段と、対話相手、対話量、状況の違いに基づいて、前記表出ス
タイル群保持手段に予め記憶されている表出閾値集合の
中から特定の表出閾値を読み出して、前記表出スタイル
記憶手段にセットするか、もしくは予め規定されたいく
つかの変換式の中から特定の変換式を適応して前記表出
スタイル記憶手段に記憶されている表出閾値を直接書き
換える表出スタイル変更手段とを備えたことを特徴とす
る感情表出装置。