JP3792882B2 - 感情生成装置及び感情生成方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、インタフェースエージェントの感情表現を制御する感情生成装置及び感情生成方法に関する。
【０００２】
【従来の技術】
従来より、システムとユーザとを結ぶヒューマンインタフェースとして、スイッチとメーターの並んだ計器盤、キーボードから命令を打ち込むコマンドラインインタフェース、ポインティングデバイスとアイコンから成るグラフィカル・ユーザ・インタフェース（ＧＵＩ）などが提案され、かつ実用に供されている。また最近では、音声による命令を受け付け、音声で応答を返す音声インタフェースも研究段階から実用段階に移りつつある。さらに、近年ではシステム内部とユーザとの間に介在させるインタフェースエージェント（自律的なインタフェース）として、執事／秘書／店員／愛犬などを模した生物的メタファ（仮想的な人間／ロボット／動物）を実現する技術が研究されている。
【０００３】
インタフェースエージェントとして執事や愛犬などの生物的メタファを採用することは、無機的なシステムに対するユーザの抵抗感を軽減して親しみを覚えさせる効果を生む。特に、電子フレンドや電子ペットのようなアプリケーションでは、ユーザとインタフェースエージェントとの感情を交えたやりとりによる両者の心理的結び付きを演出することがシステムの本質となる。したがって、このようなアプリケーションでは、インタフェースエージェントの知的有能性より感情面でのリアリティを向上させることが重要である。
【０００４】
感情は生物の目に見えない内部状態の一種であるが、表情、声の調子、言葉遣い／鳴き声、動作の様子、態度、行動などから我々はそれを伺い知ることができる。特に感情に対応した人間の表情を画像化する技術に関しては、文献“Ａ ｍｕｓｃｌｅ ｍｏｄｅｌ ｆｏｒ ａｎｉｍａｔｉｎｇ ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ ｆａｃｉａｌ ｅｘｐｒｅｓｓｉｏｎ”（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ， ｖｏｌ．４， １９８７年）に開示される３次元ＣＧによる表情合成の研究に始まり、これまでにコンピュータグラフィックスやヒューマンインタフェースの分野で多くの成果が成されている。しかしながら、これらの研究は感情表現そのものをリアルに生成することを主眼とするものであり、感情表現の推移を与えるタイムテーブルや、特定の条件と特定の感情表現のマッピングによる直接的な感情表現生成を行うのみで、その中間に位置するはずの感情そのものを模擬するものではなかった。
【０００５】
感情そのものに踏み込んだ研究例としては、文献“ＣＧアニメーションのための人間行動シミュレーション”（ＮＩＣＯＧＲＡＰＨ論文集、１９９２年）に開示される人間行動シミュレーションや、文献“ニューロベビー 感情モデルを持つ表情合成システム”（画像ラボ、Ｓｅｐ．，１９９２）に開示されるニューロベビーがある。
【０００６】
前者の人間行動シミュレーションは、内部状態として魅力度というパラメータを導入して、人が他の人や自動車との衝突を避けながら距離を保って移動するＣＧアニメーションを生成可能にしている。魅力度の与え方によって保とうとする距離が変化する効果は、人間が嫌いな相手を回避し、好きな相手に接近する行動をよく再現しており、魅力度とは相手に対する好悪感情に相当するものであると考えることができる。この例では、好悪感情とも見なすことのできる魅力度というパラメータにより行動（接近行動／回避行動）を制御しているが、感情表現として表情などは扱っていない。
【０００７】
後者のニューロベビーは、独自の感情パラメータを持ち、怒鳴ったりなだめたりするユーザの音声に応じて自己の感情パラメータを変化させ、その感情パラメータ値に基づいて喜怒哀楽の様子をＣＧキャラクタの表情、顔色、声、動作に乗せて演じることができる。他の多くの従来技術と異なり、ニューロベビーは、入力に基づいて内部状態である感情パラメータを操作し、次に該感情パラメータに基づいて感情表現を生成するという２段階を経て、入力から感情表現を生成する。
【０００８】
しかしながら、感情パラメータを持つニューロベビーは、ユーザとのやりとりの中で感情パラメータを変化させることは可能であっても、特定のユーザとのやりとりの積み重ねに応じて、感情パラメータの変化のしかたや、同じ感情パラメータ値に対する表現のしかたを変えることはできなかった。その結果、システムの示す感情パラメータの変化と、それに基づく感情表現は時と相手を選ばず固定的かつ反復的であり、あるユーザがあるインタフェースエージェントとどう接してきたかという歴史を、そのユーザに対するそのインタフェースエージェント独自の感情表現として生成することはできなかった。これは、従来例の人間行動シミュレーションでも同様である。魅力度は予め与えられるが、それが経験により変化するという機能と効果については一切示唆されていない。すなわち、電子フレンドや電子ペットでは、ユーザとインタフェースエージェントとの対話の積み重ねの歴史により、両者の心理的結び付きが醸成可能であることがシステムの大きな目的となり得るにも関わらず、従来技術によるシステムではそのような機能を実現することができなかった。
【０００９】
【発明が解決しようとする課題】
以上説明してきたように、従来の技術では、インタフェースエージェントには、予め定められた入力に対して予め定められた感情的反応を示させることしかできなかった。
【００１０】
また、特定のユーザと特定のインタフェースエージェントとの間での過去のやり取り（かかわり）を反映させた形で、当該特定のインタフェースエージェントにおける感情表現を制御することができなかった。
【００１１】
また、複数のインタフェースエージェント間における感情表現に関する特性に個体差を持たせることや、あるインタフェースエージェントに付与した個性を別の個性に変更することが困難であった。
【００１２】
本発明は、上記事情を考慮してなされたもので、実際の運用場面において、所定の感情を発生させる状況に特有に現われる予測不可能な付帯条件を学習し、学習された付帯条件を満たす新たな状況下で該所定の感情を想起させることが可能な感情生成装置及び感情生成方法を提供することを目的とする。
【００１３】
また、本発明は、状況が満たす付帯条件とそれに伴い想起される感情として、特定の人物や特定の事物への好悪感情を学習でき、電子フレンドや電子ペットなど、ユーザとの心理的関係構築を重視するインタフェースエージェントに必要な機能、すなわちユーザ毎に異なる感情的応答を示し、この応答をユーザがインタフェースエージェントと如何に接するかで調整可変である感情生成装置及び感情生成方法を提供することを目的とする。
【００１４】
また、本発明は、感情の現われ方に関して、インタフェースエージェント毎の性格付けを容易に行うことのできる感情生成装置及び感情生成方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明に係る感情生成装置は、周囲の状況を認識して複数種類の情報から成る状況情報を生成する状況認識手段と、前記状況情報を現在から過去にさかのぼる所定期間分まとめた状況情報列を生成して保持する状況記述手段と、前記状況情報列から予め定められた種類の情報を検出すると、該情報に応じた反応感情情報を生成する反応感情生成手段と、前記反応感情情報の強度が所定閾値以上となった場合に、該反応感情情報と前記状況情報列とを関連付けて状況感情対情報として記憶する感情的記憶記述手段と、状況情報列の入力に対して、前記記憶された状況感情対情報に関連付けられた前記状況情報列との一致の度合いに応じて、該状況感情対情報に関連付けられた反応感情情報を想起感情情報として想起する想起感情生成手段と、新たに想起された前記想起感情情報と新たに生成された前記反応感情情報とを合成して自己感情情報を生成する自己感情記述手段と、前記自己感情情報に応じた信号を生成出力する感情表現手段とを具備し、前記状況情報が、前記反応感情情報を生成させる前記予め定められた種類の情報とそれ以外の種類の情報とから成るか、または、前記予め定められた種類の情報を複数種類含むことを特徴とする。
また、本発明に係る感情生成方法は、周囲の状況を認識して複数種類の情報から成る状況情報を生成するステップと、前記状況情報を現在から過去にさかのぼる所定期間分まとめた状況情報列を生成し記憶手段に保持するステップと、前記状況情報列から予め定められた種類の情報を検出すると、該情報に応じた最新の反応感情情報を生成するステップと、前記反応感情情報の強度が所定閾値以上となった場合に、該反応感情情報と前記状況情報列とを関連付けて状況感情対情報として学習し、この学習結果を記憶手段に保持するステップと、状況情報列の入力に対して、前記学習された状況感情対情報に関連付けられた前記状況情報列との一致の度合いに応じて、該状況感情対情報に関連付けられた反応感情情報を想起した想起感情情報を生成するステップと、新たに生成された前記想起感情情報と新たに生成された前記反応感情情報とを合成して自己感情情報を生成するステップと、前記自己感情情報に応じた信号を生成出力するステップとを有し、前記状況情報が、前記反応感情情報を生成させる前記予め定められた種類の情報とそれ以外の種類の情報とから成るか、または、前記予め定められた種類の情報を複数種類含むことを特徴とする。
【００２０】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００２１】
本発明では、予測可能な条件に照らして状況を評価して装置自身の感情を発生させる機構を与え、該機構により実際に経験した感情とそのときの状況から、該状況に特有な予測不可能の付帯条件を学習させる。学習した付帯条件を満たす新しい状況の入力に対しては、該付帯条件に一致する記憶された感情を想起することにより、実際にその状況に至らずとも、付帯条件の検出のみで感情を変化させることを可能にする。この結果、付帯条件としてユーザやユーザの行動を学習して感情的に応答できる、すなわちユーザ毎に感情表現を変え、ユーザの接し方でこれを調整可変な（生成される感情が経験により変化する）インタフェースエージェントを実現することができる。また、感情の現われ方に関して、インタフェースエージェント毎の性格付けを容易に行うことができる。
【００２２】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
本実施形態に係る感情生成装置は、概略的には、ユーザとの対話機能もしくはユーザへの情報提示機能を有しかつその手段として擬人的（もしくは擬生物的）な形態を有するインタフェースエージェント（例えば、擬人的な外観がＣＧなどにより表現されるインタフェースエージェント、外観自体を擬人化したロボット、など）における主として視聴覚的に感知され得る出力（例えば、インタフェースエージェントを表現する画像表示や音声出力、ロボットの動きや音声出力、など）に対して感情表現を付与するためのものである。
【００２３】
そして、本実施形態は、その感情表現をより高度に擬人化させるためのものである。また、その感情表現の生成の仕組みをより自律化させ、かつ人間で言う個性に相当するような、インタフェースエージェントの感情表現に関する特性の個体差、を容易に設定・変更可能とするものである。
【００２４】
本実施形態では、感情生成装置は、インタフェースエージェントに個別に搭載するものとして説明する。従って、例えば、以下で装置独自と言った場合には、本感情生成装置独自であり、かつ、当該インタフェースエージェント独自である。また例えば、以下で装置周囲と言った場合には、本感情生成装置の周囲であり、かつ、当該インタフェースエージェントの位置する場所の周囲である。
【００２５】
図１に、本発明の一実施形態に係る感情生成装置の基本構成を示す。図１に示されるように、この感情生成装置は、外部状況認識部１、状況記述部２、反応感情生成部３、感情的記憶生成部４、感情的記憶記述部５、想起感情生成部６、自己感情記述部７、感情表現部８、制御情報生成部９を備えている。
【００２６】
外部状況認識部１は、概略的には、画像や音声やその他の情報を入力し、これを解析して装置周囲の現在の状況を表わす外部状況情報を逐次生成する。
状況記述部２は、概略的には、外部状況認識部１にて生成された外部状況情報（人物ＩＤコード、人物表情コード、発話コード、明るさなど）を定期的に読み出して、読み出し時刻とともに所定期間分の最新の外部状況情報を状況情報列として保持する。
【００２７】
反応感情生成部３は、概略的には、状況記述部２による指定期間分の状況情報列に直接反応して変化する装置独自の感情（反応感情情報）を生成出力する。
感情的記憶生成部４は、概略的には、反応感情記述部３による反応感情情報と状況記述部２による指定期間内の状況情報列とを対応付けた状況感情対情報を生成して、これを記憶する感情的記憶記述部５に受け渡す（ただし、後述するように、そのときの反応感情情報が十分な強度を持つ場合にのみ状況感情対情報を生成するものとする）。
【００２８】
感情的記憶記述部５は、概略的には、感情的記憶生成部４による（強い）状況感情対情報を、状況記述部２が保持できるよりも長期間保持する。
想起感情生成部６は、概略的には、状況記述部２から指定期間内の状況情報列を読み出し、該状況情報列に対応する感情情報を感情的記憶記述部５から検索して想起感情情報として出力する。
【００２９】
自己感情記述部７は、概略的には、反応感情生成部３による反応感情情報と、想起感情生成部６による想起感情情報とを合成して得られる感情情報を現在の自己感情情報として保持する。
【００３０】
感情表現部８は、概略的には、自己感情記述部７に記述される現在の自己感情情報にしたがって、インタフェースエージェント等の感情表現を、例えば画像や音声などにより出力する。
【００３１】
制御情報生成部９は、概略的には、感受性制御情報を反応感情生成部３に、記銘制御閾値情報を感情的記憶生成部４に、学習強度制御情報を感情的記憶記述部５に、想起強度制御情報を想起感情生成部６に、感情表出制御情報を感情表現部８に各々供給する。なお、これらの情報は、インタフェースエージェント等の感情面での個性や性格を決定するパラメータである。
【００３２】
さて以下では、外部状況認識部１から制御情報生成部９のそれぞれについて順番に詳細に説明していく。
最初に、外部状況認識部１について説明する。
【００３３】
外部状況認識部１は、ＴＶカメラやマイクロフォンやその他のセンサを通じて、画像や音声やその他の情報を入力し、これを解析して装置周囲の現在の状況を表わす外部状況情報を逐次生成する。
【００３４】
なお、本実施形態では、画像および音声およびその他の情報（例えば、温度など）を扱うものとして説明するが、これに限定されず、画像や音声を含めて扱うべき物理量（インタフェースエージェント等にとっての外界からの刺激となるもの）の組み合わせは適宜修正可能である。
【００３５】
図２に、外部状況認識部１の構成例を示す。この外部状況認識部１は、画像情報入力部１１、人物画像検出部１２、人物認識部１３、人物表情認識部１４、人物動作認識部１５、音声情報入力部１６、人物音声検出部１７、発声内容認識部１８、語気認識部１９、変化速度検出部２０、明るさ検出部２１、その他情報入力部２２、外部状況情報出力部２３を含む。
【００３６】
画像情報入力部１１は、ＴＶカメラなどにより画像を取り込んで画像データとして出力する。
人物画像検出部１２は、該画像データ中から人物の映っている画像領域を検出して出力する。この検出は、予め記憶されている、顔らしい画像特徴を記述した顔テンプレートを画像データ中で走査しつつ照合し、所定の基準値以上の類似度を有する領域を顔のある箇所と認定し、さらに該顔のある箇所を含むその周囲を人物領域として抽出する。人物領域として抽出された部分画像データは人物画像データとして出力される。
【００３７】
人物認識部１３は、該人物画像データの顔領域を、予め記憶されている、人物別の顔テンプレートと照合して該人物が誰であるのかを特定し、この人物を表わす人物ＩＤコード（既知のテンプレートに該当しない人物の場合は、未知人物を表わす特別なＩＤコード）を外部状況情報出力部２３の所定のバッファ２４−１に出力する。なお、人物画像データが検出されない場合には、人物ＩＤ情報として人物なしを表わす特別なＩＤコードを出力する。
【００３８】
人物表情認識部１４は、上記の人物画像データの顔領域を、予め記憶されている、表情別のテンプレートと照合して該表情の種別（例えば、平常、笑う、怒る、悲しむなど）を特定し、この種別を表わす人物表情コード（既知のテンプレートに該当しない表情の場合は、未知表情を表わす特別なＩＤコード）を外部状況情報出力部２３の所定のバッファ２４−２に出力する。なお、人物画像データが検出されない場合には、人物表情コードとして表情なしを表わす特別なＩＤコードを出力する。
【００３９】
人物動作認識部１５は、上記の人物画像データの全域をオプティカルフロー解析して得た動きベクトルをもとめ、予め記憶されている、動作別のテンプレートと照合して該動作の種別（例えば、発話動作、頷き動作、手招き動作など）を特定し、この種別を表わす人物動作コード（既知のテンプレートに該当しない動作の場合は、未知動作を表わす特別なＩＤコード）を外部状況情報出力部２３の所定のバッファ２４−３に出力する。なお、人物画像データが検出されない場合には、人物動作コードとして動作なしを表わす特別なＩＤコードを出力する。
【００４０】
音声情報入力部１６は、マイクロフォンなどにより音声を入力して音声データとして出力する。
人物音声検出部１７は、人物動作認識部１５と音声情報入力部１６の出力を監視し、音声情報入力部１６の音声データが大きなパワーを有し、かつ、人物動作認識部１５が人物の発話動作（口が開閉しているなど）を検出した場合に、該音声データを人物音声データとして検出出力する。
【００４１】
発声内容認識部１８は、該人物音声データを、予め記憶されている、単語音声別のテンプレートと照合して該音声中の単語を特定し、この単語を表わす発話内容コード（既知のテンプレートに該当しない単語の場合は、未知単語を表わす特別なＩＤコード）を外部状況情報出力部２３の所定のバッファ２４−４に出力する。
【００４２】
語気認識部１９は、上記の人物音声データをスペクトル解析して得た音声パラメータを、予め記憶されている、語気別のテンプレートと照合して語気の種別（例えば、優しい、怒鳴っているなど）を特定し、この種別を表わす語気コード（既知のテンプレートに該当しない語気の場合は、未知語気を表わす特別なＩＤコード）を外部状況情報出力部２３の所定のバッファ２４−５に出力する。
【００４３】
変化速度検出部２０は、上記の画像データの時間差分の最大絶対値と上記の音声データの時間差分の最大絶対値の合計値を計算し、状況変化速度として外部状況情報出力部２３の所定のバッファ２４−６に出力する。
【００４４】
明るさ検出部２１は、上記の画像データの画像全体の明るさを計算して、外部状況情報出力部２３の所定のバッファ２４−７に出力する。なお、明るさは、照度計などのセンサにより得るようにしてもよい。
【００４５】
その他情報入力部２２は、温度センサやスイッチ類などの他の入力手段による入力データから温度やその他の情報を抽出し、その他情報として外部状況情報出力部２３の所定のバッファ２４−８に出力する。
【００４６】
外部状況情報出力部２３は、以上の人物識別部１３〜明るさ検出部２１の各ブロックにより生成された各種情報を保持するバッファ（２４−１〜２４−８）の集合からなり、必要に応じて各バッファの値を一括して外部状況情報として出力する。一般に、外部状況情報は、人物の有無、人物の別、人物の動作、人物の発話内容、人物の発話語気、状況の急な変化、人物以外の例えば部屋の明るさや温度などから構成されるマルチトラック情報であり、画像処理や音声処理に要する時間がトラック毎に異なる。したがって、バッファ（２４−１〜２４−８）への各トラックの情報更新は非同期的に行われるが、バッファ（２４−１〜２４−８）の先では、常に次の更新前の最新の情報を読み出すことができる。
【００４７】
なお、以上で使用する各種テンプレートは、予め多数の実サンプルを収集し、これを統計的に解析（例えば、主成分分析など）するなどして生成する。
また、外部状況認識部１の生成する外部状況情報の種類は以上の例に限定されず、必要に応じて種々選択／拡張可能であり、それに応じて外部状況情報出力部２３の持つバッファの数と種類も種々選択／拡張可能である。
【００４８】
また、人物音声検出部１７に、人物識別部１３から出力される人物ＩＤコードを与え、人物音声検出部１７では人物ＩＤコードに応じた特定話者音声検出処理を行うようにしてもよい。同様に、発話内容認識部１８に人物ＩＤコードを与え、発話内容認識部１８では人物ＩＤコードに応じた特定話者発話内容認識処理を行うようにしてもよい。同様に、語気認識部１９に人物ＩＤコードを与え、語気認識部１９では人物ＩＤコードに応じた特定話者語気認識処理を行うようにしてもよい。このようにすることで、話者が既知の場合には、各認識処理の精度や速度を向上させることができる。
【００４９】
次に、状況記述部２について説明する。
状況記述部２は、外部状況認識部１にて生成された外部状況情報（人物ＩＤコード、人物表情コード、発話内容コード、明るさなど）を定期的に読み出して、読み出し時刻とともに所定期間分の最新の外部状況情報を状況情報列として保持する。また、状況記述部２は、保持する状況情報列が必要とされる他のブロック（反応感情生成部３、感情的記憶生成部４、想起感情生成部６）に対して、該ブロックからの期間指定情報に応じた期間の状況情報列を出力することができる。
【００５０】
図３に、状況記述部２の構成例を示す。この状況記述部２は、外部状況情報取得部３１、状況情報蓄積部３２、状況情報列出力部３３を含む。
外部状況情報取得部３１は、外部状況認識部１の外部状況情報出力部２３の各バッファ（２４−１〜２４−８）に保持される外部状況情報を定期的に一括して読み出し、これに該取得時点の時刻を付加して出力する。
【００５１】
状況情報蓄積部３２は、内蔵するリングバッファ３４の最も古い記憶を削除して、そこに新たに取得された外部状況情報および取得時刻の最新値を書き込む。このようにすることで、状況情報蓄積部３２は、最新一定期間分（図３の例ではＴ−０からＴ−１１まで）の状況情報の列とその取得時刻とを保持することが可能になる（Ｔ−０を最新時刻としている）。
【００５２】
状況情報列出力部３３は、外部から入力される期間指定情報の定める期間分だけの状況情報と取得時刻とをリングバッファ３４から読み出し、列バッファ３５に状況情報列として編集出力する。
【００５３】
状況情報列を利用する他のブロックが状況情報列を読み出す際に期間指定情報を与えられるようにすることで、状況情報列を読み出すブロックがどの期間に注目して処理を行うかを調整可変とすることができる。これを処理の時間感度と呼ぶことにする。一般に、状況に迅速に応じる必要のあるブロックでは指定期間は現在に近く、やや過去に遡った状況を利用するブロックでは指定期間は過去にシフトしている。
【００５４】
なお、上記では、一定期間分の外部状況情報および取得時刻の保持にリングバッファを用いたが、その代わりにＦＩＦＯバッファを用いてもよい。この場合、ＦＩＦＯバッファを外部状況情報の各トラック毎に設け、最新の外部状況情報を取得したならば、各ＦＩＦＯバッファの先頭のデータを破棄し、最新の外部状況情報を各ＦＩＦＯバッファの最後尾にそれぞれ投入する。
【００５５】
次に、反応感情生成部３について説明する。
反応感情生成部３は、状況記述部２による指定期間分の状況情報列に直接反応して変化する装置独自の感情（反応感情情報）を生成出力する。反応感情情報の強さは別に与える感受性制御情報の大きさに応じて制御可能である。この感受性制御情報は装置が状況に対してどれくらい感情的に反応しやすいかを決定する制御パラメータであり、制御情報生成部９により与えられる。なお、反応感情生成部３は、状況の変化に迅速に応答するために、時間感度として例えば図３のＴ−０からＴ−４までの期間のような最新の比較的短期間を指定する期間指定情報を状況記述部２に対して出力する。
【００５６】
図４に、反応感情生成部３の一構成例を示す。この反応感情生成部３は、反応感情用状況情報列取得部４１、状況感情変換部４２、反応感情スケール変換部４３を含む。
【００５７】
反応感情用状況情報列取得部４１は、期間指定情報に対応する状況情報列を状況記述部２より読み出す。読み出された状況情報列には、各時刻における人物ＩＤコード（例えば、Ａさんを示す人物番号、など）や発話内容コード（例えば、「おはよう」を示す単語番号、など）や人物動作コード（例えば、手招きを示す動作番号、など）等のコード量と、明るさや状況変化速度等の数値量とが含まれる。
【００５８】
状況感情変換部４２は、入力層４４と中間層４５と出力層４６の３層からなる階層型ニューラルネットワークを用いて構成され、各層（４４、４５、４６）はそれぞれ所定数のユニット（４７）により形成されている。入力層４４の全てのユニットからはそれぞれ中間層４５の全てのユニットに荷重結合（４８）が張られ、該当ユニットの出力値に荷重をかけた値が結合先のユニットに入力される。同様に中間層４５の全てのユニットからもそれぞれ出力層４６の全てのユニットに荷重結合が張られ、入力層４４のユニットの出力値は各々の経路にしたがった荷重をかけられて出力層４６に伝播される。
【００５９】
入力層４４には外部状況情報のトラックに対応したユニット群があり、各ユニット群には必要な数のユニットが用意されている。
例えば、人物ＩＤに対応するユニット群の場合、装置が「Ａさん」、「Ｂさん」、「Ｃさん」の３人の人物を見分けられる（すなわち、この３人の顔テンプレートが登録されている）とするならば、当該ユニット群に必要なユニットの数は、「Ａさん」「Ｂさん」「Ｃさん」「未知人物」「誰もいない」の５つのコードに対応した５個に、指定期間数（状況情報列の列の長さ；例えば図３のＴ−０からＴ−４までの期間を指定する場合には５）を乗じて得た個数となる。
【００６０】
もし、状況情報列の「ある時刻」に人物ＩＤとして「Ａさん」があれば、『対応する時刻のＡさんのユニット』を活性化（１．０などの所定値を代入）させる。逆に、該当するコードのないユニットについては、これを非活性化（０．０を代入）させる。
【００６１】
また、明るさなどの数値量に対応するユニット群に必要なユニットの数は、該数値を入れる１個に、指定期間数（状況情報列の列の長さ）を乗じて得た個数となる。
【００６２】
このように、状況情報列は、時刻とトラックと、場合によってはコードに応じた入力層４４の所定のユニットに代入される。代入された値はそのままユニットの出力値となる。
【００６３】
入力層４４の各ユニットの値は荷重結合を経て中間層４５のユニットに入力される。中間層４５のユニットでは入力層４４の全てのユニットから入力された値の総和を求め、この値に対応したシグモイド関数の値を出力する。中間層４５の各ユニットの出力値はさらに荷重結合を経て出力層４６のユニットに入力される。そして、出力層４６のユニットでも中間層４５の全てのユニットから入力された値の総和を求め、この値に対応したシグモイド関数の値を出力する。
【００６４】
出力層４６の各ユニットは、本実施形態では、それぞれ、「幸福」、「怒り」、「悲しみ」、「嫌悪」、「驚き」、「恐れ」の６つの感情パラメータに対応するものとしている。そのため、状況感情変換部４２の階層型ニューラルネットワークは、状況情報列を入力とし、６つの感情パラメータの強度を出力とするパタン変換器として機能する。
【００６５】
もちろん、感情パラメータのバリエーションはこの例に限定されるものではないが、以下、この６種類の感情パラメータを例に説明を続ける。
ニュートラルネットワークにこのようなパタン変換能力を与えるために、所定の入出力関係を満たすサンプルデータをニューラルネットワークに与え、バックプロパゲーションアルゴリズムなどによりオフラインで学習させる。例えば、装置周囲が暗かったり（明るさを参照）、見知らぬ人物が検出された（人物ＩＤコードを参照）ならば、恐れパラメータに所定強度を与えたり、あるいは大きな音声が入力されたり（状況変化速度を参照）、怒鳴られたり（発話内容コードも加味）したならば、驚きパラメータに所定強度を与えたり、あるいは見知った人物がいたり（人物ＩＤコードを参照）、優しく声を掛けられた（語気コードを参照）ならば、幸福パラメータに所定強度を与えたり、あるいはまた発話内容コードによって怒りや悲しみや嫌悪のパラメータにも所定強度を与えたりした入出力サンプルデータを与える。
【００６６】
反応感情スケール変換部４３は、出力層４６のユニットに現われる感情パラメータを感受性制御情報の定めるゲイン（感情パラメータ毎に設定可能）をかけて出力する。この結果、ニューラルネットワークの学習後であっても、最終的に出力される反応感情情報の大きさとパラメータ間のバランスが制御可能になる。
【００６７】
この感受性制御情報は、同じニューラルネットワークを持ちかつ同じ状況情報列を与えられた各々の装置（各々の個別のインタフェースエージェント等）に、互いに異なる強さとバランスの反応感情を生成させる制御パラメータである、と考えることができる。そして、ゲインを調整することにより、所望の個性を演出することが可能になる。例えば、ゲインの絶対値を大きく設定すればより感動し易いエージェントを、小さく設定すればより冷めたエージェントをそれぞれ演出できる。また、悲しみや恐れのバランスを大きくすれば、めそめそしたり、おどおどしたエージェントを、幸福のバランスを大きくすればニコニコしたエージェントをそれぞれ演出できる。
【００６８】
ところで、従来技術に係るニューロベビーも、ニューラルネットワークを用いて状況に関する情報の系列から感情情報を誘導するような構成を持つが、得られた感情情報に任意のスケール変換をかけられないため、ニューロベビーの個性を個別に演出させるためには、ニューラルネットワークの入出力関係を該個性に適うように再学習させる必要があり、そのための学習データを別途用意する手間がかかる。また、従来技術に係るニューロベビーでは、この学習作業を装置（ニューロベビー）の運用以前に予め済ませておく必要があり、本実施形態のように運用中に感受性制御情報を変更するだけで直ちに個性を変更させられるような柔軟性を持たない。
【００６９】
以上、状況感情変換部にニューラルネットワークを用いた反応感情生成部３の一構成例を示したが、以下では、状況感情変換部にｉｆ−ｔｈｅｎルールを用いた反応感情生成部３の他の構成例について説明する。
【００７０】
図５に、反応感情生成部３の他の構成例を示す。この反応感情生成部３は、反応感情用状況情報列取得部１１１、状況感情変換部１１２、反応感情スケール変換部１１３を含む。
【００７１】
反応感情用状況情報列取得部１１１、反応感情スケール変換部１１３はそれぞれ前述の反応感情用状況情報取得部４１、反応感情スケール部４３と同じである。
【００７２】
状況感情変換部１１２は、前述の状況感情変換部４２と同じ機能を果たすものであるが、内部構成が相違する。
ここでは、この状況感情変換部１１２を中心に説明する。
【００７３】
図５に示されるように、状況感情変換部１１２は、変換規則格納部１１４、規則照合部１１５、反応感情合成部１１６を含む。
変換規則格納部１１４は、状況に基づいて感情パラメータをどのように決定すべきかを定めた変換規則を格納する。
【００７４】
変換規則の例としては以下のようなものがある。これらは怒鳴られた場合と周囲が暗い場合の規則の例であり、各規則は条件部と述部とを持つｉｆ−ｔｈｅｎルールの形式で記述される。

規則照合部１１５は、変換規則格納部１１４に格納される変換規則の各々を、入力される状況情報列により与えられる所定期間の状況と照合して、その一致の度合を計算するとともに、当該規則が定める感情パラメータ値に該一致度をかけた感情パラメータ値を出力する。一致度の計算は、各規則の条件部が成立する累計期間長を求め、状況情報列の期間長に対するこの累計期間長の割合として求められる。このようにすることで、条件部に示される条件が所定期間の状況情報列に現れ始めてから消え去るまでの間、その現れている期間に応じた強さの感情パラメータ値が出力される。
【００７５】
反応感情合成部１１６は、規則照合部１１５が出力する一致度に応じた感情パラメータ値を、上記の変換規則格納部１１４が擁する全ての変換規則について加え合わせた結果を、入力された状況情報列に対応した反応感情情報として出力する。
【００７６】
なお、図４や図５の反応感情生成部３は、怒鳴られれば恐れ驚くというように、装置の運用以前から知られている一般的な条件（例えば、怒鳴られた）から反応的に発生する感情を誘導する（例えば、怒鳴られた場合は恐れ驚くという事実）機能を担うものである。したがって、誰が怒鳴ったとか、いつ怒鳴ったなどという、怒鳴られたという条件に付帯する運用以降に判明する詳細な他の条件については関知しない。
【００７７】
一方、後述する感情的記憶生成部４と感情的記憶記述部５と想起感情生成部６による感情想起の仕組みは、過去に怒鳴られた状況に付帯する、「誰が」とか「いつ」などの詳細な条件を記憶から思い出し、状況情報列中にそのような付帯条件（いつぞや怒鳴ったあの人がいるなど）が現れると、怒鳴られていなくても恐れの感情（驚きの感情は刹那的なものなので、想起の対象からはずしている）を発生させるのである。この仕組みは、将来似たような状況に遭遇した装置（インタフェースエージェント）が、過去の経験に基づいてより強く迅速な感情的反応を示すために必要なだけでなく、たった今怒鳴られたばかりの状況にあっても、従来とは異なった効果を奏することになる。すなわち、反応感情生成部３が対象とする状況情報列から「怒鳴られた」という条件が消え去っても、該怒鳴った人物が目前にいれば想起感情生成部６が恐れの感情を維持してくれる。このような反応は従来技術に係るニューロベビーでは達成されておらず、該従来技術では、怒鳴られたという条件が消え去るとともに、直ちに恐れの感情も消え去ってしまい、妙に立ち直りの早いエージェントが演出されてしまうことになる（これによって天真爛漫なベビーを演出することができたとしても、その他の個性を演出することはできない）。
【００７８】
次に、感情的記憶生成部４について説明する。
感情的記憶生成部４は、反応感情生成部３による反応感情情報と状況記述部２による指定期間内の状況情報列とを対応付けた状況感情対情報を生成して、これを記憶する感情的記憶記述部５に受け渡す。ただし、感情的記憶生成部４はそのときの反応感情パラメータの少なくとも１つが十分な強度を持つ場合にのみ状況感情対情報を生成する。これは、強い感情を覚えた状況だけを記憶し、それ以外の些末な状況を記憶しないためである。
【００７９】
図６に、感情的記憶生成部４の構成例を示す。この感情的記憶生成部４は、感情強度評価部５１、状況感情対情報生成部５２を含む。
感情強度評価部５１は、反応感情記述部３から反応感情情報を読み出し、その擁する感情パラメータのいずれかが、制御情報生成部９による記銘制御閾値情報の指定する強度以上の値を持つか否かを評価する。もし、十分な強度を持つパラメータが検出されれば、当該反応感情情報は状況とともに記憶されるべきと判断して、検出情報をオンにし、次段の状況感情対情報生成部５２に検出情報を送出する。
【００８０】
状況感情対情報生成部５２は、記憶すべき反応感情情報が検出された場合（検出情報がオンの場合）に、感情強度評価部５１から当該反応感情情報を取得するとともに、期間指定情報を状況記述部２に送出して指定期間分の状況情報列を読み出し、取得した当該反応感情情報と当該状況情報列とを組み合わせた状況感情対情報として、複合バッファ５３の状況情報列用バッファ５４と反応感情情報用バッファ５５に格納出力する。なお、状況感情対情報生成部５２は、反応感情の変化が起こる以前の比較的長い状況情報列が得られるように、時間感度として例えば図３のＴ−１からＴ−８までの期間のような、現在時刻よりもやや過去に遡ってからの比較的長期間を指定する期間指定情報を状況記述部２に対して出力する。
【００８１】
次に、感情的記憶記述部５について説明する。
感情的記憶記述部５は、感情的記憶生成部４による（強い）状況感情対情報を、状況記述部２が保持できるよりも長期間保持する。
【００８２】
図７に、感情的記憶記述部５の一構成例を示す。この感情的記憶記述部５は、状況感情対記憶部６１、状況感情対更新部６２、状況感情対検索部６３を含む。
状況感情対記憶部６１は、図４に例示した状況感情変換部４２と同様の構造を持つ階層型ニューラルネットワークを用いて構成され、ここでの階層型ニューラルネットワークは、状況感情対情報中の状況情報列に対応する入力層６４と、状況感情対情報中の感情情報に対応する出力層６６と、中間層６５の３層により形成され、隣接する階層間の各ユニット（６７）同士が荷重結合（６８）で結ばれている。
【００８３】
図４の状況感情変換部４２における入力層（４４）や出力層（４６）と同様に、図７の状況感情対記憶部６１における入力層６４のユニットは、状況情報列の時刻、トラック、コード別に用意されており、出力層６６のユニットは、装置が感じる感情パラメータ（本例では、６つの感情パラメータ）に対応して用意されている。各荷重結合の初期値は、いかなる入力に対しても出力を出さないように０に設定されている。
【００８４】
状況感情対更新部６２は、感情的記憶生成部４による状況感情対情報を受け取ると、これを記銘用状況情報列と記銘用感情情報とに分解し、記銘用状況情報列に対応する入力層６４のユニットと記銘用感情情報に対応する出力層６６のユニットを活性化／非活性化させたり、数値を代入したりする。この結果入出力層６６に与えられる活性値のパタンは、装置が実際に抱いた強い反応感情とその原因となった（比較的長期の）状況を示していることになる。本感情的記憶記述部５は、この活性値パタンをサンプルデータとして、ニューラルネットワークが与えられた入出力関係を満たす方向に結合荷重を調整する。この調整の大きさは別に与えられる学習強度制御情報に比例しており、この値が大きければ学習は進み、小さければあまり進まない。そのため、学習強度制御情報は学習の強さを与えるパラメータであると言える。この調整の結果、ニューラルネットワークは以後、記銘用状況情報列に似た状況に対して、記銘用感情情報に似た反応感情を出力するようになる。
【００８５】
状況感情対検索部６３は、外部から与えられる想起用状況情報列を状況感情対記憶部６１の入力層６４に与え、その結果出力層６６に現われる感情パラメータ値を想起感情情報として外部に出力する（状況感情対検索部６３は、いわば記憶検索機構として機能する）。
【００８６】
以上、状況感情対記憶部にニューラルネットワークを用いた感情的記憶記述部５の一構成例を示したが、以下では、状況感情対記憶部にパターン・マッチング的手法を用いた感情的記憶記述部５の他の構成例について説明する。
【００８７】
図８に、感情的記憶記述部５の他の構成例を示す。この感情的記憶記述部５は、状況感情対記憶部１２１、状況感情対更新部１２２、状況感情対検索部１２３を含む。
【００８８】
状況感情対更新部１２２、状況感情対検索部１２３はそれぞれ前述の状況感情対更新部６２、状況感情対検索部６３と同じである。
状況感情対記憶部１２１は、前述の状況感情対記憶部６１と同じ機能を果たすものであるが、内部構成が相違する。
【００８９】
ここでは、この状況感情対記憶部１２１を中心に説明する。
図８に示されるように、状況感情対記述部１２１は、状況感情対バッファ部１２４、バッファ更新部１２５、状況情報列照合部１２６、想起感情合成部１２７を含む。
【００９０】
状況感情対バッファ部１２４は、状況情報列とそのときの感情情報とを組にして記憶する複合バッファ（１２８）を所定数擁している記憶手段である。なお、各複合バッファは、図６の状況感情対情報生成部５２におけるものと同様、それぞれ状況情報列用バッファ１２９と感情情報用バッファ１３０から構成される。
【００９１】
バッファ更新部１２５は、状況感情対更新部１２２からの記銘用状況情報列と、記銘用感情情報とを組にして、状況感情対バッファ部１２４の空いている複合バッファに書き込む。このとき、空いている複合バッファがなければ、最も古い時刻の情報を保持する複合バッファの内容を棄却してこれに新しい情報を上書き更新する。また、バッファ更新部１２５は、記銘用感情情報の各感情パラメータ値をそのまま書き込むのではなく、学習強度制御情報の示すゲインでスケール変換した感情パラメータ値を書き込む。この結果、全ての状況感情対情報は一旦記憶されるものの、記憶される感情パラメータ値は学習強度制御情報によってその大きさとバランスが調整可能になる。
【００９２】
状況情報列照合部１２６は、状況感情対検索部１２３からの想起用状況情報列を受け、この状況情報列と各複合バッファ１２８に記憶される状況情報とを照合して、その一致の度合を計算するとともに、当該複合バッファに記憶される感情パラメータ値に該一致度をかけた感情パラメータ値を出力する。一致度の計算は、まず想起用状況情報列の各時刻の各トラック値と、記憶される状況情報列の各時刻の対応するトラック値の差分（コード量なら一致する場合に０／不一致の場合に１、数値量なら値の差の絶対値を正規化した値）を求める。数値量に対する正規化は差の絶対値が０から１の間に収まるようなスケール変換である。この結果、全てのトラックについて、その差分は０から１の間に収まるようになる。このような差分値を想起用状況情報列と記憶される状況情報列の全時刻と全トラックについて合計してさらに正規化する。この正規化は、該差分の合計値を、想起用状況情報列の期間長×記憶される状況情報列の期間長×トラック数、で割ることで行われる。この結果、差分の合計値は０から１の間の数値となる。一致度は、この正規化された差分の合計値を１から差し引いて得た値すると、最も一致した場合に１、全く一致しない場合に０となる。
【００９３】
最後に想起感情合成部１２７は、状況情報列用照合部１２６が出力する感情パラメータ値を上記の状況感情対バッファ部１２４が擁する全ての複合バッファについて加え合わせた結果を、状況情報列に対応した想起感情情報として出力する。
【００９４】
なお、反応感情生成部３が感情を発生させる短期的な状況に反応するのに対して、図７や図８の感情的記憶記述部５では、感情的記憶生成部４が比較的長い時間感度に基づく状況感情対情報を生成することから、強い感情が起こる前の比較的長期間の状況を学習する。
【００９５】
次に、想起感情生成部６について説明する。
想起感情生成部６は、状況記述部２から指定期間内の状況情報列を読み出し、該状況情報列に対応する感情情報を感情的記憶記述部５から検索して想起感情情報として出力する。
【００９６】
図９に、想起感情生成部６の構成例を示す。この想起感情生成部６は、想起用状況情報列取得部７１、想起感情スケール変換部７２を含む。
想起感情用状況情報列取得部７１は、状況記述部２に期間指定情報を送出して指定期間分の状況情報列を読み出し、さらに、感情的記憶記述部５の状況感情対検索部６３にこれを送り出す。
【００９７】
状況感情対検索部６３では、受け取った状況情報列を想起用状況情報列として状況感情対記憶部６１の入力層６４に入力し、これに呼応して出力層６６に現われる記憶された感情パラメータ値を送り返す。
【００９８】
想起感情スケール変換部７２は、状況感情対検索部６３により返される感情パラメータ値を受け取り、想起強度制御情報の定めるゲイン（感情パラメータ毎に設定可能）をかけ、想起感情として出力する。
【００９９】
この結果、出力される想起感情情報の大きさとパラメータ間のバランスが制御可能になり、どのような感情を強く思い出すか、あるいはどのような感情をあまり思い出さないかという、エージェントの想起上の性格が演出可能になる。
【０１００】
なお、このとき、驚きのような反応感情生成部３のみで生成されるべき刹那的な感情を想起しないように、驚きに対する想起強度制御情報のゲインを低く設定しておくのが好ましい。
【０１０１】
ところで、従来技術に係るニューロベビーでは、例えば怒鳴られて怖かったというように、状況が確定した場合に対応する感情を生成する。これは大声で怒鳴られれば怖いという自然かつ生得的な反応を実現するが、誰がよく怒鳴る人なのかを予め教えておくことはできない。人が皆怒鳴ってくるのであれば、そのことを予め学習させても良いが、実際には怒鳴る人は一部である。したがって、従来技術に係るニューロベビーでは誰に怒鳴られたのかあるいは誰がよく怒鳴る人なのかなどといった情報を扱うことも、そのような情報にニューロベビーを反応させることもできない。
【０１０２】
これに対して、本実施形態における感情的記憶生成部４と感情的記憶記述部５による記憶の仕組みでは、実際にＡさんに怒鳴られて驚いたり恐ろしかった経験から、怒鳴られたときの状況として「Ａさんが居た」という付帯条件を学習する。さらに、想起感情生成部６は、過去に怒鳴られた状況の付帯条件であるＡさんを検出するだけで、怒鳴られそうな状況を察知するかのごとく恐れの感情を思い出すのである。これは、Ａさんに対する好悪感情を学習したものと看做せる。また、例えば、周囲が暗くなり、雷の大音響が鳴り響いて恐ろしかったという場合も考えられるが、このような場合には、周囲の暗さという人物以外の付帯条件に対する好悪感情を学習することも可能である。
【０１０３】
繰り返しになるが、反応感情生成部３は、装置に予め与えておくことができるよくわかった感情的反応を生成するための機構であるのに対して、感情的記憶生成部４と感情的記憶記述部５と想起感情生成部６からなる記憶と想起の仕組みは、反応感情生成部３による生得的な感情的反応を拠り所にしつつ、その感情的反応が生まれた状況に対応するさらに細かい条件を学習して、将来これに反応するための機構である。
【０１０４】
なお、反応感情生成部３が注目する状況情報列の期間（時間感度）は現在から遡る短期間（例えば図３のＴ−０からＴ−４まで）であり、感情的記憶生成部４が注目する状況情報列の期間は現在よりやや遡った比較的長期間の過去（例えば図３のＴ−１からＴ−８まで）であることは既に述べた通りである。想起感情生成部６の目的は実際に状況が確定する前に付帯条件を評価し、来たるべき状況を予見した感情状態を装置に作ることである。したがって、想起感情生成部６が注目する状況情報列の期間は、感情的記憶生成部４の期間よりもさらに過去に遡った同じ長さの期間（例えば図３のＴ−４からＴ−１１まで）とするのが妥当である。
【０１０５】
次に、自己感情記述部７について説明する。
自己感情記述部７は、反応感情生成部３による反応感情情報と、想起感情生成部６による想起感情情報とを合成して得られる感情情報を現在の自己感情情報として保持する。
【０１０６】
図１０に、自己感情記述部８の構成例を示す。この自己感情記述部８は、自己感情合成部８１、自己感情保持部８２を含む。
自己感情合成部８１は、反応感情生成部３による反応感情情報と、想起感情生成部６による想起感情情報とを入力し、両者を合成して自己感情情報として出力する。合成は、例えば、同じ感情パラメータ毎にその値を加え合わせて自己感情情報の感情パラメータ値とすることで行われる。
【０１０７】
自己感情保持部８２は、自己感情合成部８１により求められた自己感情情報のパラメータ値を対応する内蔵のバッファ（８３−１〜８３−６）に格納保持する。
【０１０８】
次に、感情表現部８について説明する。
感情表現部８は、自己感情記述部７に記述される現在の自己感情情報にしたがって、インタフェースエージェントの感情表現を画像や音声等により出力する。
【０１０９】
図１１に、感情表現部８の構成例を示す。この感情表現部８は、反応生成部９１、行動生成部９２、エージェント合成部９３を含む。
反応生成部９１は、自己感情情報（心理反応源）と外部状況情報（生理反応源）に応じたエージェントの表情反応、身体反応などを表わす反応情報を生成する。表情反応や身体反応とは、例えば、嬉しいときに笑顔になったり、暑いときに発汗したり、恐ろしいときに青ざめた表情になったりする、自己感情や外部状況に応じて非意図的に起こる反応のことである。生成される反応情報は、例えば、笑顔７０％、発汗２０％、青顔色４０％などのように、後段のエージェント合成部９３が制御可能なパラメータのコードとその強度等で表現される。
【０１１０】
行動生成部９２は、自己感情情報（心理的動機）と外部状況情報（行動制約条件）に応じたエージェントの行動を表わす行動情報を生成する。ここで言う行動とは、例えば、嫌な相手に愛想笑い（幸福感から笑うのとは別物）をしたり、好きな相手に近づいたりする、自己感情や、外部状況に応じて意図的に起こされる行動のことである。生成される行動情報は、反応情報と同様、距離２ｍ、笑顔２０％などのように、後段のエージェント合成部９３が制御可能なパラメータのコードとその強度等で表現される。
【０１１１】
反応は心理反応源と生理反応源とにより自動的に発生するが、行動は意図的に為されるものであるから必ず動機が必要である。感情パラメータは、概ね、快（幸福）、不快（悲しみ、嫌悪、驚き、恐れ）、不定（怒り）に大別される。このうち、不快に分類される自己感情が強い場合には、装置はその状況を回避する行動を起こす。また、快に分類される自己感情が強い場合には、装置はその状況を維持する行動を起こす。したがって、自己感情は行動のための心理的動機であると言える。
【０１１２】
行動生成部９２は予め幾つかの行動パタンを与えられている。各行動パタンには、適用可能な感情状態および外部状況と、試行する優先順位とが、行動適用規則として与えられている。動機が発生すると、行動生成部９２は該行動適用規則を用いて行動パタンを１つ選択する。選択された行動パタンには当該行動パタンを実現するのに必要な行動情報が付加されているので、行動生成部９２は該行動情報をエージェント合成部９３に出力すれば良い。行動を行って所定期間経過しても状況が改善されない場合には、行動生成部９２は次の順位を与えられている適用可能な行動パタンを試す。
【０１１３】
エージェント合成部９３は、以上のようにして前段から与えられる反応情報と行動情報を受け、これらに応じたエージェントの形状、色彩、ポーズ、動作軌道、声の調子などを計算し、エージェントの姿（映像あるいはロボットの身体）と声を実現する。
【０１１４】
なお、制御情報生成部９により外部から与えられる感情表出制御情報は、反応生成部９１と行動生成部９２の両方に働きかけ、反応や行動の現われる大きさ、すなわち、エージェント合成部９３が制御可能なパラメータのゲインを調節する。この結果、同じ条件であっても、感情表出制御情報を様々に調整することで、例えば、顔には出ないが行動に出るとか、顔にすぐ出るがなかなか行動しないというような、エージェントの性格を演出することが可能となる。
【０１１５】
次に、制御情報生成部９について説明する。
制御情報生成部９は、感受性制御情報を反応感情生成部３に、記銘制御閾値情報を感情的記憶生成部４に、学習強度制御情報を感情的記憶記述部５に、想起強度制御情報を想起感情生成部６に、感情表出制御情報を感情表現部８に各々供給する。これらの情報は、インタフェースエージェントの感情面での個性や性格を決定するパラメータである。すなわち、このパラメータを調整することにより、インタフェースエージェントに付与する感情面での個性や性格を設定・変更することができる。
【０１１６】
次に、本感情生成装置の処理手順について説明する。
図１２に、本感情生成装置の処理手順の一例を示す。図１２の手順例では、外部状況認識処理Ｓ１と、状況情報列更新処理Ｓ２と、反応感情更新処理Ｓ３と、感情的記憶更新処理Ｓ４と、想起感情更新処理Ｓ５と、自己感情更新処理Ｓ６と、感情表現処理Ｓ７が実行される。
【０１１７】
外部状況認識処理Ｓ１は、外部状況認識部１における処理に対応しており、画像、音声、その他の観測データ等に基づいて外部状況情報を生成する処理である。
【０１１８】
状況情報列更新処理Ｓ２は、状況記述部２における処理に対応しており、外部状況認識処理Ｓ１の処理結果である最新の外部状況情報を受け、状況情報列から最も古い時刻の外部状況情報を破棄して、最新の外部状況情報に置き換える処理である。
【０１１９】
反応感情更新処理Ｓ３は、反応感情生成部３における処理に対応しており、状況情報列更新処理Ｓ２による最新の状況情報列から所定の期間の状況情報列を取り出し、これに対する最新の反応感情情報を生成する処理である。
【０１２０】
感情的記憶更新処理Ｓ４は、感情的記憶生成部４と感情的記憶記述部５における処理に対応しており、新しく生成された反応感情情報を記憶すべきか否かを、該感情の強さによって決定し、記憶すべき十分な強さを有するときには、これを所定期間の状況情報列とともに記憶する処理である。
【０１２１】
想起感情更新処理Ｓ５は、想起感情生成部６における処理に対応しており、状況情報列更新処理Ｓ２において更新された所定期間の状況情報列に類似した過去の状況情報列に対する最新の想起感情情報を想起する処理である。
【０１２２】
自己感情更新処理Ｓ６は、自己感情記述部７における処理に対応しており、最新の反応感情情報と最新の想起感情情報とを合成した最新の自己感情情報を生成する処理である。
【０１２３】
感情表現処理Ｓ７は、感情表現部８における処理に対応しており、最新の自己感情情報に応じて反応と行動を表現する画像や音声などの信号を出力する処理である。
【０１２４】
さて、従来技術に係るニューロベビーは、所定の期間内（可変期間ではなく最新の固定期間）の状況に関する情報の系列（２０ｍ秒の間隔をあけてとられる１０ｍ秒間のユーザ音声の最大振幅とゼロ交差回数を１０周期分採取した計２０個のパラメータ；語気に関する情報）を抽出し、これを入力層２０、中間層２４、出力層２の階層型ニューラルネットワークに入力して２個の感情に関するパラメータを求め、このパラメータに基づいてニューロベビーの映像と音声を制御している。
【０１２５】
一方、本実施形態では、現在の外界からの刺激に対する直接的な感情的反応を実現するだけでなく、過去に経験した状況／感情についての記憶との関連で想起される感情的反応をも実現することを可能としている。すなわち、感情的記憶生成部４と感情的記憶記述部５と想起感情生成部６とにより、状況記述部２の保持期間より過去に装置が経験した状況と感情を状況感情対情報として記憶・想起可能にすることで、強い感情を伴う状況が満たしている付帯条件を経験により学習可能としている。特に、状況が満たす付帯条件とそれに伴い想起される感情として、特定の人物や特定の事物もしくは事象への好悪感情を学習できることが、ユーザとの心理的関係構築を重視するインタフェースエージェントに必要な機能、すなわちユーザ毎に異なる感情的応答を示し、この応答をユーザがエージェントと如何に接するかで調整可変であるという性質を実現する。
【０１２６】
また、本実施形態では、制御情報生成部９により各種制御情報を供給可能とすることで、反応感情情報の強さとバランス、状況感情対情報の選択的記憶ならびに想起、経験による学習の強さ、想起感情情報の強さとバランス、感情表現の強さを制御可能にしている。この結果、インタフェースエージェントの個性として、例えば、感情的に反応しやすいか否か（感受性制御情報による）、懲りるたちか否かもしくは過去の経験が感情の想起に反映され易いか否か（記銘制御閾値情報、学習強度制御情報、想起強度制御情報による）、感情を表に出すたちが否か（感情表現制御情報による）等を調整可変とすることができる。
【０１２７】
なお、本実施形態に係る感情生成装置および感情生成方法は以上の例に限定されるものではない。
例えば、状況記述部２および状況情報列更新処理Ｓ２において生成される状況情報列として、外部状況情報に加えて、自己感情情報や反応情報、行動情報などの装置自身の内部状態（内部状況情報）を記述するようにしても良い。このようにすることで、感情を生成する予測不可能な付帯条件を、外部状況情報の他に内部状況情報をも手がかりにして学習することが可能になる。
【０１２８】
また、図４または図５の反応感情生成部３の構成と、図７または図８の感情的記憶記述部５の構成は、任意の組み合わせで実施可能である。
なお、以上の各機能は、ソフトウェアとしても実現可能である。
【０１２９】
また、本実施形態は、コンピュータに所定の手順を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【０１３０】
例えば、図１３に例示するように、本発明に係る感情生成装置および感情生成方法を実現する情報（例えばプログラム）を記録媒体１０４に記録し、該記録した情報を該記録媒体１０４を経由して装置１０１や装置１０３に適用したり、通信回線１０５や１０６を経由して、装置１０２や１０３に適用することも可能である。
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【０１３１】
【発明の効果】
本発明によれば、過去に経験した感情とそのときの状況から該状況に特有な予測不可能の付帯条件を学習し、学習した付帯条件を満たす新しい状況の入力に対しては該付帯条件に一致する記憶された感情を想起することにより、実際にその状況に至らずとも、付帯条件の検出のみで感情を変化させることを可能にする。この結果、付帯条件としてユーザやユーザの行動を学習して感情的に応答できる、すなわちユーザ毎に感情表現を変え、ユーザの接し方でこれを調整可変なインタフェースエージェントを実現することができる。また、感情の現われ方に関して、インタフェースエージェント毎の性格付けを容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る感情生成装置の基本構成を示す図
【図２】同実施形態に係る感情生成装置の外部状況認識部の構成例を示す図
【図３】同実施形態に係る感情生成装置の状況記述部の構成例を示す図
【図４】同実施形態に係る感情生成装置の反応感情生成部の構成例を示す図
【図５】同実施形態に係る感情生成装置の反応感情生成部の他の構成例を示す図
【図６】同実施形態に係る感情生成装置の感情的記憶生成部の構成例を示す図
【図７】同実施形態に係る感情生成装置の感情的記憶記述部の構成例を示す図
【図８】同実施形態に係る感情生成装置の感情的記憶記述部の他の構成例を示す図
【図９】同実施形態に係る感情生成装置の想起感情生成部の構成例を示す図
【図１０】同実施形態に係る感情生成装置の自己感情記述部の構成例を示す図
【図１１】同実施形態に係る感情生成装置の感情表現部の構成例を示す図
【図１２】同実施形態に係る感情生成装置における処理手順の一例を示すフローチャート
【図１３】本発明を記録媒体等により実施する場合について説明するための図
【符号の説明】
１…外部状況認識部
２…状況記述部
３…反応感情生成部
４…感情的記憶生成部
５…感情的記憶記述部
６…想起感情生成部
７…自己感情記述部
８…感情表現部
９…制御情報生成部
１１…画像情報入力部
１２…人物画像検出部
１３…人物認識部
１４…人物表情認識部
１５…人物動作認識部
１６…音声情報入力部
１７…人物音声検出部
１８…発声内容認識部
１９…語気認識部
２０…変化速度検出部
２１…明るさ検出部
２２…その他情報入力部
２３…外部状況情報出力部
３１…外部状況情報取得部
３２…状況情報蓄積部
３３…状況情報列出力部
４１…反応感情用状況情報列取得部
４２…状況感情変換部
４３…反応感情スケール変換部
５１…感情強度評価部
５２…状況感情対情報生成部
６１…状況感情対記憶部
６２……状況感情対更新部
６３…状況感情対検索部
７１…想起感情用状況情報列取得部
７２…想起感情スケール変換部
８１…自己感情合成部
８２…自己感情保持部
９１…反応生成部
９２…行動生成部
９３…エージェント合成部
１０１〜１０３…装置
１０４…記録媒体
１０５，１０６…通信回路
１１１…反応感情用状況情報列取得部
１１２…状況感情変換部
１１３…反応感情スケール変換部
１１４…変換規則格納部
１１５…規則照合部
１１６…反応感情合成部
１２１…状況感情対記憶部
１２２…状況感情対更新部
１２３…状況感情対検索部
１２４…状況感情対バッファ部
１２５…バッファ更新部
１２６…状況情報列照合部
１２７…想起感情合成部

Claims (6)

1. 周囲の状況を認識して複数種類の情報から成る状況情報を生成する状況認識手段と、
   前記状況情報を現在から過去にさかのぼる所定期間分まとめた状況情報列を生成して保持する状況記述手段と、
   前記状況情報列から予め定められた種類の情報を検出すると、該情報に応じた反応感情情報を生成する反応感情生成手段と、
   前記反応感情情報の強度が所定閾値以上となった場合に、該反応感情情報と前記状況情報列とを関連付けて状況感情対情報として記憶する感情的記憶記述手段と、
   状況情報列の入力に対して、前記記憶された状況感情対情報に関連付けられた前記状況情報列との一致の度合いに応じて、該状況感情対情報に関連付けられた反応感情情報を想起感情情報として想起する想起感情生成手段と、
   新たに想起された前記想起感情情報と新たに生成された前記反応感情情報とを合成して自己感情情報を生成する自己感情記述手段と、
   前記自己感情情報に応じた信号を生成出力する感情表現手段とを具備し、
   前記状況情報が、前記反応感情情報を生成させる前記予め定められた種類の情報とそれ以外の種類の情報とから成るか、または、前記予め定められた種類の情報を複数種類含むことを特徴とする感情生成装置。
2. 前記感情表現手段は、予め与えられている行動パタンの中で、前記自己感情情報と前記状況情報に適した行動パタンから、該行動パタンに与えられている優先順位の最も高いもの選択し、該行動パタンに付与される行動情報を信号化して出力する手段を含むことを特徴とする請求項１に記載の感情生成装置。
3. 前記感情表現手段は、前記自己感情情報が快に分類されるものである場合に、前記行動パタンの選択と、該行動パタンに付与された行動情報の出力を行い、かつその出力後所定期間経過以内に快に分類されない状態へと自己感情状態が遷移した場合には、当該行動パタンの前記優先順位を下げることを特徴とする請求項２に記載の感情生成装置。
4. 前記感情表現手段は、前記自己感情情報が不快に分類されるものである場合に、前記行動パタンの選択と、該行動パタンに付与された行動情報の出力を行い、かつその出力後所定期間経過以内に快に分類される状態へと自己感情状態が遷移しない場合には、当該行動パタンの前記優先順位を下げることを特徴とする請求項２に記載の感情生成装置。
5. 前記反応感情生成手段が生成する反応感情情報の強さ、前記感情的記憶記述手段が記憶対象とする反応感情情報の強さの下限、前記想起感情生成手段が生成する想起感情情報の強さ、または前記感情表現手段が出力する信号の強さのうちの少なくとも１つを個性として調整可能とする手段をさらに備えたことを特徴とする請求項１に記載の感情生成装置。
6. 周囲の状況を認識して複数種類の情報から成る状況情報を生成するステップと、
   前記状況情報を現在から過去にさかのぼる所定期間分まとめた状況情報列を生成し記憶手段に保持するステップと、
   前記状況情報列から予め定められた種類の情報を検出すると、該情報に応じた最新の反応感情情報を生成するステップと、
   前記反応感情情報の強度が所定閾値以上となった場合に、該反応感情情報と前記状況情報列とを関連付けて状況感情対情報として学習し、この学習結果を記憶手段に保持するステップと、
   状況情報列の入力に対して、前記学習された状況感情対情報に関連付けられた前記状況情報列との一致の度合いに応じて、該状況感情対情報に関連付けられた反応感情情報を想起した想起感情情報を生成するステップと、
   新たに生成された前記想起感情情報と新たに生成された前記反応感情情報とを合成して自己感情情報を生成するステップと、
   前記自己感情情報に応じた信号を生成出力するステップとを有し、
   前記状況情報が、前記反応感情情報を生成させる前記予め定められた種類の情報とそれ以外の種類の情報とから成るか、または、前記予め定められた種類の情報を複数種類含むことを特徴とする感情生成方法。

Images