JP2015075908A - 感情情報表示制御装置、その方法及びプログラム - Google Patents

Abstract

【課題】感情情報が把握しやすいように感情情報の表示を制御する技術を提供する。
【解決手段】感情情報表示制御装置は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、２人以上が撮影された映像から、２人以上のうちの２人の間の感情情報を求める感情情報取得部と、２人以上のうちの１人である第一の人物と他者との間の感情情報に応じて、その他者の映像の大きさを変化させて表示装置に表示するように制御する制御部とを含む。
【選択図】図２

Description

本発明は、複数の対話者間の感情の度合いを表示する技術に関する。

対話二者間の共感／反感を自動で推定する技術として、対話している二者の共感／反感が外部観察者の集団からどのように解釈されるかを推定することが提案されている（特許文献１および非特許文献１参照）。非特許文献１では、外部観察者毎に解釈が異なることをコミュニケーションの必然と考え、外部観察者集団の中での解釈のばらつき、すなわち、共感／反感／何れでもない、の3状態それぞれの得票率を推定するという問題を設定している。そして、非特許文献１では、複数の対話者間の感情（「共感」「反感」「何れでもない」）の度合いを１つの表示装置に表示している。

特開２０１２−１８５７２７号公報

熊野史朗, 大塚和弘, 三上弾, 大和淳司, "複数人対話を対象とした表情と視線に基づく共感／反感の推定モデルとその評価", 電子情報通信学会技術報告，ヒューマンコミュニケーション基礎研究会, HCS 111(214), pp. 33-38，2011.

しかしながら、従来技術は、使用場面に関わらず、基本的に複数の対話者間の感情の度合いの全てを、１つの表示装置に表示するため、複数の対話者間の感情の度合いが把握しづらい。対象の二者がお互いに相手の方を見ていない状態（相互そらし状態）のときにはその二者の間の感情の度合いは表示されないが、相互そらし状態は時間毎に変化するため、例えば、ある特定の一人とそれ以外の他者との間の感情の度合いを時系列で把握することは容易ではない。

本発明は、感情情報が把握しやすいように感情情報の表示を制御する技術を提供することを目的とする。

上記の課題を解決するために、本発明の第一の態様によれば、感情情報表示制御装置は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、２人以上が撮影された映像から、２人以上のうちの２人の間の感情情報を求める感情情報取得部と、２人以上のうちの１人である第一の人物と他者との間の感情情報に応じて、その他者の映像の大きさを変化させて表示装置に表示するように制御する制御部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、感情情報表示制御装置は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、２人以上が撮影された映像から、２人以上のうちの２人の間の感情情報を求める感情情報取得部と、感情情報に応じて、その人物間の距離を変化させて表示装置に表示するように制御する制御部とを含む。

上記の課題を解決するために、本発明の他の態様によれば、感情情報表示制御方法は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、２人以上が撮影された映像から、２人以上のうちの２人の間の感情情報を求める感情情報取得ステップと、２人以上のうちの１人である第一の人物と他者との間の感情情報に応じて、その他者の映像の大きさを変化させて表示方法に表示するように制御する制御ステップとを含む。

上記の課題を解決するために、本発明の他の態様によれば、感情情報表示制御方法は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、２人以上が撮影された映像から、２人以上のうちの２人の間の感情情報を求める感情情報取得ステップと、感情情報に応じて、その人物間の距離を変化させて表示方法に表示するように制御する制御ステップとを含む。

本発明によれば、感情情報が把握しやすいように感情情報の表示を制御することができるという効果を奏する。

第一実施形態に係る感情情報表示制御装置の配置例を示す図。 第一実施形態に係る感情情報表示制御装置の機能構成を例示する図。 第一実施形態に係る感情情報表示制御装置の処理フローを例示する図。 感情情報取得部の機能構成を例示する図。 パラメタ学習部の機能構成を例示する図。 学習フェーズの処理フローを例示する図。 推定フェーズの処理フローを例示する図。 時間差関数を説明する図。 対話者の行動と共感解釈の時間差を説明する図。 変化タイミング関数を説明する図。 変化タイミング関数の有効範囲を説明する図。 変化タイミング関数の有効範囲を説明する図。 第一実施形態において表示装置に表示される映像の例を表す図。 第一実施形態において、第一の人物が、表示装置に表示されるように制御した場合の、表示装置で表示される映像の例を示す図。 図１５Ａは各事後確率分布を棒グラフ等で表示するにように制御したときに、表示装置に表示される映像の例を表す図、図１５Ｂ〜図１５Ｈはそれぞれ他者の画像とともに表示する感情情報を表すイラストやマークを示す図。 第二実施形態において表示装置に表示される映像の例を表す図。

以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「~」、「^-」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態に係る感情情報表示制御装置１００＞
図１は、第一実施形態に係る感情情報表示制御装置１００の配置例を示す。感情情報表示制御装置１００は、Ｎ人が撮影された映像を入力とし、表示装置３に、感情情報に応じて変更を加えた映像を出力する。Ｎは２以上の整数である。なお、感情情報は、複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを表す。なお、２人の人物の間において相互に共通する感情を対象とし、この実施形態では、感情として「共感」「反感」「何れでもない」の３種類の感情を用いる。ここでは、共感は二者の感情状態が類似している状態、反感はそれらが異なっている状態とする。この３種類の感情の度合いを感情情報とする。この感情情報は、対話者間の共感状態を示しているといってもよい。

図２は感情情報表示制御装置１００の機能構成例を、図３はその処理フローを示す。感情情報表示制御装置１００は、感情情報取得部１１０及び制御部１２０を含む。

＜感情情報取得部１１０＞
感情情報取得部１１０は、Ｎ人が撮影された映像を受け取り、この映像からＮ人のうちの２人の間の感情情報を求め（ｓ１）、求めた感情情報を制御部１２０に出力する。なお、Ｎ人が撮影された映像は、各対話者について一台のカメラを用意して、複数のカメラにより撮影した複数の映像を多重化した映像でもよいし（図１参照）、魚眼レンズを用いるなどした全方位カメラ一台で対話者全員を撮影した映像であってもよい。例えば、図１のように、カメラ１−ｎ（ただしｎ＝１，２，…，Ｎである）から人物２−ｎを撮影し、Ｎ個の映像を多重化したものを入力としてもよいし、１つの映像の中に複数人の人物が映っているものを入力としてもよい。

制御部１２０は、Ｎ人が撮影された映像と感情情報とを受け取り、表示装置３に、感情情報に応じて変更を加えた映像を出力し、表示装置３の表示を制御する（ｓ２）。以下、各部の処理の例を説明する。

＜感情情報取得部１１０のポイント＞
感情情報取得部１１０は、対話の状態を推定して、映像から２人の間の感情情報（「共感」「反感」「何れでもない」の３種類の感情の度合い）を求める。この感情情報取得部１１０の対話状態推定技術における一番のポイントは、対話二者間での与え手の行動表出とそれに対する受け手の反応表出との間での行動の時間差と、対話二者間でそれらの行動が一致しているか否かを示す一致性によって、その二者を見た外部観察者がその対話の状態をどう解釈するのかを確率的にモデル化したことである。この背後にあるのは、外部観察者が二者の間の対話状態を解釈する際に、人が相手の働きかけに対してどのように反応するかというこれまでに得られている心理学分野の知見を、意識的あるいは無意識的に利用しているであろうという仮説である。このモデルにより、対話二者の行動の時系列が与えられたときに、外部観察者の集団が各時刻において共感状態をどう解釈するのかの得票率が推定できる。

例えば、一方の対話者が微笑み、他方の対話者もその微笑みに対する反応として微笑みを返すという場面において、反応の微笑みが迅速に行われれば、外部観察者にはその反応が自発的で両者は共感などの肯定的な関係にあると見えやすい。一方で、反応の微笑みが少し遅れれば、外部観察者にはその反応はわざとらしく両者は反感などの否定的な関係にあると見えやすい。さらに、外部観察者の共感の解釈は、微笑みに対して微笑みを返すというように行動が一致しているのか、微笑みに対して苦笑を返すというように行動が不一致なのかによっても影響を受ける。この感情情報取得部では、このような対話二者間の行動の時間差と行動の一致性という関係を確率的にモデル化する。

この感情情報取得部のもう一つのポイントは、様々な行動チャネルについて、瞬間的な対話二者間の行動の組み合わせと外部観察者の共感解釈との間の関係性をモデル化したことである。行動チャネルとは対話者の行動の種類である。例えば特許文献１では、行動チャネルとして対話者の表情と視線のみをモデル化しているが、この感情情報取得部では頭部ジェスチャや発話有無など他の任意の行動チャネルをモデル化することが可能である。これにより、例えば与え手の微笑みに対して受け手が頷づいたり首を傾げたりするような場面に対して外部観察者が共感や反感を解釈するような場合にも、共感解釈をより精度よく推定できるようになる。

＜感情情報取得部１１０の構成＞
図４を参照して、この実施形態の感情情報取得部１１０の構成例について説明する。感情情報取得部１１０は入力部１０と行動認識部２０と共感解釈付与部３０とパラメタ学習部４０と事後確率推定部５０と出力部６０と学習用映像記憶部７０と推定用映像記憶部７２とモデルパラメタ記憶部７４とを備える。学習用映像記憶部７０と推定用映像記憶部７２は、例えば、ＲＡＭ（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリなどの半導体メモリ素子により構成される補助記憶装置、などにより構成することができる。モデルパラメタ記憶部７４は、学習用映像記憶部７０と同様に構成してもよいし、リレーショナルデータベースやキーバリューストアなどのミドルウェア、などにより構成してもよい。

図５を参照して、この実施形態のパラメタ学習部４０の構成例について説明する。パラメタ学習部４０は事前分布学習部４２とタイミングモデル学習部４４と静的モデル学習部４６とを備える。

＜学習フェーズ＞
図６を参照して、感情情報取得部１１０の学習フェーズにおける動作例を説明する。

入力部１０へ学習用映像が入力される（ステップＳ１１）。学習用映像は、複数の人物が対話する状況を撮影した映像であり、少なくとも対話者の頭部が撮影されていなければならない。学習用映像の撮影は、各対話者について一台のカメラを用意して、複数のカメラにより撮影した映像を多重化した映像でもよいし、魚眼レンズを用いるなどした全方位カメラ一台で対話者全員を撮影した映像であってもよい。入力された学習用映像は学習用映像記憶部７０に記憶される。

行動認識部２０は学習用映像記憶部７０に記憶されている学習用映像を入力として、学習用映像に撮影された各対話者の行動として、表情、視線、頭部ジェスチャ、発話有無などを検出し、その結果生成された対話者の行動の時系列を出力する（ステップＳ２１）。この実施形態では、表情、視線、頭部ジェスチャ、および発話有無の4つの行動チャネルを認識対象とする。行動チャネルとは、行動の形態のことである。表情は、感情を表す主要な経路である。この実施形態では、無表情／微笑／哄笑／苦笑／思考中／その他、の6状態を表情の認識対象とする。視線は、感情を誰に伝えようとしているのかということと、他者の行動を観察していることとの少なくとも一方などを表している。この実施形態では、他者のうちの誰か一人を見ておりその相手が誰である／誰も見ていない（という状態）、を視線の認識対象としている。すなわち、状態数は対話者の数となる。ここで、対話者とは、視線を測定している対象者を含む対話に参加している全員を指す。表情と視線の認識方法は、特許文献１もしくは非特許文献１に記載の方法を用いればよい。頭部ジェスチャは、しばしば他者の意見に対する態度の表明として表出される。この実施形態では、なし／頷き／首ふり／傾げ／これらの組み合わせ、の4状態を頭部ジェスチャの認識対象とする。頭部ジェスチャの認識方法は、周知のいかなる方法も用いることができる。例えば「江尻康, 小林哲則, “対話中における頭部ジェスチャの認識”, 電子情報通信学会技術研究報告, PRMU2002-61, pp.31-36, Jul.2002.（参考文献１）」に記載の方法を用いればよい。発話有無は、話し手／聞き手という対話役割の主要な指標となる。この実施形態では、発話／沈黙、の2状態を発話有無の認識対象とする。発話有無の認識方法は、映像中の音声パワーを検出してあらかじめ定めた閾値を超えた場合に発話していると判断すればよい。もしくは映像中の対話者の口元の動きを検出することで発話の有無を検出してもよい。それぞれの行動は一台の装置ですべて認識してもよいし、行動ごとに別々の装置を用いて認識しても構わない。例えば、表情の認識であれば、行動認識装置の一例として「特許４９４２１９７号公報（参考文献２）」を使用すればよい。なお、行動認識部２０は、共感解釈付与部３０と同様に人手によるラベル付けを行い、その結果を出力するとしても構わない。

また、表情や頭部ジェスチャに関しては、「強度」を推定して出力するとしてもよい。表情の強度は、対象とする表情である確率により求めることができる。また、頭部ジェスチャの強度は、振幅の最大値（頷きであれば、頷く角度の最大値）に対する取得された動作の振幅の値の割合により求めることができる。

共感解釈付与部３０は学習用映像記憶部７０に記憶されている学習用映像に基づいて複数の外部観察者が共感解釈をラベル付けした学習用共感解釈時系列を出力する（ステップＳ３０）。学習用共感解釈時系列は、学習用映像を複数の外部観察者に提示して、各時刻における対話二者間の共感解釈を外部観察者が人手によりラベル付けした時系列である。この実施形態では、二者間の対話状態として、共感／反感／どちらでもない、の3状態を対象とする。二者間の対話状態とは、同調圧力（自分とは異なる同じ意見を大勢の他者が持っているときにそれに従わなければならないと感じること）に深く関わり、合意形成や人間関係を構築する上での基本要素である。また、外部観察者が解釈するこれらの状態のことをまとめて共感解釈と呼ぶ。すなわち、この実施形態における対話状態解釈とは共感解釈である。

行動認識部２０の出力する学習用行動時系列と共感解釈付与部３０の出力する学習用共感解釈時系列とはパラメタ学習部４０に入力される。パラメタ学習部４０は、外部観察者の共感解釈と対話者の行動とを関連付けるモデルパラメタを学習する。モデルパラメタは、対話者間の共感解釈の事前分布と、対話者間の行動の時間差と対話者間の行動の一致性とに基づく共感解釈の尤度を表すタイミングモデルと、対話者間の行動の共起性に基づく共感解釈の尤度を表す静的モデルとを含む。

パラメタ学習部４０の備える事前分布学習部４２は、学習用共感解釈時系列を用いて事前分布を学習する（ステップＳ４２）。パラメタ学習部４０の備えるタイミングモデル学習部４４は、学習用行動時系列と学習用共感解釈時系列とを用いてタイミングモデルを学習する（ステップＳ４４）。パラメタ学習部４０の備える静的モデル学習部４６は、学習用行動時系列と学習用共感解釈時系列とを用いて静的モデルを学習する（ステップＳ４６）。得られたモデルパラメタはモデルパラメタ記憶部７４に記憶される。

＜＜モデルの概要＞＞
この実施形態のモデルについて詳述する。この実施形態では、外部観察者が与える共感解釈は対話二者の組み合わせ毎に独立であることを仮定する。よって、以下では対話者が二人のみの場合を想定する。なお、対話者が三人以上の場合には、それぞれの対話二者の組み合わせのみに注目して学習と推定を行えばよい。

この実施形態では、対話者の行動の時系列Bが与えられたときの各時刻tでの外部観察者の共感解釈eの事後確率分布P(e_t|B)を、ナイーブベイズモデルを用いてモデル化し、その推定を行う。ナイーブベイズモデルは従属変数（ここでは共感解釈）と各説明変数（ここでは各対話者の行動）との間の確率的依存関係が説明変数間で独立であることを仮定する。ナイーブベイズモデルはシンプルであるにも関わらず多くの分野で高い推定性能を示すことが確認された優れたモデルである。この感情情報取得部においてナイーブベイズモデルを用いる利点は二つある。一つは、行動チャネル間の全ての共起（例えば、表情、視線、頭部ジェスチャ、および発話有無の全てが同時に発生した状態）をモデル化しないため、過学習を避けやすいという点である。これは、対象とする変数空間に対して学習サンプルが少ない場合に特に有効である。もう一つは、観測情報としての行動チャネルの追加や削除が容易という点である。

この実施形態におけるナイーブベイズモデルでは、事後確率分布P(e_t|B)は式（１）のように定義される。

ここで、P(dt_t ^b|c_t ^b,e_t)はタイミングモデルであり、時刻tの周辺で行動チャネルbについて二者間の行動が時間差dt_t ^bで一致性c_t ^bであるときに外部観察者の共感解釈がeとなる尤度を表す。一致性cとは、二者間で行動が一致しているか否かを表す二値状態のことであり、対話二者の行動のカテゴリが同じか否かで判断する。P(b_t,e_t)は静的モデルであり、時刻tのその瞬間において行動チャネルbが対話二者間でどう共起しているのかをモデル化している。これら二つのモデルについては以下で順に説明する。P(e_t)は共感解釈eの事前分布であり、行動を考えないときに各共感解釈eがどれくらいの確率で生成されるかを表す。

＜＜タイミングモデル＞＞
この実施形態における行動チャネルbについてのタイミングモデルは式（２）のように定義される。

式（２）から明らかなように、このタイミングモデルは、対話二者の行動間の時間差がdtでありその一致性がcであるときの共感解釈eの尤度を表す時間差関数P(d~t_t ^b|c_t ^b,e_t)と、その相互作用の近辺で共感解釈eがどのタイミングで変化するかを表す変化タイミング関数π_tから構成されている。d~t_t ^bは、外部観察者の共感解釈の時系列をヒストグラム化した際のビン番号である。ビンサイズについては例えば200ミリ秒とする。

なお、この実施形態では、それぞれの行動チャネルについてその行動チャネル内で二者間のタイミングモデルを構築したが、行動チャネル間のモデルを構築しても構わない。例えば、表情と頭部ジェスチャとの間の時間差dtと一致性cと、共感解釈eとの関係をモデル化することができる。ただしこの場合は、一致性cを決める際に各行動チャネルについて、例えば、肯定的／中立的／否定的といった、異なる行動チャネルの間でも一致性cを判断できるカテゴリ群を新たに導入する必要がある。これらのカテゴリについては、映像から行動チャネルを検出する際に認識してもよいし、一旦行動チャネルごとに異なるカテゴリ群で認識しておいて、表情が微小なら肯定的といったようにそれらのラベルを後から肯定的／中立的／否定的に分類し直しても構わない。

＜＜時間差関数＞＞
時間差関数P(d~t_t ^b|c_t ^b,e_t)は、対話二者間の行動が行動チャネルbにおいて一致しているか否かを示す一致性cとその時間差dtによって共感解釈eがどの種類となりやすいかの尤度を表す。この実施形態では、外部観察者の共感解釈の時系列をヒストグラム化した際のビン番号d~t_t ^bを使用している。ビンサイズについては例えば200ミリ秒とする。

図８にこの実施形態の時間差関数の一例を表す。時間差関数P(d~t_t ^b|c_t ^b,e_t)は対話者の行動の一致性cと時間差のビン番号d~t_t ^bとにより共感解釈eの尤度を決定する。図８（Ａ）は対話者間の行動が一致する場合の時間差関数の一例であり、図８（Ｂ）は対話者間の行動が不一致の場合の時間差関数の一例である。例えば、対話者間の行動が一致する場合に、与え手の行動表出から受け手の反応表出の時間差が500ミリ秒であった場合には、共感解釈eが「共感」である尤度が約0.3、「どちらでもない」である尤度が約0.2、「反感」である尤度が約0.5となる。時間差関数は外部観察者がラベル付けした共感解釈の時系列を時間差ビン単位で集計し、共感解釈eのカテゴリ毎にすべての時間差ビンにおける尤度の総和が1となるように正規化することで求める。

＜＜変化タイミング関数＞＞
変化タイミング関数πはどのタイミングで共感解釈eが変化するかを表す。別の見方をすると、変化タイミング関数πは時間差関数がどの範囲にわたってどの程度の強さで式（１）における共感解釈eの推定に寄与するかを決定する。

この実施形態では変化タイミング関数を式（３）のようにモデル化する。

ここで、t_aは対象の相互作用における与え手の行動表出開始の時刻を表す。また、時刻t'は与え手の行動表出開始の時刻をt'=0とし、受け手の反応表出開始時刻をt'=1としたときの相互作用中での相対時間を表し、t'=(t-t_a)/dtとして計算される。

π=0は、式（１）で表される事後確率分布P(e_t|B)において、タイミングモデルP(dt_t ^b|c_t ^b,e_t)が全く寄与しないことを表す。π=1は、事後確率分布P(e_t|B)において、タイミングモデルP(dt_t ^b|c_t ^b,e_t)が完全に寄与することを表す。

条件dt>Lは、与え手の行動表出に対して受け手の反応表出が遅すぎることを表す。例えば、この実施形態では閾値Lを2秒とする。これは、話し手の語彙的に重要なフレーズに対する聞き手の表情表出がおよそ500〜2,500ミリ秒の範囲で起こるという研究結果を参考にした値であり、どの行動チャネルにおいても概ねこの範囲に収まるという仮定に基づく。上記の研究結果についての詳細は、「G. R. Jonsdottir, J. Gratch, E. Fast, and K. R. Thorisson, “Fluid semantic back-channel feedback in dialogue: Challenges & progress”, International Conference Intelligent Virtual Agents (IVA), pp. 154-160, 2007.（参考文献３）」を参照されたい。

条件t-t_a>Wは、時刻tがそれ以前の直近で表出された与え手の表情表出からの時間経過が長いことを意味する。対話二者間でお互いに行動を表出して相互作用が行われると、それから一定の間は外部観察者の共感解釈がそのタイミングに影響を受けるが、その後しばらく次の相互作用が行われなければその影響はなくなるということをモデル化したものである。閾値Wは正の値であればどのような値でもよく、二者対話のように対象の二者間で絶えず相互作用が発生する場合には無限大としても問題無い。しかし、大人数での対話で主に一人が話しているといった状況で、その中のある二人の聞き手の間での相互作用といったように、必ずしも相互作用が頻繁とは限らない場合には閾値Wが長すぎる場合も考えられる。この実施形態では経験的に閾値Wを4秒とする。これは、閾値Wを4秒付近に設定した場合に推定精度が最も高くなったという実験結果に基づくものである。

図９に共感解釈、与え手の行動表出、および受け手の反応表出の一例を示す。図９の塗りつぶしパターンは行動もしくは共感解釈のカテゴリの違いを表す。αとβの値については例えばα=0.2、β=0.8と設定する。これらの値は、式（３）の変化タイミング関数πが累積確率を最も近似するように定めたものである。

図１０に変化タイミング関数πの一例を示す。グラフ上にプロットした点は、実際に女性4名の対話グループ4つ（計16名）の対話データに対して計9名の外部観察者が与えた共感解釈のラベルおいて、そのラベルが相対時刻t'中のどこで変化したかの累積確率を表す。この変化タイミング関数によってよく近似できていることが見て取れる。但し、αとβはこの値に限らなくてもよく、α+β=1、0≦α≦1、0≦β≦1を満たすようにする。簡単な設定としては，「α=0、β=1」でもかまわない。

図１１，図１２は変化タイミング関数の有効範囲の一例を模式的に表した図である。黒の塗りつぶしは行動が検出されていない状態、白の塗りつぶしと斜めのハッチングは行動のカテゴリを表している。共感解釈の縦のハッチングは共感であること、横のハッチングは反感であることを表している。図１１（Ａ）は対話者間の行動が一致した場合についての有効範囲を表している。与え手の行動と受け手の反応が一致しているため「共感」が閾値Wの間だけ継続している。図１１（Ｂ）は対話者間の行動が不一致であった場合についての有効範囲を表している。与え手の行動と受け手の反応が不一致であるため「反感」が閾値Wの間だけ継続している。図１１（Ｃ）は与え手の行動表出に対して受け手の反応表出が遅すぎる、すなわちdt>Lであるために変化タイミング関数が有効範囲外となっている状況を表している。この場合は全体を通して「どちらでもない」状態が継続している。図１２は対話二者が交互に行動を表出したときの有効範囲である。基本的な考え方は図１１（Ａ）〜（Ｃ）と同様である。

＜＜静的モデル＞＞
静的モデルP(b_t|e_t)は、時刻tに行動チャネルbについて対話二者間で特定の行動が共起した場合に、共感解釈eがどの程度の尤度で生成されるかをモデル化したものである。

モデル化の方法は、表情と視線については特許文献１および非特許文献１にて提案されているため、これらの文献の記載に従えばよく、対話二者間の視線状態のモデルと、その視線状態毎の表情の状態との共起のモデルとを組み合わせればよい。ここで、二者間の視線状態とは、例えば、相互凝視／片側凝視／相互そらし、の3状態が考えられる。

頭部ジェスチャについての静的モデルはP(g|e)で表される。ここで、gは二者間での頭部ジェスチャの組み合わせ状態を表す。対象とする頭部ジェスチャの状態数をN_gとすると、二者間での頭部ジェスチャの組み合わせの状態数はN_g×N_gとなる。カテゴリとして任意の種類と数を対象としても構わないが、数が多すぎると学習サンプル数が少ない場合に過学習に陥りやすい。その場合は、最初に用意したカテゴリをさらにクラスタリングによりグルーピングしても構わない。例えば、その方法の一つとしてSequential Backward Selection (SBS)が挙げられる。例えば頭部ジェスチャのカテゴリを対象とする場合、頭部ジェスチャのみを用いた推定、すなわち事後確率をP(e|B):=P(e)P(g'|e)として、すべてのカテゴリから推定精度が最高になるように選択した二つのカテゴリを統合して一つにまとめる。これを推定精度が悪化する直前まで繰り返すことで一つずつカテゴリ数を減らしていけばよい。ここで、g’はグルーピング後における二者間での頭部ジェスチャの組み合わせ状態である。発話有無についても頭部ジェスチャと同様に二者間の共起をモデル化する。

＜＜モデルの学習方法＞＞
この実施形態では、いずれのモデルについても離散状態として記述されているため、学習フェーズではその離散状態が学習サンプル中に何回出現したかの頻度を取り、最後にその頻度を正規化（確率化）すればよい。

このとき、モデルを準備する方針として、モデルパラメタの学習に使用する学習用映像に撮影された対話者の集団と、対話状態を推定したい推定用映像に撮影された対話者の集団が同一であれば、対話二者毎にそれぞれ独立にパラメタを学習し、ある対話二者についての推定にはその対話二者のデータから学習したパラメタを用いるとすればよい。他方、学習用映像に撮影された対話者の集団と、推定用映像に撮影された対話者の集団が異なる場合には、対話二者を区別せずに一つのモデルを学習し、その一つのモデルを使用して推定したい対話二者についての推定を行えばよい。

＜推定フェーズ＞
図７を参照して、感情情報取得部１１０の推定フェーズにおける動作例を説明する。

入力部１０へ推定用映像が入力される（ステップＳ１２）。推定用映像は、複数の人物が対話する状況を撮影した映像であり、少なくとも対話者の頭部が撮影されていなければならない。また、推定用映像は学習用映像とは異なる未知の映像である。推定用映像の撮影方法は上述の学習フェーズにおける学習用映像の撮影方法と同様である。入力された推定用映像は推定用映像記憶部７２に記憶される。

行動認識部２０は推定用映像記憶部７２に記憶されている推定用映像を入力として、推定用映像に撮影された各対話者の行動として、表情、視線、頭部ジェスチャ、発話有無などを検出し、その結果生成された対話者の行動の時系列Bを出力する（ステップＳ２２）。行動の認識方法は上述の学習フェーズにおける行動の認識方法と同様であるので、ここでは説明を省略する。

行動認識部２０の出力する推定用行動時系列Bは事後確率推定部５０に入力される。事後確率推定部５０は、モデルパラメタ記憶部７４に記憶されているモデルパラメタを用いて、推定用行動時系列Bから時刻tにおける対話者間の共感解釈の事後確率分布P(e_t|B)を推定する（ステップＳ５０）。事後確率推定部５０は、推定用映像に基づいて生成された対話者の行動の時系列Bと、パラメタ学習部４０で学習した事前分布とタイミングモデルと静的モデルの各パラメタを含むモデルパラメタとを入力として、上記の式（１）に従って、時刻tにおける共感解釈eの事後確率分布P(e_t|B)を計算する。

出力部６０は、対話者間の共感解釈eの事後確率分布P(e_t|B)を出力する（ステップＳ６０）。共感解釈の推定結果を確率分布ではなく一つの種類として出力する必要がある場合には、事後確率が最も高い共感解釈の種類、すなわちe~_t=argmax _{e_t} P(e_t|B)を対話状態値e~_tとして併せて出力すればよい。

つまり、感情情報取得部１１０は、この共感解釈eの事後確率分布P(e_t|B)、または、事後確率が最も高い共感解釈の種類、すなわちe~_t=argmax_{e_t} P(e_t|B)を感情情報として求める。

＜制御部１２０＞
制御部１２０は、Ｎ人が撮影された映像と感情情報とを受け取り、感情情報のうち、Ｎ人のうちの１人である第一の人物２−ｉ（ｉは１，２，…，Ｎの何れか）と他者２−ｊ（ｊ＝１，２，…，Ｎ、ただし、ｉ≠ｊ）との間の感情情報σ_i,jに応じて、他者２−ｊの映像の大きさを変化させて表示装置３に表示するように制御する（ｓ２）。他者２−ｊの映像の大きさを変化させることで、表示装置３の視聴者は、第一の人物２−ｉと他者２−ｊとの間の感情を直感的に把握することができる。以下、制御方法を四つ提示する。

（制御方法１）
制御部１２０は、「共感」の度合いが「反感」の度合いよりも大きい他者２−ｊの映像ほど大きく表示装置３に表示するように制御する。言い換えると、「共感」の度合いが「反感」の度合いよりも大きい他者２−ｊの映像を、「反感」の度合いが「共感」の度合いよりも大きい他者２−ｊの映像よりも大きく表示装置３に表示するように制御する。例えば、「共感」の度合いが所定の閾値Ｔ_１よりも大きい場合に他者２−ｊの映像の大きさＳ_ｊを基準となる大きさＳ_ｓよりも大きく表示装置に表示するように制御する。このときＳ_ｊ←Ｓ_big＞Ｓ_ｓである。また、制御部１２０は、「反感」の度合いが所定の閾値Ｔ_２よりも大きい場合に他者２−ｊの映像の大きさＳ_ｊを基準となる大きさＳ_ｓよりも小さく、表示装置に表示するように制御する。このときＳ_ｊ←Ｓ_small＜Ｓ_ｓである。

例えば、Ｎ＝４、ｉ＝１とし、制御部１２０は、３人の他者２−２、２−３、２−４がそれぞれ撮影された３つ映像と感情情報σ_i,jとを受け取る（ただし、ｉ＝１、ｊ＝２，３，４である）。この制御方法では、感情情報σ_i,jは、共感解釈eの事後確率分布P(e_t|B)からなり、時刻ｔにおいて状態が共感である事後確率P(e_t=1|B)(これを「『共感』の度合い」とする)、時刻ｔにおいて状態がどちらでもないである事後確率P(e_t=2|B)（これを「『どちらでもない』の度合い」とする）、時刻ｔにおいて状態が反感である事後確率P(e_t=3|B)(これを「『反感』の度合い」とする)を含む。

制御部１２０は、感情情報σ_i,jに含まれる状態が共感である事後確率P(e_t=1|B)と閾値Ｔ_１とを比較し、P(e_t=1|B)＞Ｔ_１の場合にはその事後確率P(e_t=1|B)に対応する他者２−ｊの映像の大きさをＳ_ｊ←Ｓ_bigとする。さらに、制御部１２０は、感情情報σ_i,jに含まれる状態が反感である事後確率P(e_t=3|B)と閾値Ｔ_２とを比較し、P(e_t=3|B)＞Ｔ_２の場合にはその事後確率P(e_t=3|B)に対応する他者２−ｊの映像の大きさをＳ_ｊ←Ｓ_smallとする。制御部１２０は、P(e_t=1|B)＜Ｔ_１、かつ、P(e_t=3|B)＜Ｔ_２のとき、対応する他者２−ｊの映像の大きさをＳ_ｊ←Ｓ_sとする。なお、制御部１２０は、感情情報σ_i,jに含まれる状態がどちらでもないである事後確率P(e_t=2|B)と閾値Ｔ₃とを比較し、P(e_t=2|B)＞Ｔ₃の場合にはその事後確率P(e_t=2|B)に対応する他者２−ｊの映像の大きさをＳ_ｊ←Ｓ_sとしてもよい。制御部１２０は、大きさを変更または維持した３つの映像を表示装置３で表示できるように合成する。図１３は表示装置３に表示される映像の例を表す。なお、この図において、第一の人物２−１と他者２−２との間の感情情報σ_1,2に含まれる状態が共感である事後確率P(e_t=1|B)は閾値Ｔ_１より大きく、他者２−２は第一の人物２−１に共感していると考えられ、第一の人物２−１と他者２−３との間の感情情報σ_1,3に含まれる状態が反感である事後確率P(e_t=3|B)は閾値Ｔ₂より大きく、他者２−３は第一の人物２−１に反感していると考えられ、第一の人物２−１と他者２−４との間の感情情報σ_1,4に含まれる状態が共感である事後確率P(e_t=1|B)、状態が反感である事後確率P(e_t=3|B)は、それぞれ閾値Ｔ₁、Ｔ₂より小さく（または、状態がどちらでもないである事後確率P(e_t=2|B)は閾値Ｔ₃より大きく）、他者２−４は第一の人物２−１に共感も反感もしていないと考えられる。

なお、閾値Ｔ_１，Ｔ_２をそれぞれ段階的に設けて、大きさを段階的に変化させてもよい。

（制御方法２）
この制御方法では、制御方法１と同様に、感情情報σ_i,jとして、共感解釈eの事後確率分布P(e_t|B)を用いる。

制御部１２０は、状態が共感である事後確率P(e_t=1|B)と、状態が反感である事後確率P(e_t=3|B)とから、例えば次式により、共感スコアs_tを求める。

s_t=P(e_t=1|B)-P(e_t=3|B)
制御部１２０は、共感スコアs_tの大きい他者を、共感スコアs_tの小さい他者よりも（言い換えると、共感スコアs_tの大きい他者であるほど）大きく表示装置３に表示するように制御する。

例えば、共感スコアs_tをもとに、他者２−ｊの映像の大きさを基準となる大きさＳ_ｊからscale_t倍に縮小、拡大することで大きさを変化させる。

scale_t=1+α・s_t
αは0<α<1の定数であり、例えば、α=0.2とすればよい。

（制御方法３）
この制御方法では、感情情報σ_i,jとして、事後確率が最も高い共感解釈の種類、すなわちe~_t=argmax _{e_t} P(e_t|B)を用いる。

制御部１２０は、e~_tが「共感」を表すとき、他者２−ｊの映像の大きさＳ_ｊを基準となる大きさＳ_ｓよりも大きく表示装置に表示するように制御する。このときＳ_ｊ←Ｓ_big＞Ｓ_ｓである。また、制御部１２０は、e~_tが「反感」を表すとき、他者２−ｊの映像の大きさＳ_ｊを基準となる大きさＳ_ｓよりも小さく、表示装置に表示するように制御する。このときＳ_ｊ←Ｓ_small＜Ｓ_ｓである。

（制御方法４）
制御部１２０は、「共感」の度合い、または、「反感」の度合いが大きい他者２−ｊの映像ほど大きく表示装置に表示するように制御する。言い換えると、「共感」の度合い、または、「反感」の度合いが大きい他者２−ｊの映像を、「共感」の度合いも「反感」の度合いも小さい他者２−ｊの映像よりも大きく表示装置に表示するように制御する。例えば、以下のように制御する。
（１）時刻ｔにおいて状態が共感である事後確率P(e_t=1|B)、または、反感である事後確率P(e_t=3|B)が所定の閾値Ｔ₄よりも大きい場合に他者２−ｊの映像の大きさＳ_ｊを基準となる大きさＳ_ｓよりも大きく、表示装置に表示するように制御する。
（２）事後確率が最も高い共感解釈の種類、すなわちe~_t=argmax_{e_t} P(e_t|B)が、「共感」、または、「反感」を表すとき、他者２−ｊの映像の大きさＳ_ｊを基準となる大きさＳ_ｓよりも大きく、表示装置に表示するように制御する。
（３）時刻ｔにおいて状態がどちらでもよいである事後確率P(e_t=2|B)が所定の閾値Ｔ₅よりも大きい場合に他者２−ｊの映像の大きさＳ_ｊを基準となる大きさＳ_ｓよりも小さく、表示装置に表示するように制御する。
（４）e~_tが「どちらでもよい」を表すとき、他者２−ｊの映像の大きさＳ_ｊを基準となる大きさＳ_ｓよりも小さく、表示装置に表示するように制御する。
なお、事後確率P(e_t=2|B)が所定の閾値Ｔ₅よりも大きい場合や、e~_tが「どちらでもよい」を表すときには、「共感」の度合い、または、「反感」の度合いが相対的に小さいと考えられるため、（３）（４）では、他者２−ｊの映像の大きさＳ_ｊを基準となる大きさＳ_ｓよりも小さくする。

制御方法１及び３の場合には、一見して他者がどのような状態（「共感」「どちらでもない」「反感」）にあるのかがわかる。一方、制御方法２の場合には、共感反感の程度がどの程度なのかがわかる。また、制御方法２の場合には、他者の映像の大きさを比較して、どちらの他者のほうがより共感しているのかを知ることができる。制御方法２は、他者の映像の大きさを比較したときに、第一の人物の感情情報を直感的に把握しやすくすることができるので、他者が２人以上のときに特に有効である。一方、制御方法１及び３の場合には、基準となる大きさと共感時、反感時の大きさが明らかに違うように設定すれば、他者が１人のときであっても、第一の人物の感情情報を直感的に把握しやすくすることができる。制御方法４の場合には、「共感」「反感」の何れの状態にあるのかはわからないが、何れかの状態にあることは分かる。よって、「共感」若しくは「反感」の状態、または、「どららでもない」状態にあることを直感的に把握しやすくすることができる。一般に、共感の関係にある人物は自分にとって何らかの利益をもたらす可能性を持つ存在であり、他方、反感の関係にある人物は、自分にとって何らかの不利益をもたらす可能性を持つ存在であるため、それらの人物が誰なのかを直感的に把握しやすくすることができる。また、自分と共感あるいは反感の関係にある人物は肯定的にせよ否定的にせよ自分に対して興味を持っている人物である可能性が高く、他方、そうでない人物は自分に対して興味をあまり持っていない人物である可能性が高いことから、自分に対する興味を持ってくれているか否かを直感的に把握しやすくすることができる。

なお、感情情報は、２人の間において相互に共通する感情の度合いを示すものなので、感情情報σ_n,n'=σ_n',nである。言い換えると、２人の間の、一方から他方への感情の度合いと、他方から一方への感情の度合いは同じである。

また、感情情報として、各時点の値を用いてもよいし、各時点からΔＴ時刻前までの値の最頻値などの代表値を用いてもよい。感情情報取得部１１０で事後確率分布P(e_t|B)を求める場合には、各時点からΔＴ時刻前までの値の平均値を、感情情報として用いてもよい。

＜効果＞
このような構成により、第一の人物の感情情報を直感的に把握しやすくすることができる。さらに、第一の人物自身が、表示装置を見る場合には、表示装置３として、ヘッドマウントディスプレイを用いることで、より直感的な把握が可能となる。

＜変形例＞
本実施形態では、共感を二者の感情状態が類似している状態、反感をそれらが異なっている状態と定義したが、外部観測者がある二者を見たときにその二者が「共感」していると感じられるものを『共感』と定義し、「反感」していると感じられるものを『反感』と定義してもよい。つまり、ここでは、観測者各々の内部にある共感・反感の定義に従うこととしている。これは、観測者各々の間で共感・反感の定義や共感・反感を読み取る能力がまちまちであり、むしろ、そのばらつきがあること自体がコミュニケーションの本質であり、複数の観測者による共感・反感の解釈を集めたものでもって客観的な共感・反感の定義とするという立場である。つまり、ここでモデル化したい『共感・反感』という事象には、対話の場における対話者間の共感・反感の不確定性と、外部観測者による共感・反感の定義・解釈の不確定性の両者がたたみ込まれている。

本実施形態では、感情情報として、「共感」の度合い（例えば、状態が共感である事後確率P(e_t=1|B)や、e~_t=argmax _{e_t} P(e_t|B)が共感を表すか否か）、「どちらでもよい」の度合い（例えば、状態がどちらでもよいである事後確率P(e_t=2|B)や、e~_t=argmax_{e_t} P(e_t|B)がどちらでもよいを表すか否か）、「反感」の度合い（例えば、状態が反感である事後確率P(e_t=3|B)や、e~_t=argmax_{e_t} P(e_t|B)が反感を表すか否か）を用いているが、この「共感」の度合いは肯定的関係を表す情報に含まれ、この「反感」の度合いは否定的関係を表す情報に含まれる。肯定的関係としては、他に、愛情や好感等の肯定的な関係が含まれる。また、否定的関係としては、他に、憎悪や嫌悪感等の否定的関係が含まれる。

本実施形態では、Ｎ人が撮影された映像を入力としているが、Ｎ’（＞Ｎ）人が撮影された映像を入力とし、その一部（Ｎ’人のうちのＮ人）に係る感情情報に応じて、（Ｎ−１）人の他者の映像の大きさを変化させて表示装置に表示するように制御してもよい。２≦Ｎ＜Ｎ’である。より詳しく言うと、Ｎ人のうちの１人を第一の人物とし、Ｎ人のうちの第一の人物以外の（Ｎ−１）人を他者とする。例えば、６人が撮影された映像を入力とし、その中の1人を第一の人物とし、３人を他者として、3人の他者の映像の大きさを変化させて表示装置に表示するように制御してもよい。Ｎ人より多くの人物が撮影された映像を受け取る場合、制御部１２０は、その映像と感情情報とを受け取り、Ｎ人より多くの人物の中からＮ人を選択し、さらにＮ人の中から第一の人物を選択する。なお、Ｎ人及び第一の人物の選び方は、ユーザの指定であっても、予め指定された人物であってもよい。他の処理については、制御部１２０で説明した通りである。Ｎ人及び第一の人物の選択は、感情情報取得部１１０の前後の何れであってもよい。感情情報取得部１１０は、撮影された映像に含まれる（Ｎ人より多い）全ての対話者を対象として二者間の感情情報を取得しても良いし、感情情報を表示する一部の人（Ｎ人）を対象として二者間の感情情報を取得しても良い。

本実施形態では、基準となる大きさＳ_sを用いているが、取得した映像の大きさをそのまま用いてもよい。その場合には、取得した映像を縮小、拡大する。取得した映像中の各人物の顔の大きさが均一である場合には、取得したが映像をそのまま用いることで縮小、拡大に係る演算を省略することができる。各人物の顔の大きさが均一でない場合には、基準となる大きさＳ_sと同一、または、Ｓ_sよりも大きく、若しくは、小さくすることで、より第一の人物の感情情報を直感的に把握しやすくすることができる。

本実施形態では、「共感」している他者を大きく表示し、「反感」している他者を小さく表示している。これは、映像が大きいほうが、第一の人物に対して近くに位置していると感じられ、共感していると認識されやすいと仮定しているためである。しかし、映像が大きいほうが、威圧的であると感じられ、反感していると認識されやすいと仮定することもできる。その場合には、逆の制御も可能である。つまり、「共感」している他者を小さく表示し、「反感」している他者を大きく表示するように制御してもよい。要は、感情情報に応じて、他者の映像の大きさを変化させることで利用者が「共感」「反感」の状態をより直感的に把握することができればよい。

本実施形態では、第一の人物２−ｉが表示装置に表示されないように制御しているが、表示するように制御してもよい。図１４は、第一の人物２−ｉ（図中の２−１）が、表示装置３に表示されるように制御した場合の、表示装置３で表示される映像の例を示す。第一の人物２−ｉの映像は基準となる大きさから変化しないように制御し、他者の映像の大きさが変化するように制御する。

感情情報取得部１１０の処理内容は上述の方法に限定されず、感情情報（複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合い）を求めるものであれば、他の方法（例えば、特許文献１または非特許文献１）であってもよい。また、感情は「共感」「反感」「何れでもない」に限定されず、他の感情であってもよい。

感情情報取得部１１０では、対話者間の全ての組合せについて感情情報を求めているが、制御部１２０において用いる感情情報だけを求める構成としてもよい。つまり、第一の人物２−ｉ（ｉは１，２，…，Ｎの何れか）と他者２−ｊ（ｊ＝１，２，…，Ｎ、ただし、ｉ≠ｊ）との間の感情情報のみを求める構成としてもよい。このような構成とすることで、感情情報の取得に係る計算量を軽減することができる。さらに、第一の人物２−ｉと全ての他者との間の感情情報を求めなくともよい。例えば、制御部において、第一の人物２−ｉと一部の他者との間の感情情報のみを表示するように制御してもよく、その場合には、表示を必要とする他者のみについて、感情情報を求めればよい。このような構成により、さらに、感情情報の取得に係る計算量を軽減することができる。

Ｎ人が撮影された映像が、１つの映像データからなるものである場合には、１つの映像データから各人物の顔部分を切り取り、表示装置３で表示できるように合成してもよい。

感情情報取得部１１０が、この共感解釈eの事後確率分布P(e_t|B)を感情情報として求め、出力する場合には、制御部１２０は、他者の映像の大きさを変化させて表示するとともに、各事後確率分布P(e_t|B)を棒グラフ等で表示するにように制御する構成としてもよい（図１５Ａ参照）。言い換えると、制御部１２０は、感情情報取得部１１０で求めた全ての種類の感情の度合いを感情情報として表示するように制御する構成としてもよい。図中、右下がり対角線は「共感」の、縦線は「反感」の、「横線」は「何れでもない」の事後確率を表す。また、他者の映像の大きさを変化させて表示するとともに、事後確率が最も高い共感解釈の種類を表すイラストやマークを表示してもよい。例えば、感情情報が「共感」であることを表す笑顔（図１５Ｂ参照）や「反感」であることを表す怒り顔（図１５Ｃ参照）のイラスト、漫画などで用いられる例えば怒りマーク（図１５Ｄ参照、例えば「反感」であることを表す）や渦巻きマーク（図１５Ｅ参照、例えば「反感」であることを表す）、あるいは、晴れ（図１５Ｆ参照、例えば「共感」であることを表す）／曇り（図１５Ｇ参照、例えば「どちらでもない」であることを表す）／雨（図１５Ｈ参照、例えば「反感」であることを表す）マークなどが考えられる。このように表示することで、感情情報を表示装置の視聴者にとってシンプルかつ単純に表示することができる。

＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。

第二実施形態では、制御部１２０の処理内容が第一実施形態とは異なる。

＜制御部１２０＞
制御部１２０は、Ｎ人が撮影された映像と感情情報とを受け取り、感情情報のうち、感情情報σ_n,n'に応じて、その人物間の距離を変化させて表示装置３に表示するように制御する（ｓ２）。ただし、n=1,2,…,N、n'=1,2,…,N、n≠n'である。人物間の距離を変化させることで、表示装置３の視聴者は、人物間の感情を直感的に把握することができる。以下、制御方法を四つ提示する。

（制御方法１）
制御部１２０は、「共感」の度合いが「反感」の度合いよりも大きい人物間の距離ほど小さく表示装置３に表示するように制御する。言い換えると、「共感」の度合いが「反感」の度合いよりも大きい人物間の距離を、「反感」の度合いが「共感」の度合いよりも大きい人物間の距離よりも小さく表示装置３に表示するように制御する。例えば、「共感」の度合いが所定の閾値Ｔ_１よりも大きい場合に対応する人物間の距離ｄ_n,n'を基準となる距離ｄ_ｓよりも小さく表示装置に表示するように制御する。このときｄ_n,n'←ｄ_sh＜ｄ_ｓである。また、制御部１２０は、「反感」の度合いが所定の閾値Ｔ_２よりも大きい場合に対応する人物間の距離ｄ_n,n'を基準となる距離ｄ_ｓよりも大きく表示装置に表示するように制御する。このときｄ_n,n'←ｄ_lo＞ｄ_ｓである。

例えば、Ｎ＝４とし、制御部１２０は、４人の人物２−１、２−２、２−３、２−４がそれぞれ撮影された４つ映像と感情情報σ_n,n'とを受け取る（ただし、ｎ＝１，２，３，４、ｎ’＝１，２，３，４、ｎ≠ｎ’、σ_n,n'=σ_n',nである）。この制御方法では、感情情報σ_n,n'は、共感解釈eの事後確率分布P(e_t|B)からなり、時刻ｔにおいて状態が共感である事後確率P(e_t=1|B)、時刻ｔにおいて状態がどちらでもないである事後確率P(e_t=2|B)、時刻ｔにおいて状態が反感である事後確率P(e_t=3|B)を含む。

制御部１２０は、感情情報σ_n,n'に含まれる状態が共感である事後確率P(e_t=1|B)と閾値Ｔ_１とを比較し、P(e_t=1|B)＞Ｔ_１の場合にはその事後確率P(e_t=1|B)に対応する人物２−ｎと人物２−ｎ’との間の距離をｄ_n,n'←ｄ_shとする。さらに、制御部１２０は、感情情報σ_n,n'に含まれる状態が反感である事後確率P(e_t=3|B)と閾値Ｔ_２とを比較し、P(e_t=3|B)＞Ｔ_２の場合にはその事後確率P(e_t=3|B)に対応する人物２−ｎと人物２−ｎ’との間の距離をｄ_n,n'←ｄ_loとする。制御部１２０は、P(e_t=1|B)＜Ｔ_１、かつ、P(e_t=3|B)＜Ｔ_２のとき、対応する人物２−ｎと人物２−ｎ’との間の距離をｄ_n,n'←ｄ_sとする。なお、制御部１２０は、感情情報σ_i,jに含まれる状態がどちらでもないである事後確率P(e_t=2|B)と閾値Ｔ₃とを比較し、P(e_t=2|B)＞Ｔ₃の場合にはその事後確率P(e_t=2|B)に対応する人物２−ｎと人物２−ｎ’との間の距離をｄ_n,n'←ｄ_sとしてもよい。制御部１２０は、人物間の距離を変更した４つの映像を表示装置３で表示できるように合成する。図１６は表示装置３に表示される映像の例を表す。なお、この図において、人物２−１と人物２−２との間のの感情情報σ_１,２、及び、人物２−３と人物２−４との間の感情情報σ_3,4に含まれる状態が共感である事後確率P(e_t=1|B)は閾値Ｔ_１より大きく共感していると考えられ、その他の感情情報σ_n,n'に含まれる状態が反感である事後確率P(e_t=3|B)は閾値Ｔ₂より大きく反感していると考えられる。なお、図１６では、人物間の感情情報σ_n,n'を表す線を補助的に表示している。人物を結ぶ実線は感情情報σ_n,n'が共感であることを、破線は反感であることを表す。

なお、閾値Ｔ_１，Ｔ_２をそれぞれ段階的に設けて、距離を段階的に変化させてもよい。

（制御方法２）
この制御方法では、制御方法１と同様に、感情情報σ_n,n'として、共感解釈eの事後確率分布P(e_t|B)を用いる。

制御部１２０は、状態が共感である事後確率P(e_t=1|B)と、状態が反感である事後確率P(e_t=3|B)とから、例えば次式により、共感スコアs_tを求める。

s_t=P(e_t=1|B)-P(e_t=3|B)
制御部１２０は、共感スコアs_tの大きい人物間の距離を、共感スコアs_tの小さい人物間の距離よりも小さく（言い換えると、共感スコアs_tの大きい人物間の距離ほど小さく）表示装置３に表示するように制御する。

例えば、感情情報σ_n,n'をもとに定義した対話者間の距離行列Dを入力として、多次元尺度構成法などの次元削減法を用いることにより座標行列Xを算出する。算出手順は以下の通りである。

1．距離行列Dの設定
距離行列DはN×Nの行列である。ここでNは対話者数を表す。距離行列Dの(n,n')成分をd_n,n'とすると、d_n,n'=(1-β・s_n,n')等とすればよい。ここで、βは0<β<1の定数であり、例えばβ=0.5等とする。また、s_n,n'は人物２−ｎと人物２−ｎ’のペアにおける共感スコアs_tであり、s_n,n=0である（なお、時刻tは省略している）。

2．二重中心化行列Bの算出
二重中心化行列Bを

として算出する。ここで、I^-はN×Nの単位行列、また、1^-は全ての要素が1であるN×1のベクトルである。

3．座標行列Xの算出
座標行列XをX=Σ・Λ^1/2として算出する。ここで、Σは二重中心化行列Ｂの固有値を対角成分に並べた対角行列であり、ΛはΣに対応する二重中心化行列Ｂの固有ベクトルを並べた行列である。

なお、感情情報σ_n,n'として、事後確率が最も高い共感解釈の種類、すなわちe~_t=argmax _{e_t} P(e_t|B)を用いてもよい。その場合、事後確率が最も高い共感解釈の種類が「共感」の場合にはe~_t=1とし、「どちらでもない」の場合にはe~_t=2とし、「反感」の場合にはe~_t=3として、d_n,n'=e~_t等とすればよい。このときd_n,n=0とする。

（制御方法３）
この制御方法では、感情情報σ_n,n'として、事後確率が最も高い共感解釈の種類、すなわちe~_t=argmax _{e_t} P(e_t|B)を用いる。

制御部１２０は、e~_tが「共感」を表すとき、対応する人物間の距離d_n,n'を基準となる距離d_ｓよりも小さく表示装置に表示するように制御する。このときd_n,n'←d_sh＜d_ｓである。また、制御部１２０は、e~_tが「反感」を表すとき、対応する人物間の距離d_n,n'を基準となる距離d_ｓよりも大きく表示装置に表示するように制御する。このときd_n,n'←d_lo＞d_ｓである。

（制御方法４）
制御部１２０は、「共感」の度合い、または、「反感」の度合いが大きい人物間の距離ほど小さく表示装置に表示するように制御する。言い換えると、「共感」の度合い、または、「反感」の度合いが人物間の距離を、「共感」の度合い、または、「反感」の度合いが小さい人物間の距離よりも小さく表示装置に表示するように制御する。例えば、以下のように制御する。
（１）時刻ｔにおいて状態が共感である事後確率P(e_t=1|B)、または、反感である事後確率P(e_t=3|B)が所定の閾値Ｔ₄よりも大きい場合に対応する人物間の距離d_n,n'を基準となる距離ｄ_ｓよりも小さく、表示装置に表示するように制御する。
（２）事後確率が最も高い共感解釈の種類、すなわちe~_t=argmax_{e_t} P(e_t|B)が、「共感」、または、「反感」を表すとき、対応する人物間の距離ｄ_nn'を基準となる距離ｄ_ｓよりも小さく、表示装置に表示するように制御する。
（３）時刻ｔにおいて状態がどちらでもよいである事後確率P(e_t=2|B)が所定の閾値Ｔ₅よりも大きい場合に対応する人物間の人物間の距離ｄ_nn'を基準となる距離ｄ_ｓよりも大きく、表示装置に表示するように制御する。
（４）e~_tが「どちらでもよい」を表すとき、対応する人物間の人物間の距離ｄ_nn'を基準となる距離ｄ_ｓよりも大きく、表示装置に表示するように制御する。
なお、事後確率P(e_t=2|B)が所定の閾値Ｔ₅よりも大きい場合や、e~_tが「どちらでもよい」を表すときには、「共感」の度合い、または、「反感」の度合いが相対的に小さいと考えられるため、（３）（４）では、対応する人物間の人物間の距離ｄ_nn'を基準となる距離ｄ_ｓよりも大きくする。

制御方法１及び３の場合には、一見して人物間がどのような状態（「共感」「どちらでもない」「反感」）にあるのかがわかる。一方、制御方法２の場合には、共感反感の程度がどの程度なのかがわかる。また、人物間の距離を比較して、どちらのほうがより共感しているのかを知ることができる。制御方法２は、人物間の距離を比較したときに、人物間の感情情報を直感的に把握しやすくすることができるので、他者が２人以上のときに特に有効である。さらに、グループの中にサブグループがあればそれも直感的に把握しやすくなる。例えば、（図１６のように、）共感しあっているサブグループ（人物２−１と人物２−２からなるサブグループと、人物２−３と人物２−４からなるサブグループ）があり、それらサブグループ間が対立しているという構造も容易に把握できる。一方、制御方法１及び３の場合には、基準となる距離と共感時、反感時の距離が明らかに違うように設定すれば、他者が１人のときであっても、人物間の感情情報を直感的に把握しやすくすることができる。制御方法４の場合には、「共感」「反感」の何れの状態にあるのかはわからないが、何れかの状態にあることは分かる。よって、「共感」若しくは「反感」の状態、または、「どららでもない」状態にあることを直感的に把握しやすくすることができる。

＜効果＞
このような構成により、人物間の感情情報やグループの構造を直感的に把握しやすくすることができる。なお、本実施形態についても第一実施形態の変形例と同様の変形が可能である。例えば、感情情報に応じて、人物間の距離を変化させることで利用者が「共感」「反感」の状態を知ることができればよいので、「共感」している人物間の距離を大きくし、「反感」している人物間の距離を小さくするように制御してもよい。ただし、距離が小さいほうが、共感していると認識されやすいと考えられる。そのため、より直感的に把握しやすい。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (12)

1. 複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、２人以上が撮影された映像から、前記２人以上のうちの２人の間の感情情報を求める感情情報取得部と、
   前記２人以上のうちの１人である第一の人物と他者との間の感情情報に応じて、その他者の映像の大きさを変化させて表示装置に表示するように制御する制御部とを含む、
   感情情報表示制御装置。
2. 請求項１の感情情報表示制御装置であって、
   前記感情情報には、肯定的関係を表す情報と否定的関係を表す情報とが含まれるものとし、前記制御部は、前記感情情報に含まれる肯定的関係を表す情報と否定的関係を表す情報とに応じて映像の大きさを変化させて前記表示装置に表示するように制御する、
   感情情報表示制御装置。
3. 請求項１の感情情報表示制御装置であって、
   前記感情情報には、肯定的関係を表す情報と否定的関係を表す情報とが含まれるものとし、前記制御部は、前記肯定的関係を表す情報と前記否定的関係を表す情報とから共感スコアを求め、求めた共感スコアに応じて映像の大きさを変化させて前記表示装置に表示するように制御する、
   感情情報表示制御装置。
4. 請求項２または３感情情報表示制御装置であって、
   前記制御部は、肯定的関係が否定的関係よりも強い人物ほど、または、共感スコアの高い人物であるほど、または、肯定的関係若しくは否定的関係が強い人物ほど大きく前記表示装置に表示するように制御する、
   感情情報表示制御装置。
5. 複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、２人以上が撮影された映像から、前記２人以上のうちの２人の間の感情情報を求める感情情報取得部と、
   感情情報に応じて、対応する人物間の距離を変化させて表示装置に表示するように制御する制御部とを含む、
   感情情報表示制御装置。
6. 請求項５の感情情報表示制御装置であって、
   前記感情情報には、肯定的関係を表す情報と否定的関係を表す情報とが含まれるものとし、前記制御部は、前記感情情報に含まれる肯定的関係を表す情報と否定的関係を表す情報とに応じて、対応する人物間の距離を変化させて前記表示装置に表示するように制御する、
   感情情報表示制御装置。
7. 請求項５の感情情報表示制御装置であって、
   前記感情情報には、肯定的関係を表す情報と否定的関係を表す情報とが含まれるものとし、前記肯定的関係を表す情報と前記否定的関係を表す情報とから共感スコアを求め、求めた共感スコアに応じて、対応する人物間の距離を変化させて前記表示装置に表示するように制御する、
   感情情報表示制御装置。
8. 請求項６または７の感情情報表示制御装置であって、
   前記制御部は、
   肯定的関係が否定的関係よりも強い人物間の距離ほど、または、共感スコアの高い人物間の距離ほど、または、肯定的関係若しくは否定的関係が強い人物間の距離ほど小さく前記表示装置に表示するように制御する、
   感情情報表示制御装置。
9. 請求項２から４及び請求項６から８の何れかの感情情報表示制御装置であって、
   前記肯定的関係を表す情報は２人の間の「共感」の度合いであり、前記否定的関係を表す情報は２人の間の「反感」の度合いである、
   感情情報表示制御装置。
10. 複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、２人以上が撮影された映像から、前記２人以上のうちの２人の間の感情情報を求める感情情報取得ステップと、
    前記２人以上のうちの１人である第一の人物と他者との間の感情情報に応じて、その他者の映像の大きさを変化させて表示方法に表示するように制御する制御ステップとを含む、
    感情情報表示制御方法。
11. 複数の人物の中の２人の人物から構成される各ペアについてのその各ペアを構成する２人の人物の間の感情の度合いを感情情報とし、２人以上が撮影された映像から、前記２人以上のうちの２人の間の感情情報を求める感情情報取得ステップと、
    感情情報に応じて、その人物間の距離を変化させて表示方法に表示するように制御する制御ステップとを含む、
    感情情報表示制御方法。
12. 請求項１から９の何れかの感情情報表示制御装置として、コンピュータを機能させるためのプログラム。