JP2005199373A - コミュニケーション装置及びコミュニケーション方法 - Google Patents

Abstract

【課題】 本発明は、センサ等から検知される周囲情報、及び対話相手との対話内容に応じて確信度を随時更新させることにより、連続した自然な対話をすることができるコミュニケーション装置を提供することを目的とする。
【解決手段】 本発明のコミュニケーション装置は、センサ入力部１０１からのセンサ情報をセンサ種別情報や属性により対応させて記憶する分散センサ情報ＤＢ１１１と、この分散センサ情報ＤＢ１１１に記憶されているセンサ情報に基づき認識処理を行う分散環境行動処理部１０２と、この分散環境行動処理部１０２の認識結果に応じて確信度を付与する確信度付与部１０３と、分散環境行動処理部１０２の認識結果と、確信度付与部１０３が付与した確信度とを分散センサ情報ＤＢ１１１のセンサ情報とを対応させて記憶する分散環境行動ＤＢ１１０とから構成される。
【選択図】 図１

Description

本発明は分散した多種のセンサなどにより取得したセンシング情報から認識した位置や個人認識などの時々刻々変化する確信度をもとに、ユーザにとって自然な状況に応じたコミュニケーション装置に関する。

キーボードやマウスを使って画面上のアイコンやメニューをポインティングすることで操作をおこなうＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）は、オフィスにおける生産効率向上に大きく貢献した。これに対し、家庭などでキーボードやマウスなどを用いることなく、ジェスチャや自然言語を用いた人間にとって自然な対話を行いたいという要求がある。

この要求にこたえるために、自然言語を用いて質問応答を行うシステムやジェスチャを用いたロボットとの対話システムなどが開発されている。これらの対話システムにおいて、人工知能分野では、人間にとって好ましい対話が行えるように、話題の確からしさや、対話相手である人間の状況認識の確からしさを（それぞれのパラメータの内容は精密には同義ではないが）、確信度として用いる方法がいくつか提案されている。

例えば、ユーザの質問に対して、知識ベースを検索し、回答を作成する際に、知識ベースの検索結果の確信度（尤もらしい確率、パターンマッチングの整合度）を用いるものがある。これらの質問応答システムでは、質問に対して最も確信度が高い回答を見出し、回答文を生成する。ここでは、同一の確信度で回答が見出された場合、どの回答が望まれているのか、人間に質問を投げ返すことが示されている（例えば、非特許文献１を参照）。

また、確信度にあわせて、システム側の押し付け度合いを主導度、大胆度、情報提供度に分けて定義して、回答文生成を制御するシステムも提案されている（例えば、非特許文献２を参照）。確信度が高く、主導度との和、あるいは大胆度との和が１を超えていると、人間に意思決定をゆだねず、システム側が意思決定を行い、逆に確信度が低く、主導度との和が１以下であると、情報提供のみを行うというように、制御を行うものである。

これら従来技術では、確信度を決定するための知識ベースを有する個々の知識ユニットが有する確率などは確定的である。確信度の導出方法に変化があるのは、新しい知識ユニットが加わった時、あるいは対象となる人間の特性にあわせて利用する知識ユニットのドメイン（分野）を変更する時などである。一度変更がなされると、同じ質問に対して、同じ確信度が算出される。

人間同士の自然な対話においては、まったく同じ質問であっても、受け手の専門知識や興味ある分野（ドメイン）、現在の関心事項によって、異なる知識が検索され、回答されるなど、受け手の状況に応じて知識の検索結果の確信度は変化している。これに対し、現状のシステムでは同一の質問文に対しては、同じ確信度になるため、自然な対話が実現できないという問題がある。

さらに、対話の送り手側の人間が同じ質問をしたとしても、送り手側の発声や雑音などの影響で、受け手が異なる質問文として受け取ることがある。あるいは受け手がシステムであるとしても送り手側の発声や雑音の影響や音声認識結果が変化し、システムに与えられるテキストとしての質問文が異なる場合がある。

一方、入力に音声認識を用いる場合には、認識した単語の確からしさを示す確信度を用いることがある。しかし、これらの確信度は、認識した単語を連結した際に、構文としての確からしさとして用いられる。つまり、音声認識の精度は認識結果を得るために利用され、認識結果としての質問文の確からしさとしてのみ用いられている。認識単語の確信度に応じて、その後の対話方式を制御することは行われていない。そのため、自然な対話が実現できないという問題もある。

センサ情報など外部からの刺激情報を評価して、ユーザからの働きかけか否かを判別し、ユーザの働きかけごとに外部刺激を所定のパラメータへ数値化すると共に、当該パラメータに基づいて行動を決定し、決定した行動に基づいてロボット装置の各部位を動作させるようにしたロボットがある（例えば、特許文献１を参照）。しかし、例えばユーザが遠方にいて、ロボットに対して働きかけを行っていない場合には、ロボットが取得する外部刺激となるユーザの影響はパラメータ化されない、つまり確信度として対話制御に用いられない。

特開２００２−１７８２８２公報 大規模テキスト知識ベースに基づく自動質問応答、電子情報通信学会、信学技法 秘書エージェントのための対話管理とその適応機能、日本人工知能学会第16回全国大会、2002. 福井和広、山口治「形状抽出とパターン照合の組み合わせによる顔特徴点抽出」、電子情報通信学会論文誌、Vol.J80-D-II、 No.8、pp.2170-2177(1997)

上記説明したように、質問文応答などの対話制御に使用されている確信度は、知識データベースに付与されている確定的な確率を用いるために、入力文が同一であるときには、文脈や周囲状況に依存せず、同一の確信度となり、変化のない応答しかできないという問題がある。また、外部刺激を用いるロボットの対話制御においてもユーザが働きかけをしたときのみ外部刺激が取り入れられ、パラメータとして用いられるため、周囲情報を連続して確信度として用いる対話制御を行うことができないという問題がある。さらに、確信度を用いてロボットの対話制御をおこなうものでも、確信度の算出は確定的であり、周囲情報に応じて変化しない。

つまり、確信度を内容や対話相手だけでなく、周囲情報に応じて、変化させる仕組みがないため、連続した対話制御を行うことができないという問題があった。
本発明は、上記問題を解決するものであって、センサ等から検知される周囲情報、及び対話相手との対話内容に応じて確信度を随時更新させることにより、連続した自然な対話をすることができるコミュニケーション装置を提供することを目的とする。

上記目的を達成するために、本発明に係るコミュニケーション装置は、複数センサからのセンサ情報をセンサ種別情報や属性により対応させて記憶する分散センサ記憶部と、前記分散センサ記憶部に記憶されているセンサ情報に基づき認識処理を行う分散環境行動処理部と、前記分散環境行動処理部の認識結果に応じて確信度を付与する確信度付与部と、前記分散環境行動処理部の認識結果と、前記確信度付与部が付与した確信度とを、前記分散センサ記憶部のセンサ情報とを対応させて記憶する分散環境行動記憶部とを備えることを特徴とする。

また、本発明に係るコミュニケーション方法は、分散センサ記憶部により複数センサからのセンサ情報をセンサ種別情報や属性に対応させて記憶し、分散環境行動処理部により前記センサ情報に基づき認識処理を行い、確信度付与部により前記分散環境行動処理部の認識結果に応じて確信度を付与し、分散環境行動記憶部により前記認識結果と前記確信度とを前記分散センサ記憶部のセンサ情報とを対応させて記憶することを特徴とする。

本発明の構成によれば、随時更新される確信度により、ロボットなどが対話を行い、必要な情報を取得して負担なく自然な対話を実現でき、連続した対話制御を行うことができる。

本発明の実施の形態について図面を用いて説明する。図１は実施の形態のコミュニケーション装置の構成概略を示したブロック図である。
コミュニケーション装置は、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）タグ、光センサ、あるいはマイクロフォン（以下マイクと称する）、カメラなどの複数の分散するセンサから構成されるセンサ入力部１０１と、センサ入力部１０１から入力されたセンサ情報とその認識結果とを格納する分散環境行動ＤＢ（ＤａｔａＢａｓｅ）１１０と、センサ入力部１０１からの情報を音声認識、画像認識、あるいは無線の強度による位置同定などの種々の処理をおこなう分散環境行動処理部１０２と、センサ入力部１０１からのセンサ情報あるいは分散環境行動ＤＢ１１０に格納された情報をもとに、確信度を付与する確信度付与部１０３と、センサ入力部１０１からの情報にもとづき随時あるいはリアルタイムで分散環境行動ＤＢ１１０に格納された情報および確信度を編集する分散環境行動編集部１０４と、分散環境行動ＤＢ１１０に格納された情報および確信度をもとに、コミュニケーション制御を行うコミュニケーション制御部１０５と、コミュニケーション制御部１０５の制御に基づきユーザに提示するコミュニケーションの生成を行うコミュニケーション生成部１０６と、コミュニケーション生成部１０６の生成結果を、ロボットが提示できるメディアに変換する表現メディア変換部１０７と、表現メディア変換部１０７の変換結果を提示するコミュニケーション提示部１０８とから構成されている。

図２は、家庭にセンサ入力部１０１が複数設置されている様子を示している。家庭に設置されるセンサとしては煙センサ、温度センサ、歪センサ、圧力センサなど種々のものがあるが、ここでは、説明に用いるＲＦタグ及び光センサ等を用いる位置センサ、カメラ、及びマイクのみを記している。

例えば、１Ｆの浴室には見守り役のロボットＡ（２０１）、２Ｆの居間には話し相手のロボットＢ（２０２）、外部には番犬の役目を果たすロボットＣ（２０３）がいる。これらロボットＡ〜Ｃ（２０１〜２０３）には、移動する際に必要な障害物を検出するための超音波センサや赤外線センサなどの種々のセンサがついているが、ここでは説明に用いるカメラ、マイク等のセンサのみ記している。

いずれのロボットにも、ヒトの顔かどうか、あるいは見分けた顔で個人認証したり、あるいは顔向きを検出したり、あるいは動物体があるかどうかなどの状況を識別するためカメラ（動画カメラ）２０１２、２０２２、２０３２がついている。カメラ２０１２、２０２２、２０３２は、すべておなじ規格である必要はない。例えば、ロボットＣ２０１は監視することが目的であるので、カメラ２０３２は夜間でも使用できる赤外線カメラ、あるいは高速に移動する動物体を見分けるための６０枚／秒以上での撮影ができる高速度撮影カメラを用いることも可能である（通常のカメラは３０枚／秒程度）。また、ロボットＡ（２０１）やロボットＢ（２０３）は、ヒトと対話することが目的なので、ステレオタイプカメラ（２眼）にして距離を見分けるとともに、２眼にすることで、対応するヒトからみると２つの目との対話になるので、安心できるようにすることもある。あるいは、ロボットＡ２０１のように子守が役目の場合には、子供と対応するので、耐水性があるカメラなどを用いるようにしてもよい。一つのロボットが複数のカメラを有して、例えば昼間は高照度なので、通常のカメラ、夜間は低照度なので、赤外線カメラと使いわけることも可能である。さらに、カメラの解像度についてもロボット毎に高解像度カメラ、あるいは低解像度カメラにするといった使い分けすることも可能である。省電のために、赤外センサなどと組み合わせて動きがあるときのみ撮像するようにした監視カメラ等を用いるようにしてもよい。このような使い分けなどは、家庭の部屋に設置されているカメラ１０１１−Ｂやカメラ１０１３−Ｂについても同様である。

例えば、居間に設置されたカメラ１０１３−Ａが撮像した結果は、センサ入力部１０１からのセンサ情報として、センサの精度とともに蓄積する分散環境行動ＤＢ１１０のうちの分散センサ情報ＤＢ１１１に蓄積される。分散センサ情報ＤＢ１１１に蓄積される情報形式は図３のようになる。

カメラやマイク、その他のセンサすべてに関して、一意に定まっている機械（ＭＡＣ）アドレスなどのセンサＩＤ、センサ名、センサの性能や機能などを参照するときに必要となるので、カタログ参照ＤＢでのＩＤ、センサが設置されている場所、センサが取得するデータ種類、データの次元、データの精度、センサデータ取得のサンプリングレート、記録開始日時、取得データの単位、取得したデータのラベルとが冒頭に記述されている。データの精度やデータの単位は、データの次元に応じて記述されている。

続いて<body>と</body>にはさまれた部分にデータ本体が記述されている。この場合、カメラが撮像したデータはたとえば、３０フレーム／秒の画像データである。通常のビデオカメラであれば、画像は６４０画素ｘ４８０画素の２次元データである。しかし、１枚のフレームは１つのまとまりであるので、データの次元としては１次元で、サンプリングレートは１／３０となっている。個々のデータは、たとえば<body>に記述されているように、ＭＰＥＧ２（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）で圧縮されたファイルとなっており、そのファイル名とそれぞれのファイルの末尾でのタイムスタンプが記述されている。

ここでは、例えばＭＰＥＧ２ファイルで蓄積しているが、必ずしもこれに限られる必要はない。例えば、ＭｏｔｉｏｎＪＰＥＧ、ＪＰＥＧ２０００、ａｖｉ、ＭＰＥＧ１、ＭＰＥＧ４、あるいはＤＶなど種々の動画像対応フォーマットがあり、どのようなフォーマットでも適用できる。

ところで、精度は１次元であるので、<accurate-x>のみが記述されていて、ここでは１．０となっている。つまり、カメラを設定したときの状態で撮像が行われていることを示している。この精度は、例えば照度不足なのにフラッシュが使えない、直射日光が直接降り注ぎ逆光になっている、あるいは充電不足等、カメラがカタログ値とおりの性能で撮像できないときには、この精度は１．０より小さな値となる。

また、ロボットＡ〜Ｃ（２０１〜２０３）には、ヒトの声で個人認証したり、あるいは動物体などあるかどうかなどの状況を識別するためのマイク２０１３、２０２３、２０３３がついている。マイクついてもカメラと同様に、同一規格のマイクを用いる必要はない。

例えば、２本のマイクを用いることで指向性を高めたマイクアレイを用いて、ある一定範囲の音だけ集音するようにしてもよい。あるいは、省電のために、赤外センサなどと組み合わせて動きがあるときのみ集音するようにした集音マイクを用いることも可能である。このような使い分けなどは、家庭の部屋に設置されているマイク１０１１−Ｃやマイク１０１３−Ｃについても同様である。

例えば、居間に設置されたマイクロフォン１０１３−Ｃが集音した結果は、センサ入力部１０１からのセンサ情報として、センサの精度とともに蓄積する分散環境行動ＤＢ１１０のうちの分散センサ情報ＤＢ１１１に蓄積される。分散センサ情報ＤＢ１１１に蓄積される情報形式は図４のようになる。

図４の情報形式は、図３の情報形式と同様である。異なっている点は、上述したカメラの場合は、ＭＰＥＧファイル等であったのに、ここでは音データのフォーマットであるｗａｖ形式となっている。例として、ｗａｖフォーマットになっているが、かならずしもこれに限られる必要はない。例えばＭＰＥＧフォーマット（ＭＰ３）など、動画像と同様にどのようなフォーマットであってもよい。

精度は、１次元であるので<accurate-x>のみが記述されていて、ここでは１．０となっている。つまりマイクを設定したときの状態で集音が行われていることを示している。この精度は、例えば充電不足など、マイクがカタログ値とおりの性能で撮像できないときには、この精度は１．０より小さな値になる。

センサとしては、図２にカメラやマイク以外に位置センサ１０１１−Ａ、１０１２−Ａ、１０１３−Ａが設置されている。位置センサにはいろいろな形式があるが、ここでは、例えばロボットＡ〜Ｃ（２０１〜２０３）、あるいはヒトＡ〜Ｄは、ＲＦＩＤなどの無線タグを持っており、その微弱電波を位置センサ１０１１−Ａ、１０１２−Ａ、１０１３−Ａが検知する方式とする。無線タグにも自ら電波を発するアクティブ方式と、自ら電波を発せず、位置センサのゲートに近づいたときに電磁誘導により電波を発生するパッシブ方式とがある。ここでは、アクティブ方式の無線タグをロボットＡ〜Ｃ（２０１〜２０３）、あるいはヒトＡ〜Ｄのそれぞれが身に付けているとする。ヒトの場合には、たとえば、室内履きなどに無線タグを付けておけば、本人は付けていることを意識せず、負担に感じることはない。但し、室内履きを必ずしも履かないこともあるので、その場合には、ヒトの位置の確信度として、１．０より低い値となる。

居間にある位置センサ１０１３−Ａが検知した結果は、センサ入力部１０１からのセンサ情報として、センサの精度とともに蓄積する分散環境行動ＤＢ１１０のうちの分散センサ情報ＤＢ１１１に蓄積される。分散センサ情報ＤＢ１１１に蓄積される情報形式は図５のようになる。

図５の情報形式は、図３または図４の情報形式とほぼ同様である。異なっている点は、データ２次元であることと、データが音や画像のように大容量ではないので直接<body>内に記述されていることである。

データとしては、電波を検知した無線タグの番号とそのときの電波強度の２種になっている。無線タグ番号はここでは、わかりやすくするために、ヒトＡが付けている無線タグの番号は「ＸＸＸヒトＡ」、ロボットＢ（２０２）が付けている無線タグ番号は「ＸＸＸロボＢ」と記述している。一方の電波強度は、位置センサが取得する電波強度を０〜２５５までの２５６段階で正規化した時の値となっている。但し、２５５を表す電波強度が一番強く、最も近い場所に存在し、それに対して低い値ほど遠くなる。電波強度は距離の二乗に反比例するので、２５６段階は線形ではなく、大きな値ほど範囲が狭く、小さい値ほど広い範囲が含まれる。

図２のように居間にヒトＡ〜ＣとロボットＢ（２０２）と複数の無線タグが存在する場合、位置センサ１０１３−Ａはすべての無線タグを同時に検知している訳ではなく、順次検知している。よって、図５に示すように、検知した結果は時系列に記述されている。この場合、ヒトＢやヒトＣは位置センサ１０１３−Ａより遠いところにいるので、電波が弱いために必ず電波が届くわけではない。そのため検知されない場合もあり、図５に示されているように、ヒトＡやロボットＢ（２０２）が検知される回数の方が多い。また、場合によっては、図５にあるように外にいるロボットＣ（２０３）が検知されてしまうこともある。従って、検知した無線タグＩＤに関しての、精度は１．０以下である。ここでは、このセンサの精度は０．８となっている。

無線タグは、例えばカタログで通信距離１０ｍとなっているときには、最低１０ｍは検知可能ということである。最低１０ｍということは、１０ｍ以上電波が届くということであり、事実上４０ｍまで検知可能な場合もある。さらに、実際には、アンテナ取り付け向きなどの電波の届く距離には、個体差がある。そこで、ｙ軸（２次元データのうちの２番目のデータ）の範囲としては、例えば、８〜４０ｍとなっている。最低が８ｍとなっているのは、１０ｍが最低といっても実際に居間にすえつけた時に計測したデータで最低が８ｍとなったことを示している。

電波強度Ｉは

ｋは係数
ｒが距離
但し、この場合電波強度Ｉは２５６段階となっている。
さらに、位置センサは温度や部屋にいる人数などによって電波の届き方が変動することを考慮して、ここでは距離に関する精度０．６としている。
ここでは、特に触れないが、他のセンサ情報に関しても図３〜図５と同様に、分散センサ情報ＤＢ１１１に蓄積されている。
分散環境行動処理部１０２は、逐次分散センサ情報ＤＢ１１１に蓄積される情報を読み出し、ヒトとモノの情報にわけ、また適切な認識処理を行い、センサ情報の精度をもとに、確信度付与部１０３の算出した確信度とあわせて、分散環境行動編集部１０４により、その結果を、モノにかかわる位置や姿勢、モノの状態（移動中など）を分散環境情報ＤＢ１１２に、ヒトにかかわる位置や姿勢、歩行や安静などの基本的な動作情報を分散状態情報ＤＢ１１３へ書き込む。

さらに、分散センサ情報ＤＢ１１１と分散状態情報ＤＢ１１２、分散状態情報ＤＢ１１３の情報を読み出し、適切な認識処理を行い、読み出したセンサ精度や確信度をもとに、確信度付与部１０３の算出した確信度とあわせて、分散環境行動編集部１０４により、睡眠や食事、ＴＶ視聴、入浴、料理などの行動を分散行動情報ＤＢ１１４に書き込む。

さらに、分散センサ情報ＤＢ１１１と分散状態情報ＤＢ１１２、分散状態情報ＤＢ１１３、分散行動情報ＤＢ１１４の情報を読み出し、適切な認識処理を行い、読み出したセンサ精度や確信度をもとに、確信度付与部１０３の算出した確信度とあわせて、分散環境行動編集部１０４により、ヒトが例えば、ＴＶを視聴している場合には、ヒトがＴＶサービスを利用していることをヒトとサービスのインタラクションＤＢ１１５に、ヒトが皿をしまったといったヒトとモノの関わりをヒトとモノのインタラクションＤＢ１１６に、家族が話しているといったヒトとヒトの関わりをインタラクションＤＢ１１７に書き込んでいく。

以下に、図３、図４、図５に例示した分散センサ情報をもとに、どのように確信度を算出しつつ、分散環境行動ＤＢ１１０に対して編集を行っていくかを説明する。図６に示したように、分散環境行動処理部１０２は、存在するヒトが家人かどうかを認証する個人認証部１０２１と、その動作を認識するための動作認識部１０２４と、行動を認識するための行動認識部１０４５と、状況を認識するための状況認識部１０４６と、モノやサービスなどの環境を認識するための環境認識部１０４７と、さらにこれらのもととなる認識処理を行う画像認識部１０２２と、音声認識部１０２３から構成されている。

ここでは、動作認識部１０２４と個人認証部１０２１とが、どのように分散センサ情報ＤＢ１１１のセンサ情報を用いてヒトＡの位置と動作が認識され、分散状態情報ＤＢ１１３に記述されたかを図６を用いて説明する。モノにかかわる分散状態情報ＤＢ１１２についても分散状態情報ＤＢ１１３とほぼ同様なので、ここでは分散状態情報ＤＢ１１３についてのみ説明する。

動作認識部１０２４は、図５にあるような分散センサ情報ＤＢ１１１の位置センサ１０１３−Ａの情報でヒトＡの位置が複数回検出されていることを検索する。位置センサ１０１３−Ａは、図５にあるように居間にあるセンサなので検出された位置は居間である。

確信度付与部１０３は、図５より位置センサ１０１３−Ａの取得精度が、ヒトに関しては０．８、検知する電波強度に関しては０．６であることより、位置センサ１０１３−Ａの取得した位置の確信度は０．８×０．６＝０．４８と算出する。例えば図７にあるように、その算出された確信度は分散環境行動編集部１０４により分散状態情報ＤＢ１１２に追加記述される。

ところで、居間にはカメラ１０１３−Ｂとマイク１０１３−Ｃが設置されており、ロボットＢ（２０２）は居間にいるので、ロボットＢ（２０２）のカメラ２０２２とマイク２０２３もまた、ヒトＡにかかわる情報を記録している。ここでは、カメラ１０１３−Ｂとカメラ２０２２において、撮像と同時に個人認識認証を行っている例について述べる。マイク１０１３−Ｃとマイク２０２３についても、同様の処理が行うので、ここでは説明を簡単にするため図７の記述でも省略している。

カメラ１０１３−Ｂやカメラ２０２２にヒトＡが撮像されているかどうかは、個人認識認証部１０２１と画像認識部１０２２により以下のように調べる。
まず、カメラ１０１３−Ｂやカメラ２０２２が撮像したデータは図３で示したように、ここではＭＰＥＧ２データ等として蓄えられている。検出した動物体を見極めるために、顔画像の検出を行う。顔領域の抽出は、画像ファイル中から顔の領域、あるいは頭部領域を検出するものである。

ところで、顔領域抽出方法には、いくつかの方法がある。例えば、撮像した画像がカラー画像である場合には、色情報を用いるものがある。具体的には、カラー画像をＲＧＢカラー空間からＨＳＶカラー空間に変換し、色相、彩度などの色情報を用いて、顔領域や頭髪部を、領域分割によって分割する。分割された部分領域を領域併合法などを用いて、検出するものである。別の顔領域抽出方法としては、あらかじめ用意した顔検出のためのテンプレートを、画像中で移動させて相関値を求める。相関値がもっとも高い領域を顔領域として検出するものである。相関値の代わりに、Ｅｉｇｅｎｆａｃｅ法や部分空間法を用いて、距離や類似度を求め、距離が最小あるいは類似度の最大の部分を抽出する方法もある。あるいは、通常のＣＣＤカメラとは別に、近赤外光を投射し、その反射光より、対象の顔にあたる領域を切り出す方法もある。ここでは、上記にて説明した方法だけでなく、他の方法を用いてもよい。

また、抽出された顔領域に対し、目の位置を検出することで、顔がどうかの判断を行う。検出方法は顔検出と同様にパターンマッチングによるものや、動画像中から瞳、鼻孔、口端などの顔特徴点を抽出する方法（例えば、非特許文献３を参照）を用いることができる。ここでも、上記にて説明した方法、あるいは、他の方法のいずれを用いてもよい。

ここで、抽出された顔領域と顔領域から検出された顔部品に基づいて、検出された顔部品の位置と顔領域の位置から、領域を一定の大きさと形状にきりだす。この切り出しの濃淡情報を認識のための特徴量として入力画像より抽出する。検出された顔部品のうち、２つを選択する。この２つの部品を結ぶ線分が、一定の割合で、抽出された顔領域におさまっていれば、これをｍ画素×ｎ画素の領域に変換し、正規化パターンとする。

図８は、顔部品として両目を選んだ場合の例を示している。図８（ａ）は、撮像入力手段が撮像した顔画像に、抽出された顔領域を白い矩形で示し、検出された顔部品を白い十字形で重ねて示したものである。図８（ｂ）は抽出された顔領域と顔部品を模式的にあらわしたものである。図８（ｃ）のように右目と左目を結んだ線分の中点からの各部品への距離が一定の割合であれば、顔領域を、濃淡情報に変更し、図８（ｄ）のような、ｍ画素×ｎ画素の濃淡行列情報とする。以降、図８（ｄ）のようなパターンを正規化パターンと呼ぶ。図８（ｄ）のような正規化パターンが切り出されれば、少なくとも顔が検出されたとみなす。

図８（ｄ）の正規化パターンが切り出されたところで、切り出された顔画像が、家族の一員であるかどうかの認証を行う。認証は以下のように行われる。図８（ｄ）の正規化パターンは、図９（ａ）に示すように、ｍ行×ｎ列に濃淡値が並んでいるが、これをベクトル表現に変換すると、図９（ｂ）に示すようになる。この特徴ベクトルＮ_ｋ（ｋは同一人物に対して得られた何枚目の正規化パターンであるかを示す）を以後の計算に用いる。

認識に使う特徴量はこの特徴ベクトルの相関行列を求め、ＫＬ展開をすることで得られる正規直交ベクトルのデータ次元数を下げた部分空間である。相関行列Ｃは次式であらわされる。

なお、ｒは同一人物に対して取得した正規化パターンの枚数である。このＣを対角化することで、主成分（固有ベクトル）が得られる。固有ベクトルのうち、固有値の大きいものからＭ個を部分空間として用い、この部分空間が個人認証を行うための辞書にあたる。

個人認証を行うためには、あらかじめ抽出した特徴量を、当該人物のＩＤ番号、部分空間（固有地、固有ベクトル、次元数、サンプルデータ数）などのインデクス情報とともに、この辞書に登録しておく必要がある。個人認証部１０２１は、この辞書に登録されている特徴量と撮像した顔画像から抽出した特徴量とを比較し、照合する（例えば、特許文献３を参照）。

照合の結果、ヒトＡが認証されると、図７にあるようにヒトＡは居間にいるというその位置に関する情報を、カメラ１０１３−Ｂとカメラ２０２２が取得したセンサＩＤとともに記述される。

カメラ１０１３−Ｂの場合には、ヒトＡからの距離が遠いため、顔画像の大きさが小さいため、確信度１とするための面積に対して０．７の割合の面積でしか撮像できていなかった。さらに顔認識の類似度が０．９となっている。もともとのカメラ１０１３−Ｂの精度は１．０である。これにより、確信度付与部１０３は、１．０×０．７×０．９＝０．６３と確信度は０．６３となっている。仮に、カメラ１０１３−Ｂの設置環境が変わり、精度が１．０でなくなれば、その分確信度は低下する。他のマイクなどについても同様である。

同様に、ロボットＢ（２０２）のカメラ２０２２は近くにいるため、顔の面積は０．８９の割合の面積で取得でき、もともとのカメラ２０２２の精度は１．０である。また、顔認識の類似度が０．９となっているので、確信度付与部１０３は、確信度を１．０×０．８９×０．９＝０．８と算出している。

同様に、動作認識部１０２４は、カメラ２０２２の画像を基に、画像認識部１０２２により、ヒトＡの身体の向きと、顔の向きを認識し、図７に示すように確信度とともに記述する。身体の向きや顔の向きの算出は、壁に固定されているカメラ１０１３−Ｂのような場合には、カメラをパンしたとしても、図３に示すように自分の座標位置と法線方向はわかっているので、そこから、写っている身体や顔の向きを算出できる。

一方、ロボットについているカメラ２０２２のような場合には、ロボットが移動するために、カメラ１０１３−Ｂのように位置や向きが既知ではない。このような場合には、例えば、部屋の壁に飾られている時計や絵画、あるいは壁際に置かれているＴＶや、冷蔵庫、電子レンジなどをランドマークとして用いる。

例えば、図１０に示すように、ランドマークとなる時計に正対する（この場合は時計が円なので、真円になる）ようにカメラ２０２２をパンあるいはチルトする。それに対して、細線化などにより、ヒトの身体の輪郭を抽出し、その輪郭を覆う平行四辺形を見出す。この四辺形に対して、法線を導き出せば、ヒトの身体の向きを見出すことができる。同様に顔については、図８に示したように、両目と鼻の穴を結んだ線で作られる四辺形により、顔の向きを見出す。

さらに、カメラ２０２２の画像をもとに、ヒトＡは座位（sitting）であることがわかる。つまり図１０にあるように、ランドマークである時計とヒトの顔の位置と大きさからヒトの顔が身長より低い位置にあることはわかる。

以上の例では、カメラで撮像したときに、同時に個人認識認証を行っているが、必ずしもこれに限定されるものではない。例えば、位置センサ１０１３−Ａにより、分散環境行動処理部１０２は、ヒトＡが居間にいることがわかる。ヒトＡの存在がわかった時点で、分散環境行動処理部１０２は、居間にあるすべてのセンサ情報中にヒトＡにかかわる同時刻（同じタイムスタンプを有するか、あるいはタイムスタンプを包含する）の情報があるかどうかを検索し、個人認識認証を行うようにするようにしてもよい。ここでは、画像認識による個人認証について説明してきたが、音声認識についても同様に確信度を算出することができる。上述のように、カメラ、マイク、及び位置センサなどのセンサで収集した情報をもとに、随時、タイムスタンプをつけて確信度が算出する。

図１１は、センサ情報と動作情報をもとに、行動規則知識をもとに、行動認識部１０２５が認識したヒトＡの行動であり、これらは認識されると、分散環境行動編集部１０４を経て、分散行動情報ＤＢ１１４に追加書き込みされる。

行動認識部１０２５が使用する行動規則知識の一例を図１２に示す。例えば、”tv_watching”（ＴＶ視聴）という行動は、
ユーザが”living”（居間）にいる確信度が０．６以上で、
”sitting”(座っていて)している確信度が０．６以上で、
”tv”（ＴＶ）がユーザの視界にある確信度が０．６以上
という条件を満たしているときに、”tv_watching”（ＴＶ視聴）と判断される。
同様に”knitting”（編み物）は、
ユーザが”living”（居間）にいる確信度が０．６以上で、
”sitting”(座っていて)している確信度が０．６以上で、
”knit”(編み物)がユーザの視界にある確信度が０．６以上
という条件を満たしているときに、”knitting”（編み物）と判断される。
図７にあるように、2000-11-2T10:40:15 の時点では、位置センサ１０１３−Ａが取得したヒトＡの位置は”living”である。しかし、その確信度は０．４８で０．６以上という条件に合致しない。

一方、2000-11-2T10:40:16 の時点では、カメラ１０１３−Ｂが取得したヒトＡの位置は”living”である。しかも、その確信度は０．６３で０．６以上という条件に合致する。

さらに、カメラ１０１３−Ｂが取得したヒトＡの動作は”sitting”である。しかも、その確信度は０．６で０．６以上という条件に合致する。2000-11-2T10:40:16 の時点での顔向きは、カメラ２０２２が取得した確信度０．６で(px31,py31,pz31)である。この顔向きには、居間のランドマークであるＴＶが視野内にあることは、例えば、カメラ２０２２がこの方向をみることで確認できる。つまり、ユーザの視界にＴＶがあることの確信度が０．６以上である。

上述したように”tv_watching”（ＴＶ視聴）のすべての条件に適合したので、行動認識部１０２５は、図１１にあるように、2000-11-2T10:40:16 の時点での行動を”tv_watching”（ＴＶ視聴）と判断した。そのときの確信度は、３つの条件の確信度（０．６３，０．６，０．６）のうち、最低の０．６となる。

同様に、2000-11-2T10:40:20 の時点では、カメラ２０２２が取得したヒトＡの位置は”living”である。しかも、その確信度は０．８で０．６以上という条件に合致する。さらに、カメラ２０２２が取得したヒトＡの動作は”sitting”である。しかも、その確信度は０．８で０．６以上という条件に合致する。2000-11-2T10:40:20 の時点での顔向きは、カメラ２０２２が取得した確信度０．８で(px32,py32,pz32)である。しかし、この顔向きは、実は手元の編み物を見ている。この顔向きには、居間のランドマークであるＴＶが視野内はなく、他のランドマークも存在しないことは、例えば、カメラ２０２２がこの方向をみることで確認できる。

ここで、行動認識部１０２５は、行動判断条件であるユーザの視界に何があるかを確認するために、コミュニケーション制御部１０５に対話要請を送る。コミュニケーション制御部１０５は、コミュニケーション生成部１０６にある対話テンプレートを基に対話を生成する。対話テンプレートは、例えば図１３のようになっている。

図１３では、例えば、条件が埋まっていないfiled nameごとに対話テンプレートが記述されている。ここでは”user-view”が埋まっていないので、コミュニケーション生成部１０６に渡されたのは”user-view”であるので、そのfieldを埋めるための対話テンプレートが適用される。発声対話としては、「何をみているの」「目の前にあるのは何」「手元には何があるの」「それは何」の<one-of>（いずれかひとつ）が適用されて発話される。選ばれたpromptは、メディア変換部１０７に渡され音声合成される。その結果は、コミュニケーション提示部１０８であるロボットＢ（２０２）のスピーカー２０２１より発話される。

その発話に対するヒトＡの回答はuser-view.grsmlにより音声認識される。音声認識されたときの精度が”user-view”の確信度となり、この場合は例えば、０．８５である。認識された結果、例えば「knit（編み物）」であると”user-view”のfieldが埋まるので、“knitting”のすべての条件が満たされる。そのときの確信度は、３つの条件の確信度（０．８，０．８，０，８５）のうち、最低の０．８となる。

また、ロボットＢ（２０２）とヒトＡはこの対話により、インタラクションが発生している。その結果、例えば、図１４のようにヒトとモノのインタラクションＤＢ１１６に記述される。

ロボットＢ（２０２）が発生する対話は、ある規則にのっとっているので、その規則が発生したロボットのＩＤと、それを出力したデバイスと、実際の内容とが記述される。それに対し、ヒトＡの側は特に規則があるわけではないので、認識した結果が認識に使われたマイクのセンサＩＤとともに記述される。

本実施の形態では、確信度付与部１０３による確信度の算出は、センサの精度からの積と３条件の最低値との例を示したが、必ずしもこれに限定されるものではない。

例えば、画像による個人認識認証は、取得した画像を学習することでその精度をあげていくことができるが、それと同様に規則など学習することで、その確信度条件設定を変化させることなども可能である。図２に示すようにヒトＤがお皿を机上に置いているが、その方向に顔が向いているときには、ヒトＤはお皿の位置を意識しているので、確信度は高い。それに対して、その方向を向いていないときには、お皿の位置へ意識は低いので、確信度は低い。このように、画像認識で認識した顔向きにより、確信度を変化させるようにしてもよい。

ここでは、ヒトとモノのインタラクションＤＢ１１６に記述について説明したが、ヒトとサービスのインタラクションＤＢ１１５、ヒトとヒトのインタラクションＤＢ１１７も同様に記述される。

このように、本実施の形態の構成によれば、センサから検知される精度情報、及びヒトとの対話情報から随時確信度を変化させることができるため、この確信度を用いてロボットなどが対話を行い、必要な情報を取得して負担なく自然な対話を実現でき、連続した対話制御を行うことができる。

本発明の実施の形態のコミュニケーション装置の概略構成を示すブロック図。 本発明の実施の形態の実施概要図。 カメラの分散センサ情報ＤＢの記述例を示す図。 マイクの分散センサ情報ＤＢの記述例を示す図。 位置センサの分散センサ情報ＤＢの記述例を示す図。 分散環境行動処理部の詳細構成を示すブロック図。 分散状態情報ＤＢの記述例を示す図。 カメラからの顔検出を説明する図。 顔画像の正規化パターンと特徴ベクトルを説明する図。 身体の向き検出の説明図。 分散行動情報ＤＢの記述例を示す図。 行動導出規則の一例を示す図。 対話テンプレートの一例を示す図。 ヒトとモノのインタラクションＤＢの記述例を示す図。

符号の説明

１０１・・・センサ入力部
１０２・・・分散環境行動処理部
１０３・・・確信度付与部
１０４・・・分散環境行動編集部
１０５・・・コミュニケーション制御部
１０６・・・コミュニケーション生成部
１０７・・・表現メディア変換部
１０８・・・コミュニケーション提示部
１１０・・・分散環境行動ＤＢ
１１１・・・分散センサ情報ＤＢ
１１２・・・分散状態情報ＤＢ（モノ）
１１３・・・分散状態情報ＤＢ（ヒト）
１１４・・・分散行動情報ＤＢ
１１５・・・ヒトとサービスのインタラクションＤＢ
１１６・・・ヒトとモノのインタラクションＤＢ
１１７・・・ヒトとヒトのインタラクションＤＢ
１０１１−Ａ、１０１２−Ａ、１０１３−Ａ・・・位置センサ
１０１１−Ｂ、１０１３−Ｂ・・・カメラ
１０１１−Ｃ、１０１３−Ｃ・・・マイク
１０２１・・・個人認証部
１０２２・・・画像認識部
１０２３・・・音声認識部
１０２４・・・動作認識部
１０２５・・・行動認識部
１０２６・・・状況認識部
１０２７・・・環境認識部
２０１、２０２、２０３・・・ロボット
２０１１、２０２１、２０３１・・・スピーカー
２０１２、２０２２、２０３２・・・カメラ
２０１３、２０２３、２０３３・・・マイク

Claims (6)

1. 複数センサからのセンサ情報をセンサ種別情報や属性により対応させて記憶する分散センサ記憶部と、前記分散センサ記憶部に記憶されているセンサ情報に基づき認識処理を行う分散環境行動処理部と、前記分散環境行動処理部の認識結果に応じて確信度を付与する確信度付与部と、前記分散環境行動処理部の認識結果と、前記確信度付与部が付与した確信度とを、前記分散センサ記憶部のセンサ情報とを対応させて記憶する分散環境行動記憶部と、を備えることを特徴とするコミュニケーション装置。
2. 更に、前記分散センサ記憶部のセンサ情報を読み出し、読み出されたセンサ情報に基づき前記分散環境行動処理部により認識処理した認識結果と、該認識結果に応じて前記確信度付与部により付与される確信度とを、分散環境行動記憶部に追加修正する分散環境行動編集部とを具備することを特徴とする請求項１記載のコミュニケーション装置。
3. 更に、前記分散環境行動記憶部に記憶されている認識状況と確信度に基づき、コミュニケーション制御をおこなうためのコミュニケーション制御部と、前記コミュニケーション制御部の制御に沿ってコミュニケーションを生成するためのコミュニケーション生成部と、前記コミュニケーション生成部に生成結果を提示するためのコミュニケーション提示部と、を具備することを特徴とする請求項１または請求項２記載のコミュニケーション装置。
4. 前記分散環境行動処理部は、対象となる人を認証する個人認証部を有し、前記個人認証部の認証結果に応じて前記確信度付与部は確信度を付与することを特徴とする請求項１記載のコミュニケーション装置。
5. 前記確信度付与部は、前記センサ情報に基づく認識結果として前記センサの精度情報に応じて確信度が付与されることを特徴とする請求項１記載のコミュニケーション装置。
6. 分散センサ記憶部により複数センサからのセンサ情報をセンサ種別情報や属性に対応させて記憶し、分散環境行動処理部により前記センサ情報に基づき認識処理を行い、確信度付与部により前記分散環境行動処理部の認識結果に応じて確信度を付与し、分散環境行動記憶部により前記認識結果と前記確信度とを前記分散センサ記憶部のセンサ情報とを対応させて記憶することを特徴とするコミュニケーション方法。

Images