JP4396273B2 - ロボット装置及びその制御方法 - Google Patents

Description

［技術分野］
本発明は、自律的な動作を行ないリアリスティックなコミュニケーションを実現するロボット装置及びその制御方法に係り、特に、画像や音声などの外界の情報を認識してそれに対して自身の行動を反映させる機能を備えた自律型のロボット装置及びその制御方法に関する。
さらに詳しくは、本発明は、外界からの複数の認識結果を統合して意味を持ったシンボル情報として扱い行動制御を行なうロボット装置及びその制御方法に係り、特に、以前に観測された認識結果との対応問題などより複雑な認識結果を利用して、どの肌色領域が顔でどの人物に対応しているかや、この声がどの人物の声なのかなどを解くロボット装置及びその制御方法に関する。
［背景技術］
電気的若しくは磁気的な作用を用いて人間の動作に似せた運動を行う機械装置のことを「ロボット」という。ロボットの語源は、スラブ語の”ＲＯＢＯＴＡ（奴隷機械）”に由来すると言われている。わが国では、ロボットが普及し始めたのは１９６０年代末からであるが、その多くは、工場における生産作業の自動化・無人化などを目的としたマニピュレータや搬送ロボットなどの産業用ロボット（ｉｎｄｕｓｔｒｉａｌ ｒｏｂｏｔ）であった。
最近では、イヌやネコ、クマのように４足歩行の動物の身体メカニズムやその動作を模したペット型ロボット、あるいは、ヒトやサルなどの２足直立歩行を行う動物の身体メカニズムや動作を模した「人間形」若しくは「人間型」のロボット（ｈｕｍａｎｏｉｄ ｒｏｂｏｔ）など、脚式移動ロボットの構造やその安定歩行制御に関する研究開発が進展し、実用化への期待も高まってきている。これら脚式移動ロボットは、クローラ式ロボットに比し不安定で姿勢制御や歩行制御が難しくなるが、階段の昇降や障害物の乗り越えなど、柔軟な歩行・走行動作を実現できるという点で優れている。
アーム式ロボットのように、ある特定の場所に植設して用いるような据置きタイプのロボットは、部品の組立・選別作業など固定的・局所的な作業空間でのみ活動する。これに対し、移動式のロボットは、作業空間は非限定的であり、所定の経路上または無経路上を自在に移動して、所定の若しくは任意の人的作業を代行したり、ヒトやイヌあるいはその他の生命体に置き換わる種々のサービスを提供することができる。
脚式移動ロボットの用途の１つとして、産業活動・生産活動等における各種の難作業の代行が挙げられる。例えば、原子力発電プラントや火力発電プラント、石油化学プラントにおけるメンテナンス作業、製造工場における部品の搬送・組立作業、高層ビルにおける清掃、火災現場その他における救助といったような危険作業・難作業の代行などである。
また、脚式移動ロボットの他の用途として、上述の作業支援というよりも、生活密着型、すなわち人間との「共生」あるいは「エンターティンメント」という用途が挙げられる。この種のロボットは、ヒトあるいはイヌ（ペット）、クマなどの比較的知性の高い脚式歩行動物の動作メカニズムや四肢を利用した豊かな感情表現を忠実に再現する。また、あらかじめ入力された動作パターンを単に忠実に実行するだけではなく、ユーザ（あるいは他のロボット）から受ける言葉や態度（「褒める」とか「叱る」、「叩く」など）に対して動的に対応した、生き生きとした応答表現を実現することも要求される。
従来の玩具機械は、ユーザ操作と応答動作との関係が固定的であり、玩具の動作をユーザの好みに合わせて変更することはできない。この結果、ユーザは同じ動作しか繰り返さない玩具をやがては飽きてしまうことになる。
これに対し、自律動作を行なうインテリジェントなロボットは、一般に、外界の情報を認識してそれに対して自身の行動を反映させる機能を持っている。すなわち、ロボットは、外部環境からの音声や画像、触覚などの入力情報に基づいて感情モデルや本能モデルを変化させて動作を決定することにより、自律的な思考及び動作制御を実現する。すなわち、ロボットが感情モデルや本能モデルを用意することにより、より高度な知的レベルで人間とのリアリスティックなコミュニケーションを実現することも可能となる。
ロボットが環境変化に応じた自律動作を行なうために、従来は、ある１つの観測結果に対してその情報を受けて行動を取るような単純な行動記述の組み合わせで行動を記述していた。これら入力に対する行動のマッピングにより、ランダム性、内部状態（感情・本能）、学習、成長などの機能を導入することで一意ではない複雑な行動の発現を可能にすることができる。
ところが、このような単純な行動マッピング方法では、例えばボールを追いかけて蹴るといった動作の中で一瞬でもボールを見失うと、ボールに関する情報は保持されていないので、最初からボールを探すといった行動を取ることとなり、認識結果の利用に一貫性がない。
また、ロボットは、複数のボールが観測されたときに、どの認識結果が以前観測されたどの結果に対応するのかという対応問題を解く必要がある。また、顔の認識や肌色の認識や声の認識をなどより複雑な認識結果を利用するためには、どの肌色領域が顔でどの人物に対応しているかや、この声がどの人物の声なのかなどを解く必要がある。
［発明の開示］
本発明の目的は、画像や音声などの外界の情報を認識してそれに対して自身の行動を反映させる機能を備えた、自律型の優れたロボット装置及びその制御方法を提供することにある。
本発明のさらなる目的は、外界からの複数の認識結果を統合して意味を持ったシンボル情報として扱い、高度な行動制御を行なうことができる、優れたロボット装置及びその制御方法を提供することにある。
本発明のさらなる目的は、以前に観測された認識結果との対応問題などより複雑な認識結果を利用して、どの肌色領域が顔でどの人物に対応しているかや、この声がどの人物の声なのかなどを解くことができる、優れたロボット装置及びその制御方法を提供することにある。
本発明は、上記課題を参酌してなされたものであり、外部環境の変化に応じた自律的な動作が可能なロボット装置又はその制御方法であって、
外部環境を認識する１以上の認識手段又は認識ステップと、
前記認識手段又はステップによる認識結果を基に外部環境に存在する物体を検出するターゲット検出手段又はステップと、
前記ターゲット検出手段又はステップにより検出された物体に関するターゲット情報を保持するターゲット記憶手段又はステップと、
を具備することを特徴とするロボット装置又はその制御方法である。
ここで、前記認識手段又は認識ステップは、例えば、外部環境において、音声や、ユーザの発話内容、物体の色、ユーザの顔などを認識することができる。
本発明に係るロボット装置又はその制御方法は、前記ターゲット記憶手段又はステップに記憶されているターゲット情報を基に、ロボット装置自身が実行する行動を制御する行動制御手段又はステップをさらに備えていてもよい。
ここで、前記ターゲット記憶手段又はステップは、前記認識手段又はステップによる物体についての認識結果、物体の位置、姿勢情報をターゲット情報として保持する。
このとき、前記認識手段又はステップが持つ座標系で認識された認識結果を、ロボット装置の機体を基準にした固定座標系に変換して物体の位置、姿勢情報を保持するようにすることで、複数の認識気の情報を統合することが可能となる。例えば、ロボットが首などを動かしてセンサの姿勢が変化するような場合であっても、ターゲット情報を基にロボットの行動制御を行う上位モジュール（アプリケーション）から見た物体の位置は同じままとなる。
また、前記認識手段又はステップにより所定時間以上認識されなくなった物体に関するターゲット情報を削除するターゲット削除手段又はステップをさらに備えていてもよい。
また、前記認識手段又はステップにより認識されないターゲットが認識範囲内か又は該範囲外かを判断して、該範囲外であれば前記ターゲット記憶手段の対応するターゲット情報を保持し、該範囲内であれば前記ターゲット記憶手段の対応するターゲット情報を忘却する忘却手段をさらに備えてもよい。
また、認識された結果が同じ又は重なっているものを同一に物体に関する情報として、ターゲット情報間の関連性を見出すターゲット連想手段又はステップをさらに備えていてもよい。
また、２以上の認識手段により認識された結果が同じ位置若しくは重なっているものを同一の物体に関する情報として、ターゲット情報間の関連性を見出すターゲット連想手段又はステップをさらに備えていてもよい。
また、前記ターゲット記憶手段又はステップは、同じ物体に関して後から認識された情報を追加して１つのターゲット情報として保持するようにしてもよい。
また、本発明に係るロボット装置又はその制御方法は、前記認識手段又はステップによる認識結果を基に外部環境において発生したイベントを検出するイベント検出手段又はステップと、前記イベント検出手段又はステップにより検出されたイベントに関する情報を発生した時間順に保持するイベント記憶手段又はステップとをさらに備えていてもよい。
ここで、前記イベント検出手段又はステップは、認識された発話内容、物体の出現及び／又は消失、ロボット装置自身が実行した行動などの外界の状況変化に関する情報をイベントとして取り扱うようにしてもよい。
また、記憶されているイベント情報を基に、ロボット装置自身が実行する行動を制御する行動制御手段又はステップをさらに備えていてもよい。
本発明に係るロボット装置又はその制御方法は、外界からの複数の認識結果を統合して意味を持ったシンボル情報として扱い、高度な行動制御を行なうことができる。また、非同期で通知される個々の認識結果を統合してから行動モジュールに渡すことができるので、行動モジュールで情報の取り扱いが容易になる。
したがって、以前に観測された認識結果との対応問題などより複雑な認識結果を利用して、どの肌色領域が顔でどの人物に対応しているかや、この声がどの人物の声なのかなどを解くことができる。
また、本発明に係るロボット装置又はその制御方法によれば、認識した観測結果に関する情報を記憶として保持しているので、自律行動する期間中に一時的に観測結果が来なかったりした場合であっても、機体の行動制御を行なうアプリケーションなどの上位モジュールからは常にそこに物体が知覚されているように見える。この結果、認識器の間違いやセンサのノイズに強くなり、認識器の通知のタイミングに依存しない安定したシステムを実現することができる。
また、本発明に係るロボット装置又はその制御方法によれば、関連する認識結果が結び付けられているので、アプリケーションなどの上位モジュールで関連する情報を使って行動判断することが可能である。例えば、ロボット装置は、呼びかけられた声を基に、その人物の名前を引き出すことができるので、挨拶の応答に「こんにちは、ＸＸＸさん。」のように答えることが可能である。
また、本発明に係るロボット装置又はその制御方法によれば、センサの視野外の情報もすぐに忘れることなく保持しているので、ロボットが物体を一旦見失ったとしても、また後で探し出すことができる。
また、本発明に係るロボット装置又はその制御方法によれば、認識器単体から見て情報が足りなくても、他の認識結果が補うことができる場合があるので、システム全体としての認識性能が向上する。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
［発明を実施するための最良の形態］
以下、図面を参照しながら本発明の実施形態について詳解する。
Ａ．脚式移動ロボットの構成
図１及び図２には、本発明の実施に供される脚式移動ロボット１００が直立している様子を前方及び後方の各々から眺望した様子を示している。この脚式移動ロボット１００は、「人間形」又は「人間型」と呼ばれるタイプであり、後述するように、音声や画像などの外部刺激の認識結果に基づいて自律的に行動制御を行なうことができる。図示の通り、脚式移動ロボット１００は、脚式移動を行う左右２足の下肢と、体幹部と、左右の上肢と、頭部とで構成される。
左右各々の下肢は、大腿部と、膝関節と、脛部と、足首と、足平とで構成され、股関節によって体幹部の略最下端にて連結されている。また、左右各々の上肢は、上腕と、肘関節と、前腕とで構成され、肩関節によって体幹部上方の左右各側縁にて連結されている。また、頭部は、首関節によって体幹部の略最上端中央に連結されている。
体幹部ユニット内には、図１及び図２上では見えていない制御部が配備されている。この制御部は、脚式移動ロボット１００を構成する各関節アクチュエータの駆動制御や各センサ（後述）などからの外部入力を処理するコントローラ（主制御部）や、電源回路その他の周辺機器類を搭載した筐体である。制御部は、その他、遠隔操作用の通信インターフェースや通信装置を含んでいてもよい。
図３には、本実施例に係る脚式移動ロボット１００が具備する関節自由度構成を模式的に示している。図示の通り、脚式移動ロボット１００は、２本の腕部と頭部１を含む上体と、移動動作を実現する２本の脚部からなる下肢と、上肢と下肢とを連結する体幹部とで構成される。
頭部１を支持する首関節は、首関節ヨー軸２と、首関節ピッチ軸３と、首関節ロール軸４という３自由度を有している。
また、各腕部は、肩関節ピッチ軸８と、肩関節ロール軸９と、上腕ヨー軸１０と、肘関節ピッチ軸１１と、前腕ヨー軸１２と、手首関節ピッチ軸１３と、手首関節ロール軸１４と、手部１５とで構成される。手部１５は、実際には、複数本の指を含む多関節・多自由度構造体である。但し、手部１５の動作自体は、ロボット１００の姿勢安定制御や歩行動作制御に対する寄与や影響が少ないので、本明細書ではゼロ自由度と仮定する。したがって、左右の各腕部は７自由度を有するとする。
また、体幹部は、体幹ピッチ軸５と、体幹ロール軸６と、体幹ヨー軸７という３自由度を有する。
また、下肢を構成する左右各々の脚部は、股関節ヨー軸１６と、股関節ピッチ軸１７と、股関節ロール軸１８と、膝関節ピッチ軸１９と、足首関節ピッチ軸２０と、関節ロール軸２１と、足部（足底又は足平）２２とで構成される。人体の足部（足底）２２は、実際には多関節・多自由度の足底を含んだ構造体であるが、本実施例に係る脚式移動ロボット１００の足底はゼロ自由度とする。したがって、左右の各脚部は６自由度で構成される。
以上を総括すれば、本実施例に係る脚式移動ロボット１００全体としては、合計で３＋７×２＋３＋６×２＝３２自由度を有することになる。但し、脚式移動ロボット１００が必ずしも３２自由度に限定される訳ではない。設計・製作上の制約条件や要求仕様等に応じて、自由度すなわち関節数を適宜増減することができることは言うまでもない。
脚式移動ロボット１００が持つ上述の各関節自由度は、実際にはアクチュエータによる能動的な動作として実現される。装置の外観上で余分な膨らみを排してヒトの自然体形状に近似させることや、２足歩行という不安定構造体に対して姿勢制御を行うことなどの種々の要請から、関節アクチュエータは小型且つ軽量であることが好ましい。本実施形態では、ギア直結型で且つサーボ制御系をワンチップ化してモータ・ユニットに内蔵したタイプの小型ＡＣサーボ・アクチュエータを搭載することとした。なお、脚式移動ロボット１００に適用可能な小型ＡＣサーボ・アクチュエータに関しては、例えば本出願人に既に譲渡されている特開２０００−２９９９７０号公報（特願平１１−３３３８６号明細書）に開示されている。
Ｂ．ロボットの行動制御システムの構成
本実施形態に係る脚式移動ロボット１００は、外部刺激の認識結果や内部状態の変化に応じて行動制御を行なうことができる。図４には、本実施形態に係る脚式移動ロボット１００において採用される行動制御システム５０の基本アーキテクチャを模式的に示している。
図示の行動制御システム５０にはオブジェクト指向プログラミングを採り入れることができる。この場合、各ソフトウェアは、データとそのデータに対する処理手続きとを一体化させた「オブジェクト」というモジュール単位で扱われる。また、各オブジェクトは、メッセージ通信と共有メモリを使ったオブジェクト間通信方法によりデータの受け渡しとＩｎｖｏｋｅを行なうことができる。
行動制御システム５０は、外部環境（Ｅｎｖｉｒｏｎｍｅｎｔｓ）を認識するために、視覚認識機能部５１と、聴覚認識機能部５２と、接触認識機能部５３を備えている。
視覚認識機能部（Ｖｉｄｅｏ）５１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）カメラのような画像入力装置を介して入力された撮影画像を基に、顔認識や色認識などの画像認識処理や特徴抽出を行なう。視覚認識機能部５１は、後述する”ＭｕｌｔｉＣｏｌｏｒＴｒａｃｋｅｒ”，”ＦａｃｅＤｅｔｅｃｔｏｒ”，”ＦａｃｅＩｄｅｎｔｉｆｙ”といった複数のオブジェクトで構成される。
聴覚認識機能部（Ａｕｄｉｏ）５２は、マイクなどの音声入力装置を介して入力される音声データを音声認識して、特徴抽出したり、単語セット（テキスト）認識を行なったりする。聴覚認識機能部５２は、後述する”ＡｕｄｉｏＲｅｃｏｇ”，”ＡｕｔｈｕｒＤｅｃｏｄｅｒ”といった複数のオブジェクトで構成される。
接触認識機能部（Ｔａｃｔｉｌｅ）５３は、例えば機体の頭部などに内蔵された接触センサによるセンサ信号を認識して、「なでられた」とか「叩かれた」という外部刺激を認識する。
内部状態管理部（ＩＳＭ：Ｉｎｔｅｒｎａｌ Ｓｔａｔｕｓ Ｍａｎａｇｅｒ）５４は、本能モデルや感情モデルを備え、上述の視覚認識機能部５１と、聴覚認識機能部５２と、接触認識機能部５３によって認識された外部刺激（ＥＳ：ＥｘｔｅｒｎａｌＳｔｉｍｕｌａ）に応じてロボット１００の本能や情動といった内部状態を管理する。
感情モデルと本能モデルは、それぞれ認識結果と行動履歴を入力に持ち、感情値と本能値を管理している。行動モデルは、これら感情値や本能値を参照することができる。
短期記憶部（ＳｈｏｒｔＴｅｒｍＭｅｍｏｒｙ）５５は、上述の視覚認識機能部５１と、聴覚認識機能部５２と、接触認識機能部５３によって外部環境から認識されたターゲットやイベントを短期間保持する機能モジュールである。例えば、カメラからの入力画像を約１５秒程度の短い期間だけ記憶する。
長期記憶部（ＬｏｎｇＴｅｒｍＭｅｍｏｒｙ）５６は、物の名前など学習により得られた情報を超期間保持するために使用される。長期記憶部５６は、例えば、ある行動モジュールにおいて外部刺激から内部状態の変化を連想記憶する。但し、長期記憶部５６における連想記憶は、本発明の要旨とは直接関連しないので、ここでは説明を省略する。
本実施形態に係る脚式移動ロボット１００の行動制御は、反射行動部５９によって実現される「反射行動」と、状況依存行動階層５８によって実現される「商況依存行動」と、熟考行動階層５７によって実現される「熟考行動」に大別される。
熟考行動階層（ＤｅｌｉｂｅｒａｔｉｖｅＬａｙｅｒ）５７は、短期記憶部５５並びに長期記憶部５６の記憶内容に基づいて、脚式移動ロボット１００の比較的長期にわたる行動計画などを行なう。
熟考行動は、与えられた状況あるいは人間からの命令により、推論やそれを実現するための計画を立てて行なわれる行動である。このような推論や計画は、ロボット１００がインタラクションを保つための反応時間よりも処理時間や計算負荷を要する可能性があるので、反射行動や状況依存行動がリアルタイムで反応を返しながら、熟考行動は推論や計画を行なう。
状況依存行動階層（ＳｉｔｕａｔｅｄＢｅｈａｖｉｏｒｓＬａｙｅｒ）５８は、短期記憶部５５並びに長期記憶部５６の記憶内容や、内部状態管理部５４によって管理される内部状態を基に、脚式移動ロボット１００が現在置かれている状況に即応した行動を制御する。
状況依存行動階層５８は、各行動毎にステートマシンを用意しており、それ以前の行動や状況に依存して、センサ入力された外部情報の認識結果を分類して、行動を機体上で発現する。また、状況依存行動階層５８は、内部状態をある範囲に保つための行動（「ホメオスタシス行動」とも呼ぶ）も実現し、内部状態が指定した範囲内を越えた場合には、その内部状態を当該範囲内に戻すための行動が出易くなるようにその行動を活性化させる（実際には、内部状態と外部環境の両方を考慮した形で行動が選択される）。状況依存行動は、反射行動（後述）に比し、反応時間が遅い。
熟考行動階層５７や状況依存行動階層５８は、アプリケーションとして実装することができる。
反射的行動部（ＣｏｎｆｉｇｕｒａｔｉｏｎＤｅｐｅｎｄｅｎｔＡｃｔｉｏｎｓＡｎｄＲｅａｃｔｉｏｎｓ）５９は、上述の視覚認識機能部５１と、聴覚認識機能部５２と、接触認識機能部５３によって認識された外部刺激に応じて反射的な機体動作を実現する機能モジュールである。
反射行動は、基本的に、センサ入力された外部情報の認識結果を直接受けて、これを分類して、出力行動を直接決定する行動である。例えば、人間の顔を追いかけたり、うなずくといった振る舞いは反射行動として実装することが好ましい。
本実施形態に係る脚式移動ロボット１００では、短期記憶部５５が、上述した視覚認識機能部５１、聴覚認識機能部５２、接触認識機能部５３などの複数の認識器の結果を時間的及び空間的に整合性を保つように統合して、外部環境下の各物体に関する知覚を短期間の記憶として状況依存行動階層（ＳＢＬ）５８などの行動制御モジュールに提供するようになっている。
したがって、上位モジュールとして構成される行動制御モジュール側では、外界からの複数の認識結果を統合して意味を持ったシンボル情報として扱い、高度な行動制御を行なうことができる。また、以前に観測された認識結果との対応問題などより複雑な認識結果を利用して、どの肌色領域が顔でどの人物に対応しているかや、この声がどの人物の声なのかなどを解くことができる。
また、認識した観測結果に関する情報を記憶として短期記憶部５５が保持しているので、自律行動する期間中に一時的に観測結果が来なかったりした場合であっても、機体の行動制御を行うアプリケーションなどの上位モジュールからは常にそこに物体が知覚されているように見えるようにすることができる。例えば、センサの視野外の情報もすぐに忘れることなく保持しているので、ロボットが物体を一旦見失ったとしても、また後で探し出すことができる。この結果、認識器の間違いやセンサのノイズに強くなり、認識器の通知のタイミングに依存しない安定したシステムを実現することができる。また、認識器単体から見て情報が足りなくても、他の認識結果が補うことができる場合があるので、システム全体としての認識性能が向上する。
また、関連する認識結果が結び付けられているので、アプリケーションなどの上位モジュールで関連する情報を使って行動判断することが可能である。例えば、ロボット装置は、呼び掛けられた声を基に、その人物の名前を引き出すことができる。この結果、挨拶の応答に「こんにちは、ＸＸＸさん。」のように答えるなどのリアクションが可能である。
図５には、図４に示した行動制御システム５０を構成する各オブジェクトによる動作の流れを示している。
同図において、丸で表されているのが、「オブジェクト」又は「プロセス」と呼ばれるエンティティである。オブジェクト同士が非同期に通信し合うことで、システム全体が動作する。各オブジェクトはメッセージ通信と共有メモリを使ったオブジェクト間通信方法によりデータの受け渡しとＩｎｖｏｋｅを行なっている。以下に、各オブジェクトの機能について説明する。
ＡｕｄｉｏＲｅｃｏｇ：
マイクなどの音声入力装置からの音声データを受け取って、特徴抽出と音声区間検出を行うオブジェクトである。また、マイクがステレオである場合には、水平方向の音源方向推定を行なうことができる。音声区間であると判断されると、その区間の音声データの特徴量及び音源方向がＡｒｔｈｅｒＤｅｃｏｄｅｒ（後述）に送られる。
ＡｒｔｈｕｒＤｅｃｏｄｅｒ：
ＡｕｄｉｏＲｅｃｏｇから受け取った音声特徴量と音声辞書及び構文辞書を使って音声認識を行なうオブジェクトである。認識された単語のセットは短期記憶部（ＳｈｏｒｔＴｅｒｍＭｅｍｏｒｙ）５５に送られる。
ＭｕｌｔｉＣｏｌｏｒＴｒａｃｋｅｒ：
色認識を行なうオブジェクトであり、カメラなどの画像入力装置から画像データを受け取り、あらかじめ持っている複数のカラー・モデルに基づいて色領域を抽出し、連続した領域に分割する。分割された各領域の位置や大きさ、特徴量などの情報を出力して、短期記憶部（ＳｈｏｒｔＴｅｒｍＭｅｍｏｒｙ）５５へ送る。
ＦａｃｅＤｅｔｅｃｔｏｒ：
画像フレーム中から顔領域を検出するオブジェクトであり、カメラなどの画像入力装置から画像データを受け取り、それを９段階のスケール画像に縮小変換する。このすべての画像の中から顔に相当する矩形領域を探索する。重なりあった候補領域を削減して最終的に顔と判断された領域に関する位置や大きさ、特徴量などの情報を出力して、ＦａｃｅＩｄｅｎｔｉｆｙ（後述）へ送る。
ＦａｃｅＩｄｅｎｔｉｆｙ：
検出された顔画像を識別するオブジェクトであり、顔の領域を示す矩形領域画像をＦａｃｅＤｅｔｅｃｔｏｒから受け取り、この顔画像が手持ちの人物辞書のうちでどの人物に相当するかを比較して人物の識別を行なう。この場合、顔検出から顔画像を受け取り、出力として顔画像領域の位置、大きさ情報とともに人物のＩＤ情報を出力する。
ＳｈｏｒｔＴｅｒｍＭｅｍｏｒｙ（短期記憶部）：
ロボット１００の外部環境に関する情報を比較的短い時間だけ保持するオブジェクトであり、ＡｒｔｈｕｒＤｅｃｏｄｅｒから音声認識結果（単語、音源方向、確信度）を受け取り、ＭｕｌｔｉＣｏｌｏｒＴｒａｃｋｅｒから肌色の領域の位置、大きさと顔領域の位置、大きさを受け取り、ＦａｃｅＩｄｅｎｔｉｆｙから人物のＩＤ情報等を受け取る。また、ロボット１００の機体上の各センサからロボットの首の方向（関節角）を受け取る。そして、これらの認識結果やセンサ出力を統合的に使って、現在どこにどの人物がいて、しゃべった言葉がどの人物のものであり、その人物とはこれまでにどんな対話を行なったのかという情報を保存する。こうした物体すなわちターゲットに関する物理情報と時間方向でみたイベント（履歴）を出力として、状況依存行動階層（ＳＢＬ）などの上位モジュールに渡す。
ＳｉｔｕａｔｅｄＢｅｈａｖｉｏｒＬａｙｅｒ（状況依存行動階層）：
上述のＳｈｏｒｔＴｅｒｍＭｅｍｏｒｙ（短期記憶部）からの情報を基にロボット１００の行動（状況に依存した行動）を決定するオブジェクトである。複数の行動を同時に評価したり、実行したりすることができる。また、行動を切り替えて機体をスリープ状態にしておき、別の行動を起動することができる。
ＲｅｓｏｕｒｃｅＭａｎａｇｅｒ：
出力用のコマンドに対してロボット１００の各ハードウェアのリソース調停を行なうオブジェクトである。図５に示す例では、音声出力用のスピーカをコントロールするオブジェクトと首のモーション・コントロールするオブジェクトのリソース調停を行なう。
ＳｏｕｎｄＰｅｒｆｏｒｍｅｒＴＴＳ：
音声出力を行なうためのオブジェクトであり、ＲｅｓｏｕｒｃｅＭａｎａｇｅｒ経由でＳｉｔｕａｔｅｄＢｅｈａｖｉｏｒＬａｙｅｒから与えられたテキスト・コマンドに応じて音声合成を行い、ロボット１００の機体上のスピーカから音声出力を行なう。
ＨｅａｄＭｏｔｉｏｎＧｅｎｅｒａｔｏｒ：
ＲｅｓｏｕｒｃｅＭａｎａｇｅｒ経由でＳｉｔｕａｔｅｄＢｅｈａｖｉｏｒＬａｙｅｒから首を動かすコマンドを受けたことに応答して、首の関節角を計算するオブジェクトである。「追跡」のコマンドを受けたときには、ＳｈｏｒｔＴｅｒｍＭｅｍｏｒｙから受け取った物体の位置情報を基に、その物体が存在する方向を向く首の関節角を計算して出力する。
Ｃ．短期記憶部
本実施形態に係る脚式移動ロボット１００では、ＳｈｏｒｔＴｅｒｍＭｅｍｏｒｙ（短期記憶部）５５が、外部刺激に関する複数の認識器の結果を時間的及び空間的に整合性を保つように統合して、意味を持ったシンボル情報として扱うようになっている。これによって、状況依存行動階層（ＳＢＬ）５８などの上位モジュールでは、以前に観測された認識結果との対応問題などより複雑な認識結果を利用して、どの肌色領域が顔でどの人物に対応しているかや、この声がどの人物の声なのかなどを解くことを可能にしている。
短期記憶部５５は、ターゲット・メモリとイベント・メモリという２種類のメモリ・オブジェクトで構成される。
ターゲット・メモリは、各認識機能部５１〜５３からの情報を統合して、現在知覚している物体に関する情報すなわちターゲットを保持している。このため、対象物体がいなくなったり現れたりすることで、該当するターゲットを記憶領域から削除したり（ＧａｒｂａｇｅＣｏｌｌｅｃｔｏｒ）、新たに生成したりする。また、１つのターゲットを複数の認識属性で表現することができる（ＴａｒｇｅｔＡｓｓｏｃｉａｔｅ）。例えば、肌色で顔のパターンで声を発する物体（人間の顔）などである。
ターゲット・メモリで保持される物体（ターゲット）の位置や姿勢情報は、それぞれの認識機能部５１〜５３において使用されるセンサ座標系ではなく、ロボット１００の体幹などの機体上の特定の部位が所定の場所に固定されたワールド座標系で表現を行なうようにしている。このため、短期記憶部（ＳＴＭ）５５では、ロボット１００の各関節の現在値（センサ出力）を常に監視して、センサ座標系からこの固定座標系への変換を行なう。これにより、各認識機能部５１〜５３の情報を統合することが可能になる。例えば、ロボット１００が首などを動かしてセンサの姿勢が変化しても、状況依存行動階層（ＳＢＬ）などの行動制御モジュールから見た物体の位置は同じままであるので、ターゲットの取り扱いが容易になる。
また、イベント・メモリは、外部環境下で発生した過去から現在までのイベントを時系列的に格納するオブジェクトである。イベント・メモリにおいて扱われるイベントとして、ターゲットの出現と消失、音声認識単語、自己の行動や姿勢の変化などの外界の状況の変化に関する情報を挙げることができる。
イベントの中には、あるターゲットに関する状態変化が含まれている。このため、イベント情報として該当するターゲットのＩＤを含めることで、発生したイベントに関するより詳しい情報を、上述のターゲット・メモリから検索することも可能である。
本発明の１つのポイントは、属性の異なる２種以上のセンサ情報の統合によりターゲットの検出を行なう点にある。センサ結果と記憶結果の距離計算は、例えば、ターゲットの中心位置の距離から両者の大きさを２分の１して引いたものを扱う通常距離計算（極座標は角度）を用いる。
声に関するセンサ情報と顔に関するセンサ情報を統合する場合、音声（ｖｏｉｃｅ）に関する認識結果が得られた時に短期記憶部内のターゲットに顔（ｆａｃｅ）の認識結果が含まれている場合には、通常距離計算に基づいて統合する。それ以外の場合は、距離が無限大として扱う。
また、色に関するセンサ情報を統合する場合、色（ｃｏｌｏｒ）の認識結果と記憶したターゲットの色が同色の場合には通常距離×０．８を距離とし、それ以外の場合は通常距離×４．０を距離とする。
また、センサの結果と記憶結果を統合する際、極座標系表現の場合は仰角と水平角の平均が２５度以内であること、デカルト座標系表現の場合は通常距離が５０ｃｍ以内であることを、通常統合ルールとする。
また、個々の認識結果による違いは、認識結果とターゲットの距離の計算方法に重みを加えるなどして対応することができる。
図６には、短期記憶部５５が動作する様子を模式的に示している。同図に示す例では、顔の認識結果（ＦＡＣＥ）と音声認識、及び、その音源方向の認識結果（ＶＯＩＣＥ）が別々のタイミングで処理されて、短期記憶部５５に通知されたときの動作を表している（但し、ロボット１００の機体を原点とする極座標系で描かれている）。この場合、各認識結果は時間的にも空間的に近い（オーバーラップしている）ことから、顔の属性と音声の属性を持った１つの物体であると判断して、ターゲット・メモリを更新している。
図７及び図８には、各認識機能部５１〜５３における認識結果に基づいて、短期記憶部５５内のターゲット・メモリ及びイベント・メモリに入る情報の流れをそれぞれ示している。
図７に示すように、短期記憶部５５（ＳＴＭオブジェクト）内には、外部環境からターゲットを検出するターゲット検出器が設けられている。このターゲット検出器は、声認識結果や顔認識結果、色認識結果などの各認識機能部５１〜５３による認識結果を基に、新規ターゲットを追加したり、既存のターゲットを認識結果に反映するように更新したりする。検出されたターゲットは、ターゲット・メモリ内に保持される。
また、ターゲット・メモリには、もはや観測されなくなったターゲットを探して消去するガーベッジ・コレクタ（ＧａｒｂａｇｅＣｏｌｌｅｃｔｏｒ）や、複数のターゲットの関連性を判別して同じターゲットに結び付けるターゲット・アソシエート（ＴａｒｇｅｔＡｓｓｏｃｉａｔｅ）などの機能がある。ガーベッジ・コレクタは、時間の経過に従ってターゲットの確信度をデクリメントしていき、確信度が所定値を下回ったターゲットを削除（ｄｅｌｅｔｅ）することで実現される。また、ターゲット・アソシエートは、同じ属性（認識タイプ）の特徴量が近いターゲット間で空間的・時間的な近さをもつことで、同じターゲットを同定することができる。
前述した状況依存型行動階層（ＳＢＬ）は、短期記憶部５５のクライアント（ＳＴＭクライアント）となるオブジェクトであり、ターゲット・メモリからは定期的に各ターゲットに関する情報の通知（Ｎｏｔｉｆｙ）を受け取る。本実施形態では、ＳＴＭプロキシ・クラスが、短期記憶部５５（ＳＴＭオブジェクト）とは独立したクライアント・ローカルな作業領域にターゲットをコピーして、常に最新の情報を保持しておく。そして、ローカルなターゲット・リスト（Ｔａｒｇｅｔ ｏｆ Ｉｎｔｅｒｅｓｔ）の中から所望のターゲットを読み出して、スキーマ（ｓｃｈｅｍａ）すなわち行動モジュールを決定する。
また、図８に示すように、短期記憶部５５（ＳＴＭオブジェクト）内には、外部環境において発生するイベントを検出するイベント検出器が設けられている。このイベント検出器は、ターゲット検出器によるターゲットの生成や、ガーベッジ・コレクタによるターゲットの削除をイベントとして検出する。また、認識機能部５１〜５３による認識結果が音声認識である場合には、その発話内容がイベントになる。発生したイベントは、発生した時間順にイベント・メモリ内でイベント・リストとして格納される。
前述した状況依存型行動階層（ＳＢＬ）は、短期記憶部５５のクライアント（ＳＴＭクライアント）となるオブジェクトであり、イベント・メモリからは時々刻々とのイベントの通知（Ｎｏｔｉｆｙ）を受け取る。本実施形態では、ＳＴＭプロキシ・クラスが、短期記憶部５５（ＳＴＭオブジェクト）とは独立したクライアント・ローカルな作業領域にイベント・リストをコピーしておく。そして、ローカルなイベント・リストの中から所望のイベントを読み出して、スキーマ（ｓｃｈｅｍａ）すなわち行動モジュールを決定する。実行された行動モジュールは新たなイベントとしてイベント検出器により検出される。また、古いイベントは、例えばＦＩＦＯ（Ｆａｓｔ Ｉｎ Ｆａｓｔ Ｏｕｔ）形式でイベント・リストから逐次的に廃棄される。
図９には、ターゲット検出器の処理動作をフローチャートの形式で示している。以下、このフローチャートを参照しながら、ターゲット検出器によるターゲット・メモリの更新処理について説明する。
各認識機能部５１〜５３からの認識結果を受け取ると（ステップＳ１）、認識結果と同じ時刻における関節角データを検索して、それを基に、各認識結果をセンサ座標系からワールド固定座標系への座標変換を行なう（ステップＳ２）。
次いで、ターゲット・メモリ（Ｔａｒｇｅｔ ｏｆ Ｉｎｔｅｒｅｓｔ）の中からターゲットを１つ取り出して（ステップＳ３）、ターゲットの位置及び時間情報を、認識結果の位置及び時間情報と比較する（ステップＳ４）。位置が重なっていて且つ測定時間が近い場合は、ターゲットと認識結果が一致すると判断する。
一致した場合は、ターゲット内に認識結果と同じ認識タイプの情報があるか否かをさらにチェックする（ステップＳ５）。
そして、同じ認識タイプの情報があれば、さらに、特徴量が一致するか否かをチェックする（ステップＳ６）。特徴量が一致する場合には、今回の認識結果を反映させて（ステップＳ７）、当該ターゲットのターゲット位置や観測時刻を更新して（ステップＳ８）、本処理ルーチン全体を終了する。
他方、特徴量が一致しない場合には、新規ターゲットを生成して、それに今回の認識結果を割り当てて（ステップＳ１１）、本処理ルーチン全体を終了する。
また、ステップＳ５において、認識情報が一致するターゲット内に同じ認識タイプの情報がないと判別された場合には、当該ターゲットについて認識結果を追加して（ステップＳ９）、そのターゲット位置や観測時刻を更新して（ステップＳ９）、本処理ルーチン全体をする。
また、ステップＳ４において、取り出されたターゲットが認識結果の位置及び時間情報に一致しないと判別された場合には、次のターゲットを順次取り出して（ステップＳ１０）、上述と同じ処理を繰り返し行なう。最終的に認識結果と一致するターゲットを発見することができなかった場合には、新規ターゲットを生成して、それに今回の認識結果を割り当てて（ステップＳ１１）、本処理ルーチン全体を終了する。
既に述べたように、ターゲット検出器によるターゲットの追加や更新は、イベントとなる。
図１０には、ガーベッジ・コレクタがターゲット・メモリからターゲットの削除を行うための処理手順をフローチャートの形式で示している。
ガーベッジ・コレクタは、定期的に呼び出されて起動する。まず、センサの測定範囲をワールド固定座標系へ変換する（ステップＳ２１）。
そして、ターゲット・メモリ（Ｔａｒｇｅｔ ｏｆ Ｉｎｔｅｒｅｓｔ）からターゲットを１つ取り出す（ステップＳ２２）。そして、取り出されたターゲットがセンサの測定範囲内に存在するか否かをチェックする（ステップＳ２３）。
ターゲットがセンサの測定範囲内にいたら、時間の経過に応じてその確信度をデクリメントする（ステップＳ２４）。センサの測定範囲であるにも拘わらずターゲットの情報が更新されていないのでターゲットが存在しない可能性がある場合も、その確信度を下げる。測定範囲外のターゲットについては、その情報が保持される。
そして、ターゲットの確信度が所定の閾値ＴＨを下回った場合には（ステップＳ２５）、もはや観察されなくなったものとして、そのターゲットをターゲット・メモリから削除する（ステップＳ２６）。
上述したような確信度の更新やターゲットの削除処理をすべてのターゲットについて繰り返し行う（ステップＳ２７）。
既に述べたように、ガーベッジ・コレクタによるターゲットの削除は、イベントとなる。
図１１には、ターゲット・メモリのデータ表現を示している。同図に示すように、ターゲットは、ＡｓｓｏｃｉａｔｅｄＴａｒｇｅｔという複数の認識結果を要素に持つリストである。このためにターゲットは関連する認識結果を幾つでも持つことができる。
リストの先頭には、すべての認識結果から統合的に判断されたこのターゲットの位置や大きさなどの物理情報が格納され、音声（ｖｏｉｃｅ）や色（ｃｏｌｏｒ）、顔（ｆａｃｅ）などの認識結果がこれに続く。ＡｓｓｏｃｉａｔｅｄＴａｒｇｅｔは共有メモリ上に展開されて、ターゲットの出現、消失とともにメモリ上に生成されたり、消されたりする。上位モジュールはこのメモリを参照することによって現在ロボット１００の意識下にある物体の情報を得ることができる。
また、図１２には、イベント・メモリのデータ表現を示している。同図に示すように、各イベントはＳＴＭＥｖｅｎｔという構造体で表現されて、この中にはどのイベントにも共通のデータ・フィールドとイベントを検知した認識器固有のフィールドからなる。
イベント・メモリは、これらＳＴＭＥｖｅｎｔ構造体のリストの要素として持つ記憶領域である。上位モジュールは、ＳＴＭＥｖｅｎｔのデータ・フィールドの中のデータから該当するデータを使って、所望のイベントを探すことができる。このようなイベント探索により、ある特定の人との対話の履歴を検索するときには、その人物に対応するターゲットＩＤとＳＰＥＥＣＨ（発話）というイベントの種類を使って、その人物の発声したすべての単語をリストすることが可能となる。
また、図１３には、各認識機能部５１〜５３における認識結果を格納する構造体の例を示している。図示の構造体のデータ・フィールドには、それぞれの認識機能部５１〜５３に依存する特徴量などのデータ・フィールドと認識に依存しない位置や大きさ速度などの物理的パラメータ・フィールドが設けられている。
Ｄ．ロボットによる対話処理
本実施形態に係る脚式移動ロボット１００では、外部刺激に関する複数の認識器の結果を時間的及び空間的に整合性を保つように統合して、意味を持ったシンボル情報として扱うようになっている。これによって、以前に観測された認識結果との対応問題などより複雑な認識結果を利用して、どの肌色領域が顔でどの人物に対応しているかや、この声がどの人物の声なのかなどを解くことを可能にしている。
以下では、図１４〜図１６を参照しながら、ロボット１００によるユーザＡ及びＢとの対話処理について説明する。
まず、図１４に示すように、ユーザＡが「まさひろ（ロボットの名前）くん！」と呼ぶと、各認識機能部５１〜５３により音方向検出、音声認識、及び顔識別が行われ、呼ばれた方向を向いて、ユーザＡの顔をトラッキングしたり、ユーザＡとの対話を開始するという状況依存の行動が行なわれる。
次いで、図１５に示すように、今度はユーザＢが「まさひろ（ロボットの名前）くん！」と呼ぶと、各認識機能部５１〜５３により音方向検出、音声認識、及び顔識別が行われ、ユーザＡとの対話を中断した後（但し、会話のコンテキストを保存する）、呼ばれた方向を向いて、ユーザＢの顔をトラッキングしたり、ユーザＢとの対話を開始するという状況依存の行動が行なわれる。
次いで、図１６に示すように、ユーザＡが「おーい！」と叫んで、会話の継続を催促すると、今度は、ユーザＢとの対話を中断した後（但し、会話のコンテキストを保存する）、呼ばれた方向を向いて、ユーザＡの顔をトラッキングしたり、保存されているコンテキストに基づいてユーザＡとの対話を再開するという状況依存の行動が行なわれる。
追補
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。
本発明の要旨は、必ずしも「ロボット」と称される製品には限定されない。すなわち、電気的若しくは磁気的な作用を用いて人間の動作に似せた運動を行う機械装置であるならば、例えば玩具などのような他の産業分野に属する製品であっても、同様に本発明を適用することができる。
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
［産業上の利用可能性］
本発明によれば、画像や音声などの外界の情報を認識してそれに対して自身の行動を反映させる機能を備えた、自律型の優れたロボット装置及びその制御方法を提供することができる。
また、本発明によれば、外界からの複数の認識結果を統合して意味を持ったシンボル情報として扱い、高度な行動制御を行なうことができる、優れたロボット装置及びその制御方法を提供することができる。
また、本発明によれば、以前に観測された認識結果との対応問題などより複雑な認識結果を利用して、どの肌色領域が顔でどの人物に対応しているかや、この声がどの人物の声なのかなどを解くことができる、優れたロボット装置及びその制御方法を提供することができる。
本発明に係るロボット装置は、非同期で通知される個々の認識結果を統合してから行動モジュールに渡すことができるので、行動モジュールで情報の取り扱いが容易になる。
また、本発明に係るロボット装置は、認識した観測結果に関する情報を記憶として保持しているので、自律行動する期間中に一時的に観測結果が来なかったりした場合であっても、機体の行動制御を行なうアプリケーションなどの上位モジュールからは常にそこに物体が知覚されているように見える。この結果、認識器の間違いやセンサのノイズに強くなり、認識器の通知のタイミングに依存しない安定したシステムを実現することができる。
また、本発明に係るロボット装置は、関連する認識結果が結び付けられているので、アプリケーションなどの上位モジュールで関連する情報を使って行動判断することが可能である。例えば、ロボット装置は、呼びかけられた声を基に、その人物の名前を引き出すことができるので、挨拶の応答に「こんにちは、ＸＸＸさん。」のように答えることが可能である。
また、本発明に係るロボット装置は、センサの視野外の情報もすぐに忘れることなく保持しているので、ロボットが物体を一旦見失ったとしても、また後で探し出すことができる。
また、本発明に係るロボット装置は、認識器単体から見て情報が足りなくても、他の認識結果が補うことができる場合があるので、システム全体としての認識性能が向上する。
【図面の簡単な説明】
図１は、本発明の実施に供される脚式移動ロボット１００を前方から眺望した様子を示た図である。
図２は、本発明の実施に供される脚式移動ロボット１００を後方から眺望した様子を示た図である。
図３は、本発明の一実施形態に係る脚式移動ロボット１００が具備する自由度構成モデルを模式的に示した図である。
図４は、本発明の一実施形態に係る脚式移動ロボット１００において採用される行動制御システム５０のアーキテクチャを模式的に示した図である。
図５は、行動制御システム５０における動作の流れを模式的に示した図である。
図６は、短期記憶部５５が動作する様子を模式的に示した図である。
図７は、各認識機能部５１〜５３における認識結果に基づいてターゲット・メモリに入る情報の流れを示した図である。
図８は、各認識機能部５１〜５３における認識結果に基づいてイベント・メモリに入る情報の流れを示した図である。
図９は、ターゲット検出器の処理動作を示したフローチャートである。
図１０は、ガーベッジ・コレクタがターゲット・メモリからターゲットの削除を行なうための処理手順を示したフローチャートである。
図１１は、ターゲット・メモリのデータ表現を示した図である。
図１２は、イベント・メモリのデータ表現を示した図である。
図１３は、各認識機能部５１〜５３における認識結果を格納する構造体の例を示した図である。
図１４は、ロボット１００によるユーザＡ及びＢとの対話処理の例を示した図である。
図１５は、ロボット１００によるユーザＡ及びＢとの対話処理の例を示した図である。
図１６は、ロボット１００によるユーザＡ及びＢとの対話処理の例を示した図である。

Claims (7)

1. 入力情報に対応して動作するロボット装置であって、
   外部環境から認識属性毎に特徴量を認識する複数の認識手段と、
   前記複数の認識手段からの認識結果を基にターゲットを検出するターゲット検出手段と、
   前記ターゲット検出手段により検出されたターゲット毎の複数の認識属性の各々についての特徴量と時間的及び空間的情報を記憶可能なターゲット・メモリと、
   前記ターゲット・メモリに記憶された各ターゲットに基づいて、前記ロボット装置の行動を決定する行動決定手段と、
   を具備し、
   前記ターゲット検出手段は、
   前記複数の認識手段のうちいずれかからの認識結果について、前記ターゲット・メモリ内の時間的及び空間的関係が近いターゲットを同定し、
   前記の認識結果が前記の同定したターゲットの同じ認識属性の特徴量と一致するときには、前記の同定したターゲットの認識属性の情報に前記の認識結果を反映させるとともに時間的及び空間的情報を更新し、
   前記の同定したターゲットが前記の認識結果と同じ認識属性を持たないときには、前記の同定したターゲットに前記の認識結果を追加するとともに時間的及び空間的情報を更新し、
   前記の認識結果が該同定したターゲットの同じ認識属性の特徴量と一致しないとき、又は、前記の認識結果と時間的及び空間的関係が近いターゲットが前記ターゲット・メモリ内にないときには、前記の認識結果を持つ新規のターゲットを前記ターゲット・メモリに記憶する、
   ことを特徴とするロボット装置。
2. 前記複数の認識属性は、少なくとも色情報、声情報、顔認識情報のうち１つを含む、
   ことを特徴とする請求項１に記載のロボット装置。
3. 前記ターゲット検出手段が検出したターゲットの空間的情報を、前記認識手段において使用される座標系から前記ロボット装置を基準にした固定座標系の表現に変換する、
   ことを特徴とする請求項１に記載のロボット装置。
4. 前記ターゲット・メモリ内に記憶されているターゲットの確信度を時間の経過に従ってデクリメントし、確信度が所定値を下回ったターゲットを前記ターゲット・メモリから削除するガーベッジ・コレクタをさらに備える、
   ことを特徴とする請求項１に記載のロボット装置。
5. 外部環境で発生したイベントを時系列に応じて、関連するターゲット情報と併せて記憶するイベント・メモリをさらに備え、
   前記行動決定手段は、前記ターゲット・メモリに記憶されたターゲットと前記イベント・メモリに記憶されたイベントに基づいて行動決定を行なう、
   ことを特徴とする請求項１に記載のロボット装置。
6. 前記イベントには、前記ターゲットの出現並びに消失、音声認識単語、対話、前記ロボット装置の自己行動結果のいずれかが含まれている、
   ことを特徴とする請求項５に記載のロボット装置。
7. 入力情報に対応して動作するロボット装置の制御方法であって、
   外部環境から認識属性毎に特徴量を認識する複数の認識ステップと、
   前記複数の認識ステップにおける認識結果を基にターゲットを検出するターゲット検出ステップと、
   前記ターゲット検出ステップにより検出されたターゲット毎の複数の認識属性各々についての特徴量と時間的及び空間的情報を記憶するターゲット記憶ステップと、
   前記ターゲット検出ステップにより記憶された各ターゲットに基づいて、前記ロボット装置の行動を決定する行動決定ステップと、
   を有し、
   前記ターゲット検出ステップでは、
   前記複数の認識ステップのうちいずれかからの各認識属性の認識結果について、前記ターゲット・メモリ内の時間的及び空間的関係が近いターゲットの認識属性を同定し、
   前記の認識結果が前記の同定したターゲットの同じ認識属性の特徴量と一致するときには、前記の同定したターゲットの認識属性の情報に前記の認識結果を反映させるとともに時間的及び空間的情報を更新し、
   前記の同定したターゲットが前記の認識結果と同じ認識属性を持たないときには、前記の同定したターゲットに前記の認識結果を追加するとともに時間的及び空間的情報を更新し、
   前記の認識結果が該同定したターゲットの同じ認識属性の特徴量と一致しないとき、又は、前記の認識結果と時間的及び空間的関係が近いターゲットが前記ターゲット・メモリ内にないときには、前記の認識結果を持つ新規のターゲットを前記ターゲット・メモリに記憶する、
   ことを特徴とするロボット装置の制御方法。

Images