JP4086024B2

JP4086024B2 - ロボット装置及びその行動制御方法

Info

Publication number: JP4086024B2
Application number: JP2004267401A
Authority: JP
Inventors: 文英田中; 浩明小川; 洋貴鈴木; 理花形; 務澤田; 真人伊藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-09-14
Filing date: 2004-09-14
Publication date: 2008-05-14
Anticipated expiration: 2024-09-14
Also published as: CN1748958A; CN100351054C; JP2006082150A; US20060056678A1; EP1653397A2; EP1653397A3; US8315454B2

Description

本発明は、例えば人間の動作を見まねを通じて獲得し、その動作を発現するロボット装置及びその行動制御方法に関する。

従来、ロボット装置は、センサ入力を用いた認識技術により動作主体の動作を見まねることができる。このような見まね動作等のいわゆる模倣動作は、動作獲得やコミュニケーションの基本であるとの考察から、ロボット装置と動作主体（人間）との間の円滑なコミュニケーションやインタラクションの実現のために、ロボット装置に動作主体の動作の模倣能力を与えようとする研究がなされている（非特許文献１〜３参照）。

これらの技術を使えば、ロボット装置は見まねを通じて動作を自分の動作に置き換えて保存することができ、それにＩＤを付与して管理すればいつでも該当する動作を出力することが可能となる。

Christopher Lee, Yangsheng Xu, 徹nline, Interactive Learning of Gestures for Human/Robot Interfaces 1996 IEEE International Conference on Robotics and Automation, Vol.4, pp.2982-2987 Gordon Cheng, Akihiko Nagakubo and Yasuo Kuniyoshi, 鼎ontinuous Humanoid Interaction: An Integrated Perspective Gaining Adaptivity, Redundancy, Flexibility- In One Robotics and Autonomous Systems Vol.37, No.2-3, pp.161-183, November 2001 稲邑哲也，戸嶋巌樹，中村仁彦、「ミメシスに基づくヒューマノイドの行動獲得と原始シンボルの創発」、第１６回人工知能学会全国大会（発表論文番号1Ｄ1‐02）、2002

しかしながら、このようにして獲得した動作をいつどのような状況で発現するかについては提案されていない。

本発明は、このような従来の実情に鑑みて提案されたものであり、状況に応じて適切な動作を発現することができるロボット装置及びその行動制御方法を提供することを目的とする。

そこで、上述した目的を達成するために、本発明に係るロボット装置は、動作主体を識別し、識別情報を生成する動作主体識別手段と、自身の外部及び内部の少なくとも一方の状況を認識し、状況情報を生成する状況認識手段と、上記動作主体の動作情報を獲得する動作獲得手段と、上記動作情報を、当該動作主体の識別情報と当該動作情報を獲得した際の状況情報とに結び付けて記憶する記憶手段と、自身の動作を発現する動作発現手段とを有し、上記動作発現手段は、上記動作主体識別手段によって動作主体が識別された場合、当該動作主体の識別情報と当該動作主体を識別した際の状況情報とに基づいて上記記憶手段に記憶された動作情報を検索し、上記識別情報と上記状況情報とに対応する動作情報がある場合、当該動作情報に基づいて自身の動作を発現することを特徴としている。

また、本発明に係るロボット装置の行動制御方法は、動作主体を識別し、識別情報を生成する動作主体識別工程と、自身の外部及び内部の少なくとも一方の状況を認識し、状況情報を生成する状況認識手工程と、上記動作主体の動作情報を獲得する動作獲得工程と上記動作情報を、当該動作主体の識別情報と当該動作情報を獲得した際の状況情報とに結び付けて記憶手段に記憶する記憶工程と、自身の動作を発現する動作発現工程とを有し、上記動作主体が識別された場合、当該動作主体の識別情報と当該動作主体を識別した際の状況情報とに基づいて上記記憶手段に記憶された動作情報を検索し、上記識別情報と上記状況情報とに対応する動作情報がある場合、当該動作情報に基づいて自身の動作を発現する動作発現工程とを有することを特徴としている。

本発明に係るロボット装置及びその行動制御方法によれば、動作主体の識別情報と、ロボット装置の外部及び内部の少なくとも一方の状況情報と、動作主体の動作情報とを結び付けて記憶し、ロボット装置が動作主体を識別し、記憶された状況と同様な状況に面した際に動作情報を検索することにより、その動作主体に対応する動作を発現することができる。これにより、動作主体とロボット装置との間の親近感を増大させることができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、見まねを通じて動作主体の動作を獲得し、行動に反映させる２足歩行タイプのロボット装置に適用したものである。このロボット装置は、住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットであり、人間が行う基本的な動作を表出できるエンターテインメントロボットでもある。以下では先ず、このようなロボット装置の構成について説明し、次いで、このロボット装置の行動制御方法について詳細に説明する。

（１）ロボット装置の構成
先ず、本実施の形態におけるロボット装置の構成について説明する。図１に示すように、本実施の形態におけるロボット装置１は、体幹部ユニット２の所定の位置に頭部ユニット３が連結されると共に、左右２つの腕部ユニット４Ｒ／Ｌと、左右２つの脚部ユニット５Ｒ／Ｌが連結されて構成されている（但し、Ｒ及びＬの各々は、右及び左の各々を示す接尾辞である。以下において同じ。）。

このロボット装置１が具備する関節自由度構成を図２に模式的に示す。頭部ユニット３を支持する首関節は、首関節ヨー軸１０１と、首関節ピッチ軸１０２と、首関節ロール軸１０３という３自由度を有している。

また、上肢を構成する各々の腕部ユニット４Ｒ／Ｌは、肩関節ピッチ軸１０７と、肩関節ロール軸１０８と、上腕ヨー軸１０９と、肘関節ピッチ軸１１０と、前腕ヨー軸１１１と、手首関節ピッチ軸１１２と、手首関節ロール軸１１３と、手部１１４とで構成される。手部１１４は、実際には、複数本の指を含む多関節・多自由度構造体である。但し、手部１１４の動作は、ロボット装置１の姿勢制御や歩行制御に対する寄与や影響が少ないので、本明細書ではゼロ自由度と仮定する。したがって、各腕部ユニット４Ｒ／Ｌは、７自由度で構成される。

また、体幹部ユニット２は、体幹ピッチ軸１０４と、体幹ロール軸１０５と、体幹ヨー軸１０６という３自由度を有する。

また、下肢を構成する各々の脚部ユニット５Ｒ／Ｌは、股関節ヨー軸１１５と、股関節ピッチ軸１１６と、股関節ロール軸１１７と、膝関節ピッチ軸１１８と、足首関節ピッチ軸１１９と、足首関節ロール軸１２０と、足部１２１とで構成される。本明細書中では、股関節ピッチ軸１１６と股関節ロール軸１１７の交点は、ロボット装置１の股関節位置を定義する。人体の足部は、実際には多関節・多自由度の足底を含んだ構造体であるが、ロボット装置１の足部１２１は、ゼロ自由度とする。したがって、各脚部ユニット５Ｒ／Ｌは、６自由度で構成される。

以上を総括すれば、ロボット装置１全体としては、合計で３＋７×２＋３＋６×２＝３２自由度を有することになる。但し、エンターテインメント向けのロボット装置１が必ずしも３２自由度に限定される訳ではない。設計・制作上の制約条件や要求仕様等に応じて、自由度すなわち関節数を適宜増減することができることはいうまでもない。

上述したようなロボット装置１が持つ各自由度は、実際にはアクチュエータを用いて実装される。外観上で余分な膨らみを排してヒトの自然体形状に近似させること、２足歩行という不安定構造体に対して姿勢制御を行うことなどの要請から、アクチュエータは小型且つ軽量であることが好ましい。

図３には、ロボット装置１の制御システム構成を模式的に示している。図３に示すように、制御システムは、ユーザ入力などに動的に反応して情緒判断や感情表現を司る思考制御モジュール２００と、アクチュエータ３５０の駆動などロボット装置１の全身協調運動を制御する運動制御モジュール３００とで構成される。

思考制御モジュール２００は、情緒判断や感情表現に関する演算処理を実行するＣＰＵ（Central Processing Unit）２１１や、ＲＡＭ（Random Access Memory）２１２、ＲＯＭ（Read Only Memory）２１３、及び外部記憶装置（ハード・ディスク・ドライブなど）２１４で構成され、モジュール内で自己完結した処理を行うことができる独立駆動型の情報処理装置である。

この思考制御モジュール２００は、画像入力装置２５１から入力される画像データや音声入力装置２５２から入力される音声データなど、外界からの刺激などにしたがって、ロボット装置１の現在の感情や意思を決定する。ここで、画像入力装置２５１は、例えばＣＣＤ（Charge Coupled Device）カメラを左右に１つずつ備えており、また、音声入力装置２５２は、例えばマイクロホンを複数備えている。また、思考制御モジュール２００は、スピーカを備える音声出力装置２５３を介して、音声を出力することができる。

また、思考制御モジュール２００は、意思決定に基づいた動作又は行動シーケンス、すなわち四肢の運動を実行するように、運動制御モジュール３００に対して指令を発行する。

一方の運動制御モジュール３００は、ロボット装置１の全身協調運動を制御するＣＰＵ３１１や、ＲＡＭ３１２、ＲＯＭ３１３、及び外部記憶装置（ハード・ディスク・ドライブなど）３１４で構成され、モジュール内で自己完結した処理を行うことができる独立駆動型の情報処理装置である。外部記憶装置３１４には、例えば、オフラインで算出された歩行パターンや目標とするＺＭＰ軌道、その他の行動計画を蓄積することができる。ここで、ＺＭＰとは、歩行中の床反力によるモーメントがゼロとなる床面上の点のことであり、また、ＺＭＰ軌道とは、例えばロボット装置１の歩行動作期間中にＺＭＰが動く軌跡を意味する。なお、ＺＭＰの概念並びにＺＭＰを歩行ロボットの安定度判別規範に適用する点については、Miomir Vukobratovic 著“LEGGED LOCOMOTION ROBOTS”（加藤一郎外著『歩行ロボットと人工の足』（日刊工業新聞社））に記載されている。

運動制御モジュール３００には、図２に示したロボット装置１の全身に分散するそれぞれの関節自由度を実現するアクチュエータ３５０、体幹部ユニット２の姿勢や傾斜を計測する姿勢センサ３５１、左右の足底の離床又は着床を検出する接地確認センサ３５２，３５３、バッテリなどの電源を管理する電源制御装置３５４などの各種の装置が、バス・インターフェース（Ｉ／Ｆ）３０１経由で接続されている。ここで、姿勢センサ３５１は、例えば加速度センサとジャイロ・センサの組み合わせによって構成され、接地確認センサ３５２，３５３は、近接センサ又はマイクロ・スイッチなどで構成される。

思考制御モジュール２００と運動制御モジュール３００とは、共通のプラットフォーム上で構築され、両者間はバス・インターフェース２０１，３０１を介して相互接続されている。

運動制御モジュール３００では、思考制御モジュール２００から指示された行動を体現すべく、各アクチュエータ３５０による全身協調運動を制御する。すなわち、ＣＰＵ３１１は、思考制御モジュール２００から指示された行動に応じた動作パターンを外部記憶装置３１４から取り出し、又は内部的に動作パターンを生成する。そして、ＣＰＵ３１１は、指定された動作パターンにしたがって、足部運動、ＺＭＰ軌道、体幹運動、上肢運動、腰部水平位置及び高さなどを設定すると共に、これらの設定内容に従った動作を指示する指令値を各アクチュエータ３５０に転送する。

また、ＣＰＵ３１１は、姿勢センサ３５１の出力信号によりロボット装置１の体幹部ユニット２の姿勢や傾きを検出すると共に、各接地確認センサ３５２，３５３の出力信号により各脚部ユニット５Ｒ／Ｌが遊脚又は立脚の何れの状態であるかを検出することによって、ロボット装置１の全身協調運動を適応的に制御することができる。

また、ＣＰＵ３１１は、ＺＭＰ位置が常にＺＭＰ安定領域の中心に向かうように、ロボット装置１の姿勢や動作を制御する。

さらに、運動制御モジュール３００は、思考制御モジュール２００において決定された意思通りの行動がどの程度発現されたか、すなわち処理の状況を、思考制御モジュール２００に返すようになっている。

このようにしてロボット装置１は、制御プログラムに基づいて自己及び周囲の状況を判断し、自律的に行動することができる。

（２）ロボット装置の行動制御方法
次に、ロボット装置１の行動制御方法について説明する。図４はロボット装置１が有する行動制御システム４０の構成を示すブロック図である。行動制御システム４０は、図３に示す画像入力装置２５１に相当するＣＣＤカメラ４１と、音声入力装置２５２に相当するマイクロホン４２と、状況を認識する状況認識器４３と、動作主体を認識する人物認識器４４と、見まねを通じて動作を獲得する動作獲得器４５と、獲得した動作データと動作主体の識別情報と状況データとを結び付けて記憶する記憶装置４６と、動作主体の識別情報と状況データに応じて記憶装置４６に記憶された動作を発現する動作発現装置４７と、動作発現装置４７により制御されるアクチュエータ４８とを有して構成されている。

状況認識器４３は、例えばＣＣＤカメラ４１やマイクロホン４２などのセンサにより、ロボット装置１を含む状況を認識し、状況データを出力する。この状況データは、机、椅子などの物体の識別情報、ロボット装置１周辺の画像情報及び音声情報だけでなく、ロボット装置１のバッテリ残量や関節角集合ベクトルなどの情報も含むものである。

人物認識器４４は、例えばＣＣＤカメラ４１やマイクロホン４２などのセンサを用い、顔認識や音声認識により動作主体を識別し、人物ＩＤを付与する。

動作獲得器４５は、見まねを通じて人物認識器４４で識別された動作主体の動作をロボット装置１自身の動作として再構成する。動作獲得器４４は、上記非特許文献１〜３などに記載されたような方法で獲得した動作を自らの動作にマッピングし、各動作データに動作ＩＤを割り当てる。動作ＩＤが付与された動作データは、記憶装置４６に出力される。

記憶装置４６は、動作獲得器４５から出力された動作データを、その動作を獲得した際の状況データ及び動作主体の人物ＩＤに結び付けて記憶する。この動作データは、例えば動作ＩＤと人物ＩＤと状況データとの対応関係を保持したルールベースにより結び付けられて記憶されている。

動作発現装置４７は、状況認識器４３から出力された状況データ及び人物認識器４４から出力された人物ＩＤに応じて該当する動作ＩＤを記憶装置４６から読み出し、該当する動作ＩＤが付与された動作データに基づいてアクチュエータ４８を制御する。

次に、このような行動制御システム４０を有するロボット装置１の行動制御について、図５及び図６に示すフローチャートを用いて説明する。図５は行動制御システム４０の記憶動作を示すフローチャートであり、図６は行動制御システム４０の行動発現動作を示すフローチャートである。

先ず、行動制御システム４０の記憶動作について説明する。例えば動作主体がロボット装置１のＣＣＤカメラ４１の前で動作を行うと、ロボット装置１は人物認識器４４で動作主体を特定すると共に、その動作を行った状況を状況認識器４３で認識する（ステップＳ５１）。状況認識器４３は、ＣＣＤカメラ４１やマイクロホン４２などにより、例えば動作を行った状況における物体などを認識する。

また、動作主体が動作を行った状況を認識すると共に動作獲得器４５により動作主体の動作を見まねを通じて獲得する（ステップＳ５２）。動作主体の動作は、例えば動作主体がＣＣＤカメラ４１で撮像された画像に存在する間記録される。また、動作の切り出しの開始点と終端点は、動作主体又はオペレータが指示することもできる。例えば、動作主体が声で動作の切りだしの開始点及び終端点を指示することにより、動作獲得器４５は動作主体の動作を獲得する。又は、オペレータが動作の切り出しを指示することにより動作を獲得する。また、例えば、動作主体の手足の動きを判別し、その動きの加速度の絶対値がある閾値を超えた場合を始点又は終点としてもよい。

動作を行った動作主体がＣＣＤカメラ４１で撮像された画像に存在しなくなると、記憶装置４６は、動作獲得器４５から出力された動作主体の動作データを、例えば、その動作中の任意時点の状況データと動作主体の人物ＩＤとに結び付けて記憶する（ステップＳ５３）。

例えば、嫌いなものを見ると右手を顔の前で左右に振る癖のあるＡさんが、苦手な食べ物のピーマンを目にして、右手を顔前で振る場面では、人物認識器４４によりＡさんの顔画像や発話音声に基づいてＡさんの人物ＩＤを生成するとともに、状況認識器４３によりピーマンの物体ＩＤを予め記憶された画像に基づいて生成する。また、動作獲得器４５により右手を顔前で左右に振る動作を獲得して動作ＩＤを生成し、Ａさんの人物ＩＤと状況データであるピーマンの物体ＩＤと動作ＩＤとを単純に結び付けて記憶する。

次に、行動制御システム４０の行動発現動作について説明する。例えば動作主体がロボット装置１のＣＣＤカメラ４１で撮像された画像に現れると、ロボット装置１は人物認識器４４で動作主体を特定すると共に、現在の状況を状況認識器４３で認識する（ステップＳ６１）。状況認識器４３は、ＣＣＤカメラ４１やマイクロホン４２などにより、例えば動作主体の周囲の物体などを認識する。

動作発現装置４７は、状況認識器４３及び人物識別器４４から出力された状況データ及び人物ＩＤに応じて、上述した記憶動作により記憶された動作を検索する（ステップＳ６２）。ここで、動作の検索は、例えば動作を行った動作主体の人物ＩＤや動作中の任意の時点の状況データなどに基づいて行われる。

ステップ６３において、検索の結果、例えば記憶装置４６に状況データ及び人物ＩＤに対応する動作ＩＤがない場合、ステップＳ６１に戻り現在の状況を認識する。検索の結果、例えば記憶装置４６のルールベースに状況データ及び人物ＩＤに対応する動作ＩＤがある場合、その動作ＩＤを出力する（ステップＳ６４）。そして、動作発現装置４７は、その動作ＩＤに該当する動作データに基づいてアクチュエータ４８を制御し、ロボット装置１に動作を発現させる。

例えば、上述したように嫌いなものを見ると右手を顔の前で左右に振る癖のあるＡさんが、苦手な食べ物のピーマンを目にした場面では、状況認識器４３及び人物識別器４４により、ピーマンの物体ＩＤ及びＡさんの人物ＩＤが動作発現装置４７へ出力される。動作発現装置４７は、ピーマンの物体ＩＤ及びＡさんの人物ＩＤと単純に結び付けられた右手を顔前で左右に振る動作の動作ＩＤを出力し、当該動作ＩＤの動作データを記憶装置４６から取得する。

このように、本発明に係るロボット装置及びその行動制御方法によれば、例えば動作主体の動作とその動作を行った状況とを結び付けて記憶することにより、ロボット装置１が同様な状況に面した際に、動作主体の動作を模倣することができる。また、ロボット装置１は、動作主体の動作とその動作を行った状況とを結び付けて記憶することにより、動作主体が持つ癖を発現すること可能となるので、動作主体とロボット装置１との間の親密性が深まる。

なお、本実施の形態では、状況データとして物体ＩＤ等の外部情報を用いて説明したが、ロボット装置１のバッテリ残量や関節角集合ベクトルなどの内部状態を用いてもよい。これにより、ロボット装置１はより複雑な挙動を見せることができる。

また、状況データとして背景などの生画像データを用いてもよい。この場合、画像の色ヒストグラムを計算し、その各成分毎の値を集めてベクトルとする。

また、記憶装置４６のルールベースは、更新されるようにしてもよい。例えば、人物ＩＤなどの識別子以外のデータ値は毎回異なるので、更新の度に平均値を算出するようにしてもよい。

また、動作ＩＤを出力する際に、厳密にすべての人物ＩＤや各々データ値が一致しなくても、例えば全要素値からなるベクトルを考えて、記憶装置中のベクトルと現時点のベクトルとの間でハミング距離を計算し、その距離に応じて動作の出力確率を変化させるようにしてもよい。

また、記憶装置４６に蓄積された状況データ及び動作データから一般的なルールを抽出するようにしてもよい。例えば、Ａさん、Ｂさん及びＣさんのすべてがピーマンを目の前にすると、右手を顔の前で左右に振る動作をする場合、動作主体に関係なく、ピーマンを見ると右手を顔の前で左右に振るように汎化してもよい。

また、本実施の形態では、動作ＩＤと状況データとの対応関係を保持したルールベースを用いて説明したが、例えば動作ＩＤと状況データとをニューラルネットワークにより結び付けて記憶するようにしてもよい。例えば、階層型ニューラルネットワークにおいて、入力層に人物ＩＤや状況データを入力し、出力層からは動作ＩＤが出力されるようにしてもよい。

また、本実施の形態では、動作獲得器４５により獲得した動作主体の動作を発現することとしたが、例えば、犬や猫などの動物や他のロボット装置の動作を獲得し、発現することも可能である。

本実施の形態におけるロボット装置の外観を示す斜視図である。同ロボット装置の機能構成を模式的に示すブロック図である。同ロボット装置の制御ユニットの構成を詳細に示すブロック図である。同ロボット装置が有する行動制御システムの構成を示すブロック図である。行動制御システムの記憶動作を説明するフローチャートである。行動制御システムの行動発現動作を説明するフローチャートである。

符号の説明

４０行動制御システム、４１ＣＣＤカメラ、４２マイクロホン、４３状況認識器、４４人物認識器、４５動作獲得器、４６記憶装置、４７動作発現装置、４８アクチュエータ

Claims

動作主体を識別し、識別情報を生成する動作主体識別手段と、
自身の外部及び内部の少なくとも一方の状況を認識し、状況情報を生成する状況認識手段と、
上記動作主体の動作情報を獲得する動作獲得手段と、
上記動作情報を、当該動作主体の識別情報と当該動作情報を獲得した際の状況情報とに結び付けて記憶する記憶手段と、
自身の動作を発現する動作発現手段とを有し、
上記動作発現手段は、上記動作主体識別手段によって動作主体が識別された場合、当該動作主体の識別情報と当該動作主体を識別した際の状況情報とに基づいて上記記憶手段に記憶された動作情報を検索し、上記識別情報と上記状況情報とに対応する動作情報がある場合、当該動作情報に基づいて自身の動作を発現することを特徴とするロボット装置。
上記状況情報は、外部の物体情報、外部の画像情報、外部の音情報、内部のバッテリ残量情報、内部の関節角情報のうち少なくとも１つの情報であることを特徴とする請求項１記載のロボット装置。
上記動作発現手段は、上記識別情報及び上記状況情報をベクトル化し、上記記憶手段に記憶された識別情報及び状況情報のベクトルと上記動作主体が識別された際の識別情報及び状況情報のベクトルとのハミング距離に応じて自身の動作の発現確率を変化させることを特徴とする請求項１記載のロボット装置。
動作主体を識別し、識別情報を生成する動作主体識別工程と、
自身の外部及び内部の少なくとも一方の状況を認識し、状況情報を生成する状況認識手工程と、
上記動作主体の動作情報を獲得する動作獲得工程と、
上記動作情報を、当該動作主体の識別情報と当該動作情報を獲得した際の状況情報とに結び付けて記憶手段に記憶する記憶工程と、
自身の動作を発現する動作発現工程とを有し、
上記動作主体が識別された場合、当該動作主体の識別情報と当該動作主体を識別した際の状況情報とに基づいて上記記憶手段に記憶された動作情報を検索し、上記識別情報と上記状況情報とに対応する動作情報がある場合、当該動作情報に基づいて自身の動作を発現する動作発現工程と
を有することを特徴とするロボット装置の行動制御方法。
上記状況情報は、外部の物体情報、外部の画像情報、外部の音情報、内部のバッテリ残量情報、内部の関節角情報のうち少なくとも１つの情報であることを特徴とする請求項４記載のロボット装置の行動制御方法。
上記動作発現工程では、上記識別情報及び上記状況情報をベクトル化し、上記記憶手段に記憶された識別情報及び状況情報のベクトルと上記動作主体が識別された際の識別情報及び状況情報のベクトルとのハミング距離に応じて自身の動作の発現確率を変化させることを特徴とする請求項４記載のロボット装置の行動制御方法。
上記動作発現工程では、上記記憶手段に記憶された状況情報及び動作情報から規則を抽出し、当該規則に基づいて動作情報を検索することを特徴とする請求項４記載のロボット装置の行動制御方法。