JP2004302645A

JP2004302645A - Face registration device, face registration method, recording medium and robot device

Info

Publication number: JP2004302645A
Application number: JP2003092352A
Authority: JP
Inventors: Atsushi Okubo; 厚志大久保
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-28
Filing date: 2003-03-28
Publication date: 2004-10-28

Abstract

<P>PROBLEM TO BE SOLVED: To perform a face registration processing at optional timing and to enable a person who attempts to register his/her face to register the face without being aware of the face registration processing. <P>SOLUTION: The face registration device 10 has a face registration command part 13 for outputting a face registration command on the basis of various recognition results, a face detecting part 14 for detecting a face from an input image, a face identifying part 16 for identifying the input face image by evaluating the similarity between the input face image from the face detecting part 14 and a registration face image registered in a registered face database 15 and outputting identification results D1 to the face registration commanding part 13, a face image storing part 17 for storing the input face image from the face detecting part 14 together with its time information, and a face registration part 18 for registering the face image stored in the face image storing part 17 according to the registration command of the face registration commanding part 13. For example, when an identification result that the input face image coincides with one of registration face images is obtained to be able to confirm the person himself/herself of the registration face image, the face registration commanding part 13 defines a period before and after the confirmation as a registration period. The commanding part 13 resister's an input face image inputted during the registration period as an input face image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、入力画像から顔画像を検出して登録する顔登録装置、顔登録方法、記録媒体、及びロボット装置に関する。
【０００２】
【従来の技術】
従来から提案されている顔識別器に用いられているアルゴリズムの代表的なものとしては、主成分分析（ＰｒｉｎｃｉｐａｌＣｏｍｐｏｎｅｎｔＡｎａｌｙｓｉｓ：ＰＣＡ）、線形判別分析（ＬｉｎｅａｒＤｉｓｃｒｉｍｉｎａｎｔＡｎａｌｙｓｉｓ：ＬＤＡ）、ニューラル・ネットワーク（ＮｅｕｒａｌＮｅｔｗｏｒｋ：ＮＮ）等を応用したものがある。これらを含む一般的な顔識別アルゴリズムとしては、入力された顔画像（入力顔画像）に最も類似するものを登録されている顔データ（登録顔画像）の中から選択するものがある。
【０００３】
例えば下記特許文献１には、画像を取得する映像取得手段と、取得された画像情報から人の頭部を検出する頭部検出追跡手段と、検出された頭部の部分画像中から正面顔画像を取得する正面顔位置合わせ手段と、正面顔画像を特徴量に変換する顔特徴抽出手段と、識別辞書を用いて特徴量から人物を識別する顔識別手段と、識別辞書を保存する識別辞書記憶手段とからなる人物識別装置が開示されている。そして、この顔識別手段は、線形判別辞書と特徴データから、登録されている人物の類似度を算出し、類似度が最大値のものを選択し、更にこの最大類似度を閾値処理して他人かどうかを判定する。
【０００４】
【特許文献１】
特開２０００−２２２５７６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の顔認識システムにおいて顔の登録の開始／終了を指示する際には、被登録者が登録開始／終了操作を行ったり、システムがその旨を通知したりという手続きが必要であり、登録中に、被登録者に対し、非登録者の顔を画像入力装置に対して決められた方向に向けてもらう等の作業が必要になる。また、人間の顔は月日が経つと変化するため、識別率を保ち続けるためには登録データを更新する必要があるが、従来の方法ではこの更新作業の際にも新規登録時と同様の作業を行う必要がある。これらの操作はユーザにとって苦痛であり、自律動作が可能なロボット装置において自然なインターフェイスであるとはいえないという問題点がある。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、任意のタイミングで顔登録処理が可能であり被顔登録者が意識しなくても顔登録が可能な顔登録装置、その方法、記録媒体及びロボット装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る顔登録装置は、１以上の顔画像を登録可能な登録顔データベースと、入力顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいずれかと一致するか否かを識別する顔識別手段と、上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示手段と、上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録手段とを有し、上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示し、上記顔登録手段は、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記登録顔データベースに登録することを特徴とする。
【０００８】
本発明においては、入力顔画像と共にその入力時刻を示す情報が画像蓄積手段に蓄積され、顔登録指示手段が登録時刻を指定し、登録時刻と入力時刻が一致する入力顔画像を登録するため、任意のタイミングで入力顔画像を登録することができる。
【０００９】
また、上記顔登録指示手段には、音声及び／又は画像認識結果が供給され、該音声及び／又は画像認識結果に基づき上記登録時刻を指定することができ、音声や画像認識結果により顔識別結果が正しいと確認されタイミングを登録時刻とすることができる。
【００１０】
更に、上記顔登録指示手段は、上記入力顔画像が登録顔画像のいずれかと一致した場合、上記入力顔画像が上記一致した登録顔画像の本人であるか否かを判定し、該判定結果に基づき登録指示することができ、例えば、上記入力顔画像が上記一致した登録顔画像の本人であるか否かの判定を開始する時刻を第１の時刻とし、上記判定が終了する時刻を第２の時刻とし、該第１の時刻乃至第２の時刻を上記登録時刻とし、上記顔登録手段は、上記第１の時刻乃至第２の時刻の間に蓄積された入力顔画像を読み出し上記登録顔データベースを更新することができ、複数枚の入力顔画像を登録顔画像とすることができる。
【００１１】
更にまた、上記顔登録指示手段は、上記音声及び／又は認識結果が一定時間得られない場合、上記登録を指示しないようにすることができ、登録を止めて次に供給される上記顔識別結果に基づき入力顔画像を登録するよう指示することができ、間違えて関係のない人物の顔画像が入力されても登録することがない。
【００１２】
本発明に係る顔登録方法は、入力顔画像をその入力時刻の情報と共に画像蓄積手段に一時的に保存する画像蓄積工程と、１以上の顔画像を登録可能な登録顔データベースに登録された登録顔画像のいずれかと上記入力顔画像とが一致するか否かを識別する顔識別工程と、上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示工程とを有し、上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録工程と、上記顔登録指示工程では、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示され、上記顔登録工程では、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記登録顔データベースに登録されることを特徴とする。
【００１３】
また、本発明に係る記録媒体は、上述した顔登録処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能なものである。
【００１４】
本発明に係るロボット装置は、自律的な動作が可能なロボット装置において、撮像手段と、撮像手段により撮像された入力画像から顔画像を入力顔画像として検出する顔検出手段と、上記入力顔画像と共に当該入力顔画像が検出された入力画像の入力時刻の情報が供給される顔登録装置とを備え、上記顔登録装置は、１以上の顔画像を登録可能な登録顔データベースと、上記入力顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいずれかと一致するか否かを識別する顔識別手段と、上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示手段と、上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録手段とを有し、上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示し、上記顔登録手段は、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記登録顔データベースに登録することを特徴とする。
【００１５】
本発明においては、入力顔画像と共にその入力時刻の情報を蓄積しておき、任意のタイミングを登録時刻として指定し、この登録時刻に一致する入力時刻の顔画像により顔登録処理を行う顔登録装置を備えるため、過去に入力された入力顔画像を使用してこれを登録することができ、被登録者に顔登録の開始及び終了を指示することなく、例えば被登録者とのインタラクションの最中に極めて自然に顔登録することができる。
【００１６】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、例えばエンターテーメント用の人間型のロボット装置等に搭載されるのに好適な顔認識装置に適用したものである。この顔認識装置は、入力された顔画像を蓄積するバッファを有し、顔学習のタイミングを指示することにより、過去に入力された顔画像を時刻指定して、任意のタイミングで顔の登録・更新等の学習が可能になり、被登録者が登録されていることを意識せずに自律的な顔画像の登録を行えるもので、自律動作が可能なロボット装置に搭載されるのに好適であるが、ここでは先ず、顔登録装置について説明し、その後、自律型のロボット装置の構成について説明する。
【００１７】
（１）顔登録装置
図１は、本発明の実施の形態における顔登録装置を示すブロック図である、図１に示すように、顔登録装置１０には、音声入力装置及び各種センサ入力装置２２から入力される音声及び各種センサ情報から音声及び各種センサ認識器１１を介して各種認識結果と、画像入力装置２１から入力される画像から画像認識器１２を介して画像認識結果とが供給される。ここで、画像・音声及びその他のセンサデータには、必ずそれらの情報を獲得した入力時刻の情報が例えばフレームナンバーとして付加されている。
【００１８】
この顔登録装置１０は、各種認識結果から顔登録指令を出力する顔登録指令部１３と、入力画像から顔領域を検出して抽出する顔検出部１４と、顔検出部１４から供給される顔画像（入力顔画像）と、登録顔データベース１５に登録された登録顔画像との類似性の評価により入力顔画像を識別し、識別結果を顔登録指令部（顔登録指示手段）１３に出力する顔識別部１６と、顔検出部１４から検出された入力顔画像がその入力時刻の情報と共に供給され蓄積される顔画像蓄積部１７と、顔登録指令部１３の登録指令に従って顔画像蓄積部１７に蓄積されている入力顔画像を登録する顔登録部１８とを有し、顔登録指令部１３は、例えば、入力顔画像が登録顔画像のいずれかと一致した識別結果が得られ、登録顔画像の本人の確認が得られた場合、確認前後の時刻を登録時刻とし、顔登録部１８は、この登録時刻の間に入力された入力顔画像を画像蓄積部１７から読み出し登録顔画像として登録するものである。
【００１９】
顔検出部１４は、画像入力装置２１から入力画像及びその入力時刻の情報であるフレームナンバーが供給され、入力画像の中から顔が含まれている領域を検出して切り出し（抽出し）、切り出された画像を顔識別部１２及び顔画像蓄積部１３に送るモジュールである。このような顔検出のアルゴリズムには、例えばＰＣＡやサポートベクタマシン（ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ：ＳＶＭ）、Ｂｏｏｓｔｉｎｇアルゴリズム等を使用することができ、このようなアルゴリズムを用いた公知の方法により顔検出処理を行うことができる。切り出された顔画像は、それが切り出された入力画像の時刻情報を示すフレームナンバーと共に顔画像蓄積部１３に蓄積される。また、この顔画像は顔識別部１６にも供給される。
【００２０】
顔識別部１６は、顔検出部１１から送られてくる入力顔画像に対して、登録顔データベース１４に登録されている複数の登録顔データを参照して登録されている顔データ（登録顔画像）から最も類似している登録顔画像を識別するモジュールである。即ち、登録顔データベース１５に登録されている登録顔画像を読み込み、登録顔画像と入力顔画像との類似性を評価し、登録顔画像のいずれかと入力顔画像とが一致するか否かを識別することで入力顔画像が誰であるかを推定する。顔識別部１６は、この識別結果として、例えば登録顔画像を識別する識別情報等を出力し、顔登録指令部１３に供給する。
【００２１】
顔登録指令部１３は、顔識別部１６からの顔識別結果が供給されるとこれに基づき顔登録部１３に顔登録を実行するよう指示する。即ち、顔識別部１６から識別結果が入力され、この識別結果と、音声・画像及びその他のセンサ情報の認識結果から登録すべき顔情報の存在を推定し、顔登録指示のために、そのフレームナンバー及び顔識別情報ＦａｃｅＩＤを顔登録部１８に送るモジュールである。
【００２２】
顔識別部１６が出力する識別結果としては、入力顔画像が登録顔データベース１５にはない未登録顔である場合と、入力顔画像が登録顔データベース１５に登録済みである既登録顔である場合とがあり、既登録顔である場合は登録顔画像の識別情報が出力される。顔登録指令部１３は、登録顔画像の識別情報が供給された場合、各種センサ情報等から登録時刻を決定し、この登録時刻を示すフレームナンバーと一致するフレームナンバーの入力顔画像を登録するよう指示する。登録時刻は、例えば、後述するように音声等にて登録顔画像の本人であるか否かを確認し、確認前乃至確認終了までの時間を登録時刻とすることができる。また、入力顔画像が未登録である場合には、登録対象となる人物の名前等の情報を入力させ、未登録の入力顔画像が誰であるかの情報が得られるまでの時間を登録時刻とすることができる。
【００２３】
顔登録部１５は、顔登録指令部１６から入力される登録フレームナンバー及び顔ＩＤ情報により、指定されたフレームナンバーの入力顔画像を顔画像蓄積部１３から取得し、指定された顔ＩＤの顔データとして登録顔データベース１４に登録するモジュールである。顔識別・顔登録部に用いられるアルゴリズムには、ＰＣＡやＬＤＡやＮＮ等が用いられることが多い。
【００２４】
登録顔データベース１５は、顔登録部１８により登録された登録顔画像を図２に示すようなフォーマットで保存しているデータベースである。即ち、登録顔データベース１５には、各登録顔画像を識別するための識別情報（ＦａｃｅＩＤ）、その登録顔画像データ及び登録顔画像の名前等の付加情報が保存されている。図２に示す登録顔データベース１５には、父、母、兄、弟、妹の５人分の登録顔画像が登録されており、これらの登録顔画像に対して夫々顔識別情報ＦａｃｅＩＤ及び名前（Ｎａｍｅ）が対応付けられて保存されている。なお、付加情報としては、名前以外のその他の個人を示す情報等を保存しておいてもよく、それら付加情報を顔識別処理の際や後述する識別顔の確認の際に使用してもよい。
【００２５】
顔画像蓄積部１７は、顔検出部１１から入力された入力顔画像及びこれを切り出した入力画像のフレームナンバーを対にして一定時間分を蓄積しておくバッファである。バッファ容量を超えて顔画像データが入力される場合には、最も古い時刻情報の顔画像データから消去される。また、顔登録部１７からフレームナンバーが入力されると、このフレームナンバーに対応する入力顔画像を顔登録部１８に出力する。このように顔画像蓄積部１７において、入力時刻の情報と共に顔画像が蓄積されるため、顔登録指令部１３により指示された登録時刻と入力時刻とが一致すればよく、過去に入力された入力顔画像を登録に使用することができ、これにより、登録顔画像を更新したり、新規に登録顔画像として登録したりすることができる。
【００２６】
次に、本実施の形態の顔登録方法について説明する。上述の顔登録指令部１３における顔登録指示のアルゴリズムには様々なものが考えられるが、一例として顔識別部１６と音声認識器１１をベースにしたアルゴリズムが考えられる。図３は、顔登録指示部１３における登録指示処理方法を示すフローチャートである。
【００２７】
顔登録装置１０は、先ず、画像入力装置２１からの入力画像から顔検出部１４が顔領域を検出し、入力顔画像を抽出する。この際、顔検出部１４には、入力画像と共にその時刻情報（フレームナンバー）も供給され、顔検出部１４は、顔が検出されるとその顔画像（入力顔画像）とそれに対応するフレームナンバーを顔識別部１６及び顔画像蓄積部１７へ送る。顔識別部１６は、登録顔データベース１５に記憶されている登録顔画像を読み出し、入力顔画像との類似性を評価して入力顔画像が誰であるか否かを識別する。
【００２８】
顔識別部１６は、その識別結果を出力するが、ここで、入力顔画像が登録顔データベース１５に登録されている顔（既登録顔）である場合と、登録されていない顔（未登録顔）である場合とで処理が異なる。先ず、図３に示すように、入力された顔画像（入力顔画像）が既登録顔の場合には、顔登録指令部１３へ顔識別部１６からその入力顔画像と一致した登録顔画像の識別情報ＦａｃｅＩＤが識別結果として出力される。登録指令部１３は、後述する音声出力装置２５３等を使用し、音声合成して「○○さんですか？」と確認を促す発話を行う（ステップＳ２）。その際、この時点での画像入力装置２１から入力される入力画像のフレームナンバーＦ１を記憶しておく（ステップＳ３）。音声認識器１１等により、認識対象の相手が「はい。そうです」という肯定的な返答を行ったと認識できた場合（ステップＳ４、Ｙｅｓ）には、その時点のフレームナンバーＦ２を保存し（ステップＳ５）、フレームナンバーＦ１からＦ２までの間で顔検出部１４が顔を検出しているフレームナンバー群を認識結果とおりの顔識別情報ＦａｃｅＩＤと共に登録するよう顔登録部１８に指令して追加登録が行われる（ステップＳ６）。この追加登録は、既登録顔を今回新たに識別できた新しい入力顔画像に置き換えたり、既登録顔を入力顔画像を使用して更新したりする処理である。
【００２９】
顔登録部１８は、入力顔画像のフレームナンバーＦ１〜Ｆ２及びＦａｃｅＩＤにより、入力顔画像を登録するよう指示されると、このフレームナンバーＦ１〜Ｆ２を画像蓄積部１７に供給し、画像蓄積部１７はこのフレームナンバーＦ１〜Ｆ２に対応する顔画像（入力顔画像）を顔登部１８に出力する。顔登録部１８はこの入力顔画像を顔識別情報ＦａｃｅＩＤと共に登録顔データベース１５に送り登録を完了する。ここで、顔登録部１８は、入力顔画像及び顔識別情報ＦａｃｅＩＤだけでなく、入力顔画像の名前等の個人情報も一緒に登録顔データベース１５に送り、記憶するよう指示する。
【００３０】
一方、ステップＳ４にて、音声確認の結果、入力顔画像の識別が失敗であったことが確認できた場合、即ち、識別結果に基づき合成された「〇〇さんですか？」という質問の答えが「違います」等の否定の返事だった場合、例えば、音声出力装置２５３から「お名前は何ですか？」等の音声を出力し、入力顔画像の人物に対して質問する（ステップＳ７）。
【００３１】
また、顔識別部１６にて入力された顔画像（入力顔画像）が未登録顔であると判断された場合（ステップＳ１、Ｎｏ）、顔登録指令部１３は、入力顔画像が誰だかわからないことを示す結果を識別結果Ｄ１として受け取る。この場合においても、ステップＳ７に進み同様に音声出力装置２５３にて音声合成され、「お名前は何ですか？」。
【００３２】
そして、その際のフレームナンバーＦ３を記憶し、その後、一定時間内に登録対象となる相手の名前を示す音声認識結果が得られたか否かが判断され（ステップＳ９）、登録対象となる相手が名前を名乗り、それが音声認識器１１により認識された場合、その時点のフレームナンバーＦ４を保存し（ステップＳ１０）、そのフレームナンバーと共に音声認識した相手の名前、新規に発行した顔識別情報ＦａｃｅＩＤを顔登録部１５に供給すると共に、顔登録するよう指示する（ステップＳ１１）。
【００３３】
一方、ステップＳ９にて一定時間経過しても音声入力がないような場合、登録処理を中断する。そうして、新たな入力顔画像が検出され、顔識別結果が得られた場合、ステップＳ１からの処理を繰り返す。
【００３４】
また、ステップＳ１１にて、フレームナンバーＦ３〜Ｆ４、新規登録顔画像の顔識別情報ＦａｃｅＩＤ、名前等の情報が供給され登録処理が指示された顔登録部１８は、フレームナンバーＦ３〜Ｆ４において、顔検出部１４が顔検出している登録顔画像群を顔登録部１８に出力する。顔登録部１８は、例えばこれらの複数の登録顔画像全部、又はこれら複数の登録顔画像から得られる平均顔等を新規登録顔画像とし、顔登録指令部１３から送られてきた相手の名前、新規に発行した顔識別情報ＦａｃｅＩＤを登録顔データベース１５に登録する。
【００３５】
このようなアルゴリズムを用いることにより、相手の人間に顔の登録操作を意識的に行わせる必要がなく、自然な対話中に顔の新規登録処理又は追加登録処理が完了する。また、従来の顔登録システムでは登録中に被登録者が検出できなくなってしまうとシステムが正常に動作しないものが多いが、本システムでは対話の途中に相手がいなくなって顔検出に失敗してもシステムはまだ登録処理を開始していないためシステムは破綻せず終了することができる。
【００３６】
即ち、対話等の自然なインタラクションを行っている間に、顔の新規登録を行うことが可能なであるため、被顔登録者に苦痛を与えず、対話の途中に被登録者がいなくなっても登録システムが破綻せずに正常に登録処理を中断することが可能なシステムを構築することができる。
【００３７】
また、登録処理は、顔識別結果に拘わらず、即ち、入力顔画像が未登録顔でも既登録顔でも、識別結果が得られた時点の開始時刻情報を記憶し、誰であるかが確認された時点の終了時刻情報を記憶し、その後、登録処理が開始されるため、例えば、周囲を歩いているような人物の顔を偶々検出してしまったような場合において、間違って新規顔として顔登録するようなことがなく、常に確実に新規顔登録又は既登録顔更新処理を行うことができる。
【００３８】
（２）ロボット装置の構成
次に、このような顔識別装置を搭載した本実施の形態におけるロボット装置について説明する。本ロボット装置は、上述したように、顔識別装置を搭載すると共に、センサ入力等の外部環境及び自身の内部状態に応じて自立的に動作が可能な人間型のロボット装置である。この人間型のロボット装置は、住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットであり、内部状態（怒り、悲しみ、喜び、楽しみ等）に応じて自律的に行動できるほか、人間が行う基本的な動作を表出できるエンターテインメントロボットである。
【００３９】
図４は、本実施の形態におけるロボット装置の概観を示す斜視図である。図４に示すように、ロボット装置４は、体幹部ユニット２の所定の位置に頭部ユニット３が連結されると共に、左右２つの腕部ユニット４Ｒ／Ｌと、左右２つの脚部ユニット５Ｒ／Ｌが連結されて構成されている（但し、Ｒ及びＬの各々は、右及び左の各々を示す接尾辞である。以下において同じ。）。
【００４０】
このロボット装置１が具備する関節自由度構成を図５に模式的に示す。頭部ユニット３を支持する首関節は、首関節ヨー軸１０１と、首関節ピッチ軸１０２と、首関節ロール軸１０３という３自由度を有している。
【００４１】
また、上肢を構成する各々の腕部ユニット４Ｒ／Ｌは、肩関節ピッチ軸１０７と、肩関節ロール軸１０８と、上腕ヨー軸１０９と、肘関節ピッチ軸１１０と、前腕ヨー軸１１１と、手首関節ピッチ軸１１２と、手首関節ロール輪１１３と、手部１１４とで構成される。手部１１４は、実際には、複数本の指を含む多関節・多自由度構造体である。ただし、手部１１４の動作は、ロボット装置１の姿勢制御や歩行制御に対する寄与や影響が少ないので、本明細書ではゼロ自由度と仮定する。したがって、各腕部は７自由度を有するとする。
【００４２】
また、体幹部ユニット２は、体幹ピッチ軸１０４と、体幹ロール軸１０５と、体幹ヨー軸１０６という３自由度を有する。
【００４３】
また、下肢を構成する各々の脚部ユニット５Ｒ／Ｌは、股関節ヨー軸１１５と、股関節ピッチ軸１１６と、股関節ロール軸１１７と、膝関節ピッチ軸１１８と、足首関節ピッチ軸１１９と、足首関節ロール軸１２０と、足部１２１とで構成される。本明細書中では、股関節ピッチ軸１１６と股関節ロール軸１１７の交点は、ロボット装置１の股関節位置を定義する。人体の足部１２１は、実際には多関節・多自由度の足底を含んだ構造体であるが、ロボット装置１の足底は、ゼロ自由度とする。したがって、各脚部は、６自由度で構成される。
【００４４】
以上を総括すれば、ロボット装置１全体としては、合計で３＋７×２＋３＋６×２＝３２自由度を有することになる。ただし、エンターテインメント向けのロボット装置１が必ずしも３２自由度に限定されるわけではない。設計・制作上の制約条件や要求仕様等に応じて、自由度すなわち関節数を適宜増減することができることはいうまでもない。
【００４５】
上述したようなロボット装置１がもつ各自由度は、実際にはアクチュエータを用いて実装される。外観上で余分な膨らみを排してヒトの自然体形状に近似させること、２足歩行という不安定構造体に対して姿勢制御を行うこと等の要請から、アクチュエータは小型且つ軽量であることが好ましい。
【００４６】
なお、以下では、説明の便宜上、足部１２１の説明において、足部１２１の裏面の路面（床面）に当接する部分を含んで構成される面をＸ−Ｙ平面とし、該Ｘ−Ｙ平面内において、ロボット装置の前後方向をＸ軸とし、ロボット装置の左右方向をＹ軸とし、これらに直交する方向をＺ軸として説明する。
【００４７】
このようなロボット装置は、ロボット装置全体の動作を制御する制御システムを例えば体幹部ユニット２等に備える。図６は、ロボット装置１の制御システム構成を示す模式図である。図６に示すように、制御システムは、ユーザ入力等に動的に反応して情緒判断や感情表現を司る思考制御モジュール２００と、アクチュエータ３５０の駆動等ロボット装置１の全身協調運動を制御する運動制御モジュール３００とで構成される。
【００４８】
思考制御モジュール２００は、情緒判断や感情表現に関する演算処理を実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２１１や、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２１２、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２１３及び外部記憶装置（ハード・ディスク・ドライブ等）２１４等で構成され、モジュール内で自己完結した処理を行うことができる、独立駆動型の情報処理装置である。
【００４９】
この思考制御モジュール２００は、画像入力装置２５１から入力される画像データや音声入力装置２５２から入力される音声データ等、外界からの刺激等に従って、上述の顔登録処理等、識別結果に基づく各処理を行い、ロボット装置１の現在の感情や意思を決定する。ここで、画像入力装置２５１は、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）カメラを複数備えており、また、音声入力装置２５２は、例えばマイクロホンを複数備えている。
【００５０】
また、思考制御モジュール２００は、意思決定に基づいた動作又は行動シーケンス、すなわち四肢の運動を実行するように、運動制御モジュール３００に対して指令を発行する。
【００５１】
一方の運動制御モジュール３００は、ロボット装置１の全身協調運動を制御するＣＰＵ３１１や、ＲＡＭ３１２、ＲＯＭ３１３及び外部記憶装置（ハード・ディスク・ドライブ等）３１４等で構成され、モジュール内で自己完結した処理を行うことができる独立駆動型の情報処理装置である。また、外部記憶装置３１４には、例えば、オフラインで算出された歩行パターンや目標とするＺＭＰ軌道、その他の行動計画を蓄積することができる。
【００５２】
この運動制御モジュール３００には、図５に示したロボット装置１の全身に分散するそれぞれの関節自由度を実現するアクチュエータ３５０、体幹部ユニット２の姿勢や傾斜を計測する姿勢センサ３５１、左右の足底の離床又は着床を検出する接地確認センサ３５２、３５３、足部１２１の足底１２１に設けられる後述する本実施の形態における荷重センサ、バッテリ等の電源を管理する電源制御装置３５４等の各種の装置が、バス・インターフェース（Ｉ／Ｆ）３０１経由で接続されている。ここで、姿勢センサ３５１は、例えば加速度センサとジャイロ・センサの組み合わせによって構成され、接地確認センサ３５２，３５３は、近接センサ又はマイクロ・スイッチ等で構成される。
【００５３】
思考制御モジュール２００と運動制御モジュール３００は、共通のプラットフォーム上で構築され、両者間はバス・インターフェース２０１，３０１を介して相互接続されている。
【００５４】
運動制御モジュール３００では、思考制御モジュール２００から指示された行動を体現すべく、各アクチュエータ３５０による全身協調運動を制御する。すなわち、ＣＰＵ３１１は、思考制御モジュール２００から指示された行動に応じた動作パターンを外部記憶装置３１４から取り出し、又は、内部的に動作パターンを生成する。そして、ＣＰＵ３１１は、指定された動作パターンに従って、足部運動、ＺＭＰ軌道、体幹運動、上肢運動、腰部水平位置及び高さ等を設定するとともに、これらの設定内容に従った動作を指示する指令値を各アクチュエータ３５０に転送する。
【００５５】
また、ＣＰＵ３１１は、姿勢センサ３５１の出力信号によりロボット装置１の体幹部ユニット２の姿勢や傾きを検出するとともに、各接地確認センサ３５２，３５３の出力信号により各脚部ユニット５Ｒ／Ｌが遊脚又は立脚のいずれの状態であるかを検出することによって、ロボット装置１の全身協調運動を適応的に制御することができる。更に、ＣＰＵ３１１は、ＺＭＰ位置が常にＺＭＰ安定領域の中心に向かうように、ロボット装置１の姿勢や動作を制御する。
【００５６】
また、運動制御モジュール３００は、思考制御モジュール２００において決定された意思通りの行動がどの程度発現されたか、すなわち処理の状況を、思考制御モジュール２００に返すようになっている。このようにしてロボット装置１は、制御プログラムに基づいて自己及び周囲の状況を判断し、自律的に行動することができる。
【００５７】
（３）ロボット装置の制御システムの構成
以上のようなロボット装置１は、自己及び周囲の状況や、使用者からの指示及び働きかけに応じて自律的に行動し得るようになされている。次に、このようなロボット装置の制御プログラムのソフトウェア構成について詳細に説明する。図７は、本実施の形態におけるロボット装置のソフトウェア構成を示すブロック図である。図７において、デバイス・ドライバ・レイヤ４０は、この制御プログラムの最下位層に位置し、複数のデバイス・ドライバからなるデバイス・ドライバ・セット４１から構成されている。この場合、各デバイス・ドライバは、ＣＣＤカメラ等の画像入力装置２５１（図３）やタイマ等の通常のコンピュータで用いられるハードウェアに直接アクセスすることを許されたオブジェクトであり、対応するハードウェアからの割り込みを受けて処理を行う。
【００５８】
また、ロボティック・サーバ・オブジェクト４２は、デバイス・ドライバ・レイヤ４０の最下位層に位置し、例えば上述の各種センサやアクチュエータ等のハードウェアにアクセスするためのインターフェイスを提供するソフトウェア群でなるバーチャル・ロボット４３と、電源の切換えなどを管理するソフトウェア群でなるパワーマネージャ４４と、他の種々のデバイス・ドライバを管理するソフトウェア群でなるデバイス・ドライバ・マネージャ４５と、ロボット装置１の機構を管理するソフトウェア群でなるデザインド・ロボット４６とから構成されている。
【００５９】
マネージャ・オブジェクト４７は、オブジェクト・マネージャ４８及びサービス・マネージャ４９から構成されている。オブジェクト・マネージャ４８は、ロボティック・サーバ・オブジェクト４２、ミドル・ウェア・レイヤ５０、及びアプリケーション・レイヤ５１に含まれる各ソフトウェア群の起動や終了を管理するソフトウェア群であり、サービス・マネージャ４９は、例えばメモリカードに格納されたコネクションファイルに記述されている各オブジェクト間の接続情報に基づいて各オブジェクトの接続を管理するソフトウェア群である。
【００６０】
ミドル・ウェア・レイヤ５０は、ロボティック・サーバ・オブジェクト４２の上位層に位置し、画像処理や音声処理などのこのロボット装置１の基本的な機能を提供するソフトウェア群から構成されている。また、アプリケーション・レイヤ５１は、ミドル・ウェア・レイヤ５０の上位層に位置し、当該ミドル・ウェア・レイヤ５０を構成する各ソフトウェア群によって処理された処理結果に基づいてロボット装置１の行動を決定するためのソフトウェア群から構成されている。
【００６１】
なお、ミドル・ウェア・レイヤ５０及びアプリケーション・レイヤ５１の具体なソフトウェア構成をそれぞれ図８に示す。
【００６２】
ミドル・ウェア・レイヤ５０は、図８に示すように、騒音検出用、温度検出用、明るさ検出用、音階認識用、距離検出用、姿勢検出用、接触検出用、操作入力検出用、動き検出用及び色認識用の各信号処理モジュール６０〜６９並びに入力セマンティクスコンバータモジュール７０などを有する認識系７１と、出力セマンティクスコンバータモジュール７９並びに姿勢管理用、トラッキング用、モーション再生用、歩行用、転倒復帰用、ＬＥＤ点灯用及び音再生用の各信号処理モジュール７２〜７８などを有する出力系８０とから構成されている。
【００６３】
認識系７１の各信号処理モジュール６０〜６９は、ロボティック・サーバ・オブジェクト４２のバーチャル・ロボット４３によりＤＲＡＭから読み出される各センサデータや画像データ及び音声データのうちの対応するデータを取り込み、当該データに基づいて所定の処理を施して、処理結果を入力セマンティクスコンバータモジュール７０に与える。ここで、例えば、バーチャル・ロボット４３は、所定の通信規約によって、信号の授受或いは変換をする部分として構成されている。
【００６４】
入力セマンティクスコンバータモジュール７０は、これら各信号処理モジュール６０〜６９から与えられる処理結果に基づいて、「うるさい」、「暑い」、「明るい」、「ドミソの音階が聞こえた」、「障害物を検出した」、「転倒を検出した」、「叱られた」、「誉められた」、「動く物体を検出した」又は「ボールを検出した」などの自己及び周囲の状況や、使用者からの指令及び働きかけを認識し、認識結果をアプリケーション・レイヤ５１（図７）に出力する。
【００６５】
アプリケーション・レイヤ５ｌは、図９に示すように、行動モデルライブラリ９０、行動切換モジュール９１、学習モジュール９２、感情モデル９３及び本能モデル９４の５つのモジュールから構成されている。
【００６６】
行動モデルライブラリ９０には、図１０に示すように、「バッテリ残量が少なくなった場合」、「転倒復帰する」、「障害物を回避する場合」、「感情を表現する場合」、「ボールを検出した場合」などの予め選択されたいくつかの条件項目にそれぞれ対応させて、それぞれ独立した行動モデル９０_１〜９０_ｎが設けられている。
【００６７】
そして、これら行動モデル９０_１〜９０_ｎは、それぞれ入力セマンティクスコンバータモジュール７０から認識結果が与えられたときや、最後の認識結果が与えられてから一定時間が経過したときなどに、必要に応じて後述する感情モデル９３に保持されている対応する情動のパラメータ値や、本能モデル９４に保持されている対応する欲求のパラメータ値を参照しながら続く行動をそれぞれ決定し、決定結果を行動切換モジュール９１に出力する。
【００６８】
なお、この具体例の場合、各行動モデル９０_１〜９０_ｎは、次の行動を決定する手法として、図１１に示すような１つのノード（状態）ＮＯＤＥ_０〜ＮＯＤＥ_ｎから他のどのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移するかを各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎ間を接続するアークＡＲＣ_１〜ＡＲＣ_ｎに対してそれぞれ設定された遷移確率Ｐ_１〜Ｐ_ｎに基づいて確率的に決定する有限確率オートマトンと呼ばれるアルゴリズムを用いる。
【００６９】
具体的に、各行動モデル９０_１〜９０_ｎは、それぞれ自己の行動モデル９０_１〜９０_ｎを形成するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎにそれぞれ対応させて、これらノードＮＯＤＥ_０〜ＮＯＤＥ_ｎごとに図１２に示すような状態遷移表２７０を有している。
【００７０】
この状態遷移表２７０では、そのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎにおいて遷移条件とする入力イベント（認識結果）が「入力イベント名」の列に優先順に列記され、その遷移条件についてのさらなる条件が「データ名」及び「データ範囲」の列における対応する行に記述されている。
【００７１】
したがって、図１２の状態遷移表２７０で表されるノードＮＯＤＥ１００では、「ボールを検出（ＢＡＬＬ）」という認識結果が与えられた場合に、当該認識結果と共に与えられるそのボールの「大きさ（ＳＩＺＥ）」が「０から１０００」の範囲であることや、「障害物を検出（ＯＢＳＴＡＣＬＥ）」という認識結果が与えられた場合に、当該認識結果と共に与えられるその障害物までの「距離（ＤＩＳＴＡＮＣＥ）」が「０から１００」の範囲であることが他のノードに遷移するための条件となっている。
【００７２】
また、このノードＮＯＤＥ１００では、認識結果の入力がない場合においても、行動モデル９０_１〜９０_ｎが周期的に参照する感情モデル９３及び本能モデル９４にそれぞれ保持された各情動及び各欲求のパラメータ値のうち、感情モデル９３に保持された「喜び（ＪＯＹ）」、「驚き（ＳＵＲＰＲＩＳＥ）」若しくは「悲しみ（ＳＵＤＮＥＳＳ）」のいずれかのパラメータ値が「５０から１００」の範囲であるときには他のノードに遷移することができるようになっている。
【００７３】
また、状態遷移表１００では、「他のノードヘの遷移確率」の欄における「遷移先ノード」の行にそのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎから遷移できるノード名が列記されていると共に、「入力イベント名」、「データ値」及び「データの範囲」の列に記述された全ての条件が揃ったときに遷移できる他の各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎへの遷移確率が「他のノードヘの遷移確率」の欄内の対応する箇所にそれぞれ記述され、そのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移する際に出力すべき行動が「他のノードヘの遷移確率」の欄における「出力行動」の行に記述されている。なお、「他のノードヘの遷移確率」の欄における各行の確率の和は１００［％］となっている。
【００７４】
したがって、図１２の状態遷移表１００で表されるノードＮＯＤＥ１００では、例えば「ボールを検出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大きさ）」が「０から１０００」の範囲であるという認識結果が与えられた場合には、「３０［％］」の確率で「ノードＮＯＤＥ１２０（ｎｏｄｅ１２０）」に遷移でき、そのとき「ＡＣＴＩＯＮ１」の行動が出力されることとなる。
【００７５】
各行動モデル９０_１〜９０_ｎは、それぞれこのような状態遷移表２７０として記述されたノードＮＯＤＥ_０〜ＮＯＤＥ_ｎがいくつも繋がるようにして構成されており、入力セマンティクスコンバータモジュール７０から認識結果が与えられたときなどに、対応するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎの状態遷移表を利用して確率的に次の行動を決定し、決定結果を行動切換モジュール９１に出力するようになされている。
【００７６】
図１０に示す行動切換モジュール９１は、行動モデルライブラリ９０の各行動モデル９０_１〜９０_ｎからそれぞれ出力される行動のうち、予め定められた優先順位の高い行動モデル９０_１〜９０_ｎから出力された行動を選択し、当該行動を実行すべき旨のコマンド（以下、これを行動コマンドという。）をミドル・ウェア・レイヤ５０の出力セマンティクスコンバータモジュール７９に送出する。なお、この実施の形態においては、図１０において下側に表記された行動モデル９０_１〜９０_ｎほど優先順位が高く設定されている。
【００７７】
また、行動切換モジュール９１は、行動完了後に出力セマンティクスコンバータモジュール７９から与えられる行動完了情報に基づいて、その行動が完了したことを学習モジュール９２、感情モデル９３及び本能モデル９４に通知する。
【００７８】
一方、学習モジュール９２は、入力セマンティクスコンバータモジュール７０から与えられる認識結果のうち、「叱られた」や「誉められた」など、使用者からの働きかけとして受けた教示の認識結果を入力する。そして、学習モジュール９２は、この認識結果及び行動切換モジュール９１からの通知に基づいて、「叱られた」ときにはその行動の発現確率を低下させ、「誉められた」ときにはその行動の発現確率を上昇させるように、行動モデルライブラリ９０における対応する行動モデル９０_１〜９０_ｎの対応する遷移確率を変更する。
【００７９】
他方、感情モデル９３は、「喜び（ＪＯＹ）」、「悲しみ（ＳＡＤＮＥＳＳ）」、「怒り（ＡＮＧＥＲ）」、「驚き（ＳＵＲＰＲＩＳＥ）」、「嫌悪（ＤＩＳＧＵＳＴ）」及び「恐れ（ＦＥＡＲ）」の合計６つの情動について、各情動ごとにその情動の強さを表すパラメータを保持している。そして、感情モデル９３は、これら各情動のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール７０から与えられる「叱られた」及び「誉められた」などの特定の認識結果と、経過時間及び行動切換モジュール９１からの通知などに基づいて周期的に更新する。
【００８０】
具体的には、感情モデル９３は、入力セマンティクスコンバータモジュール７０から与えられる認識結果と、そのときのロボット装置１の行動と、前回更新してからの経過時間などに基づいて所定の演算式により算出されるそのときのその情動の変動量を△Ｅ［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、その情動の感度を表す係数をｋｅとして、下記の式（１）によって次の周期におけるその情動のパラメータ値Ｅ［ｔ＋１］を算出し、これを現在のその情動のパラメータ値Ｅ［ｔ］と置き換えるようにしてその情動のパラメータ値を更新する。また、感情モデル７３は、これと同様にして全ての情動のパラメータ値を更新する。
【００８１】
【数１】

【００８２】
なお、各認識結果や出力セマンティクスコンバータモジュール７９からの通知が各情動のパラメータ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかは予め決められており、例えば「叩かれた」といった認識結果は「怒り」の情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与え、「撫でられた」といった認識結果は「喜び」の情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与えるようになっている。
【００８３】
ここで、出力セマンティクスコンバータモジュール７９からの通知とは、いわゆる行動のフィードバック情報（行動完了情報）であり、行動の出現結果の情報であり、感情モデル９３は、このような情報によっても感情を変化させる。これは、例えば、目の色等により「怒る」といった感情を表出する行動により怒りの感情レベルが下がるといったようなことである。なお、出力セマンティクスコンバータモジュール７９からの通知は、上述した学習モジュール９２にも入力されており、学習モジュール９２は、その通知に基づいて行動モデル９０_１〜９０_ｎの対応する遷移確率を変更する。
【００８４】
なお、行動結果のフィードバックは、行動切換モジュール９１の出力（感情が付加された行動）によりなされるものであってもよい。
【００８５】
一方、本能モデル９４は、「運動欲（ｅｘｅｒｃｉｓｅ）」、「愛情欲（ａｆｆｅｃｔｉｏｎ）」、「食欲（ａｐｐｅｔｉｔｅ）」及び「好奇心（ｃｕｒｉｏｓｉｔｙ）」の互いに独立した４つの欲求について、これら欲求ごとにその欲求の強さを表すパラメータを保持している。そして、本能モデル９４は、これらの欲求のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール７０から与えられる認識結果や、経過時間及び行動切換モジュール９１からの通知などに基づいて周期的に更新する。
【００８６】
具体的には、本能モデル９４は、「運動欲」、「愛情欲」及び「好奇心」については、認識結果、経過時間及び出力セマンティクスコンバータモジュール７９からの通知などに基づいて所定の演算式により算出されるそのときのその欲求の変動量をΔＩ［ｋ］、現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の感度を表す係数ｋｉとして、所定周期で下記の式（２）を用いて次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋１］を算出し、この演算結果を現在のその欲求のパラメータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラメータ値を更新する。また、本能モデル９４は、これと同様にして「食欲」を除く各欲求のパラメータ値を更新する。
【００８７】
【数２】

【００８８】
なお、認識結果及び出力セマンティクスコンバータモジュール７９からの通知などが各欲求のパラメータ値の変動量△Ｉ［ｋ］にどの程度の影響を与えるかは予め決められており、例えば出力セマンティクスコンバータモジュール７９からの通知は、「疲れ」のパラメータ値の変動量△Ｉ［ｋ］に大きな影響を与えるようになっている。
【００８９】
なお、本実施の形態においては、各情動及び各欲求（本能）のパラメータ値がそれぞれ０から１００までの範囲で変動するように規制されており、また係数ｋｅ、ｋｉの値も各情動及び各欲求毎に個別に設定されている。
【００９０】
一方、図８に示すように、ミドル・ウェア・レイヤ５０の出力セマンティクスコンバータモジュール７９は、上述のようにしてアプリケーション・レイヤ５１の行動切換モジュール９１から与えられる「前進」、「喜ぶ」、「鳴く」又は「トラッキング（ボールを追いかける）」といった抽象的な行動コマンドを出力系８０の対応する信号処理モジュール７２〜７８に与える。
【００９１】
そしてこれら信号処理モジュール７２〜７８は、行動コマンドが与えられると当該行動コマンドに基づいて、その行動を行うために対応するアクチュエータに与えるべきサーボ指令値や、スピーカから出力する音の音声データ及び／又は発光部のＬＥＤに与える駆動データを生成し、これらのデータをロボティック・サーバ・オブジェクト４２のバーチャル・ロボット４３を順次介して対応するアクチュエータ、スピーカ又は発光部等に順次送出する。
【００９２】
このようにしてロボット装置１においては、制御プログラムに基づいて、自己（内部）及び周囲（外部）の状況や、使用者からの指示及び働きかけに応じた自律的な行動を行うことができるようになされている。
【００９３】
【発明の効果】
以上詳細に説明したように本発明に係る本発明に係る顔登録装置は、１以上の顔画像を登録可能な登録顔データベースと、入力顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいずれかと一致するか否かを識別する顔識別手段と、上記顔識別結果に基づき入力顔画像の登録を指示する顔登録指示手段と、上記登録指示に従って入力顔画像を上記登録顔データベースに登録する顔登録手段とを有し、上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する入力顔画像を登録するよう指示し、上記顔登録手段は、上記画像蓄積手段に蓄積された入力顔画像のうち上記登録時刻と一致する入力時刻の入力顔画像を読出し上記登録顔データベースに登録するから、入力顔画像及びその入力時刻を示す情報を蓄積し、登録する顔画像の入力時刻を指定することで、過去に入力されている入力顔画像を顔登録に使用することができ、顔登録のために改めて入力顔を供給する必要がなく、登録時刻の顔画像を読み込むのみで顔登録を行うことができる。
【００９４】
また、本発明に係るロボット装置は、自律的な動作が可能なロボット装置において、撮像手段と、撮像手段により撮像された入力画像から顔画像を検出する顔検出手段と、上記顔画像と共に当該顔画像が検出された入力画像の入力時刻の情報が供給される顔登録装置とを備え、上記顔登録装置は、１以上の顔画像を登録可能な登録顔データベースと、上記顔画像をその入力時刻の情報と共に一時的に保存する画像蓄積手段と、上記入力顔画像が上記登録顔データベースに登録された登録顔画像のいずれかと一致するか否かを識別する顔識別手段と、上記顔識別結果に基づき顔画像の登録を指示する顔登録指示手段と、上記登録指示に従って顔画像を上記登録顔データベースに登録する顔登録手段とを有し、上記顔登録指示手段は、上記顔識別結果に基づき登録時刻を決定し、該登録時刻と上記入力時刻とが一致する顔画像を登録するよう指示し、上記顔登録手段は、上記画像蓄積手段に蓄積された顔画像のうち上記登録時刻と一致する入力時刻の顔画像を読出し上記登録顔データベースに登録するから、顔画像と共にその入力時刻の情報を蓄積しておき、任意のタイミングを登録時刻として指定し、この登録時刻に一致する入力時刻の顔画像により顔登録処理を行う顔登録装置を備えるため、被顔登録者は顔登録時に登録処理を意識しなくてもよく、ロボット装置は、被登録者とのインタラクションの最中に極めて自然に新規顔の登録、及び登録済みの顔画像の更新をすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における顔登録装置を示すブロック図である。
【図２】登録顔データベースの登録の一例を示す模式図である。
【図３】本発明の実施の形態における顔登録方法の一例を示すフローチャートである。
【図４】本発明の実施の形態におけるロボット装置の外観構成を示す斜視図である。
【図５】同ロボット装置の自由度構成モデルを模式的に示す図である。
【図６】同ロボット装置の制御システム構成を模式的に示す図である。
【図７】同ロボット装置のソフトウェア構成を示すブロック図である。
【図８】同ロボット装置のソフトウェア構成におけるミドル・ウェア・レイヤの構成を示すブロック図である。
【図９】同ロボット装置のソフトウェア構成におけるアプリケーション・レイヤの構成を示すブロック図である。
【図１０】本発明の実施の形態におけるアプリケーション・レイヤの行動モデルライブラリの構成を示すブロック図である。
【図１１】本発明の実施の形態におけるロボット装置の行動決定のための情報となる有限確率オートマトンを説明する図である。
【図１２】有限確率オートマトンの各ノードに用意された状態遷移表を示す図である。
【符号の説明】
１ロボット装置、１０顔登録装置、１１認識器、１２画像認識器、１３顔登録指令部、１４顔検出部、１５登録顔データベース、１６顔識別部、１７顔画像蓄積部、１８顔登録部、２１，２５１画像入力装置、２２，２５２音声入力装置、４２ロボティック・サーバ・オブジェクト、４３バーチャル・ロボット、５０ミドル・ウェア・レイヤ、５１アプリケーション・レイヤ、６８動き検出用信号処理モジュール、７０入力セマンティクスコンバータモジュール、７１認識系、７３トラッキング用信号処理モジュール、７９出力セマンティクスコンバータモジュール、８０出力系、８３感情モデル、８４本能モデル、９０行動モデルライブラリ、９１行動切換モジュール、１１０差分画像生成モジュール、１１１重心計算モジュール、２００思考制御モジュール、２５３音声出力装置、３００運動制御モジュール、３５０アクチュエータ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a face registration device that detects and registers a face image from an input image, a face registration method, a recording medium, and a robot device.
[0002]
[Prior art]
Representative algorithms used in the conventionally proposed face classifier include principal component analysis (PCA), linear discriminant analysis (LDA), and neural network (Neural). Network: NN). As a general face identification algorithm including these, there is an algorithm for selecting the most similar to the input face image (input face image) from registered face data (registered face images).
[0003]
For example, in Japanese Patent Application Laid-Open No. H11-157, there is disclosed a video acquisition unit for acquiring an image, a head detection tracking unit for detecting a human head from the acquired image information, and a frontal face image from a partial image of the detected head. , A face feature extraction unit that converts a front face image into a feature, a face identification unit that identifies a person from a feature using an identification dictionary, and an identification dictionary storage that stores the identification dictionary A person identification device comprising means is disclosed. Then, the face identification means calculates the similarity of the registered person from the linear discrimination dictionary and the feature data, selects the one having the maximum similarity, and further thresholds the maximum similarity to perform another person's threshold. Is determined.
[0004]
[Patent Document 1]
JP 2000-222576 A
[0005]
[Problems to be solved by the invention]
However, when instructing start / end of face registration in such a conventional face recognition system, it is necessary to perform procedures for the registrant to perform registration start / end operations, and to notify the system of the operation. During the registration, it is necessary to have the registered person face the non-registered person's face in a predetermined direction with respect to the image input device. In addition, since the human face changes over time, it is necessary to update the registration data in order to maintain the identification rate, but in the conventional method, this update work is similar to that at the time of new registration. Work needs to be done. These operations are painful for the user, and there is a problem that it cannot be said that this is a natural interface in a robot device capable of autonomous operation.
[0006]
The present invention has been proposed in view of such a conventional situation, and a face registration device capable of performing face registration processing at an arbitrary timing and performing face registration without the registrant of the face being conscious, An object of the present invention is to provide a method, a recording medium, and a robot device.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, a face registration apparatus according to the present invention includes a registered face database capable of registering one or more face images, and an image storage means for temporarily storing an input face image together with information on the input time. A face identification unit for identifying whether the input face image matches any of the registered face images registered in the registered face database, and a face registration for instructing registration of the input face image based on the face identification result Instruction means, and face registration means for registering the input face image in the registered face database in accordance with the registration instruction, wherein the face registration instruction means determines a registration time based on the face identification result, and Instructing to register an input face image whose input time coincides with the input face image, wherein the face registering means input face image of the input time coincident with the registration time among the input face images stored in the image storing means And registers the read the registered face database.
[0008]
In the present invention, information indicating the input time is stored in the image storage means together with the input face image, and the face registration instruction means specifies the registration time, and registers the input face image whose registration time matches the input time. An input face image can be registered at an arbitrary timing.
[0009]
The face registration instructing means is supplied with a voice and / or image recognition result, and can designate the registration time based on the voice and / or image recognition result. Is confirmed to be correct, and the timing can be set as the registration time.
[0010]
Further, when the input face image matches any of the registered face images, the face registration instructing means determines whether or not the input face image is the identity of the matched registered face image. For example, the time at which the determination as to whether or not the input face image is the identity of the matched registered face image is set as a first time, and the time at which the determination ends is defined as a second time. The first or second time is set as the registration time, and the face registration means reads the input face image accumulated between the first and second times and reads the registered face image. The database can be updated, and a plurality of input face images can be used as registered face images.
[0011]
Still further, the face registration instructing means may be configured not to instruct the registration when the voice and / or the recognition result is not obtained for a certain period of time. The user can be instructed to register an input face image based on the information, and even if a face image of an unrelated person is erroneously input, no registration is made.
[0012]
A face registration method according to the present invention includes an image storage step of temporarily storing an input face image together with information on the input time in an image storage unit, and a registration step registered in a registered face database capable of registering one or more face images. A face identification step of identifying whether or not any of the face images matches the input face image; and a face registration instruction step of instructing registration of the input face image based on the face identification result. In the face registration step of registering an input face image in the registered face database according to the following, and in the face registration instruction step, a registration time is determined based on the face identification result, and the input face image in which the registration time matches the input time In the face registration step, the input face image of the input time coincident with the registration time among the input face images stored in the image storage means is read out and registered in the registered face database. Is the fact characterized.
[0013]
Further, a recording medium according to the present invention is a computer-readable medium in which a program for causing a computer to execute the above-described face registration process is recorded.
[0014]
A robot apparatus according to the present invention is a robot apparatus capable of autonomous operation, comprising: an imaging unit; a face detection unit configured to detect a face image as an input face image from an input image captured by the imaging unit; A face registration device to which information on the input time of the input image at which the input face image is detected is supplied, wherein the face registration device includes a registered face database capable of registering one or more face images, Image storage means for temporarily storing an image together with information on its input time, face identification means for identifying whether or not the input face image matches any of the registered face images registered in the registered face database, Face registration instructing means for instructing registration of the input face image based on the face identification result; and face registration means for registering the input face image in the registered face database in accordance with the registration instruction. The face registration instructing means determines a registration time based on the face identification result, and instructs to register an input face image in which the registration time matches the input time. The face registration means instructs the image storage means. An input face image at an input time coinciding with the registration time is read out of the accumulated input face images and registered in the registered face database.
[0015]
According to the present invention, a face registration apparatus that stores input time information together with an input face image, specifies an arbitrary timing as a registration time, and performs face registration processing using a face image at an input time that matches the registration time It is possible to register this using an input face image input in the past, without instructing the registrant to start and end face registration, for example, during the interaction with the registrant The face can be registered very naturally.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. In this embodiment, the present invention is applied to a face recognition device suitable for being mounted on, for example, a humanoid robot device for entertainment. This face recognition device has a buffer for storing input face images, designates the timing of face learning, designates the time of a previously input face image, and registers / registers a face at an arbitrary timing. Learning such as updating is possible, and it is possible to register autonomous face images without being aware that the registrant is registered, and it is suitable to be mounted on a robot device capable of autonomous operation However, here, the face registration device will be described first, and then the configuration of the autonomous robot device will be described.
[0017]
(1) Face registration device
FIG. 1 is a block diagram illustrating a face registration device according to an embodiment of the present invention. As shown in FIG. 1, the face registration device 10 includes a voice input device and various voices input from various sensor input devices 22. Various recognition results are supplied from various sensor information via voice and various sensor recognizers 11, and image recognition results are supplied from an image input from the image input device 21 via the image recognizer 12. Here, information on the input time at which the information was acquired is always added to the image / voice and other sensor data, for example, as a frame number.
[0018]
The face registration device 10 includes a face registration command unit 13 that outputs a face registration command from various recognition results, a face detection unit 14 that detects and extracts a face area from an input image, and a face supplied from the face detection unit 14. The input face image is identified by evaluating the similarity between the image (input face image) and the registered face image registered in the registered face database 15, and the identification result is output to the face registration command unit (face registration instruction unit) 13. A face identification unit 16, a face image storage unit 17 in which an input face image detected by the face detection unit 14 is supplied and stored together with information on the input time, and a face image storage unit 17 in accordance with a registration command of the face registration command unit 13. And a face registration unit 18 for registering an input face image stored in the registered face image. For example, the face registration command unit 13 obtains an identification result in which the input face image matches any of the registered face images. Place where the identity of the person was obtained , And the time before and after the confirmation and registration time, the face registering portion 18 is for registering the input face image input during the registration time from the image storage unit 17 as the read registered face image.
[0019]
The face detection unit 14 is supplied with the input image and the frame number as information on the input time from the image input device 21, detects and cuts out (extracts) an area including a face from the input image, and cuts out the area. This is a module for sending the obtained image to the face identification unit 12 and the face image storage unit 13. As such an algorithm for face detection, for example, PCA, a support vector machine (SVM), a Boosting algorithm, or the like can be used, and face detection processing is performed by a known method using such an algorithm. be able to. The cut out face image is stored in the face image storage unit 13 together with a frame number indicating the time information of the input image from which the cut out face image has been cut out. This face image is also supplied to the face identification unit 16.
[0020]
The face identifying unit 16 refers to the registered face data (registered face image) for the input face image sent from the face detecting unit 11 with reference to a plurality of registered face data registered in the registered face database 14. ) Is a module for identifying the most similar registered face image from the above. That is, a registered face image registered in the registered face database 15 is read, the similarity between the registered face image and the input face image is evaluated, and it is determined whether or not any of the registered face images matches the input face image. To estimate who the input face image is. The face identification unit 16 outputs, for example, identification information for identifying the registered face image as the identification result, and supplies the information to the face registration command unit 13.
[0021]
When the face identification result is supplied from the face identification unit 16, the face registration instruction unit 13 instructs the face registration unit 13 to execute face registration based on the supplied result. That is, the identification result is input from the face identification unit 16, the presence of the face information to be registered is estimated from the identification result and the recognition result of the voice / image and other sensor information. This is a module for sending a number and face identification information FaceID to the face registration unit 18.
[0022]
The identification results output by the face identification unit 16 include a case where the input face image is an unregistered face that is not in the registered face database 15 and a case where the input face image is a registered face that has been registered in the registered face database 15. If the face is a registered face, the identification information of the registered face image is output. When identification information of a registered face image is supplied, the face registration command unit 13 determines a registration time from various sensor information and the like, and registers an input face image having a frame number that matches a frame number indicating the registration time. Instruct. As the registration time, for example, whether or not the registered face image is the identity of the registered face image is confirmed by voice or the like as described later, and the time from before the confirmation to the end of the confirmation can be set as the registration time. If the input face image has not been registered, the user is required to input information such as the name of the person to be registered, and the time until information on who the unregistered input face image is obtained is the registration time. It can be.
[0023]
The face registration unit 15 obtains the input face image of the designated frame number from the face image storage unit 13 based on the registered frame number and the face ID information input from the face registration command unit 16, and obtains the face of the designated face ID. A module for registering data in the registered face database 14 as data. PCA, LDA, NN, or the like is often used as an algorithm used in the face identification / face registration unit.
[0024]
The registered face database 15 is a database that stores registered face images registered by the face registration unit 18 in a format as shown in FIG. That is, the registered face database 15 stores identification information (FaceID) for identifying each registered face image, the registered face image data, and additional information such as the name of the registered face image. Registered face images for five fathers, mothers, brothers, brothers, and sisters are registered in the registered face database 15 shown in FIG. 2, and face identification information FaceID and name ( Name) are stored in association with each other. Note that, as the additional information, information indicating an individual other than the name may be stored, and the additional information may be used at the time of face identification processing or at the time of confirming an identification face described later. .
[0025]
The face image accumulating unit 17 is a buffer that accumulates for a certain period of time a pair of the input face image input from the face detecting unit 11 and the frame number of the input image cut out from the input face image. When face image data is input exceeding the buffer capacity, the face image data with the oldest time information is deleted. When a frame number is input from the face registration unit 17, an input face image corresponding to the frame number is output to the face registration unit 18. As described above, since the face image is stored together with the input time information in the face image storage unit 17, the registration time specified by the face registration command unit 13 and the input time only need to match, and the input value input in the past may be used. The face image can be used for registration, whereby the registered face image can be updated or newly registered as a registered face image.
[0026]
Next, a face registration method according to the present embodiment will be described. Various algorithms can be considered for the face registration instruction in the face registration instruction unit 13 described above. As an example, an algorithm based on the face identification unit 16 and the speech recognizer 11 is considered. FIG. 3 is a flowchart illustrating a registration instruction processing method in the face registration instruction unit 13.
[0027]
In the face registration device 10, first, the face detection unit 14 detects a face area from an input image from the image input device 21, and extracts an input face image. At this time, the time information (frame number) is also supplied to the face detection unit 14 together with the input image. When the face is detected, the face detection unit 14 detects the face image (input face image) and the corresponding frame number. To the face identification unit 16 and the face image storage unit 17. The face identification unit 16 reads a registered face image stored in the registered face database 15 and evaluates the similarity with the input face image to identify who the input face image is.
[0028]
The face identification unit 16 outputs the identification result. Here, when the input face image is a face registered in the registered face database 15 (a registered face), a face that is not registered (an unregistered face) ), The processing is different. First, as shown in FIG. 3, when the input face image (input face image) is a registered face, the face identification unit 16 sends a registered face image matching the input face image to the face registration command unit 13. The identification information FaceID is output as the identification result. The registration command unit 13 uses a voice output device 253 or the like to be described later, synthesizes voice, and makes an utterance prompting confirmation of “Is it XX?” (Step S2). At this time, the frame number F1 of the input image input from the image input device 21 at this time is stored (step S3). If the speech recognition device 11 or the like can recognize that the other party to be recognized has given a positive response of “Yes, yes” (step S4, Yes), the frame number F2 at that time is stored (step S4). S5) The face registration unit 18 is instructed to register a frame number group in which the face detection unit 14 detects a face between the frame numbers F1 and F2 together with the face identification information FaceID as the recognition result, and additional registration is performed. (Step S6). This additional registration is processing for replacing a registered face with a new input face image that has been newly identified this time, or updating a registered face using the input face image.
[0029]
When the face registration unit 18 is instructed to register the input face image by the frame numbers F1 and F2 and the FaceID of the input face image, the face registration unit 18 supplies the frame numbers F1 and F2 to the image storage unit 17 and the image storage unit 17 Outputs the face image (input face image) corresponding to the frame numbers F1 to F2 to the face climbing unit 18. The face registration unit 18 sends this input face image together with the face identification information FaceID to the registered face database 15 to complete the registration. Here, the face registration unit 18 sends not only the input face image and the face identification information FaceID but also personal information such as the name of the input face image to the registered face database 15 and instructs the registered face database 15 to store it.
[0030]
On the other hand, in step S4, as a result of the voice confirmation, it can be confirmed that the identification of the input face image has failed, that is, the answer to the question “Is it Mr. 〇〇?” Synthesized based on the identification result. Is negative, such as "No", for example, a voice such as "What is your name?" Is output from the voice output device 253, and a question is asked to the person of the input face image (step S7). ).
[0031]
When the face image input by the face identification unit 16 (input face image) is determined to be an unregistered face (step S1, No), the face registration command unit 13 does not know who the input face image is. Is received as the identification result D1. Also in this case, the process proceeds to step S7, and the voice is similarly synthesized by the voice output device 253, and "What is your name?"
[0032]
Then, the frame number F3 at that time is stored, and thereafter, it is determined whether or not the voice recognition result indicating the name of the registration target is obtained within a predetermined time (step S9), and the registration target is determined. Give yourself a name, and if it is recognized by the speech recognizer 11, save the frame number F4 at that time (step S10), and enter the name of the other party whose speech has been recognized together with the frame number and the newly issued face identification information FaceID. It supplies to the face registration unit 15 and instructs to register the face (step S11).
[0033]
On the other hand, if there is no voice input even after a certain time has elapsed in step S9, the registration process is interrupted. Then, when a new input face image is detected and a face identification result is obtained, the processing from step S1 is repeated.
[0034]
In step S11, the face registration unit 18 to which information such as the frame numbers F3 to F4, the face identification information FaceID of the newly registered face image, the name, and the like is supplied and the registration process is instructed, the The registered face image group for which the detection unit 14 has detected a face is output to the face registration unit 18. The face registration unit 18 sets, for example, all of the plurality of registered face images or an average face or the like obtained from the plurality of registered face images as a newly registered face image, and the name of the partner transmitted from the face registration command unit 13; The newly issued face identification information FaceID is registered in the registered face database 15.
[0035]
By using such an algorithm, there is no need to make the other person consciously perform the face registration operation, and the new face registration processing or the additional face registration processing is completed during a natural conversation. Also, in the conventional face registration system, if the registered person cannot be detected during registration in many cases, the system will not operate properly, but in this system even if the other person disappears during the dialog and face detection fails Since the system has not yet started the registration process, the system can be terminated without failure.
[0036]
That is, it is possible to newly register a face while performing a natural interaction such as a dialogue, so that the registered person does not suffer any pain and even if the registered person disappears during the dialogue. It is possible to construct a system capable of normally interrupting the registration process without causing the registration system to fail.
[0037]
In addition, the registration process stores start time information at the time when the identification result is obtained regardless of the face identification result, that is, whether the input face image is an unregistered face or a registered face, and it is confirmed who the input face image is. Since the registration process is started after that, for example, when a face of a person walking around is accidentally detected, the face is mistakenly detected as a new face. Without registration, new face registration or registered face update processing can always be performed reliably.
[0038]
(2) Configuration of robot device
Next, a robot device according to the present embodiment equipped with such a face identification device will be described. As described above, the present robot device is a humanoid robot device equipped with a face identification device and capable of operating autonomously according to the external environment such as sensor input and the internal state of the robot. This humanoid robot device is a practical robot that supports human activities in various situations in the living environment and other everyday life, and acts autonomously according to the internal state (anger, sadness, joy, enjoyment, etc.). It is an entertainment robot that can express basic actions performed by humans in addition to being able to do it.
[0039]
FIG. 4 is a perspective view illustrating an overview of the robot device according to the present embodiment. As shown in FIG. 4, the robot device 4 has a head unit 3 connected to a predetermined position of the trunk unit 2, and two left and right arm units 4 R / L and two left and right leg units 5 R / L are connected to each other (however, each of R and L is a suffix indicating each of right and left. The same applies hereinafter).
[0040]
FIG. 5 schematically shows a configuration of the degrees of freedom of the joints included in the robot apparatus 1. The neck joint that supports the head unit 3 has three degrees of freedom: a neck joint yaw axis 101, a neck joint pitch axis 102, and a neck joint roll axis 103.
[0041]
Each arm unit 4R / L constituting the upper limb includes a shoulder joint pitch axis 107, a shoulder joint roll axis 108, an upper arm yaw axis 109, an elbow joint pitch axis 110, a forearm yaw axis 111, and a wrist. It comprises a joint pitch shaft 112, a wrist joint roll wheel 113, and a hand 114. The hand 114 is actually a multi-joint / multi-degree-of-freedom structure including a plurality of fingers. However, since the operation of the hand 114 has little contribution or influence on the posture control and the walking control of the robot apparatus 1, it is assumed in this specification that the degree of freedom is zero. Therefore, each arm has seven degrees of freedom.
[0042]
The trunk unit 2 has three degrees of freedom, namely, a trunk pitch axis 104, a trunk roll axis 105, and a trunk yaw axis 106.
[0043]
Each of the leg units 5R / L constituting the lower limb includes a hip joint yaw axis 115, a hip joint pitch axis 116, a hip joint roll axis 117, a knee joint pitch axis 118, an ankle joint pitch axis 119, and an ankle joint. It is composed of a roll shaft 120 and a foot 121. In the present specification, the intersection of the hip joint pitch axis 116 and the hip joint roll axis 117 defines the hip joint position of the robot device 1. Although the foot 121 of the human body is actually a structure including a sole with multiple joints and multiple degrees of freedom, the sole of the robot apparatus 1 has zero degrees of freedom. Therefore, each leg has six degrees of freedom.
[0044]
Summarizing the above, the robot apparatus 1 as a whole has a total of 3 + 7 × 2 + 3 + 6 × 2 = 32 degrees of freedom. However, the robot device 1 for entertainment is not necessarily limited to 32 degrees of freedom. Needless to say, the degree of freedom, that is, the number of joints, can be appropriately increased or decreased according to design / production constraints and required specifications.
[0045]
Each degree of freedom of the robot device 1 as described above is actually implemented using an actuator. It is preferable that the actuator is small and light because of the demands such as removing excess bulges on the appearance and approximating the human body shape, and controlling the posture of an unstable structure called bipedal walking. .
[0046]
In the following, for convenience of description, in the description of the foot portion 121, a surface including a portion in contact with a road surface (floor surface) on the back surface of the foot portion 121 is referred to as an XY plane, and the XY plane is described. In the description, the X-axis indicates the front-rear direction of the robot device, the Y-axis indicates the left-right direction of the robot device, and the Z-axis indicates a direction orthogonal to these.
[0047]
Such a robot device includes a control system for controlling the operation of the entire robot device, for example, in the trunk unit 2 or the like. FIG. 6 is a schematic diagram illustrating a control system configuration of the robot device 1. As shown in FIG. 6, the control system dynamically controls the whole body cooperative movement of the robot apparatus 1, such as driving the actuator 350, such as the thinking control module 200 that dynamically determines the emotion and expresses the emotion by reacting to the user input or the like. And a control module 300.
[0048]
The thought control module 200 includes a CPU (Central Processing Unit) 211 that executes arithmetic processing related to emotion determination and emotional expression, a RAM (Random Access Memory) 212, a ROM (Read Only Memory) 213, and an external storage device (hard disk drive). A self-contained information processing apparatus which is configured with a drive 214 etc. and can perform self-contained processing in the module.
[0049]
The thinking control module 200 performs each processing based on the identification result, such as the face registration processing described above, according to stimuli from the outside world, such as image data input from the image input device 251 and audio data input from the voice input device 252. To determine the current emotions and intentions of the robot device 1. Here, the image input device 251 includes, for example, a plurality of CCD (Charge Coupled Device) cameras, and the audio input device 252 includes, for example, a plurality of microphones.
[0050]
In addition, the thinking control module 200 issues a command to the movement control module 300 so as to execute an action or a behavior sequence based on a decision, that is, a movement of a limb.
[0051]
One motion control module 300 includes a CPU 311 for controlling the whole body cooperative motion of the robot apparatus 1, a RAM 312, a ROM 313, an external storage device (a hard disk drive or the like) 314, and performs self-contained processing in the module. This is an independently driven information processing apparatus that can perform the information processing. The external storage device 314 can store, for example, a walking pattern calculated offline, a target ZMP trajectory, and other action plans.
[0052]
The motion control module 300 includes an actuator 350 for realizing each degree of freedom of the joint distributed over the whole body of the robot apparatus 1 shown in FIG. 5, a posture sensor 351 for measuring the posture and inclination of the trunk unit 2, a left and right foot Various types of sensors, such as

grounding confirmation sensors

352 and 353 for detecting floor leaving or landing, a load sensor provided in the sole 121 of the foot 121, and a power supply control device 354 for managing a power supply such as a battery described later in the present embodiment. Are connected via a bus interface (I / F) 301. Here, the attitude sensor 351 is configured by, for example, a combination of an acceleration sensor and a gyro sensor, and the

grounding confirmation sensors

352, 353 are configured by a proximity sensor, a micro switch, or the like.
[0053]
The thought control module 200 and the exercise control module 300 are constructed on a common platform, and are interconnected via bus interfaces 201 and 301.
[0054]
The movement control module 300 controls the whole body cooperative movement by each actuator 350 so as to embody the behavior specified by the thinking control module 200. That is, the CPU 311 retrieves an operation pattern corresponding to the action instructed from the thinking control module 200 from the external storage device 314, or internally generates an operation pattern. Then, the CPU 311 sets a foot motion, a ZMP trajectory, a trunk motion, an upper limb motion, a waist horizontal position and a height, and the like according to the specified motion pattern, and issues a command for instructing an operation according to these set contents. The value is transferred to each actuator 350.
[0055]
The CPU 311 detects the posture and inclination of the trunk unit 2 of the robot apparatus 1 based on the output signal of the posture sensor 351, and the leg units 5 </ b> R / L detect the free legs based on the output signals of the

ground confirmation sensors

352 and 353. Alternatively, by detecting whether the robot is standing or standing, the whole body cooperative movement of the robot apparatus 1 can be adaptively controlled. Further, the CPU 311 controls the posture and operation of the robot apparatus 1 so that the ZMP position always faces the center of the ZMP stable area.
[0056]
In addition, the motion control module 300 returns to the thought control module 200 the extent to which the action determined by the thought control module 200 has been performed according to the intention, that is, the processing status. In this way, the robot device 1 can determine its own and surroundings based on the control program, and can act autonomously.
[0057]
(3) Configuration of robot system control system
The robot device 1 as described above is configured to be able to autonomously act according to the situation of itself and the surroundings, and instructions and actions from the user. Next, a software configuration of a control program for such a robot device will be described in detail. FIG. 7 is a block diagram illustrating a software configuration of the robot device according to the present embodiment. In FIG. 7, a device driver layer 40 is located at the lowest layer of the control program, and includes a device driver set 41 including a plurality of device drivers. In this case, each device driver is an object permitted to directly access hardware used in a normal computer such as an image input device 251 (FIG. 3) such as a CCD camera or a timer. The processing is performed in response to the interrupt of.
[0058]
The robotic server object 42 is located at the lowest layer of the device driver layer 40, and is a virtual group of software that provides an interface for accessing hardware such as the various sensors and actuators described above. A robot 43, a power manager 44 which is a group of software for managing power supply switching, a device driver manager 45 which is a group of software for managing various other device drivers, and a mechanism of the robot apparatus 1. And a designed robot 46 which is a group of software to perform.
[0059]
The manager object 47 includes an object manager 48 and a service manager 49. The object manager 48 is a software group that manages activation and termination of each software group included in the robotic server object 42, the middleware layer 50, and the application layer 51, and the service manager 49 For example, it is a software group that manages the connection of each object based on the connection information between the objects described in the connection file stored in the memory card.
[0060]
The middleware layer 50 is located on the upper layer of the robotic server object 42 and is composed of a software group that provides basic functions of the robot device 1 such as image processing and sound processing. Further, the application layer 51 is located on the upper layer of the middleware layer 50, and determines the action of the robot device 1 based on the processing result processed by each software group constituting the middleware layer 50. It consists of a group of software for performing
[0061]
FIG. 8 shows specific software configurations of the middleware layer 50 and the application layer 51.
[0062]
As shown in FIG. 8, the middle wear layer 50 includes noise detection, temperature detection, brightness detection, scale recognition, distance detection, posture detection, contact detection, operation input detection, and motion detection. A recognition system 71 having signal processing modules 60 to 69 for detection and color recognition, an input semantics converter module 70, and the like, an output semantics converter module 79, and posture management, tracking, motion reproduction, walking, and fallback. And an output system 80 having respective signal processing modules 72 to 78 for lighting, LED lighting and sound reproduction.
[0063]
Each of the signal processing modules 60 to 69 of the recognition system 71 captures the corresponding data among the sensor data, image data, and audio data read from the DRAM by the virtual robot 43 of the robotic server object 42, and , And gives the processing result to the input semantics converter module 70. Here, for example, the virtual robot 43 is configured as a part that exchanges or converts signals according to a predetermined communication protocol.
[0064]
The input semantics converter module 70 detects “noisy”, “hot”, “bright”, “sounds of domiso are heard”, and “obstacle” based on the processing results given from each of the signal processing modules 60 to 69. The situation of self and surroundings, such as "has detected", "detected a fall", "reprimanded", "praised", "detected a moving object", or "detected a ball", or a command from the user And the action is recognized, and the recognition result is output to the application layer 51 (FIG. 7).
[0065]
As shown in FIG. 9, the application layer 51 includes five modules: a behavior model library 90, a behavior switching module 91, a learning module 92, an emotion model 93, and an instinct model 94.
[0066]
As shown in FIG. 10, the behavior model library 90 includes “when the battery level is low”, “returns to fall”, “when avoids obstacles”, “when expressing emotions”, Are respectively associated with several pre-selected condition items such as "when a ₁ ~ 90 _n Is provided.
[0067]
And these behavior models 90 ₁ ~ 90 _n Are stored in an emotion model 93, which will be described later, as necessary, when a recognition result is provided from the input semantics converter module 70 or when a certain time has elapsed since the last recognition result was provided. The subsequent actions are determined with reference to the corresponding emotion parameter values and the corresponding desire parameter values held in the instinct model 94, and the determination result is output to the action switching module 91.
[0068]
In this specific example, each behavior model 90 ₁ ~ 90 _n Is a one node (state) NODE as shown in FIG. ₀ ~ NODE _n From any other node NODE ₀ ~ NODE _n To each node NODE ₀ ~ NODE _n Arc ARC connecting between ₁ ~ ARC _n Transition probability P set for ₁ ~ P _n An algorithm called a finite stochastic automaton that determines stochastically based on is used.
[0069]
Specifically, each behavior model 90 ₁ ~ 90 _n Are their own behavior models 90 ₁ ~ 90 _n NODE that forms ₀ ~ NODE _n Corresponding to each of these nodes NODE ₀ ~ NODE _n Each has a state transition table 270 as shown in FIG.
[0070]
In this state transition table 270, the node NODE ₀ ~ NODE _n , Input events (recognition results) as transition conditions are listed in order of priority in the column of “input event name”, and further conditions for the transition condition are described in corresponding rows in the columns of “data name” and “data range”. Have been.
[0071]
Therefore, in the node NODE100 represented by the state transition table 270 of FIG. 12, when the recognition result of “detection of the ball (BALL)” is given, the “size” of the ball given together with the recognition result is given. Is in the range of “0 to 1000”, or when a recognition result of “obstacle detected (OBSTABLE)” is given, the “distance (DISTANCE)” to the obstacle given together with the recognition result is given. Is in the range of “0 to 100”, which is a condition for transition to another node.
[0072]
Further, in the node NODE100, even when there is no input of the recognition result, the behavior model 90 ₁ ~ 90 _n Of the parameter values of each emotion and each desire held in the emotion model 93 and the instinct model 94 which are periodically referred to by the user, “joy”, “surprise” or “surprise” held in the emotion model 93 are stored. When any parameter value of “Sadness” is in the range of “50 to 100”, transition to another node can be made.
[0073]
In the state transition table 100, the node NODE is set in the row of “transition destination node” in the column of “transition probability to another node”. ₀ ~ NODE _n The node names that can be transitioned from are listed, and other nodes NODE that can transition when all the conditions described in the columns of “input event name”, “data value”, and “data range” are met ₀ ~ NODE _n To the corresponding node in the column “Transition probability to another node”, and the node NODE ₀ ~ NODE _n The action to be output when transitioning to is described in the row of “output action” in the column of “transition probability to another node”. Note that the sum of the probabilities of each row in the column of “transition probability to another node” is 100 [%].
[0074]
Therefore, in the node NODE100 represented by the state transition table 100 in FIG. 12, for example, "ball is detected (BALL)", and the recognition that the "SIZE" of the ball is in the range of "0 to 1000". When the result is given, it is possible to transit to “node NODE120 (node120)” with a probability of “30 [%]”, and at that time, the action of “ACTION1” is output.
[0075]
Each behavior model 90 ₁ ~ 90 _n Is a node NODE described as such a state transition table 270. ₀ ~ NODE _n Are connected to each other, and when a recognition result is given from the input semantics converter module 70 or the like, the corresponding node NODE ₀ ~ NODE _n The next action is stochastically determined using the state transition table, and the determination result is output to the action switching module 91.
[0076]
The behavior switching module 91 shown in FIG. ₁ ~ 90 _n Out of the actions respectively output from the action models 90 having a predetermined high priority. ₁ ~ 90 _n And outputs a command to execute the action (hereinafter referred to as an action command) to the output semantics converter module 79 of the middleware layer 50. In this embodiment, the behavior model 90 shown at the bottom in FIG. ₁ ~ 90 _n The higher the priority, the higher the priority.
[0077]
Further, the action switching module 91 notifies the learning module 92, the emotion model 93, and the instinct model 94 that the action has been completed, based on the action completion information provided from the output semantics converter module 79 after the action is completed.
[0078]
On the other hand, the learning module 92 inputs, from among the recognition results given from the input semantics converter module 70, the recognition result of the instruction received from the user, such as “reprimanded” or “praised”. Then, based on the recognition result and the notification from the action switching module 91, the learning module 92 lowers the probability of occurrence of the action when "scored" and increases the probability of occurrence of the action when "praised". Corresponding to the corresponding behavior model 90 in the behavior model library 90. ₁ ~ 90 _n Change the corresponding transition probability of.
[0079]
On the other hand, the emotion model 93 is a sum of “joy”, “sadness”, “anger”, “surprise”, “disgust”, and “fear” (FEAR). For the six emotions, a parameter indicating the intensity of the emotion is held for each emotion. Then, the emotion model 93 converts the parameter values of each of these emotions into a specific recognition result such as “reprimanded” and “praised” given from the input semantics converter module 70, and the elapsed time and behavior switching module 91. It is updated periodically based on the notification from.
[0080]
Specifically, the emotion model 93 is calculated by a predetermined arithmetic expression based on the recognition result given from the input semantics converter module 70, the behavior of the robot device 1 at that time, the elapsed time since the last update, and the like. Assuming that the amount of change of the emotion at that time is △ E [t], the parameter value of the current emotion is E [t], and the coefficient representing the sensitivity of the emotion is ke, the following equation (1) is used. The parameter value E [t + 1] of the emotion in the cycle is calculated, and the parameter value of the emotion is updated by replacing it with the current parameter value E [t] of the emotion. The emotion model 73 updates the parameter values of all emotions in the same manner.
[0081]
(Equation 1)

[0082]
The degree to which each recognition result and the notification from the output semantics converter module 79 affect the variation ΔE [t] of the parameter value of each emotion is determined in advance, for example, “hit”. The recognition result has a great influence on the variation ΔE [t] of the parameter value of the emotion of “anger”, and the recognition result such as “stroke” indicates the variation ΔE [t] of the parameter value of the emotion of “joy”. Has become a major influence.
[0083]
Here, the notification from the output semantics converter module 79 is so-called action feedback information (action completion information), information on the appearance result of the action, and the emotion model 93 changes the emotion by such information. Let it. This is, for example, such that the emotional level of anger is reduced by an action that expresses an emotion such as “anger” depending on the eye color or the like. Note that the notification from the output semantics converter module 79 is also input to the above-described learning module 92, and the learning module 92 generates an action model 90 based on the notification. ₁ ~ 90 _n Change the corresponding transition probability of.
[0084]
The feedback of the action result may be made by the output of the action switching module 91 (the action to which the emotion is added).
[0085]
On the other hand, the instinct model 94 provides four independent desires of “exercise”, “affection”, “appetite”, and “curiosity” for each of these desires. It holds a parameter indicating the strength of the desire. Then, the instinct model 94 periodically updates these desire parameter values based on the recognition result given from the input semantics converter module 70, the elapsed time, the notification from the action switching module 91, and the like.
[0086]
More specifically, the instinct model 94 calculates a predetermined arithmetic expression based on a recognition result, an elapsed time, a notification from the output semantics converter module 79, and the like for “exercise desire”, “love desire”, and “curiosity”. The following equation (2) is obtained at a predetermined cycle, where ΔI [k] is the variation amount of the desire at that time, I [k] is the current parameter value of the desire, and ki is a coefficient representing the sensitivity of the desire. Is used to calculate the parameter value I [k + 1] of the desire in the next cycle, and update the parameter value of the desire by replacing this calculation result with the current parameter value I [k] of the desire. Similarly, the instinct model 94 updates the parameter values of each desire except “appetite”.
[0087]
(Equation 2)

[0088]
Note that the degree to which the recognition result and the notification from the output semantics converter module 79 affect the amount of change ΔI [k] of the parameter value of each desire is determined in advance. Has a large effect on the variation ΔI [k] of the parameter value of “fatigue”.
[0089]
In the present embodiment, the parameter values of each emotion and each desire (instinct) are regulated to fluctuate in a range from 0 to 100, and the values of the coefficients ke and ki are also adjusted for each emotion and each instinct. It is set individually for each desire.
[0090]
On the other hand, as shown in FIG. 8, the output semantics converter module 79 of the middleware layer 50 outputs “forward”, “please”, and “squeals” given from the action switching module 91 of the application layer 51 as described above. ”Or“ tracking (follow the ball) ”to the corresponding signal processing modules 72 to 78 of the output system 80.
[0091]
When the action command is given, the signal processing modules 72 to 78, based on the action command, execute a servo command value to be given to a corresponding actuator to perform the action, sound data of sound output from a speaker, and / or Alternatively, drive data to be given to the LED of the light emitting unit is generated, and these data are sequentially transmitted to the corresponding actuator, speaker, light emitting unit, or the like via the virtual robot 43 of the robotic server object 42 in order.
[0092]
In this way, the robot apparatus 1 can perform autonomous actions according to its own (internal) and surrounding (external) conditions, instructions and actions from the user, based on the control program. Has been done.
[0093]
【The invention's effect】
As described in detail above, the face registration apparatus according to the present invention according to the present invention includes a registered face database capable of registering one or more face images, and an image for temporarily storing an input face image together with information on the input time. Storage means, face identification means for determining whether or not the input face image matches any of the registered face images registered in the registered face database, and instructing registration of the input face image based on the face identification result A face registration instructing means for registering an input face image in the registered face database in accordance with the registration instruction; the face registration instructing means determining a registration time based on the face identification result; An instruction is issued to register an input face image whose time coincides with the input time, and the face registration unit inputs the input time that matches the registration time among the input face images stored in the image storage unit. Since the image is read and registered in the registered face database, information indicating the input face image and the input time thereof is accumulated, and by specifying the input time of the face image to be registered, the input face image that has been input in the past can be changed to the face. It can be used for registration, and it is not necessary to supply an input face again for face registration, and face registration can be performed only by reading the face image at the registration time.
[0094]
Further, the robot apparatus according to the present invention is a robot apparatus capable of autonomous operation, comprising: an image pickup unit; a face detection unit that detects a face image from an input image picked up by the image pickup unit; A face registration device to which information on the input time of the input image from which the image is detected is supplied, the face registration device stores a registered face database capable of registering one or more face images, Image storing means for temporarily storing the input face image together with information of the registered face image, and face identifying means for identifying whether or not the input face image matches any of the registered face images registered in the registered face database. A face registration instruction unit for instructing registration of a face image based on the face identification instruction unit; and a face registration unit for registering the face image in the registered face database in accordance with the registration instruction. The registration time is determined on the basis of the result, and an instruction is made to register a face image whose registration time matches the input time. The face registration means, among the face images stored in the image storage means, stores the registration time. Since the face image of the input time that matches the input time is read and registered in the registered face database, information of the input time is stored together with the face image, an arbitrary timing is designated as the registration time, and the input that matches the registration time is specified. Since the face registration device that performs the face registration process based on the face image at the time is provided, the registered person does not need to be conscious of the registration process at the time of registering the face. It is possible to naturally register a new face and update a registered face image.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a face registration device according to an embodiment of the present invention.
FIG. 2 is a schematic diagram showing an example of registration of a registered face database.
FIG. 3 is a flowchart illustrating an example of a face registration method according to an embodiment of the present invention.
FIG. 4 is a perspective view illustrating an external configuration of the robot device according to the embodiment of the present invention.
FIG. 5 is a diagram schematically showing a degree of freedom configuration model of the robot apparatus.
FIG. 6 is a diagram schematically showing a control system configuration of the robot device.
FIG. 7 is a block diagram showing a software configuration of the robot device.
FIG. 8 is a block diagram showing a configuration of a middleware layer in a software configuration of the robot apparatus.
FIG. 9 is a block diagram showing a configuration of an application layer in the software configuration of the robot device.
FIG. 10 is a block diagram illustrating a configuration of a behavior model library of an application layer according to the embodiment of the present invention.
FIG. 11 is a diagram illustrating a finite probability automaton serving as information for determining an action of the robot device according to the embodiment of the present invention.
FIG. 12 is a diagram showing a state transition table prepared for each node of the finite probability automaton.
[Explanation of symbols]
1 robot device, 10 face registration device, 11 recognizer, 12 image recognizer, 13 face registration command section, 14 face detection section, 15 registered face database, 16 face identification section, 17 face image storage section, 18 face registration section, 21, 251 image input device, 22, 252 voice input device, 42 robotic server object, 43 virtual robot, 50 middleware layer, 51 application layer, 68 signal processing module for motion detection, 70 input semantics Converter module, 71 recognition system, 73 tracking signal processing module, 79 output semantics converter module, 80 output system, 83 emotion model, 84 instinct model, 90 behavior model library, 91 behavior switching module, 110 difference image generation module, 111 center of gravity Calculation Module, 200 thought control module, 253 voice output device, 300 motion control module, 350 actuator

Claims

A registered face database capable of registering one or more face images,
Image storage means for temporarily storing an input face image together with information on the input time,
Face identification means for identifying whether the input face image matches any of the registered face images registered in the registered face database,
Face registration instructing means for instructing registration of an input face image based on the face identification result,
Face registration means for registering the input face image in the registered face database according to the registration instruction,
The face registration instructing means determines a registration time based on the face identification result, and instructs to register an input face image whose registration time matches the input time;
The face registration device, wherein the face registration means reads out an input face image at an input time coinciding with the registration time from the input face images stored in the image storage means and registers the input face image in the face registration face database.

2. The face registration apparatus according to claim 1, wherein the face registration instruction unit specifies the registration time based on a voice and / or image recognition result.

2. The method according to claim 1, wherein when the input face image matches any of the registered face images, the face registration unit updates the matched registered face image with the input face image according to the registration instruction. Face registration device.

When the input face image matches one of the registered face images, the face registration instructing means determines whether the input face image is the identity of the matched registered face image, and registers based on the determination result. 4. The face registration apparatus according to claim 3, wherein the face registration is performed.

The face registration instructing means sets a time when the determination as to whether or not the input face image is the identity of the matched registered face image as a first time, and a time when the determination ends as a second time. Then, the first time or the second time is set as the registration time,
5. The face registration apparatus according to claim 4, wherein said face registration means reads out the input face images accumulated between said first time and said second time and updates said registered face database.

Having audio output means,
5. The face registration apparatus according to claim 4, wherein said face registration instructing means determines whether or not said input face image is the identity of said matched registered face image by voice.

5. The face registration apparatus according to claim 4, wherein the face registration instructing means instructs to register the input face image as a new registered face image when it is determined that the user is not the principal.

8. The face registration instructing means, when it is determined that the person is not the principal, inputs a name of a person to be registered, and instructs to register the input face image based on the input result. Described face registration device.

When the input face image does not match any of the registered face images, the face registration instructing means inputs a name of a person to be registered, and instructs to register the input face image based on the input result. The face registration device according to claim 1, wherein

3. The face registration apparatus according to claim 2, wherein the face registration instructing unit does not instruct the registration when the voice and / or image recognition result is not obtained for a predetermined time.

An image storage step of temporarily storing the input face image in the image storage means together with information on the input time,
A face identification step of identifying whether any of the registered face images registered in the registered face database capable of registering one or more face images matches the input face image;
A face registration instruction step of instructing registration of an input face image based on the face identification result;
A face registration step of registering the input face image in the registered face database according to the registration instruction,
In the face registration instruction step, a registration time is determined based on the face identification result, and an instruction is issued to register an input face image whose registration time matches the input time,
In the face registration step, an input face image at an input time coinciding with the registration time is read out of the input face images stored in the image storage means and registered in the registered face database. .

12. The face registration method according to claim 11, wherein in the face registration instruction step, the registration time is specified based on a voice and / or image recognition result.

The method according to claim 11, wherein when the input face image matches one of the registered face images, the matched registered face image is updated by the input face image in the face registration step in accordance with the registration instruction. Face registration method.

In the face registration instruction step, if the input face image matches any of the registered face images, it is determined whether the input face image is the identity of the registered face image that matches, and the registration is performed based on the determination result. 14. The face registration method according to claim 13, wherein an instruction is given.

In the face registration instruction step, the time at which the determination as to whether or not the input face image is the identity of the matched registered face image is set as a first time, and the time at which the determination ends is defined as a second time. Then, the first time or the second time is set as the registration time,
15. The face registration method according to claim 14, wherein in the face registration step, the input face image stored between the first time and the second time is read and the registered face database is updated.

15. The face registration method according to claim 14, wherein in the face registration step, it is determined whether or not the input face image is the identity of the matched registered face image by voice.

15. The face registration method according to claim 14, wherein in the face registration instruction step, when it is determined that the user is not the principal, the user is instructed to register the input face image as a new registered face image.

The said face registration instruction | indication process WHEREIN: When it is determined that it is not the said person, it is made to input the name of the person to be registered, and it is instruct | indicated to register the said input face image based on this input result. 17. The face registration method according to item 17.

If the input face image does not match any of the registered face images, in the face registration instruction step, the name of a person to be registered is input, and an instruction is made to register the input face image based on the input result. The face registration method according to claim 11, wherein:

12. The face registration method according to claim 11, wherein, in the face registration instruction step, if the voice and / or image recognition result is not obtained for a predetermined time, the registration is not instructed.

A computer-readable recording medium recorded with a program for causing a computer to execute a predetermined operation,
An image storage step of temporarily storing the input face image in the image storage means together with information on the input time,
A face identification step of identifying whether any of the registered face images registered in the registered face database capable of registering one or more face images matches the input face image;
A face registration instruction step of instructing registration of an input face image based on the face identification result;
A face registration step of registering the input face image in the registered face database according to the registration instruction,
In the face registration instruction step, a registration time is determined based on the face identification result, and an instruction is issued to register an input face image in which the registration time matches the input time.
In the face registration step, a program is characterized in that an input face image at an input time coinciding with the registration time is read out of the input face images stored in the image storage means and registered in the registered face database. Recording media.

In a robot device that can operate autonomously,
Imaging means;
Face detection means for detecting a face image as an input face image from the input image captured by the imaging means,
A face registration device to which information of an input time of the input image in which the input face image is detected is supplied together with the input face image,
The face registration device,
A registered face database capable of registering one or more face images,
Image storage means for temporarily storing the input face image together with information on the input time,
Face identification means for identifying whether the input face image matches any of the registered face images registered in the registered face database,
Face registration instructing means for instructing registration of an input face image based on the face identification result,
Face registration means for registering the input face image in the registered face database according to the registration instruction,
The face registration instructing means determines a registration time based on the face identification result, and instructs to register an input face image whose registration time matches the input time;
The robot device, wherein the face registration means reads out an input face image at an input time coinciding with the registration time from the input face images stored in the image storage means and registers the input face image in the registered face database.

23. The robot apparatus according to claim 22, wherein the face registration instruction means specifies the registration time based on a voice and / or image recognition result.

23. The method according to claim 22, wherein when the input face image matches any of the registered face images, the face registration unit updates the matched registered face image with the input face image according to the registration instruction. Robot device.

When the input face image matches any of the registered face images, the face registration instructing means determines whether or not the registered face image matches the input face image, and based on the determination result, the registration instruction is performed. The robot device according to claim 24, wherein

The face registration instructing means sets a time when the determination as to whether or not the input face image is the identity of the matched registered face image as a first time, and a time when the determination ends as a second time. Then, the first time or the second time is set as the registration time,
26. The robot apparatus according to claim 25, wherein the face registration unit reads the input face image accumulated between the first time and the second time and updates the registered face database.

Image recognition means for recognizing external situations;
Voice recognition means for recognizing voice,
23. The robot apparatus according to claim 22, wherein the registration time is designated to the face registration instruction means based on a voice and / or image recognition result.