JP5567853B2

JP5567853B2 - 画像認識装置および方法

Info

Publication number: JP5567853B2
Application number: JP2010028207A
Authority: JP
Inventors: 良介辻
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-02-10
Filing date: 2010-02-10
Publication date: 2014-08-06
Anticipated expiration: 2030-02-10
Also published as: US8559722B2; JP2011165008A; CN102147856B; CN103353933B; CN103353933A; EP2357589B1; KR20110093659A; EP2357589A2; KR101280920B1; US20110194732A1; EP2357589A3; CN102147856A

Description

本発明は、ビデオカメラなどの撮像装置に好適な画像認識装置及び方法に関する。

近年、画像中に含まれる特定の被写体を認識する被写体認証機能を備えた撮像装置が提案されている。被写体認証機能を有することにより、認証された被写体に対して優先的にフォーカスや露出を制御することが可能となる。このような被写体認証機能を備えた撮像装置では、まず、撮像装置で撮影して得られた画像データから、特定の被写体領域が含まれる被写体画像領域を検出する。次に検出された被写体画像領域の画像データから、その被写体領域を被認証対象として識別するための特徴情報を抽出し、抽出した特徴情報と予めデータベースに登録された登録対象の画像の特徴情報とを比較する。そして、この比較により得られる類似度に基づき、被認証対象がどの登録対象であるか、または該当する登録対象がいないかの認証を行う。

例えば、特許文献１では、特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、この顔が誰であるかを判定する個人認証を行うシステムが提案されている。なお、本明細書では検出された顔等の画像について、それが誰の（どの）ものであるかを識別する処理を認証または認識と称する。

特開２００３−１８７３５２号公報

上述したように被写体認証では、被認証対象と予め登録されているデータベースとの比較により類似度を算出する。そして、算出される類似度に対して所定の閾値を設けておき、算出された類似度が所定の閾値以上の場合に被認証対象が登録データベース内の該当対象であると判定する。

ここで、被認証対象と登録データベースの対象とにおいて、それぞれの対象の画像から得られる特徴量が類似している場合には、高い類似度が得られる。一方で、被認証対象とデータベースの登録対象とにおいて、同じ被写体であった場合でも、被写体の向きや明るさなどのような被写体の状態に変化がある場合、対象の画像から得られる特徴量に差異があり、低い類似度が得られる。そのため、類似度が所定の閾値未満である場合では、被認証対象が、（１）データベース内の登録対象と該当しない、もしくは、（２）データベース内の登録対象と被認証対象である被写体の状態が一致していない、の２種類の可能性がある。つまり、類似度の値のみでは、被認証対象がデータベースへの未登録被写体であると判定することができない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画像から検出された被写体がデータベースに登録されていない被写体であることをより正確に判別できるようにすることである。

上記目的を達成するための本発明の一態様による画像認識装置は以下の構成を備える。すなわち、
画像から被写体を認識する画像認識装置であって、
被写体を撮影した画像またはこの画像から得られる当該被写体に関する画像特徴と撮影状態を、登録画像情報として当該被写体に関連付けて登録したデータベースと、
動画を構成する連続した画像を処理対象の画像として入力する入力手段と、
前記処理対象の画像から特定の被写体画像を検出する検出手段と、
前記被写体画像と前記登録画像情報における被写体の撮影状態の一致度を算出する第１算出手段と、
前記被写体画像と前記登録画像情報の画像特徴の類似度を算出する第２算出手段と、
前記類似度と前記一致度とに基づいて、前記被写体画像の被写体が前記登録画像情報の被写体であるか否かを認識する認識処理を実行する認識手段と、
前記動画のフレーム間で前記被写体画像と同一の被写体画像を追跡する追跡手段と、
前記データベースに登録されている登録画像情報について、前記認識手段による認識処理を実行させるか否かを決定する決定手段とを備え、
前記認識手段は、前記類似度が第１の閾値よりも低く、前記一致度が第２の閾値以上の場合に、前記被写体画像の被写体は前記登録画像情報の被写体と異なる被写体であると認識し、前記類似度が前記第１の閾値より低く、前記一致度が前記第２の閾値より低い場合は、前記被写体画像の被写体が前記登録画像情報の被写体であるか否かに関して判定不可であるとし、
前記決定手段は、前記データベースに登録されている登録画像情報のうち、前記追跡手段によって追跡されている被写体画像の被写体と異なる被写体であるとすでに判定された登録画像情報を、前記追跡手段によって追跡されている被写体画像に対する前記認識手段による前記認識処理の実行の対象から除く。

本発明によれば、画像から検出された被写体がデータベースに登録されていない被写体であることをより正確に判別できる。

第１実施形態による撮像装置の構成例を示すブロック図。第１実施形態による認証処理を示すフローチャート。第１実施形態による認証処理例を示す図。第２実施形態による撮像装置の構成例を示す図。第２実施形態による認証処理を示すフローチャート。第２実施形態による認証処理例を示す図。

以下、添付の図面を参照しながら本発明の好適な実施の形態について説明する。
［第１実施形態］
図１は、第１実施形態に係る画像認識装置を備えた撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、撮影して得られた画像データから特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、その顔が誰であるかを識別する個人認証を行う機能を有する。

撮像レンズ１０１によって被写体像を表す光線が集光され、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子１０２に入射する。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。

アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、デジタル化された画像が生成される。デジタル化された画像は処理対象の画像として撮影制御部１０５および画像処理部１０６に入力される。画像処理部１０６においては、入力された処理対象の画像についてガンマ補正、ホワイトバランス処理などの画像処理が行われる。また、画像処理部１０６は、通常の画像処理に加え、後述する被写体検出部１０９、被写体認証部１１１から供給される画像中の特定の被写体領域に関する情報を用いた画像処理をおこなう機能を有する。画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。時系列的に連続撮影した画像を逐次表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、映像信号は記録媒体１０８（例えば着脱可能なメモリカード）に記録される。なお、記録先はカメラの内蔵メモリやカメラに装着されたメモリであってもよいし、通信可能に接続された外部装置であっても良い。

画像処理部１０６から出力された映像信号（処理対象の画像）は、被写体検出部１０９にも供給される。被写体検出部１０９は画像中の目的とする特定の被写体を検出し、被写体の数と被写体領域を特定するためのものである。上述したように、本実施形態において目的とする被写体は、人物の顔である。検出方法としては公知の顔検出方法を用いることができる。顔検出の公知技術には、例えば顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、検出精度向上のために複数の顔検出方法を組み合わせて顔検出を行うのが一般的である。具体的には、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。被写体検出部１０９により出力される情報としては、検出数分の被写体の位置、大きさ、傾き、検出結果の信頼度などが挙げられる。

状態判定部１１０は、データベース１１２にアクセスし、後述する被写体認証部１１１の被認証対象と、予めデータベース１１２に登録されている対象との状態が一致するか否か、またはその一致度を判定する。状態判定部１１０の詳細に関しては後述する。

被写体認証部１１１は、被写体検出部１０９により検出された被写体の画像データ（被写体画像）から、その被写体領域を被認証対象として識別するための特徴情報を抽出する。そして、抽出した特徴情報と予めデータベース１１２に登録されている被写体の画像の特徴情報とを比較する。すなわち、被写体画像の画像特徴とデータベース１１２に登録された被写体の画像特徴とが比較される。被写体認証部１１１は、この比較による類似度を示す認証評価値に基づき、被認証対象がどの登録対象であるか、または該当する登録対象がいないかの認証を行う。例えば、認証評価値に対して所定の閾値を設け、所定の閾値以上の場合に、被認証対象がデータベース１１２に登録されている該当対象であると判定することができる。一方で、所定の閾値以下の場合には、
（１）被認証対象がデータベース１１２に登録されている該当対象とは異なる対象の場合、もしくは、
（２）被認証対象と登録データベース内の該当対象とは一致するが所定の閾値以上の認証評価値が得られなかった場合、
の２種類が挙げられる。被認証対象とデータベース１１２に登録されている該当対象とは一致するが所定の閾値以上の認証評価値が得られない現象は、例えば顔の向きなど、画像中の被写体の状態が異なる場合などに起因して発生する。そこで、被写体認証部１１１では、認証評価値が所定の閾値未満かつ状態判定部１１０において状態が一致すると判定された場合（或いは状態の一致度が所定の閾値以上の場合）に、被認証対象を当該データベースとは異なる被写体として判定する。

ここで、状態判定部１１０における状態とは、被写体認証部１１１において、精度低下を招く要因から構成されるものとする。被写体認証部１１１の精度低下を招く要因は、被写体認証部１１１のアルゴリズム等に依存するため、被写体認証部１１１の特性に基づいて、状態判定部１１０の状態は定義される。状態の例としては、顔の向き、明るさ、表情、隠蔽度（眼鏡をかけている、髭が生えているなど）、被写体領域の大きさなどが挙げられる。

データベース１１２には、目的とする被写体の画像もしくは被写体認証用の画像特徴量および被写体の撮影状態が、当該被写体に関連付けられて登録されている。データベース１１２に登録される被写体の数は複数であってもよい。また、同じ被写体のデータをデータベースに複数登録することができ、その場合、複数の異なる状態で被写体を登録することができる。なお、データベース１１２に被写体認証用の画像を登録するようにしても良い。本明細書では、データベース１１２において被写体と関連付けて登録された画像特徴量および撮影状態、或いは画像を総称して登録画像情報という。

撮影制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズの図示しない焦点制御機構や露出制御機構を制御する。撮影制御部１０５は、この焦点制御機構や露出制御機構の制御に、被写体検出部１０９や被写体認証部１１１から供給された目的とする被写体領域の抽出結果の情報を用いることができる。従って、撮像装置１００は、撮像画像における特定の被写体領域の情報を考慮した撮影処理を行う機能を有する。撮影制御部１０５は、撮像素子１０２の出力タイミングや出力画素などの制御も行う。

第１の実施形態に係る被写体認証の処理の流れについて図２を参照して説明する。
画像処理部１０６は、撮像素子１０２を介して得られた撮像画像をＡ／Ｄ変換部１０４によりデジタル化して得られた画像を入力画像として読み込む（Ｓ２０１）。次に、被写体検出部１０９は、入力画像中の被写体領域を検出する（Ｓ２０２）。状態判定部１１０及び被写体認証部１１１は、被写体検出部１０９が検出した被写体領域の画像を認識対象の被写体画像として取得する。なお、被写体検出部１０９による検出結果の情報として、検出結果の個数と各検出結果の画像中の位置、大きさ、検出結果の信頼度などが得られる。状態判定部１１０及び被写体認証部１１１は、被写体検出部１０９により認識対象として抽出された被写体のそれぞれについてＳ２０３からＳ２０９までの処理を実行する。なお、被写体検出部１０９により抽出された複数の被写体の中から主となる被写体を選択し、選択された被写体のみを被認証対象として、Ｓ２０３からＳ２０９までの処理を実行するようにしてもよい。主となる被写体の選択としては、被写体領域（被写体画像）の検出において最も評価値が高かった被写体、被写体領域の面積が最も大きいもの、などが挙げられる。

状態判定部１１０は、被写体検出部１０９により抽出された被写体とデータベース１１２に登録されている被写体との状態が一致するかを判定するための状態一致度を算出する（Ｓ２０３（第１算出処理））。ここで、状態一致度が高いほど、状態が類似していることを示す。

状態一致判定の要素の例として顔の向きが挙げられる。顔の向きの一致度を判定する場合には、被認証対象およびデータベースに登録されている対象の画像から、それぞれ目や口などの顔パーツの特徴点を抽出し、抽出された特徴点の幾何学的関係から顔向きを推定する。被認証対象（認識対象の被写体画像）とデータベースに登録されている対象（被写体）とにおいて、推定された顔向きを比較することにより、状態一致度を判定できる。なお、状態一致判定における状態は、被写体認証部１１１の精度に影響を与える要因であればよく、顔の向きに限られるものではない。つまり、ここで用いられる状態とは、被写体認証部１１１のシステムやアルゴリズムに応じて定義されるものであり、顔向きの他に、「明るさ」、「表情」、「隠蔽度」、「大きさ」などが挙げられる。各状態の一致度判定方法の例について以下に説明する。「明るさ」を状態として用いる場合は、被認証対象およびデータベースに登録されている対象の画像からそれぞれ輝度値の平均値を算出し、その差から状態一致度を判定する。「表情」を用いる場合は、被認証対象およびデータベースに登録されている対象の画像のそれぞれから、目や口などの顔パーツの特徴点を抽出し、抽出された特徴点の幾何学的関係の類似性から状態一致度を判定する。「隠蔽度」を用いる場合は、被認証対象およびデータベースに登録されている対象の画像からそれぞれ、マスクや眼鏡などの隠蔽物を検出し、その検出結果の差から状態一致度を判定する。「大きさ」を用いる場合は、被写体検出部１０９により出力される被写体の大きさの差から状態一致度を判定する。

次に、被写体認証部１１１は、被写体検出部１０９により抽出された被写体画像とデータベース１１２に登録されている被写体との画像特徴を比較し、認証評価値を算出する（Ｓ２０４（第２算出処理））。認証評価値は、被認証対象の被写体画像とデータベース１１２に登録されている被写体との類似度を示し、認証評価値が高いほど被認証対象とデータベース１１２に登録されている被写体とが一致する可能性が高いことを示す。ここで、データベース１１２に複数の被写体が存在する場合には、状態判定部１１０における処理（Ｓ２０３）および被写体認証部１１１における処理（Ｓ２０４）が、データベース１１２に登録されている個数分行われる。つまり、１つの被認証対象に対して、データベース１１２に登録されている個数分の、状態一致度および認証評価値が得られる。

被写体認証部１１１は、認証評価値と第１の閾値とを比較し、認証評価値が第１の閾値以上の場合は、当該被認証対象をデータベース１１２に登録された被写体と一致する被写体として判定する（Ｓ２０５でＹＥＳ→Ｓ２０６）。一方、認証評価値が第１の閾値未満の場合、被写体認証部１１１は、状態一致度と第２の閾値とを比較する。そして状態一致度が第２の閾値以上の場合、すなわち認証対象の被写体の状態とデータベースに登録された被写体の状態が一致する場合、被写体認証部１１１は、被認証対象をデータベース１１２に登録された被写体と異なる被写体として判定する（Ｓ２０７でＹＥＳ→Ｓ２０８）。また、状態一致度が所定の閾値未満の場合、被写体認証部１１１は、被認証対象と当該データベースの被写体とが異なるもしくは一致するかの判定は行わず、判定不可とする（Ｓ２０７でＮＯ→Ｓ２０９）。

以上説明した第１実施形態に係る被写体認証の処理例について図３を参照して説明する。なお、図３では、状態判定部１１０において顔の向きの一致度を判定するものとする。図３において、３０１はデータベースの登録画像、３０２から３０４は入力画像の例を示す。入力画像３０２では、登録画像３０１との認証表価値が第１の閾値以上のため、被認証対象はデータベースと同一の被写体として判定される。入力画像３０３では、登録画像３０１との認証表価値が第１の閾値未満且つ状態一致度が第２の閾値以上のため被認証対象はデータベースに登録されている対象と異なる被写体として判定される。入力画像３０４では、登録画像３０１との認証表価値が第１の閾値未満且つ状態一致度が第２の閾値未満のため被認証対象はデータベースに登録されている対象と同一の被写体もしくは異なる被写体かの判定はされない。

以上のように、第１実施形態によれば、被認証対象である被写体画像とデータベースに登録された被写体とについて、被写体認証により得られる認証評価値と被写体の状態に関する状態一致度が取得される。そして、認証評価値が所定の閾値未満の場合には、状態一致度を参照することにより被認証対象が登録された被写体と異なるものであるかどうかを判定する。つまり、被認証対象が、被写体認証用のデータベースに登録されていない被写体であることをより正確に判別することができる。

なお、Ｓ２０７においては、状態一致度のみを用いた判定を行う例を示したが、これに限られるものではない。例えば、Ｓ２０４で取得した認証評価値が第３の閾値（第１の閾値よりも低い）よりも低く、且つ、状態一致度が第２の閾値より高い場合に、被認証対象がデータベースに登録された被写体と異なる（Ｓ２０８）と判定するようにしても良い。また、Ｓ２０５で、更に状態一致度が第４の閾値以上の場合にのみＳ２０６へ進むようにいてもよい。このようにすれば、類似度が高く且つある程度状態が一致している場合にのみ、被認証被写体がデータベースに登録された被写体と一致するものと判断するように構成することができる。なお、このとき、第４の閾値とＳ２０７で用いられる第２の閾値とは同じでもよいし、異なっていてもよい。

［第２実施形態］
図４は、第２実施形態に係る撮像装置の構成図である。第２実施形態に係る撮像装置１００の構成及び動作を、第１実施形態との差異を中心に説明する。なお、図４において図１と同じ符号のものは第１実施形態の構成と同様の動作、処理を行うものである。

被写体追跡部４０１は、動画像において同じ被写体を特定する。すなわち、被写体追跡部４０１は、連続するフレームに関して被写体検出部１０９より供給される検出結果の位置および大きさの類似性に基づき、連続するフレーム間で同一の被写体を決定する。動画像において同一の被写体を特定することにより、当該被写体に対する過去の被写体認証部１１１の結果を保持、流用することができる。

実行判定部４０２は、被写体検出部１０９により抽出された各被写体について、被写体認証部１１１での認証処理を実行するかを判定する。また、データベース１１２に登録されている被写体のうち、被認証対象に対して認証処理を実行するべき被写体を選択する。実行判定部４０２を設けたことにより、状態判定部１１０および過去の被写体認証部１１１の結果を利用するとともに、データベース１１２に登録されている被写体のうち被写体認証部１１１による認証処理を実行するべき被写体を絞り込むことができる。

時系列的に連続な動画像において、被写体追跡部４０１により同一の被写体を特定できれば、過去の被写体認証部１１１の結果を引き継ぐことにより、被写体認証部１１１の処理を省略することができる。つまり、認証評価値が所定の閾値を満たし、データベース１１２に登録されている被写体として判定されれば、以降のフレームでは被写体追跡部４０１による被写体の特定により、その判定を継続できる。すなわち、被写体認証部１１１による認識処理を省略することができる。

また、被写体認証部１１１により得られる認証評価値が所定の閾値未満でありかつ状態判定部１１０により得られる一致度が高い場合には、被認証対象とデータベース１１２に登録された被写体とが異なると判定される。このような場合、それ以降のフレームにおいて、当該被認証対象に対して、データベース１１２に登録された当該被写体との認識処理を省略することができる。また、データベース１１２に同じ被写体（同じＩＤの被写体）について複数種類の画像特徴と状態が登録されており、それらのうちのいずれかの画像特徴と状態との照合により、被認証対象と登録された被写体とが異なる対象として判定されたとする。このような場合、当該被写体に関してデータベース１１２に登録されている複数種類の画像特徴と状態の全てに対して、当該認証対象との認識処理を省略することができる。更に、被写体認証部１１１による認識処理を実行するべき被写体が存在しなくなった場合は、当該被認証対象をデータベース未登録の被写体として判定できる。

第２実施形態に係る上述した被写体認証の処理の流れについて図５を参照して説明する。
Ｓ５０１からＳ５０２は図２のＳ２０１からＳ２０２と同様であり、撮像画像をデジタル化して得られた入力画像から、被写体検出部１０９が被写体領域（被写体画像）を得る。次のＳ５０３〜Ｓ５１３は、被写体検出部１０９により抽出された被写体のそれぞれについて実行される。被写体追跡部４０１は、時系列的に連続するフレーム間において同一の被写体を決定する（Ｓ５０３）。すなわち、被写体追跡部４０１は、被写体検出部１０９が検出した被写体について、時系列的に連続なフレーム間において位置および大きさの類似度が所定の基準を満たす被写体が存在すれば、同じ被写体と判定する。時系列的に連続なフレーム間において、位置および大きさの類似度が所定の基準を満たす被写体が存在しなければ、被写体追跡部４０１はその被写体を新規に出現した被写体とみなす。

次に、実行判定部４０２は、被写体追跡部４０１により新規ではないと判定された被写体（被認証対象）が過去のフレームにおいて、データベースに登録されている特定の被写体と一致すると判定済みか否かを判定する（Ｓ５０４）。被認証対象がデータベース１１２に登録されている特定の被写体と一致すると判定済みであれば、実行判定部４０２は、処理をＳ５０１へ戻し（Ｓ５０４でＹＥＳ）、当該被写体について状態一致度判定や被写体認証の処理を省略する。一方、被認証対象がデータベースに登録されている特定の被写体と一致すると判定されていない場合、被写体認証部１１１は、当該被認証対象において被写体認証を実行するべき被写体がデータベース１１２に残っているかを判定する（Ｓ５０４でＮＯ→Ｓ５０５）。被写体認証を実行するべき被写体がデータベース１１２に存在しなければ、被写体認証部１１１は、当該被認証対象をデータベース未登録者として判定する（Ｓ５０５でＮＯ→Ｓ５０６）。そして、処理はＳ５０１へ戻る。

他方、当該被写体（被認証対象）について、被写体認証を実行するべき被写体がデータベース１１２に残っていれば、Ｓ５０７〜Ｓ５１３に示す処理が実行される。なお、Ｓ５０７〜Ｓ５１３は、被写体検出部１０９により抽出された被写体ごとに、Ｓ５０５で被写体認証を実行すべきと判定されたデータベース１１２の登録画像のすべてについて実行される。まず、被写体認証を実行するべき被写体に関して、状態判定部１１０による状態一致度の判定が行われる（Ｓ５０７）。Ｓ５０７からＳ５１３までの処理は、図２のＳ２０３からＳ２０９までの処理と同様である。したがって、Ｓ５０７からＳ５１３までの処理により、
・被認証対象とデータベースに登録されている被写体とが一致する（Ｓ５１０）、
・被認証対象とデータベースに登録されている被写体とが異なる（Ｓ５１２）
・判定不可（Ｓ５１３）、
のいずれかの結果が得られる。なお、Ｓ５１２において被認証対象とデータベースに登録されている被写体とが異なると判定された場合、当該登録されている被写体に関連する登録画像情報は当該被認証対象について認証を実行すべき被写体から除外される。また、Ｓ５１０において被認証対象と一致すると判定された被写体に関連する登録画像情報を他の被認証対象に対して認証を実行すべき登録画像情報から除外するようにしても良い。例えば、人の顔認識など、被認証対象が一つの画像に複数存在する可能性がほとんどない場合に、不要な認証処理を削減することができる。こうして、本実施形態では、これらの結果を次フレームに引き継ぎ（Ｓ５０３）、被写体認証を実行するか否かの判定（Ｓ５０４）および被写体認証を実行するデータベース内の被写体の選択（Ｓ５０５）を行うことにより処理の短縮化を図ることができる。

第２の実施形態に係る被写体認証の結果の例について図６を参照して説明する。図６では、状態判定部１１０において顔の向きの一致度を判定するものとする。図６の６０１から６０３はデータベースに登録されている被写体の登録画像を示し、登録画像６０１と登録画像６０２は同一被写体（対象Ａ）で顔向きが異なる。登録画像６０３は、登録画像６０１および６０２とは異なる被写体（対象Ｂ）の登録画像を示す。６０４から６０７はシーン１での入力画像、６０８から６１１はシーン２での入力画像を示す。また、６１２はシーン１での被写体認証の実行結果テーブル、６１３はシーン２での被写体認証の実行結果テーブルを示す。実行結果テーブル６１２，６１３は、Ｓ５１２，Ｓ５１３において更新される。

まず、シーン１における実行結果について説明する。フレーム１において、被認証対象は、データベースＩＤ：Ａ−１との認証評価値が閾値以上のため、当該データベースの対象と一致すると判定される。また、データベースＩＤ：Ａ−２との認識処理においては、認証評価値が閾値未満かつ状態一致度が閾値未満のため判定不可と判定される。更に、データベースＩＤ：Ｂ−１との認識処理においては、認証評価値が閾値未満かつ状態一致度が閾値以上のため、データベースＩＤ：Ｂ−１の示す対象Ｂとは異なる被写体として判定される。フレーム１において、被認証対象は、データベースＩＤ：Ａ−１の示す対象Ａと判定されたため、フレーム２以降においては、その結果を引き継ぎ、被写体認証および状態一致度判定の処理は実行されない（Ｓ５０４でＮＯと判定される）。

次に、シーン２における実行結果について説明する。フレーム１において、被認証対象は、データベースＩＤ：Ａ−１、ＩＤ：Ａ−２およびＩＤ：Ｂ−１において全て認証評価値が閾値未満かつ状態一致度が閾値未満のため判定不可と判定される。そのため、フレーム２においても、データベースに登録されている被写体の全てに対して、被写体認証および状態一致度判定の処理が実行される。フレーム２の結果として、データベースＩＤ：Ａ−１およびＩＤ：Ｂ−１に対しては、認証評価値が閾値未満かつ状態一致度が閾値未満のため判定不可と判定される。一方、データベースＩＤ：Ａ−２に対しては、認証評価値が閾値未満かつ状態一致度が閾値以上のため、被認証対象はデータベースＩＤ：Ａ−２の示す対象Ａとは異なる被写体として判定される。この結果を引き継ぎ、フレーム３では、データベースＩＤ：Ａ−１およびＩＤ：Ａ−２に対する被写体認証および状態一致度判定の処理は実行されず、データベースＩＤ：Ｂ−１に対する被写体認証および状態一致度判定の処理のみが実行される。フレーム３の結果として、データベースＩＤ：Ｂ−１に対する認証評価値が閾値未満かつ状態一致度が閾値以上のため、被認証対象はデータベースＩＤ：Ｂ−１の示す対象Ｂとは異なる被写体として判定される。以上により、シーン２の被認証対象は全てのデータベースと異なる対象として判定されたため、データベース未登録者として判定される（Ｓ５０６）。その結果、フレーム４以降では、当該被被写体に対しては、被写体認証および状態一致度判定の処理は実行されない。

以上のように、第２実施形態によれば、過去のフレームに得られた同一の被認証対象に対する被写体認証および状態一致度判定により得られる判定結果を引き継ぐことにより、処理の効率化を図ることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。その例を以下に示す。

上述した実施形態に対して、さらに状態判定部１１０の結果に基づき、処理の効率化させることができる。例えば、被認証対象とデータベースの対象との状態一致度が低い場合には、被写体認証部１１１において所定の閾値を満たす認証評価値が得られる可能性が低い。そのため、被認証対象とデータベースの対象との状態一致度が低い場合には、そのフレームにおいて当該データベースとの被写体認証部１１１の処理を省略するようにしてもよい。

なお、上述した実施形態では、被写体として人物の顔を検出する場合について説明したが、本発明は人物の顔に限るものではなく、ペットなどの動物の顔であってもよい。また、顔に限らずとも、人物、動物、自動車など、目的とする被写体を抽出し特定するために、被写体認証を実施するものであれば、本発明を適用可能である。

また、上述した実施形態では、撮像装置に関する場合について説明したが、撮像装置に限るものではなく、再生装置であっても本発明を適用可能である。再生装置では、再生データを被写体認証処理のデータとし、本発明を適用可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

画像から被写体を認識する画像認識装置であって、
被写体を撮影した画像またはこの画像から得られる当該被写体に関する画像特徴と撮影状態を、登録画像情報として当該被写体に関連付けて登録したデータベースと、
動画を構成する連続した画像を処理対象の画像として入力する入力手段と、
前記処理対象の画像から特定の被写体画像を検出する検出手段と、
前記被写体画像と前記登録画像情報における被写体の撮影状態の一致度を算出する第１算出手段と、
前記被写体画像と前記登録画像情報の画像特徴の類似度を算出する第２算出手段と、
前記類似度と前記一致度とに基づいて、前記被写体画像の被写体が前記登録画像情報の被写体であるか否かを認識する認識処理を実行する認識手段と、
前記動画のフレーム間で前記被写体画像と同一の被写体画像を追跡する追跡手段と、
前記データベースに登録されている登録画像情報について、前記認識手段による認識処理を実行させるか否かを決定する決定手段とを備え、
前記認識手段は、前記類似度が第１の閾値よりも低く、前記一致度が第２の閾値以上の場合に、前記被写体画像の被写体は前記登録画像情報の被写体と異なる被写体であると認識し、前記類似度が前記第１の閾値より低く、前記一致度が前記第２の閾値より低い場合は、前記被写体画像の被写体が前記登録画像情報の被写体であるか否かに関して判定不可であるとし、
前記決定手段は、前記データベースに登録されている登録画像情報のうち、前記追跡手段によって追跡されている被写体画像の被写体と異なる被写体であるとすでに判定された登録画像情報を、前記追跡手段によって追跡されている被写体画像に対する前記認識手段による前記認識処理の実行の対象から除くことを特徴とする画像認識装置。
前記認識手段は、前記類似度が前記第１の閾値以上の場合に前記被写体画像の被写体が前記登録画像情報の被写体であると認識することを特徴とする請求項１に記載の画像認識装置。
前記データベースは、一つの被写体について複数の登録画像情報を登録しており、
前記決定手段は、前記データベースに登録されている登録画像情報のうち、前記追跡手段によって追跡されている被写体画像の被写体と異なる被写体であるとすでに判定された被写体に関連するすべての登録画像情報を、前記追跡手段によって追跡されている被写体画像に対する前記認識手段による前記認識処理の実行の対象から除くことを特徴とする請求項１または２に記載の画像認識装置。
前記認識手段は、前記追跡手段によって追跡されている被写体画像に対し、前記決定手段により前記認識処理を行うと判定される登録画像情報が前記データベースに存在しなくなった場合に、前記追跡手段によって追跡されている被写体画像の被写体が前記データベースに未登録の被写体であると判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像認識装置。
前記決定手段は、前記追跡手段で追跡されている被写体画像の被写体が前記登録画像情報の被写体であるとすでに判定されている場合は、前記追跡手段で特定された該被写体画像について前記認識手段による認識処理を実行させないことを特徴とする請求項１乃至４のいずれか１項に記載の画像認識装置。
前記決定手段は、前記データベースに登録されている登録画像情報のうち、前記追跡手段によって追跡されている被写体画像の被写体に対して判定不可とされた登録画像情報を、前記追跡手段によって追跡されている被写体画像に対する前記認識手段による前記認識処理の実行の対象から除かないことを特徴とする請求項１乃至５のいずれか１項に記載の画像認識装置。
前記第２算出手段は、前記データベースに登録された登録画像情報のうち、前記一致度が前記第２の閾値よりも高い登録画像情報について前記被写体画像との類似度を算出することを特徴とする請求項１乃至６のいずれか１項に記載の画像認識装置。
前記撮影状態とは、被写体の向き、被写体の明るさ、被写体の隠蔽度、被写体の表情の少なくとも一つであることを特徴とする請求項１乃至７のいずれか１項に記載の画像認識装置。
画像から被写体を認識する画像認識装置の制御方法であって、
登録手段が、被写体を撮影した画像またはこの画像から得られる当該被写体に関する画像特徴と撮影状態を、登録画像情報として当該被写体に関連付けてデータベースに登録する登録工程と、
入力手段が、動画を構成する連続した画像を処理対象の画像として入力する入力工程と、
検出手段が、前記処理対象の画像から特定の被写体画像を検出する検出工程と、
第１算出手段が、前記被写体画像と前記登録画像情報における被写体の撮影状態の一致度を算出する第１算出工程と、
第２算出手段が、前記被写体画像と前記登録画像情報の画像特徴の類似度を算出する第２算出工程と、
認識手段が、前記類似度と前記一致度とに基づいて、前記被写体画像の被写体が前記登録画像情報の被写体であるか否かを認識する認識処理を実行する認識工程と、
追跡手段が、前記動画のフレーム間で前記被写体画像と同一の被写体画像を追跡する追跡工程と、
決定手段が、前記データベースに登録されている登録画像情報について前記認識手段による認識処理を実行させるか否かを決定する決定工程とを有し、
前記認識工程では、前記類似度が第１の閾値よりも低く、前記一致度が第２の閾値以上の場合に、前記被写体画像の被写体は前記登録画像情報の被写体と異なる被写体であると認識し、前記類似度が前記第１の閾値より低く、前記一致度が前記第２の閾値より低い場合は、前記被写体画像の被写体が前記登録画像情報の被写体であるか否かに関して判定不可であるとし、
前記決定工程では、前記データベースに登録されている登録画像情報のうち、前記追跡工程において追跡されている被写体画像の被写体と異なる被写体であるとすでに判定された登録画像情報を、前記追跡工程において追跡されている被写体画像に対する前記認識手段による前記認識処理の実行の対象から除くことを特徴とする画像認識装置の制御方法。
コンピュータを、請求項１乃至８のいずれか１項に記載された画像認識装置の各手段として機能させるためのプログラム。