JP4569670B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、画像に含まれる人物等の顔を識別する画像処理装置および画像処理方法に関する。

人物等の被写体を撮像して撮像画像を記録するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。また、撮像画像から人物の顔を検出する顔検出機能を備える画像処理装置が多数提案されている。

さらに、近年では、このような顔検出機能を用いて検出された顔について、特定人物の顔を識別する顔識別技術が提案されている。例えば、登録画像上の注目領域に対応する対応領域であって、入力画像上の対応領域の位置を特定し、この対応領域の位置に基づいて、入力画像の顔を識別する画像処理装置が提案されている（例えば、特許文献１参照。）。

また、例えば、セキュリティやエンターテイメント等の分野においては、バイオメトリクス認証の一環として、人物の顔を含む顔画像を利用して個人を識別する顔識別技術が実用化されつつある。
特開２００７−１１５１０９号公報（図３）

上述の従来技術によれば、正面を向いた顔の精度を高めることができる。しかしながら、例えば、人物の顔が撮影される場合には、正面向きの顔が撮影されることが多いものの、正面向き以外の顔が撮影されることも想定される。このため、正面向きの顔を含む撮像画像と、正面向き以外の顔を含む撮像画像とが記録されることが考えられる。このように、撮像画像に含まれる顔の向きが異なる場合には、同一人物であっても、撮像画像に含まれる顔画像が大きく異なることがあり、顔識別性能が安定しないおそれがある。そこで、撮像画像に含まれる顔を識別する場合には、例えば、人物の顔に対応する複雑な３次元顔モデルを用いて、対象となる撮像画像に含まれる顔の向きと、登録されている顔の向きとを同じ向きとして、顔識別を行うことが考えられる。

しかしながら、例えば、小型のデジタルスチルカメラ等の撮像装置により顔識別を行う場合には、顔識別に係る演算量が比較的制限されていることが多い。このため、上述した複雑な３次元顔モデルを用いて顔識別を行うことが困難であることが想定される。そこで、顔識別処理の負荷を軽減しつつ、顔の向きにかかわらず顔識別の精度を高めることが重要となる。

本発明は、顔識別処理の負荷を軽減しつつ、顔識別の精度を高めることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、画像が投影される表面上における一方向の一部を折線として上記一方向の両端部が裏面側に折り曲げて形成されている形状からなる３次元モデルの表面に、少なくとも顔の一部を含む登録顔画像に含まれる顔の水平方向に対する中心線と上記折線とが略一致するように、上記登録顔画像を投影する投影部と、対象画像に含まれる顔の向きに基づいて上記３次元モデルを変換する変換部と、上記変換部により変換された３次元モデルの表面に投影された登録顔画像を平面上に投影して２次元画像を生成する生成部と、上記生成部により生成された２次元画像および上記対象画像を比較することにより、上記対象画像に含まれる顔を識別する識別部とを具備する画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、登録顔画像に含まれる顔の水平方向に対する中心線と、３次元モデルの折線とが略一致するように、３次元モデルの表面に登録顔画像を投影し、対象画像に含まれる顔の向きに基づいて３次元モデルを変換し、変換後の３次元モデルの表面に投影された登録顔画像を平面上に投影して２次元画像を生成し、この２次元画像および対象画像を比較することにより、対象画像に含まれる顔を識別するという作用をもたらす。

また、この第１の側面において、上記投影部は、上記登録顔画像に含まれる顔の水平方向と上記一方向とが略一致するように上記登録顔画像を投影するようにしてもよい。これにより、登録顔画像に含まれる顔の水平方向と、３次元モデルの表面上における一方向とが略一致するように、３次元モデルの表面に登録顔画像を投影するという作用をもたらす。

また、この第１の側面において、上記登録顔画像は、当該登録顔画像に含まれる顔の両目に基づいて正規化された正規化画像であり、上記対象画像に含まれる顔の両目を検出する目検出部と、上記目検出部により検出された両目に基づいて上記対象画像を正規化して正規化対象画像とする正規化部とをさらに具備し、上記変換部は、上記生成部により生成される２次元画像に含まれる顔の両目の位置と上記正規化対象画像に含まれる顔の両目の位置とが同じ位置となるように、上記３次元モデルの表面に投影された登録顔画像に含まれる顔の両目を結ぶ線分の中点を基準として、上記３次元モデルを回転移動させ、上記識別部は、上記生成部により生成された２次元画像および上記正規化対象画像を比較することにより、上記対象画像に含まれる顔を識別するようにしてもよい。これにより、２次元画像に含まれる顔の両目の位置と、正規化対象画像に含まれる顔の両目の位置とが同じ位置となるように、３次元モデルの表面に投影された登録顔画像に含まれる顔の両目を結ぶ線分の中点を基準として３次元モデルを回転移動させ、２次元画像および正規化対象画像を比較することにより、対象画像に含まれる顔を識別するという作用をもたらす。

また、この第１の側面において、上記登録顔画像に含まれる顔の水平方向に対する中心線と上記折線とが略一致するように上記３次元モデルの表面に上記登録顔画像を投影し、上記生成部により生成される２次元画像に含まれる顔の両目の位置と上記正規化対象画像に含まれる顔の両目の位置とが同じ位置となるように、上記３次元モデルの表面に投影された登録顔画像に含まれる顔の両目を結ぶ線分の中点を基準として上記３次元モデルを回転移動させ、当該回転移動後の３次元モデルの表面に投影された登録顔画像を平面上に投影して、顔の向き毎に２次元画像を生成するための変換パラメータを、顔の向きに関連付けて記憶する変換パラメータ記憶部をさらに具備し、上記生成部は、上記対象画像に含まれる顔の向きに関連付けて記憶されている変換パラメータを用いて、上記登録顔画像から上記２次元画像を生成するようにしてもよい。これにより、対象画像に含まれる顔の向きに関連付けて記憶されている変換パラメータを用いて、登録顔画像から２次元画像を生成するという作用をもたらす。

また、この第１の側面において、上記対象画像に含まれる顔の２つの器官を検出する器官検出部と、上記器官検出部により検出された２つの器官に基づいて上記対象画像を正規化して正規化対象画像とする正規化部とをさらに具備し、上記変換部は、上記生成部により生成される２次元画像に含まれる顔の２つの器官の位置と上記正規化対象画像に含まれる顔の２つの器官の位置とが同じ位置となるように、上記３次元モデルを回転移動させ、上記識別部は、上記生成部により生成された２次元画像および上記正規化対象画像を比較することにより、上記対象画像に含まれる顔を識別するようにしてもよい。これにより、２次元画像に含まれる顔の２つの器官の位置と、正規化対象画像に含まれる顔の２つの器官の位置とが同じ位置となるように、３次元モデルを回転移動させ、２次元画像および正規化対象画像を比較することにより、対象画像に含まれる顔を識別するという作用をもたらす。

また、この第１の側面において、３次元モデルの回転角度および移動距離の値を、顔の向きに関連付けて記憶する変換データ記憶部をさらに具備し、上記変換部は、上記対象画像に含まれる顔の向きに関連付けて記憶されている上記回転角度および上記移動距離の値を用いて、上記３次元モデルを回転移動させるようにしてもよい。これにより、対象画像に含まれる顔の向きに関連付けて記憶されている回転角度および移動距離の値を用いて、３次元モデルを回転移動させるという作用をもたらす。

また、この第１の側面において、上記識別部は、上記対象画像の比較対象として上記対象画像に含まれる顔の向きに基づいて決定された上記登録顔画像または上記生成部により生成された２次元画像の何れかと、上記対象画像とを比較することにより、上記対象画像に含まれる顔を識別するようにしてもよい。これにより、対象画像の比較対象として、対象画像に含まれる顔の向きに基づいて決定された登録顔画像または２次元画像の何れかと、対象画像とを比較することにより、対象画像に含まれる顔を識別するという作用をもたらす。

また、この第１の側面において、少なくとも正面顔の一部を含む画像を上記登録顔画像として記憶する登録顔画像記憶部と、上記対象画像に含まれる顔の向きを判定する判定部とをさらに具備し、上記識別部は、上記判定部により上記対象画像に含まれる顔の向きが正面向きであると判定された場合には、上記登録顔画像および上記対象画像を比較することにより、上記対象画像に含まれる顔を識別するようにしてもよい。これにより、対象画像に含まれる顔の向きが正面向きであると判定された場合には、登録顔画像および対象画像を比較することにより、対象画像に含まれる顔を識別するという作用をもたらす。

また、この第１の側面において、被写体を撮像して撮像画像を生成する撮像部と、上記撮像画像に含まれる顔を検出する顔検出部と、上記顔検出部により検出された顔の向きを判定する判定部とをさらに具備し、上記識別部は、上記生成部により生成された２次元画像および上記顔検出部により検出された顔を含む顔画像を比較することにより、上記撮像画像に含まれる顔を識別するようにしてもよい。これにより、被写体を撮像して撮像画像を生成し、この撮像画像に含まれる顔を検出し、この検出された顔の向きを判定し、２次元画像および顔画像を比較することにより、撮像画像に含まれる顔を識別するという作用をもたらす。

また、本発明の第２の側面は、少なくとも顔の一部を含み当該顔の両目に基づいて正規化された正規化画像である登録顔画像を記憶する登録顔画像記憶部と、対象画像に含まれる顔の向きを判定する判定部と、上記対象画像に含まれる顔の両目を検出する目検出部と、上記目検出部により検出された両目に基づいて上記対象画像を正規化して正規化対象画像とする正規化部と、画像が投影される表面上における一方向の一部を折線として上記一方向の両端部が裏面側に折り曲げて形成されている形状からなる３次元モデルの表面に、上記登録顔画像に含まれる顔の水平方向に対する中心線と上記折線とが略一致するように、上記登録顔画像を投影し、上記３次元モデルの表面に投影された登録顔画像に含まれる顔の両目の位置が特定位置となるように当該両目を結ぶ線分の中点を基準として上記３次元モデルを回転移動させ、当該回転移動後の３次元モデルの表面に投影された登録顔画像を平面上に投影して、上記判定の対象となる顔の向き毎に２次元画像を生成するための変換パラメータを、上記判定の対象となる顔の向きに関連付けて記憶する変換パラメータ記憶部と、上記判定部により判定された顔の向きに関連付けて記憶されている変換パラメータを用いて、上記登録顔画像から上記２次元画像を生成する画像変換部と、上記画像変換部により生成された２次元画像および上記正規化対象画像を比較することにより、上記対象画像に含まれる顔を識別する識別部とを具備する画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、対象画像に含まれる顔の向きを判定し、この顔の両目を検出し、この両目に基づいて対象画像を正規化し、判定された顔の向きに関連付けて記憶されている変換パラメータを用いて登録顔画像から２次元画像を生成し、この２次元画像および対象画像を比較することにより、対象画像に含まれる顔を識別するという作用をもたらす。

本発明によれば、顔識別処理の負荷を軽減しつつ、顔識別の精度を高めることができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。画像処理装置１００は、光学系１１１と、撮像部１１２と、顔検出部１２０と、目検出部１３０と、正規化部１４０と、顔向き判定部１５０と、顔向き判定基準データ保持部１５１と、登録顔画像記憶部１６０と、３次元モデル記憶部１７０と、画像変換部１８０と、変換データ記憶部１８１と、顔識別部１９０と、顔識別結果出力部１９５とを備える。画像処理装置１００は、例えば、被写体が撮像された撮像画像について、画像解析により特徴量を抽出し、この抽出された特徴量を用いて各種画像処理を施すことが可能なデジタルスチルカメラ等の撮像装置によって実現することができる。

光学系１１１は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）から構成され、入射された被写体からの光がこれらのレンズおよびアイリス（図示せず）を介して撮像部１１２に供給される。

撮像部１１２は、所定の撮像パラメータに従って、被写体からの入射光を変換して撮像画像を生成するものであり、生成された撮像画像を顔検出部１２０、目検出部１３０および正規化部１４０に出力する。すなわち、撮像部１１２において、光学系１１１を介して入射された被写体からの光信号が撮像素子（図示せず）によりアナログの画像信号に光電変換される。そして、この光電変換されたアナログの画像信号に対して、信号処理部（図示せず）が、ノイズ除去等、Ａ／Ｄ（Analog/Digital）変換処理等のカメラ信号処理を施すことにより、撮像画像が生成される。

顔検出部１２０は、撮像部１１２から出力された撮像画像に含まれる人物の顔を検出するものであり、検出された顔に関する顔検出情報を目検出部１３０および正規化部１４０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、撮像画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の撮像画像上における位置およびサイズが含まれる。なお、検出された顔の撮像画像上における位置は、例えば、撮像画像上における顔画像の中心位置とし、検出された顔の撮像画像上におけるサイズは、例えば、撮像画像上における顔画像の水平方向および垂直方向の長さとすることができる。この顔検出情報により、撮像画像上における顔の少なくとも一部を含む矩形状の撮像画像である顔画像を特定することができる。

目検出部１３０は、撮像部１１２から出力された撮像画像に含まれる人物の顔の両目を検出するものであり、検出された両目に関する目検出情報を正規化部１４０に出力する。すなわち、目検出部１３０は、撮像部１１２から出力された撮像画像において、顔検出部１２０から出力された顔検出情報（位置およびサイズ）を用いて、顔検出部１２０により検出された顔に対応する顔画像を抽出する。そして、この抽出された顔画像における両目を検出する。この目検出方法として、例えば、顔検出方法と同様に、目の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる目検出方法等を用いることができる。また、目検出情報には、検出された両目の顔画像における位置が含まれる。この顔画像における位置は、例えば、顔画像における目の中心位置とすることができる。この目検出情報を用いて顔画像を正規化することができる。なお、目検出部１３０は、特許請求の範囲に記載の目検出部および器官検出部の一例である。

正規化部１４０は、顔検出部１２０により検出された顔に対応する顔画像について、目検出部１３０から出力された目検出情報に基づいて正規化を行うものであり、正規化された顔画像（正規化顔画像）を顔向き判定部１５０および顔識別部１９０に出力する。また、正規化部１４０は、正規化を行うための正規化テンプレートを保持し、この正規化テンプレートに基づいて顔画像を正規化する。この正規化テンプレートとして、例えば、図２（ｃ）および図３（ｃ）に示すように、顔画像における両目の位置を基準とする正規化テンプレート１４１を用いることができる。すなわち、正規化部１４０は、顔画像における両目の位置が、正規化テンプレート１４１における両目の位置と合致するように、顔画像に拡大縮小処理および回転処理を施すとともに解像度変換を施し、その顔画像を正規化する。なお、顔画像の正規化および正規化テンプレートについては、図２および図３を参照して詳細に説明する。

顔向き判定部１５０は、顔向き判定基準データ保持部１５１に記憶されている顔向き判定基準データを用いて、顔検出部１２０により検出された顔の向きを判定するものであり、この判定結果を画像変換部１８０に出力する。すなわち、顔向き判定部１５０は、正規化部１４０から出力された正規化顔画像について、顔向き判定基準データ保持部１５１に記憶されている顔向き判定基準データの判定条件がどの程度満たされるか否かを算出して、顔の向きに関する積算結果値を得る。そして、この積算結果値に基づいて、顔向き判定部１５０は、顔検出部１２０により検出された顔の向きを判定する。なお、顔向き判定部１５０により判定される顔の向きは、例えば、「正面向き」、「右向き」、「左向き」である。なお、顔向きの判定方法として、例えば、目、鼻、口等の顔の器官の形状的な特徴を利用して顔向きを判定する判定方法や、判定対象となる顔画像上の２点間の輝度値の差分値を用いた判別器による判定処理を行う判定方法等を用いることができる。なお、顔向き判定については、図４乃至図６を参照して詳細に説明する。また、顔向き判定部１５０は、特許請求の範囲に記載の判定部の一例である。

顔向き判定基準データ保持部１５１は、顔向き判定部１５０による判定に用いられる顔向き判定基準データを保持するものである。この顔向き判定基準データは、顔向き判定部１５０により判定される顔の向きに関して予め十分に学習をさせた基準データである。なお、顔向き判定基準データについては、図５を参照して詳細に説明する。

登録顔画像記憶部１６０は、顔識別部１９０による顔識別に用いられる顔画像を登録顔画像として記憶するものであり、記憶されている登録顔画像を画像変換部１８０に供給する。なお、登録顔画像記憶部１６０に記憶される登録顔画像については、図７を参照して詳細に説明する。

３次元モデル記憶部１７０は、登録顔画像記憶部１６０に記憶されている登録顔画像を変換するための３次元モデルを記憶するものであり、記憶されている３次元モデルを画像変換部１８０に供給する。なお、３次元モデル記憶部１７０に記憶される３次元モデルについては、図８を参照して詳細に説明する。

画像変換部１８０は、登録顔画像記憶部１６０に記憶されている登録顔画像を変換して照合用顔画像を生成するものであり、生成された照合用顔画像を顔識別部１９０に出力する。すなわち、画像変換部１８０は、３次元モデル記憶部１７０に記憶されている３次元モデルの水平方向と登録顔画像に含まれる顔の水平方向とが略一致するように、３次元モデルの表面に登録顔画像を投影する。そして、顔向き判定部１５０から出力された顔向きの判定結果に基づいて、登録顔画像が貼り付けられた３次元モデルを変換する。そして、変換後の３次元モデルの表面に貼り付けられている登録顔画像を平面上に投影して照合用顔画像（２次元画像）を生成する。なお、画像変換部１８０は、顔向き判定部１５０から「正面向き」の判定結果が出力された場合には、登録顔画像記憶部１６０に記憶されている登録顔画像を変換せずに、照合用顔画像として顔識別部１９０に出力する。また、この登録顔画像の変換については、図１０乃至図１３を参照して詳細に説明する。なお、画像変換部１８０は、特許請求の範囲に記載の投影部、変換部および生成部の一例である。

変換データ記憶部１８１は、画像変換部１８０が変換を行うための変換データを、顔向き判定部１５０による判定の対象となる顔の向きに関連付けて記憶するものであり、記憶されている変換データを画像変換部１８０に供給する。なお、変換データ記憶部１８１については、図９を参照して詳細に説明する。

顔識別部１９０は、顔検出部１２０により検出された顔が、登録顔画像記憶部１６０に記憶されている登録顔画像に含まれる顔（登録顔）であるか否かを識別するものであり、識別結果を顔識別結果出力部１９５に出力する。すなわち、顔識別部１９０は、正規化部１４０から出力された正規化顔画像と、画像変換部１８０から出力された照合用顔画像とを比較することにより、顔検出部１２０により検出された顔が登録顔であるか否かを識別する。この顔識別方法として、例えば、比較対象となる登録顔画像および正規化顔画像のそれぞれから特徴量を抽出し、この抽出された特徴量に基づいて顔識別を行う顔識別方法を用いることができる。すなわち、登録顔画像から抽出された特徴量と、正規化顔画像から抽出された特徴量とが比較されることにより、これらの特徴量の類似度が算出される。そして、この算出された類似度が閾値を超えた場合に、その正規化顔画像に含まれる顔が登録顔であると判定される。また、顔識別方法として、例えば、比較対象となる登録顔画像および正規化顔画像のそれぞれの画像上の２点間の輝度値の差分値を用いた弱判別器による識別処理を行う識別方法等を用いることができる。なお、顔識別部１９０は、特許請求の範囲に記載の識別部の一例である。

顔識別結果出力部１９５は、顔識別部１９０から出力された識別結果を出力するものである。例えば、顔検出部１２０により検出された顔が登録顔である旨の識別結果が顔識別部１９０から出力された場合には、顔識別結果出力部１９５は、その旨を表示する。例えば、表示部（図示せず）に表示されている撮像画像上において、登録顔であると判定された顔に特定マーカを付すことができる。また、表示部（図示せず）に表示されている撮像画像上において、登録顔であると判定された顔の周辺にその人物の氏名を付すことができる。また、登録顔であると判定された顔に基づいて、撮像部１１２の撮像パラメータを変更することができる。

図２および図３は、本発明の実施の形態における正規化部１４０が顔画像を正規化する場合における遷移を示す図である。図２（ａ）および図３（ａ）は、撮像部１１２から出力された撮像画像２００および２１０を示す図である。図２（ｂ）および図３（ｂ）は、顔検出部１２０により検出された顔に対応する顔画像２０３および２１３を示す図である。図２（ｃ）および図３（ｃ）は、顔画像を正規化する際に用いられる正規化テンプレート１４１と、正規化顔画像２０６および２１６とを示す図である。正規化テンプレート１４１は、正規化部１４０に保持されて、正規化部１４０が正規化を行う際に用いられるテンプレートであり、正規化を行う際に基準となる基準位置１４２および１４３が規定されている。図２および図３に示す例では、目検出部１３０により検出された顔画像における両目の位置が、正規化テンプレート１４１における基準位置１４２および１４３に合致するように、顔画像について拡大縮小処理および回転処理等を行う場合について説明する。また、図２に示す例では、顔検出部１２０により検出された顔２０２が、比較的正面を向いている場合を示し、図３に示す例では、顔検出部１２０により検出された顔２１２が右側を向いている場合を示す。なお、図２に示す撮像画像２００に含まれる人物２０１と、図３に示す撮像画像２１０に含まれる人物２１１とは、同一人物であるものとする。

図２（ａ）に示すように、例えば、撮像部１１２から出力された撮像画像２００が顔検出部１２０に入力されると、顔検出部１２０は撮像画像２００に含まれる顔２０２を検出する。また、撮像部１１２から出力された撮像画像２００と、顔検出部１２０から出力された顔検出結果とが目検出部１３０に入力されると、目検出部１３０は撮像画像２００に含まれる顔２０２の両目を検出する。図２（ｂ）では、顔画像２０３に含まれる顔２０２の両目の中心位置を目の位置２０４および２０５として示す。

正規化部１４０は、検出された目の位置２０４および２０５が、図２（ｃ）に示す正規化テンプレート１４１における基準位置１４２および１４３に合致するように、顔画像２０３について拡大縮小処理および回転処理等を行う。例えば、顔画像２０３について回転処理が行われ、正規化された顔画像である正規化顔画像２０６が生成される。図２（ｃ）に示すように、正規化顔画像２０６は、顔２０２の目の位置２０４および２０５が、正規化テンプレート１４１における基準位置１４２および１４３に合致する。

また、図３に示す場合も図２と同様に、例えば、顔２１２の目の位置２１４および２１５が、図３（ｃ）に示す正規化テンプレート１４１における基準位置１４２および１４３に合致するように、顔画像２１３について拡大縮小処理および回転処理等が行われる。例えば、顔画像２１３について拡大縮小処理および回転処理が行われ、正規化顔画像２１６が生成される。

図２（ｃ）および図３（ｃ）に示すように、同一人物の顔であっても、撮像時における顔の向きによって、正規化顔画像が大きく異なることがある。このため、例えば、図２（ｃ）に示す正規化顔画像２０６を用いて顔識別を行う場合と、図３（ｃ）に示す正規化顔画像２１６を用いて顔識別を行う場合とでは、顔識別結果が異なることが考えられる。すなわち、同一人物であっても、顔の向きによっては、正確に顔を識別することができないおそれがある。そこで、本発明の実施の形態では、顔検出部１２０により検出された顔の向きに基づいて、登録顔画像を変換して照合用顔画像を生成し、この照合用顔画像を用いて顔識別を行う。

次に、顔向き判定について図面を参照して詳細に説明する。

図４は、本発明の実施の形態における顔向き判定部１５０による顔向き判定の対象となる顔画像を概略的に示す図である。なお、図４（ａ）に示す正規化顔画像２０６は、図２（ｃ）に示す正規化顔画像２０６と同じ画像であり、図４（ｂ）に示す正規化顔画像２１６は、図３（ｃ）に示す正規化顔画像２１６と同じ画像である。ここで、正面向きの顔と右向きの顔とを比較した場合、一般的に、右向きの顔には、右側の頬の面積が少なくなる等の特徴的な点が生じることが多い。そこで、これらの顔の向きに関する特徴的な状態に対応する顔向き判定基準データを顔向き判定基準データ保持部１５１に保持しておき、この顔向き判定基準データを顔向き判定に用いる。この顔向き判定基準データを用いた顔向き判定方法については、図５および図６を参照して詳細に説明する。また、図４（ｂ）に示す位置２２１乃至２２６については、図５を参照して詳細に説明する。

図５は、本発明の実施の形態における顔向き判定基準データ保持部１５１の内容および顔向き判定部１５０による顔向き判定に用いられる積算結果値の範囲を示す図である。すなわち、図５（ａ）には、顔向き判定基準データ保持部１５１に保持されている顔向き判定基準データの構成例を示し、図５（ｂ）には、その顔向き判定基準データを用いて算出される顔向きに関する積算結果値の範囲を示す。なお、本発明の実施の形態では、画素差分での相関性判断手法を用いて顔向き判定を行う例について説明する。

顔向き判定基準データ保持部１５１に保持されている顔向き判定基準データは、正規化顔画像の座標０（ｘ，ｙ）１５２および正規化顔画像の座標１（ｘ，ｙ）１５３と、閾値（ｍ）１５４と、基準データの重み（ｒ）１５５とから構成されている。ここで、正規化顔画像の座標０（ｘ，ｙ）１５２および正規化顔画像の座標１（ｘ，ｙ）１５３は、正規化顔画像における２点の位置を示す座標である。また、閾値（ｍ）１５４は、座標０および座標１のレベル差（輝度差）に対する閾値である。さらに、基準データの重み（ｒ）１５５は、座標０および座標１のレベル差の値と閾値（ｍ）との比較結果に基づいて加算される重み係数である。また、顔向き判定基準データ保持部１５１には、これらの各値の組合せからなる基準データがｎ個格納されている。なお、本発明の実施の形態で示す基準データは、弱判別器（弱仮説）と称される。

顔向き判定基準データを構成する各値は、例えば、アダブースト（ＡｄａＢｏｏｓｔ）等の機械学習アルゴリズムにより学習されたもののうちで、最も効果的な上位３００乃至１０００組の組合せを用いて設定される。

次に、正規化顔画像について顔向き判定基準データを用いて顔向き判定を行う例について図面を参照して詳細に説明する。この例では、図４（ｂ）に示す正規化顔画像２１６の左上隅を原点として、横軸をｘ軸とし、縦軸をｙ軸とする。また、正規化顔画像２１６について顔向き判定基準データ保持部１５１に保持されている顔向き判定基準データを用いた顔向き判定処理をする場合について説明する。

例えば、顔向き判定基準データの１行目（基準データ０）に格納されている座標０（ｘ，ｙ）１５２の値に対応する正規化顔画像２１６の位置を位置２２１とし、座標１（ｘ，ｙ）１５３の値に対応する正規化顔画像２１６の位置を位置２２２とする。また、顔向き判定基準データの２行目（基準データ１）に格納されている座標０（ｘ，ｙ）１５２の値に対応する正規化顔画像２１６の位置を位置２２３とし、座標１（ｘ，ｙ）１５３の値に対応する正規化顔画像２１６の位置を位置２２４とする。さらに、顔向き判定基準データの３行目（基準データ２）に格納されている座標０（ｘ，ｙ）１５２の値に対応する正規化顔画像２１６の位置を位置２２５とし、座標１（ｘ，ｙ）１５３の値に対応する正規化顔画像２１６の位置を位置２２６とする。

最初に、判定を行うためのスコアＳの値に０がセットされ、顔向き判定基準データの基準データ０に含まれる各値を用いた演算が行われる。具体的には、顔向き判定基準データ基準データ０に含まれる座標０（ｘ，ｙ）１５２の値に対応する位置２２１における輝度の値Ａ（０）と、座標１（ｘ，ｙ）１５３の値に対応する位置２２２における輝度の値Ｂ（０）とが抽出される。そして、次式を用いて、抽出された各輝度の値の差Ｃ（０）が算出される。
Ｃ（０）＝Ａ（０）−Ｂ（０）

続いて、算出された各輝度の差の値Ｃ（０）と、顔向き判定基準データ基準データ０に含まれる閾値（ｍ）１５４の値とを比較して、算出された値Ｃ（０）が閾値（ｍ）１５４の値よりも大きいか否かが判断される。算出された値Ｃ（０）が閾値（ｍ）１５４の値以下である場合には、顔向き判定基準データの基準データ０に含まれる重み（ｒ）１５５の値をスコアＳに加算する。一方、算出された値Ｃ（１）が閾値（ｍ）１５４の値よりも大きい場合には、顔向き判定基準データの基準データ０に含まれる重み（ｒ）１５５の値をスコアＳに加算しない。

続いて、顔向き判定基準データの基準データ１に含まれる各値を用いて、上述した各演算を繰り返す。具体的には、顔向き判定基準データの基準データ１に含まれる座標０（ｘ，ｙ）１５２の値に対応する位置２２３における輝度の値Ａ（１）と、座標１（ｘ，ｙ）１５３の値に対応する位置２２４における輝度の値Ｂ（１）とが抽出される。そして、次式を用いて、抽出された各輝度の値の差Ｃ（１）が算出される。
Ｃ（１）＝Ａ（１）−Ｂ（１）

続いて、算出された各輝度の差の値Ｃ（１）と、顔向き判定基準データの基準データ１に含まれる閾値（ｍ）１５４の値とを比較して、算出された値Ｃ（１）が閾値（ｍ）１５４の値よりも大きいか否かが判断される。算出された値Ｃ（１）が閾値（ｍ）１５４の値以下である場合には、顔向き判定基準データの基準データ１に含まれる重み（ｒ）１５５の値をスコアＳに加算する。一方、算出された値Ｃ（１）が閾値（ｍ）１５４の値よりも大きい場合には、顔向き判定基準データの基準データ１に含まれる重み（ｒ）１５５の値をスコアＳに加算しない。

続いて、顔向き判定基準データの基準データ３以降、基準データｎ−１までの各値を順次用いて、上述した各演算を繰り返す。

すなわち、正規化顔画像２１６について顔向き判定基準データを用いた判定処理をする場合には、顔向き判定基準データの基準データ０乃至ｎ−１に含まれる各値を順次用いて、式Ａを用いてＣ（ｉ）が算出される。そして、算出されたＣ（ｉ）が式Ｂを満たすか否かが判定される。ここで、変数ｉは整数であり、０からｎ−１の値を示す。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ） …式Ａ
Ｃ（ｉ）＞ｍ（ｉ） …式Ｂ

そして、算出されたＣ（ｉ）が式Ｂを満たす場合には、ｒ（ｉ）の値がスコアＳに加算されず、算出されたＣ（ｉ）が式Ｂを満たさない場合には、ｒ（ｉ）の値がスコアＳに加算される。ここで、基準データｉに含まれる座標０（ｘ，ｙ）１５２に対応する輝度の値をＡ（ｉ）で表し、基準データｉに含まれる座標１（ｘ，ｙ）１５３に対応する輝度の値をＢ（ｉ）で表す。また、基準データｉに含まれる閾値（ｍ）１５４の値をｍ（ｉ）で表し、基準データｉに含まれる重み（ｒ）１５５の値をｒ（ｉ）で表す。

そして、顔向き判定基準データの基準データｎ−１に含まれる各値を用いた各演算が終了した後に、積算結果値であるスコアＳの値に基づいて各属性が判定される。

ここで、顔向き判定基準データの基準データ０乃至ｎ−１に含まれる各値を用いた各演算の終了後におけるスコアＳ_ｎ（Ｐ）は、次の式Ｃで表すことができる。

ここで、Ｓ_ｎ（Ｐ）は基準データ０乃至ｎ−１の積算結果値を示し、ｒ_ｉは基準データｉに含まれる重み（ｒ）１５５の値を示し、Ｐ（ｘ_ｉ０，ｙ_ｉ０）は基準データｉに含まれる座標０（ｘ，ｙ）１５２に対応する輝度の値を示す。また、Ｐ（ｘ_ｉ１，ｙ_ｉ１）は基準データｉに含まれる座標１（ｘ，ｙ）１５３に対応する輝度の値を示し、ｍ_ｉは基準データｉに含まれる閾値（ｍ）１５４の値を示し、ｎは基準データの数を示す。また、ｈ（ｚ）は、ｚ＞０の場合には「０」となり、ｚ≦０の場合には「１」となる関数を表すものとする。

次に、顔向き判定基準データの基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値に基づいて顔属性を判定する判定方法について図５（ｂ）を参照して詳細に説明する。図５（ｂ）に示す顔向きに関する積算結果値の範囲は、例えば、−１０００〜＋１０００の範囲とする。なお、本発明の実施の形態では、顔向き判定部１５０が、「右向き」、「正面向き」、「左向き」の３つの顔向きを判定する例について説明する。

例えば、上述の機械学習アルゴリズムによって学習時における右向きの学習サンプルを正側とし、左向きの学習サンプルを負側として学習したものとする。このように学習された場合において、顔向きを判定する場合には、図５（ｂ）に示す閾値１５６および１５７を用いて、「右向き」、「正面向き」、「左向き」が判定される。

例えば、図５（ｂ）に示す顔向きに関する積算結果値の範囲において、顔向き判定基準データの基準データ０乃至ｎ−１に含まれる各値を用いて算出された積算結果値であるスコアＳ_ｎ（Ｐ）が閾値１５６未満である場合には、「左向き」であると判定される。一方、スコアＳ_ｎ（Ｐ）が閾値１５７よりも大きい場合には、「右向き」であると判定される。また、スコアＳ_ｎ（Ｐ）が閾値１５６から閾値１５７の範囲内にある場合には、「右向き」、「左向き」の何れにも判定されず、「正面向き」であると判定される。これらの判定結果が、顔向き判定部１５０から画像変換部１８０に出力される。

図６は、本発明の実施の形態における顔向き判定部１５０による顔向きの判定結果例を示す図である。図６（ａ）乃至（ｅ）に示す顔２３１乃至２３５は、顔向き判定部１５０に入力される正規化顔画像に含まれる顔である。図６（ａ）および（ｂ）に示す顔２３１および２３２は、正面側に対して右側に向いている。このため、顔２３１および２３２については、顔向き判定部１５０により右向きと判定される。一方、図６（ｄ）および（ｅ）に示す顔２３４および２３５は、正面側に対して左側に向いている。このため、顔２３４および２３５については、顔向き判定部１５０により左向きと判定される。また、図６（ｃ）に示す顔２３３は、正面側を向いている。このため、顔２３３については、顔向き判定部１５０により正面向きと判定される。

図７は、本発明の実施の形態における登録顔画像記憶部１６０に記憶されている登録顔画像を模式的に示す図である。ここで、登録顔画像記憶部１６０に記憶されている登録顔画像１６１乃至１６３は、正規化部１４０により正規化された正規化顔画像について、顔識別部１９０による顔識別処理を行うための判定データである。また、本発明の実施の形態では、顔向き判定部１５０の判定結果に基づいて画像変換部１８０により登録顔画像１６１乃至１６３が変換された照合用顔画像についても判定データとして用いる。また、図７では、３人の顔に対応する登録顔画像１６１乃至１６３が登録顔画像記憶部１６０に記憶されている例を示す。ここで、登録顔画像記憶部１６０に記憶されている登録顔画像１６１乃至１６３は、両目の位置が、図２（ｃ）および３（ｃ）に示す正規化テンプレート１４１における基準位置１４２および１４３に合致するように、正規化された正規化顔画像であるものとする。

図７に示すように、登録顔画像記憶部１６０には、登録顔画像を識別するための識別番号および氏名が各登録顔画像に関連付けて記憶されている。例えば、登録顔画像１６１乃至１６３について、識別番号として「００１」、「００２」、「００３」が付与されるとともに、氏名として「甲田一郎」、「甲田花子」、「乙山美咲」が関連付けられて記憶される。なお、登録顔画像１６１（識別番号「００１」、氏名「甲田一郎」）に含まれる顔は、図２および図３に示す顔２０２および２１２と同一人物の顔であるものとする。

図８は、本発明の実施の形態における３次元モデル記憶部１７０に記憶されている３次元モデル３００を模式的に示す図である。図８（ａ）には、３次元モデル３００を正面側から見た場合を示し、図８（ｂ）には、３次元モデル３００を右側から見た場合を示し、図８（ｃ）には、３次元モデル３００を左側から見た場合を示し、図８（ｄ）には、３次元モデル３００を上側から見た場合を示す。

３次元モデル３００は、矩形の上辺および下辺の各中点を結ぶ線を折線として、その矩形を裏面側に２つ折りにした形状からなる３次元ＣＧ（Computer Graphics：コンピュータ・グラフィックス）モデルである。また、３次元モデル３００は、図８（ｄ）に示すように、左半分の矩形および右半分の矩形のそれぞれを、折り曲げる前の状態から角度αだけ折り曲げた形状である。ここで、角度αは、例えば、１０乃至２０度とすることができる。

図９は、本発明の実施の形態における変換データ記憶部１８１の内容を示す図である。変換データ記憶部１８１には、ヨー（yaw）回転角度（θ）１８４と、ロール（roll）回転角度（φ）１８５と、ｘ軸の移動距離（Ｔｘ）１８６と、ｙ軸の移動距離（Ｔｙ）１８７と、ｚ軸の移動距離（Ｔｚ）１８８とが格納されている。また、これらの各値は、左向き１８２または右向き１８３に関連付けて格納されている。なお、これらの各値は、画像変換部１８０が３次元モデルを回転および移動させ、この回転および移動後に生成される照合用顔画像に含まれる顔の両目の位置と、登録顔画像に含まれる顔の両目の位置とが同じ位置となるようにするための変換データである。なお、図９では、ヨー回転角度（θ）１８４以外の値についての記載を省略する。

ヨー回転角度（θ）１８４は、表面に登録顔画像が投影された３次元モデル３００をヨー回転させるための角度を示す値である。ロール回転角度（φ）１８５は、表面に登録顔画像が投影された３次元モデル３００をロール回転させるための角度を示す値である。なお、この例では、θ＝−３０、３０の場合を示すが、例えば、θ＝−３０〜−２０、２０〜３０とすることができる。

ｘ軸の移動距離（Ｔｘ）１８６は、表面に登録顔画像が投影された３次元モデル３００をｘ軸方向に平行移動させるための距離を示す値である。ｙ軸の移動距離（Ｔｙ）１８７は、表面に登録顔画像が投影された３次元モデル３００をｙ軸方向に平行移動させるための距離を示す値である。ｚ軸の移動距離（Ｔｚ）１８８は、表面に登録顔画像が投影された３次元モデル３００をｚ軸方向に平行移動させるための距離を示す値である。

ここで、顔向き判定部１５０により「左向き」または「右向き」が判定された場合に、判定された顔向き（左向き１８２または右向き１８３）に関連付けて格納されている値を用いて、画像変換部１８０が３次元モデル３００について回転および平行移動を行う。なお、これらの回転および平行移動については、図１１を参照して詳細に説明する。

図１０乃至図１２は、本発明の実施の形態における画像変換部１８０により登録顔画像が変換される場合における遷移を概略的に示す図である。すなわち、図１０（ａ）に示す登録顔画像１６１上の座標ｇ１（ｘ，ｙ）を、図１２に示す照合用顔画像３４０上の座標ｇ４（ｕ，ｖ）に変換する場合における遷移を示す。なお、図１０乃至図１２に示す遷移については、図１３および式１を参照して詳細に説明する。

式１は、図１０（ａ）に示す登録顔画像１６１上の座標ｇ１（ｘ，ｙ）を、図１２に示す照合用顔画像３４０上の座標ｇ４（ｕ，ｖ）に変換するための行列式である。

図１３は、本発明の実施の形態における画像変換部１８０により登録顔画像を変換する場合における３次元モデル３００と、画像投影面３５０との関係を模式的に示す図である。

図１０（ａ）には、登録顔画像記憶部１６０に記憶されている登録顔画像１６１を示す。なお、登録顔画像記憶部１６０に記憶されている登録顔画像１６２および１６３の変換については、登録顔画像１６１の変換と同様であるため、ここでの説明を省略する。この例では、図１０（ａ）に示すように、登録顔画像１６１の左上隅を原点Ｏ１として、横軸をｘ軸とし、縦軸をｙ軸として、登録顔画像１６１を変換する場合について説明する。

図１０（ｂ）には、３次元モデル記憶部１７０に記憶されている３次元モデル３００の表面に登録顔画像１６１を投影する場合を示す。なお、図１０乃至図１２では、説明の容易のため、３次元モデル３００については左斜め側から見た状態を示す。図１０（ｂ）に示すように、登録顔画像１６１の４隅３１１乃至３１４の座標が、３次元モデル３００の４隅３２１乃至３２４の座標に変換されるように、３次元モデル３００の表面に登録顔画像１６１が投影される。また、登録顔画像１６１の上辺の中点３１５および下辺の中点３１６が、３次元モデル３００の折線の頂点３２５および３２６に変換されるように、３次元モデル３００の表面に登録顔画像１６１が投影される。この投影により、図１０（ｂ）に示すように、３次元モデル３００の表面に登録顔画像１６１が貼り付けられる。なお、以下では、表面に登録顔画像１６１が貼り付けられた３次元モデル３００を、登録顔画像３次元モデル３３０と称して説明する。

ここで、式１の左辺の行列（ｘ ｙ １ １）は、登録顔画像１６１の座標ｇ１（ｘ，ｙ）に対応する行列であり、右辺の行列（ｕ ｖ １ １）は、照合用顔画像３４０の座標ｇ４（ｕ，ｖ）に対応する行列である。また、右辺の行列Ｆは、３次元モデル３００に貼り付けられた画像を平面上に投影させて２次元画像を生成し、この２次元画像における座標原点を変更する行列である。すなわち、行列Ｆの逆行列Ｆ^−１を用いることにより、図１０（ａ）に示すように、登録顔画像１６１の左上隅の原点Ｏ１を、登録顔画像１６１の中心位置Ｏ２に変更することができる。そして、図１０（ｂ）に示すように、３次元モデル３００の表面に登録顔画像１６１を投影させることができる。

図１１（ａ）には、表面に登録顔画像１６１が貼り付けられた登録顔画像３次元モデル３３０を左斜め側から見た状態を示し、図１１（ｂ）には、表面に登録顔画像１６１が貼り付けられた登録顔画像３次元モデル３３０を上側から見た状態を示す。この例では、図１１（ａ）および（ｂ）に示すように、登録顔画像３次元モデル３３０の折線上の中点を原点Ｏ３として、水平方向の軸をｘ軸とし、垂直方向の軸をｙ軸とし、ｘ軸およびｙ軸に直行する軸をｚ軸とする。そして、登録顔画像３次元モデル３３０を回転および移動させる場合について説明する。また、この例では、顔向き判定部１５０により「右向き」であると判定された場合を例にして説明する。

図１１（ｃ）には、登録顔画像３次元モデル３３０を回転および移動させる場合を示す。ここで、式１の行列Ｇは、３次元空間において３次元モデル３００をヨー回転させる行列である。なお、行列Ｇによるヨー回転の回転角度はθである。また、行列Ｈは、３次元空間において３次元モデル３００をロール回転させる行列である。なお、行列Ｈによるロール回転の回転角度はφである。また、行列Ｉは、３次元空間において３次元モデル３００を平行移動させる行列である。なお、行列Ｉによるｘ軸方向の移動距離はＴｘであり、ｙ軸方向の移動距離はＴｙであり、ｚ軸方向の移動距離はＴｚである。これらの行列Ｇ乃至Ｉの逆行列Ｇ^−１、Ｈ^−１、Ｉ^−１を用いることにより、登録顔画像３次元モデル３３０を回転および平行移動させることができる。なお、これらの角度θ、φ、移動距離Ｔｘ、Ｔｙ、Ｔｚは、顔向き判定部１５０により判定された顔の向きに応じて決定される値であり、図９に示す変換データ記憶部１８１に記憶されている。なお、変換データ記憶部１８１に記憶されている各値は、登録顔画像３次元モデル３３０を回転および平行移動させた後に生成される２次元画像（図１２に示す照合用顔画像３４０）を正規化画像とするための値である。

図１３には、逆行列Ｇ^−１、Ｈ^−１、Ｉ^−１を用いて変換された登録顔画像３次元モデル３３０の表面に貼り付けられている登録顔画像を平面上に投影して２次元画像（図１２に示す照合用顔画像３４０）を生成する場合を模式的に示す。図１３（ａ）には、登録顔画像３次元モデル３３０と、２次元画像を生成するための画像投影面３５０との関係をｙ軸方向から見た場合を示す。また、図１３（ｂ）には、登録顔画像３次元モデル３３０と画像投影面３５０との関係をｘ軸方向から見た場合を示す。図１３に示すように、登録顔画像３次元モデル３３０の表面に貼り付けられている登録顔画像が基準点（光学中心）Ｋ１に収束するように、登録顔画像３次元モデル３３０の表面に貼り付けられている登録顔画像が画像投影面３５０に投影される。このように、画像投影面３５０に投影された画像が照合用顔画像３４０として生成される。

ここで、基準点Ｋ１から登録顔画像３次元モデル３３０の原点Ｏ３までの距離を距離Ｚｃとし、基準点Ｋ１から画像投影面３５０までの距離を距離ｆとする。この距離ｆは、例えば、登録顔画像３次元モデル３３０の左右端の一辺の長さと同じ値とすることができる。また、これらの距離Ｚｃおよびｆを用いた行列Ｊは、三角形の相似条件を用いることにより、３次元モデル３００の表面に画像を投影させる行列である。また、図１２に示すように、行列Ｊの逆行列Ｊ^−１を用いることにより、登録顔画像３次元モデル３３０の表面に貼り付けられている登録顔画像を画像投影面３５０に投影させて照合用顔画像３４０を生成することができる。また、行列Ｋは、２次元画像における座標原点を変更する行列である。すなわち、行列Ｋの逆行列Ｋ^−１を用いることにより、図１２に示すように、照合用顔画像３４０の中心位置にある原点Ｏ５を、照合用顔画像３４０の左上隅Ｏ６に変更することができる。

図１４は、本発明の実施の形態における画像変換部１８０により登録顔画像１６１を照合用顔画像３４０に変換した場合の遷移を示す図である。図１４（ａ）には、変換前の登録顔画像１６１を示し、図１４（ｂ）には、変換後の照合用顔画像３４０を示す。このように、登録顔画像１６１は、正面顔２４１を含む画像であるとともに、正面顔２４１の目の位置２４２および２４３に基づいて正規化された画像である。これに対して、照合用顔画像３４０は、画像変換部１８０による画像変換により右向きのようになった顔３４１を含む画像であるとともに、顔３４１の目の位置３４２および３４３に基づいて正規化された画像である。すなわち、登録顔画像１６１の目の位置２４２および２４３と、照合用顔画像３４０の目の位置３４２および３４３とは、同じ位置となる。

図１５は、本発明の実施の形態における顔識別部１９０による比較対象となる照合用顔画像および正規化顔画像と、登録顔画像および正規化顔画像とを示す図である。図１５（ａ）および（ｂ）に示す正規化顔画像２１６は、図３（ｃ）に示す正規化顔画像２１６と同じである。また、図１５（ａ）に示す照合用顔画像３４０は、図１４（ｂ）に示す照合用顔画像３４０と同じであり、顔向き判定部１５０により判定された顔の向きに基づいて、画像変換部１８０により生成された画像である。一方、図１５（ｂ）に示す登録顔画像１６１は、図７に示す登録顔画像記憶部１６０に記憶されている登録顔画像１６１と同じであり、顔向き判定部１５０により判定された顔の向きに基づいた変換が行われていない画像である。

図１５（ａ）に示すように、顔向き判定部１５０により判定された顔の向きに基づいて生成された照合用顔画像３４０と、正規化顔画像２１６とを比較した場合には、この２つの顔が比較的似ている。このため、顔識別部１９０による顔識別の精度を向上させることができる。一方、図１５（ｂ）に示すように、変換が行われていない登録顔画像１６１と、正規化顔画像２１６とを比較した場合には、正面顔と右向きの顔とであるため、同一人物であるにもかかわらず、画像上における顔の各部分が似ていない。このため、図１５（ａ）に示す場合と比較して顔識別部１９０による顔識別の精度を向上させることが困難である。

次に、本発明の実施の形態における画像処理装置１００の動作について図面を参照して説明する。

図１６は、本発明の実施の形態における画像処理装置１００による顔識別処理の処理手順を示すフローチャートである。

最初に、撮像部１１２が撮像画像を生成する（ステップＳ９０１）。続いて、顔検出部１２０が、生成された撮像画像について顔検出処理を行う（ステップＳ９０２）。この顔検出処理により、顔が検出されたか否かが判断され（ステップＳ９０３）、顔が検出されない場合には、顔識別処理の動作を終了する。一方、顔が検出された場合には（ステップＳ９０３）、目検出部１３０が、顔検出部１２０により検出された顔について目検出処理を行う（ステップＳ９０４）。

続いて、正規化部１４０が、顔検出部１２０により検出された顔を含む顔画像について、両目の位置が正規化テンプレート１４１の基準位置１４２および１４３になるように調整することにより正規化を行う（ステップＳ９０５）。続いて、正規化された顔画像である正規化顔画像について顔向き判定部１５０が顔向き判定処理を実行する（ステップＳ９２０）。この顔向き判定処理については、図１７を参照して詳細に説明する。

続いて、画像変換部１８０が、顔向き判定部１５０により判定された顔の向きが正面向きであるか否かを判断する（ステップＳ９０６）。顔向き判定部１５０により判定された顔の向きが正面向きでない場合には（ステップＳ９０６）、画像変換部１８０が、登録顔画像記憶部１６０に記憶されている登録顔画像を３次元モデル３００に投影する（ステップＳ９０７）。続いて、画像変換部１８０が、顔向き判定部１５０により判定された顔の向きに関連付けて変換データ記憶部１８１に記憶されている変換データを用いて、登録顔画像が貼り付けられている３次元モデル３００を回転および移動させる（ステップＳ９０８）。続いて、画像変換部１８０が、回転および移動後の３次元モデル３００に貼り付けられている登録顔画像を平面上に投影して２次元画像（照合用顔画像）を生成する（ステップＳ９０９）。

続いて、顔識別部１９０が、画像変換部１８０により生成された２次元画像と、正規化部１４０により生成された正規化顔画像とを比較することにより、この正規化顔画像の顔が登録顔画像の顔と同一人物の顔であるか否かを判断する（ステップＳ９１０）。すなわち、顔検出部１２０により検出された顔について顔識別処理が行われる。なお、登録顔画像記憶部１６０に複数の登録顔画像が記憶されている場合には、各登録顔画像について２次元画像が生成され、各２次元画像について顔識別処理が行われる。

また、顔向き判定部１５０により判定された顔の向きが正面向きである場合には（ステップＳ９０６）、顔識別部１９０が登録顔画像記憶部１６０に記憶されている登録顔画像と、正規化部１４０により生成された正規化顔画像とを比較する。そして、この正規化顔画像の顔が登録顔画像の顔と同一人物の顔であるか否かを判断する（ステップＳ９１０）。なお、登録顔画像記憶部１６０に複数の登録顔画像が記憶されている場合には、各登録顔画像について顔識別処理が行われる。

図１７は、本発明の実施の形態における画像処理装置１００による顔向き判定処理の処理手順を示すフローチャートである。この顔向き判定処理は、図１６のステップＳ９２０の顔向き判定処理に対応する処理である。

最初に、スコアＳが「０」に初期化され（ステップＳ９２１）、変数ｉが「０」に初期化される（ステップＳ９２２）。続いて、正規化顔画像から抽出された輝度の値の中から、顔向き判定基準データ保持部１５１の基準データｉの座標０（ｘ，ｙ）１５２に対応する輝度の値Ａ（ｉ）と、座標１（ｘ，ｙ）１５３に対応する輝度の値Ｂ（ｉ）とが取得される（ステップＳ９２３）。続いて、次式を用いて、取得された各輝度の値の差Ｃ（ｉ）が算出される（ステップＳ９２４）。
Ｃ（ｉ）＝Ａ（ｉ）−Ｂ（ｉ）

続いて、算出された各輝度の差の値Ｃ（ｉ）と、顔向き判定基準データ保持部１５１の基準データｉに含まれる閾値（ｍ）１５４の値とを比較して、算出された値Ｃ（ｉ）が閾値（ｍ）１５４の値よりも大きいか否かが判断される（ステップＳ９２５）。算出された値Ｃ（ｉ）が閾値（ｍ）１５４の値以下である場合には（ステップＳ９２５）、顔向き判定基準データ保持部１５１の基準データｉに含まれる重み（ｒ）１５５の値をスコアＳに加算する（ステップＳ９２６）。一方、算出された値Ｃ（ｉ）が閾値（ｍ）１５４の値よりも大きい場合には（ステップＳ９２５）、顔向き判定基準データ保持部１５１の基準データｉに含まれる重み（ｒ）１５５の値をスコアＳに加算せずに、ステップＳ９２７に進む。

続いて、変数ｉに「１」が加算され（ステップＳ９２７）、変数ｉがｎ−１よりも大きいか否かが判断される（ステップＳ９２８）。変数ｉがｎ−１よりも大きくない場合には（ステップＳ９２８）、顔向き判定基準データ保持部１５１の各基準データについての判定処理が終了していないため、ステップＳ９２３に戻り、判定処理を繰り返す（ステップＳ９２３乃至Ｓ９２７）。一方、変数ｉがｎ−１よりも大きい場合には（ステップＳ９２８）、スコアＳの値が閾値１および閾値２の範囲内に存在するか否かが判断される（ステップＳ９２９）。なお、閾値１は、図５（ｂ）に示す閾値１５６に対応し、閾値２は、図５（ｂ）に示す閾値１５７に対応する。

スコアＳの値が閾値１および閾値２の範囲内に存在する場合には（ステップＳ９２９）、正規化顔画像に含まれる顔の向きは「正面向き」であると判定される（ステップＳ９３０）。

スコアＳの値が閾値１および閾値２の範囲内に存在しない場合には（ステップＳ９２９）、スコアＳの値が閾値２よりも大きいか否かが判断される（ステップＳ９３１）。スコアＳの値が閾値２よりも大きい場合には（ステップＳ９３１）、正規化顔画像に含まれる顔は「右向き」であると判定される（ステップＳ９３２）。一方、スコアＳの値が、閾値１よりも小さい場合には（ステップＳ９３１）、正規化顔画像に含まれる顔は「左向き」であると判定される（ステップＳ９３３）。なお、ステップＳ９０７は、特許請求の範囲に記載の投影手順の一例である。また、ステップＳ９０８は、特許請求の範囲に記載の変換手順の一例である。また、ステップＳ９０９は、特許請求の範囲に記載の生成手順の一例である。また、ステップＳ９１０は、特許請求の範囲に記載の識別手順の一例である。

以上では、式１の行列Ｆ乃至Ｋを用いた演算を行うことにより、登録顔画像を照合用顔画像に変換する例について説明した。すなわち、式１の行列Ｆ乃至Ｋを用いた演算では、表面に登録顔画像が貼り付けられている３次元モデル３００における３次元座標原点を３次元モデル３００の折線の中点とし、この３次元座標原点を基準として回転および平行移動を行う。このように、折線の中点を３次元座標原点とする場合には、３次元モデル３００のヨー回転を行った後に、両目の位置を基準として正規化するためのロール回転およびｙ軸への平行移動を行う必要がある。

ここで、登録顔画像は両目の位置を基準として正規化された画像である。このため、例えば、３次元モデル３００の表面に貼り付けられている登録顔画像に含まれる顔の両目を結ぶ線分の中点を３次元座標原点とすることにより、ロール回転およびｙ軸への平行移動を省略することができる。これにより、式１の行列Ｆ乃至Ｋを用いた演算を行う場合によりも、演算量を低減させることができる。以下では、３次元モデル３００における両目を結ぶ線分の中点を３次元座標原点として画像変換を行い、ロール回転およびｙ軸への平行移動を省略する例について図面を参照して詳細に説明する。

図１８は、本発明の実施の形態における画像処理装置５００の機能構成例を示すブロック図である。ここで、画像処理装置５００は、図１に示す画像処理装置１００の一部を変形したものであり、画像変換部１８０および変換データ記憶部１８１の代わりに、画像変換部５１０および変換データ記憶部５２０を設けた画像処理装置である。このため、図１に示す画像処理装置１００と同様の構成についての詳細な説明は省略する。また、他の構成についても、以下では、図１に示す画像処理装置１００と異なる点を中心に説明する。

画像変換部５１０は、顔向き判定部１５０により判定された顔の向きに関連付けて変換データ記憶部５２０に記憶されている変換パラメータを用いて、登録顔画像記憶部１６０に記憶されている登録顔画像から２次元画像を生成するものである。

変換データ記憶部５２０は、画像変換部５１０が変換を行うための変換パラメータを、顔向き判定部１５０による判定の対象となる顔の向きに関連付けて記憶するものであり、記憶されている変換パラメータを画像変換部５１０に供給する。なお、変換データ記憶部５２０については、図１９を参照して詳細に説明する。また、変換データ記憶部５２０に記憶されている変換パラメータの算出方法については、図２０乃至図２２を参照して詳細に説明する。なお、変換データ記憶部５２０は、特許請求の範囲に記載の変換パラメータ記憶部の一例である。

図１９は、本発明の実施の形態における変換データ記憶部５２０の内容を示す図である。変換データ記憶部５２０には、変換パラメータ５２３が左向き５２１または右向き５２２に関連付けて格納されている。

変換パラメータ５２３は、画像変換部５１０が、登録顔画像記憶部１６０に記憶されている登録顔画像を変換して照合用顔画像を生成するための変換パラメータである。具体的に、変換パラメータ５２３は、３次元モデルの表面に登録顔画像を投影し、顔向きの判定結果に基づいてその３次元モデルを変換し、変換後の３次元モデルにおける登録顔画像を平面上に投影して照合用顔画像を生成するための変換パラメータである。なお、３次元モデルの表面に登録顔画像が投影される際には、３次元モデル記憶部１７０に記憶されている３次元モデルの折線と、登録顔画像に含まれる顔の水平方向に対する中心線とが略一致するように投影される。また、３次元モデルを変換する際には、３次元モデルの表面に貼り付けられている登録顔画像に含まれる顔の両目の位置が特定位置となるように、その両目を結ぶ線分の中点を基準として、３次元モデルが回転および移動される。

ここで、顔向き判定部１５０により「左向き」または「右向き」の何れかが判定された場合に、判定された顔向き（左向き５２１または右向き５２２）に関連付けて格納されている変換パラメータを用いて、画像変換部５１０が登録顔画像を２次元画像に変換する。この変換は、登録顔画像の中心位置を座標原点として、「ｘ＜０」および「ｘ≧０」に応じた変換パラメータを用いる。また、２次元画像の中心位置を座標原点として、登録顔画像が２次元画像に変換される。なお、変換パラメータＡ乃至Ｅについての算出方法については、図２０乃至図２２を参照して詳細に説明する。

図２０乃至図２２は、本発明の実施の形態における変換パラメータＡ乃至Ｅを算出する場合における算出方法の概略を示す図である。なお、上述した画像等と同一のものについては、同一の符号を付して説明する。

図２０（ａ）に示すように、登録顔画像１６１の中心位置Ｏ２を原点とした場合に、登録顔画像１６１に含まれる顔２４１の両目の位置を位置２４２および２４３とする。なお、位置２４２および２４３は、例えば、顔２４１の両目の中心位置とする。この場合における位置２４２の座標を（−ｐ，ｑ）とし、位置２４３の座標を（ｐ，ｑ）とする。ここで、式１の行列Ｆの逆行列Ｆ^−１および行列Ｇの逆行列Ｇ^−１を用いることにより、図２０（ｂ）に示すように、登録顔画像１６１を３次元モデル３００に投影させてヨー回転させることができる。そして、このヨー回転後の登録顔画像３次元モデル３３０における顔の右目の座標をＯＬ２（ＸＬ，ＹＬ，ＺＬ）とし、左目の座標をＯＲ２（ＸＲ，ＹＲ，ＺＲ）した場合における座標ＯＬ２およびＯＲ２を求める場合を考える。ただし、ここでは、３次元空間の座標原点を、図２０（ｂ）に示す点Ｏ３から図２１に示す基準点Ｋ１に変更した場合を想定して座標ＯＬ２およびＯＲ２を求める例を示す。このように、基準点Ｋ１を座標原点とした場合において、右目の座標ＯＬ２（ＸＬ，ＹＬ，ＺＬ）は、式２を用いて算出することができる。また、左目の座標ＯＲ２（ＸＲ，ＹＲ，ＺＲ）は、式３を用いて算出することができる。

また、図２０（ｃ）に示すように、照合用顔画像３４０の中心位置Ｏ５を座標原点とした場合に、照合用顔画像３４０に含まれる顔３４１の両目の位置を位置３４２および３４３とする。なお、位置３４２および３４３は、例えば、顔３４１の両目の中心位置とする。この場合における位置３４２および３４３の座標は、照合用顔画像３４０が、両目の位置を基準として正規化された画像であるため、登録顔画像１６１に含まれる両目の位置２４２および２４３と同じ座標となる。そこで、照合用顔画像３４０における右目の座標を（−ｐ，ｑ）とし、左目の座標を（ｐ，ｑ）とする。ここで、３次元空間の座標原点を、図２０（ｃ）に示す点Ｏ５から図２１に示す基準点Ｋ１に変更した場合を想定して、右目の座標（−ｐ，ｑ）および左目の座標（ｐ，ｑ）を求める例を示す。このように、基準点Ｋ１を座標原点とした場合において、図２１（ａ）および（ｂ）に示す位置関係に基づいて、右目の座標（−ｐ，ｑ）は、式４を用いて算出することができる。また、左目の座標（ｐ，ｑ）は、式５を用いて算出することができる。

ここで、登録顔画像１６１および登録顔画像３次元モデル３３０に含まれる顔の両目を結ぶ線分の中心位置を原点とする場合には、ｑ＝０となる。そこで、Ｔｙ＝０とする。また、式２および式３を式４および式５に代入することにより、平行移動成分Ｔｘ、Ｔｙ、Ｔｚは、以下の通り求めることができる。
Ｔｘ＝ｐｓｉｎθ（ｔａｎα−（ｐ／ｆ）） …式６
Ｔｙ＝０ …式７
Ｔｚ＝（ｆ＋ｐｔａｎα）ｃｏｓθ−Ｚｃ …式８

ここで、登録顔画像３次元モデル３３０における顔の両目の中心位置を座標原点とする場合には、上述したように、Ｔｙの平行移動とロール回転とを省略することができる。ここで、登録顔画像１６１上の座標原点が中心点に変更されるとともに３次元モデル３００の表面に登録顔画像１６１が投影された後におけるヨー回転前の３次元座標は、ｘ_ｃ≧０の場合、図２２（ｂ）を参照すると、ｚ１＝−ｘ１ｔａｎαである。このため、登録顔画像１６１が投影された後におけるヨー回転前の３次元座標を座標（ｘ_ｃ，ｙ_ｃ，−ｘ_ｃｔａｎα）と表すことができる。ただし、ｘ_ｃおよびｙ_ｃについては、以下の通りとする。
ｘ_ｃ＝ｘ＋Ｃｘ
ｙ_ｃ＝ｙ＋Ｃｙ

なお、ＣｘおよびＣｙは、図１０（ａ）に示す値と同じである。この場合に、３次元座標（ｘ_ｃ，ｙ_ｃ，−ｘ_ｃｔａｎα）については、以下の式９が成り立つ。

ここで、式９の右辺の左側の行列は、３次元空間において３次元モデルをヨー回転させる行列である。なお、この行列は、行列Ｇと同様に回転角度θでヨー回転させる行列である。また、式９の右辺の右側の行列は、３次元空間において３次元モデルをヨー回転させた後における３次元座標を示す行列である。ただし、ｕ_ｃおよびｖ_ｃについては、以下の通りとする。なお、ＣｕおよびＣｖは、図１２に示す値と同じである。
ｕ_ｃ＝ｕ−Ｃｕ
ｖ_ｃ＝ｖ−Ｃｖ

続いて、式９の行列式を展開すると、以下の式１０乃至１２が求められる。
ｘ_ｃ＝（ｕ_ｃ／ｆ）Ｚｃｏｓθ＋（ｕ_ｃ／ｆ）Ｚｃｃｏｓθ−Ｔｘｃｏｓθ−Ｚｓｉｎθ＋Ｔｚｓｉｎθ …式１０
ｙ_ｃ＝（ｖ_ｃ／ｆ）Ｚ＋（ｖ_ｃ／ｆ）Ｚｃ …式１１
−ｘ_ｃｔａｎα＝（ｕ_ｃ／ｆ）Ｚｓｉｎθ＋（ｕ_ｃ／ｆ）Ｚｃｓｉｎθ−Ｔｘｓｉｎθ＋Ｚｃｏｓθ−Ｔｚｃｏｓθ …式１２

また、登録顔画像３次元モデル３３０における両目の中心位置を原点Ｏ７とする場合には、図２２（ｂ）を参照すると、Ｚの値は、以下の式１３により求めることができる。
Ｚ＝−（ｘｃｏｓθ−ｘ_ｃｔａｎαｓｉｎθ）ｔａｎ（α＋θ）＋Ｔｚ …式１３

ここで、上述した式８のＴｚを式１３に代入することにより、以下の式１４を求めることができる。
Ｚ＝−ｘ_ｃ（ｃｏｓθ−ｔａｎαｓｉｎθ）ｔａｎ（α＋θ）＋（ｆ＋ｐｔａｎα）ｃｏｓθ−Ｚｃ …式１４

続いて、式６のＴｘ、式８のＴｚおよび式１４のＺを、式１０および式１１に代入することにより、ｘ_ｃ≧０の場合におけるｘ_ｃおよびｙ_ｃを、式１５、式１６のように求めることができる。ここで、式１５乃至３３で示すｘ_ｃ、ｙ_ｃ、ｕ_ｃおよびｖ_ｃについては、一般化するため、単に、ｘ、ｙ、ｕおよびｖで表す。

また、同様に、ｘ_ｃ＜０の場合におけるｘ_ｃおよびｙ_ｃを、式１７、式１８のように求めることができる。

続いて、以下の式１９乃至２１を用いて、式１５乃至１８で示すｘ_ｃおよびｙ_ｃを変形することができる。この変形後の式を式２２乃至２５に示す。
ｔａｎ（α＋θ）＝（ｔａｎα＋ｔａｎθ）／（１−ｔａｎαｔａｎθ） …式１９
ｔａｎ（α−θ）＝（ｔａｎα−ｔａｎθ）／（１＋ｔａｎαｔａｎθ） …式２０
１／ｃｏｓ^２θ＝１＋ｔａｎ^２θ …式２１

ここで、式２２および２３は、ｘ_ｃ≧０の場合におけるｘ_ｃおよびｙ_ｃを示し、式２４および２５は、ｘ_ｃ＜０の場合におけるｘ_ｃおよびｙ_ｃを示す。ここで、変数ｕ、ｖ以外のｆ、ｐ、α、θを固定値として設定することができる。例えば、αおよびθについては、α＝１０〜２０、θ＝−３０〜−２０、２０〜３０の範囲内で設定することができる。また、本発明の実施の形態では、顔向き判定部１５０により判定された「左向き」または「右向き」に応じて登録顔画像を変換する。そこで、「左向き」または「右向き」の場合を想定して（θ≧０、θ＜０）、以下の式２６乃至３３を算出することができる。

ここで、Ａ、Ｂ_０、Ｂ_１、Ｃ_０、Ｃ_１、Ｄ_０、Ｄ_１およびＥについては、図１９に示す変換データ記憶部５２０に記憶されている値であり、以下の値とする。

このように、変換データ記憶部５２０に記憶されている変換パラメータ５２３を予め算出しておき、画像変換部５１０が、変換パラメータ５２３の各値を用いて登録顔画像から２次元画像を生成することができる。すなわち、登録顔画像の中心位置を原点とし、２次元画像の中心位置を原点として、登録顔画像の座標（ｘ，ｙ）が２次元画像の座標（ｕ，ｖ）に変換される。これにより、表面に登録顔画像が貼り付けられている３次元モデル３００における３次元座標原点を折線の中点とした場合と比較して、演算量を削減することができる。これにより、顔識別処理時における処理の負荷を大幅に低減することができる。このため、例えば、小型のデジタルスチルカメラや携帯電話機等に顔識別機能を搭載させ易くすることができる。

図２３は、本発明の実施の形態における顔識別部１９０により出力される顔識別結果を集計した顔識別結果グラフ６００を示す図である。顔識別結果グラフ６００は、顔向き判定部１５０の判定結果に基づいて画像変換部１８０により画像変換を行った場合と、画像変換部１８０による画像変換を行わなかった場合とにおける顔識別結果を集計したグラフである。ここでは、α＝１５度とし、θ＝−３０、３０度とした場合において、男女１０名の顔について、実際の顔の向きの角度を変更して撮像された複数の撮像画像を用いて顔識別を行った例を示している。

ここで、顔識別結果グラフ６００において、横軸は、撮像画像に含まれる顔の実際の向きの角度の値を示し、縦軸は、顔識別部１９０により出力された顔識別結果のスコアを集計して平均した値を示す。また、算出された顔識別結果のスコアにより、登録顔であるか否かを判定するための顔識別閾値６０１が０〜１００００の間に設定されているものとする。さらに、この例では、撮像画像に含まれる顔が正面向きの場合の顔向き角度を９０度とする。また、顔向き判定部１５０により左向きと判定される角度を７７度以下と設定する。また、顔向き判定部１５０により右向きと判定される角度を１１３度以上と設定する。

また、各撮像画像について、顔向き判定部１５０の判定結果に基づいて画像変換部１８０により画像変換を行った後に顔識別を行った場合に算出された顔識別結果のスコアを集計して平均した値を折線６１１で示す。一方、各撮像画像について、画像変換部１８０による画像変換を行わずに顔識別を行った場合に算出された顔識別結果のスコアを集計して平均した値を折線６１２で示す。

顔識別結果グラフ６００に示すように、顔が正面向きに近い場合（縦線６０３および６０４の間）には、折線６１１および６１２にはほとんど差異がない。しかしながら、顔向き判定部１５０により左向きまたは右向きと判定される角度を超えた場合（縦線６０３よりも左側、または、縦線６０４よりも右側）には、例えば、差分値６２１乃至６２４で示すように、折線６１１および６１２の差分値が大きくなる。すなわち、本発明の実施の形態を適用することにより、顔が斜め方向に向いている撮像画像についても顔識別の精度を向上させることができる。なお、この例では、予め記録された撮像画像を用いて顔識別を行う例を示したが、デジタルスチルカメラ等の撮像装置による撮像時における撮像画像の顔識別についても同様に精度を向上させることができる。

次に、本発明の実施の形態における画像処理装置５００の動作について図面を参照して説明する。

図２４は、本発明の実施の形態における画像処理装置５００による顔識別処理の処理手順を示すフローチャートである。この処理手順は、図１６に示す処理手順の変形例であり、図２４に示すステップＳ９０１乃至Ｓ９０６、Ｓ９１０、Ｓ９１１、Ｓ９２０については、図１６に示すＳ９０１乃至Ｓ９０６、Ｓ９１０、Ｓ９１１、Ｓ９２０と同一の処理手順である。このため、同一の処理手順についての説明は省略する。

顔向き判定部１５０により判定された顔の向きが正面向きでない場合には（ステップＳ９０６）、画像変換部５１０が、顔向き判定部１５０により判定された顔の向きに基づいて、２次元画像（照合用顔画像）を生成する（ステップＳ９５０）。すなわち、顔向き判定部１５０により判定された顔の向きに関連付けて変換データ記憶部５２０に記憶されている変換パラメータを用いて、登録顔画像記憶部１６０に記憶されている登録顔画像を変換して２次元画像（照合用顔画像）を生成する。

図２５は、本発明の実施の形態における３次元モデルの例を示す図である。以上では、３次元モデル３００を用いて画像変換を行う例について説明したが、図２５（ａ）乃至（ｄ）に示すように、他の３次元モデルを用いて画像変換を行うようにしてもよい。

図２５（ａ）に示す３次元モデル７００は、矩形の水平方向の真中付近において２つの折線を形成し、両端の矩形を裏面側に折り曲げた形状からなる３次元ＣＧモデルである。図２５（ｂ）に示す３次元モデル７１０は、円柱形状からなる３次元ＣＧモデルである。図２５（ｃ）に示す３次元モデル７２０は、球形状からなる３次元ＣＧモデルである。図２５（ｄ）に示す３次元モデル７３０は、表面に突起部７３１が形成された円柱形状からなる３次元ＣＧモデルである。３次元モデル７３０については、例えば、登録顔画像に含まれる顔の鼻の部分が突起部７３１に投影されるように、円柱形状に突起部７３１を形成することが好ましい。なお、図２５（ａ）乃至（ｄ）に示す３次元モデル以外でも、例えば、楕円球等の３次元ＣＧモデルを用いて画像変換を行うようにしてもよい。このように、本発明の実施の形態では、画像が投影される表面上における水平方向の少なくとも一部が表面側に曲げて形成されている形状からなる３次元モデルを用いて画像変換を行うことができる。これにより、鼻等を含む真中部分が盛り上がっている人物の顔について、顔向きに応じた２次元画像を生成する際に、人物の顔に近い横向きの顔を生成することができる。

また、例えば、α＝０とした３次元モデル３００を用いて画像変換を行うようにしてもよい。すなわち、略平面形状からなる３次元モデルを用いて画像変換を行うようにしてもよい。また、画像が投影される表面上における水平方向の少なくとも一部が裏面側に曲げて形成されている形状からなる３次元モデルを用いて画像変換を行うようにしてもよい。すなわち、画像が投影される表面の一部分が凹部となっている３次元モデルを用いて画像変換を行うようにしてもよい。このように、本発明の実施の形態では、いわゆる、３次元モデル簡易モデル（簡易的なポリゴンモデル）を用いて登録顔画像の画像変換を行うことができる。

以上で示したように、本発明の実施の形態によれば、３次元モデルを利用して、撮像画像に含まれる顔画像と同じ向きの２次元画像（照合用顔画像）を登録顔画像から生成し、この生成された２次元画像と正規化顔画像とを比較照合することができる。これにより、顔識別部１９０による識別処理の際には、対比の対象となる２つの画像に含まれる顔の向きが同じ方向となるため、顔識別精度を向上させることができる。また、識別処理の際には、撮像画像に含まれる顔画像と同じ向きの２次元画像を登録顔画像から生成することができるため、各人物について正面向きの登録顔画像を１枚のみ登録しておくだけでよい。これにより、登録顔画像の記憶容量を低減させることができる。

また、登録顔画像を画像変換する際に、簡易形状モデルを利用することにより、従来の標準的な３次元顔モデルを用いて画像変換する場合と比較して演算量の大幅な削減を実現することができる。これにより、携帯電話機やデジタルスチルカメラ等の演算量が比較的制限されているモバイル機器等に対しても実装することができる。

ここで、例えば、判定された顔の向きに基づいて登録顔画像を画像変換する代わりに、撮像画像に含まれる顔画像を正面向きに画像変換して顔識別する場合を考える。例えば、顔画像に含まれる顔が右向きの顔である場合には、顔の右側の部分が顔画像に含まれていないことになる。このため、その顔画像を正面顔に画像変換した場合には、変換後の正面顔に含まれる右側の部分を正確に画像変換できない可能性が高くなる。特に、顔の目、口等の各器官は顔識別に重要であるが、これらの各器官が顔画像に含まれていない場合には、変換後の正面顔に含まれるそれらの各器官を正確に画像変換できない可能性が高いため、顔識別の精度が低減する。これに対して、本発明の実施の形態では、正面顔を含む登録顔画像から照合用顔画像を生成するため、顔の目、口等の各器官を正確に画像変換することができる。このため、顔識別の精度を向上させることができる。

なお、本発明の実施の形態では、顔向き判定部１５０が「正面向き」、「右向き」、「左向き」の３つに分類して顔の向きを判定する例について説明したが、４以上に分類して顔の向きを判定する場合についても本発明の実施の形態を適用することができる。また、本発明の実施の形態では、顔向き判定部１５０が顔の左右方向の向きを判定する例について説明したが、例えば、顔の上下方向の向きを判定する場合についても本発明の実施の形態を適用することができる。この場合には、例えば、画像が投影される表面上における垂直方向の少なくとも一部が表面側に曲げて形成されている形状からなる３次元モデルを用いて画像変換を行うことができる。

また、カムコーダ（camcorder：camera and recorder）、撮像部を備える携帯電話機等のカメラ機能を有する機器等やＰＣ（Personal Computer）等の画像処理装置に本発明の実施の形態を適用することができる。

また、本発明の実施の形態では、顔識別の対象となる顔として人物の顔を例にして説明したが、哺乳類等の他の動物の顔を識別する場合についても本発明の実施の形態を適用することができる。

また、本発明の実施の形態では、顔識別の対象となる対象画像として静止画の撮像画像を例にして説明したが、動画についても本発明の実施の形態を適用することができる。動画の場合には、例えば、ストリーム毎に顔を検出して、この顔を含む顔画像について顔識別を行うことができる。また、ＧＯＰ（Group Of Picture）毎に顔を検出するようにしてもよく、ストリーム中の一定間隔毎に顔を検出するようにしてもよい。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、上述のように特許請求の範囲における発明特定事項とそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

本発明の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。 本発明の実施の形態における正規化部１４０が顔画像を正規化する場合における遷移を示す図である。 本発明の実施の形態における正規化部１４０が顔画像を正規化する場合における遷移を示す図である。 本発明の実施の形態における顔向き判定部１５０による顔向き判定の対象となる顔画像を概略的に示す図である。 本発明の実施の形態における顔向き判定基準データ保持部１５１の内容および顔向き判定部１５０による顔向き判定に用いられる積算結果値の範囲を示す図である。 本発明の実施の形態における顔向き判定部１５０による顔向きの判定結果例を示す図である。 本発明の実施の形態における登録顔画像記憶部１６０に記憶されている登録顔画像を模式的に示す図である。 本発明の実施の形態における３次元モデル記憶部１７０に記憶されている３次元モデル３００を模式的に示す図である。 本発明の実施の形態における変換データ記憶部１８１の内容を示す図である。 本発明の実施の形態における画像変換部１８０により登録顔画像が変換される場合における遷移を概略的に示す図である。 本発明の実施の形態における画像変換部１８０により登録顔画像が変換される場合における遷移を概略的に示す図である。 本発明の実施の形態における画像変換部１８０により登録顔画像が変換される場合における遷移を概略的に示す図である。 本発明の実施の形態における画像変換部１８０により登録顔画像を変換する場合における３次元モデル３００と、画像投影面３５０との関係を模式的に示す図である。 本発明の実施の形態における画像変換部１８０により登録顔画像１６１を照合用顔画像３４０に変換した場合の遷移を示す図である。 本発明の実施の形態における顔識別部１９０による比較対象となる照合用顔画像および正規化顔画像と、登録顔画像および正規化顔画像とを示す図である。 本発明の実施の形態における画像処理装置１００による顔識別処理の処理手順を示すフローチャートである。 本発明の実施の形態における画像処理装置１００による顔向き判定処理の処理手順を示すフローチャートである。 本発明の実施の形態における画像処理装置５００の機能構成例を示すブロック図である。 本発明の実施の形態における変換データ記憶部５２０の内容を示す図である。 本発明の実施の形態における変換パラメータＡ乃至Ｅを算出する場合における算出方法の概略を示す図である。 本発明の実施の形態における変換パラメータＡ乃至Ｅを算出する場合における算出方法の概略を示す図である。 本発明の実施の形態における変換パラメータＡ乃至Ｅを算出する場合における算出方法の概略を示す図である。 本発明の実施の形態における顔識別部１９０により出力される顔識別結果を集計した顔識別結果グラフ６００を示す図である。 本発明の実施の形態における画像処理装置５００による顔識別処理の処理手順を示すフローチャートである。 本発明の実施の形態における３次元モデルの例を示す図である。

符号の説明

１００ 画像処理装置
１１１ 光学系
１１２ 撮像部
１２０ 顔検出部
１３０ 目検出部
１４０ 正規化部
１４１ 正規化テンプレート
１５０ 顔向き判定部
１５１ 顔向き判定基準データ保持部
１６０ 登録顔画像記憶部
１７０ ３次元モデル記憶部
１８０ 画像変換部
１８１ 変換データ記憶部
１９０ 顔識別部
１９５ 顔識別結果出力部
５００ 画像処理装置
５１０ 画像変換部
５２０ 変換データ記憶部

Claims (12)

1. 画像が投影される表面上における一方向の一部を折線として前記一方向の両端部が裏面側に折り曲げて形成されている形状からなる３次元モデルの表面に、少なくとも顔の一部を含む登録顔画像に含まれる顔の水平方向に対する中心線と前記折線とが略一致するように、前記登録顔画像を投影する投影部と、
   対象画像に含まれる顔の向きに基づいて前記３次元モデルを変換する変換部と、
   前記変換部により変換された３次元モデルの表面に投影された登録顔画像を平面上に投影して２次元画像を生成する生成部と、
   前記生成部により生成された２次元画像および前記対象画像を比較することにより、前記対象画像に含まれる顔を識別する識別部と
   を具備する画像処理装置。
2. 前記投影部は、前記登録顔画像に含まれる顔の水平方向と前記一方向とが略一致するように前記登録顔画像を投影する請求項１記載の画像処理装置。
3. 前記登録顔画像は、当該登録顔画像に含まれる顔の両目に基づいて正規化された正規化画像であり、
   前記対象画像に含まれる顔の両目を検出する目検出部と、
   前記目検出部により検出された両目に基づいて前記対象画像を正規化して正規化対象画像とする正規化部とをさらに具備し、
   前記変換部は、前記生成部により生成される２次元画像に含まれる顔の両目の位置と前記正規化対象画像に含まれる顔の両目の位置とが同じ位置となるように、前記３次元モデルの表面に投影された登録顔画像に含まれる顔の両目を結ぶ線分の中点を基準として、前記３次元モデルを回転移動させ、
   前記識別部は、前記生成部により生成された２次元画像および前記正規化対象画像を比較することにより、前記対象画像に含まれる顔を識別する
   請求項１記載の画像処理装置。
4. 前記登録顔画像に含まれる顔の水平方向に対する中心線と前記折線とが略一致するように前記３次元モデルの表面に前記登録顔画像を投影し、前記生成部により生成される２次元画像に含まれる顔の両目の位置と前記正規化対象画像に含まれる顔の両目の位置とが同じ位置となるように、前記３次元モデルの表面に投影された登録顔画像に含まれる顔の両目を結ぶ線分の中点を基準として前記３次元モデルを回転移動させ、当該回転移動後の３次元モデルの表面に投影された登録顔画像を平面上に投影して、顔の向き毎に２次元画像を生成するための変換パラメータを、顔の向きに関連付けて記憶する変換パラメータ記憶部をさらに具備し、
   前記生成部は、前記対象画像に含まれる顔の向きに関連付けて記憶されている変換パラメータを用いて、前記登録顔画像から前記２次元画像を生成する
   請求項３記載の画像処理装置。
5. 前記対象画像に含まれる顔の２つの器官を検出する器官検出部と、
   前記器官検出部により検出された２つの器官に基づいて前記対象画像を正規化して正規化対象画像とする正規化部とをさらに具備し、
   前記変換部は、前記生成部により生成される２次元画像に含まれる顔の２つの器官の位置と前記正規化対象画像に含まれる顔の２つの器官の位置とが同じ位置となるように、前記３次元モデルを回転移動させ、
   前記識別部は、前記生成部により生成された２次元画像および前記正規化対象画像を比較することにより、前記対象画像に含まれる顔を識別する
   請求項１記載の画像処理装置。
6. ３次元モデルの回転角度および移動距離の値を、顔の向きに関連付けて記憶する変換データ記憶部をさらに具備し、
   前記変換部は、前記対象画像に含まれる顔の向きに関連付けて記憶されている前記回転角度および前記移動距離の値を用いて、前記３次元モデルを回転移動させる
   請求項５記載の画像処理装置。
7. 前記識別部は、前記対象画像の比較対象として前記対象画像に含まれる顔の向きに基づいて決定された前記登録顔画像または前記生成部により生成された２次元画像の何れかと、前記対象画像とを比較することにより、前記対象画像に含まれる顔を識別する請求項１記載の画像処理装置。
8. 少なくとも正面顔の一部を含む画像を前記登録顔画像として記憶する登録顔画像記憶部と、
   前記対象画像に含まれる顔の向きを判定する判定部とをさらに具備し、
   前記識別部は、前記判定部により前記対象画像に含まれる顔の向きが正面向きであると判定された場合には、前記登録顔画像および前記対象画像を比較することにより、前記対象画像に含まれる顔を識別する
   請求項７記載の画像処理装置。
9. 被写体を撮像して撮像画像を生成する撮像部と、
   前記撮像画像に含まれる顔を検出する顔検出部と、
   前記顔検出部により検出された顔の向きを判定する判定部とをさらに具備し、
   前記識別部は、前記生成部により生成された２次元画像および前記顔検出部により検出された顔を含む顔画像を比較することにより、前記撮像画像に含まれる顔を識別する
   請求項１記載の画像処理装置。
10. 少なくとも顔の一部を含み当該顔の両目に基づいて正規化された正規化画像である登録顔画像を記憶する登録顔画像記憶部と、
    対象画像に含まれる顔の向きを判定する判定部と、
    前記対象画像に含まれる顔の両目を検出する目検出部と、
    前記目検出部により検出された両目に基づいて前記対象画像を正規化して正規化対象画像とする正規化部と、
    画像が投影される表面上における一方向の一部を折線として前記一方向の両端部が裏面側に折り曲げて形成されている形状からなる３次元モデルの表面に、前記登録顔画像に含まれる顔の水平方向に対する中心線と前記折線とが略一致するように、前記登録顔画像を投影し、前記３次元モデルの表面に投影された登録顔画像に含まれる顔の両目の位置が特定位置となるように当該両目を結ぶ線分の中点を基準として前記３次元モデルを回転移動させ、当該回転移動後の３次元モデルの表面に投影された登録顔画像を平面上に投影して、前記判定の対象となる顔の向き毎に２次元画像を生成するための変換パラメータを、前記判定の対象となる顔の向きに関連付けて記憶する変換パラメータ記憶部と、
    前記判定部により判定された顔の向きに関連付けて記憶されている変換パラメータを用いて、前記登録顔画像から前記２次元画像を生成する画像変換部と、
    前記画像変換部により生成された２次元画像および前記正規化対象画像を比較することにより、前記対象画像に含まれる顔を識別する識別部と
    を具備する画像処理装置。
11. 画像が投影される表面上における一方向の一部を折線として前記一方向の両端部が裏面側に折り曲げて形成されている形状からなる３次元モデルの表面に、少なくとも顔の一部を含む登録顔画像に含まれる顔の水平方向に対する中心線と前記折線とが略一致するように、前記登録顔画像を投影する投影手順と、
    対象画像に含まれる顔の向きに基づいて前記３次元モデルを変換する変換手順と、
    前記変換手順において変換された３次元モデルの表面に投影された登録顔画像を平面上に投影して２次元画像を生成する生成手順と、
    前記生成手順において生成された２次元画像および前記対象画像を比較することにより、前記対象画像に含まれる顔を識別する識別手順と
    を具備する画像処理方法。
12. 画像が投影される表面上における一方向の一部を折線として前記一方向の両端部が裏面側に折り曲げて形成されている形状からなる３次元モデルの表面に、少なくとも顔の一部を含む登録顔画像に含まれる顔の水平方向に対する中心線と前記折線とが略一致するように、前記登録顔画像を投影する投影手順と、
    対象画像に含まれる顔の向きに基づいて前記３次元モデルを変換する変換手順と、
    前記変換手順において変換された３次元モデルの表面に投影された登録顔画像を平面上に投影して２次元画像を生成する生成手順と、
    前記生成手順において生成された２次元画像および前記対象画像を比較することにより、前記対象画像に含まれる顔を識別する識別手順と
    をコンピュータに実行させるプログラム。