JP4479756B2 - 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、撮影画像などに含まれる顔画像の検出や認識を行なう画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、入力画像から検出された顔画像から目の中心や目頭、目尻、鼻、鼻底部、鼻側面、口、口端点、眉毛、眉毛頭、眉毛尻といった顔器官の位置を検出する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、Ａｄａｂｏｏｓｔアルゴリズムなどの統計学習を用いて構成される検出器を用いて顔画像から顔器官の位置を検出する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、顔検出処理によって検出された顔画像から目などの顔器官の位置をより少ない演算量並びにメモリ量で検出する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。

顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。また、最近では、デジタルカメラにおける被写体検出若しくは被写体認識に基づく自動焦点合わせ（ＡＦ）や自動露光調整（ＡＥ）、自動画角設定、自動撮影といったカメラワークの自動化のために顔認識が適用されている。

顔認識システムは、例えば、顔画像の位置を検出して検出顔として抽出する顔検出処理と、検出顔から主要な顔器官の位置を検出する顔器官検出処理と、検出顔の識別（人物の特定）を行なう顔識別処理で構成される。顔検出処理では、入力画像から顔の大きさや位置を検出して、検出顔として抽出する。また、顔器官検出処理では、検出顔から顔器官を発見する。顔器官としては、目の中心や目頭、目尻、鼻、鼻底部、鼻側面、口、口端点、眉毛、眉毛頭、眉毛尻などが挙げられる。そして、顔検出された検出された顔器官の位置に基づく位置合わせや回転の補正を行なった後に、顔識別処理では検出顔の識別（人物の認識など）を行なう。

これまで、複雑な画像シーンの中から画像信号の濃淡パターンのみを使って顔検出する手法について数多の提案がなされている。例えば、Ａｄａｂｏｏｓｔアルゴリズムなどの統計学習を用いて構成される検出器を、上述の顔検出処理に適用することができる。

Ａｄａｂｏｏｓｔは、１９９６年にＦｒｅｕｎｄらによって提案された、「ランダムよりも少し良い弱い識別器」（Ｗｅａｋ Ｌｅａｒｎｅｒとも呼ぶ）を多数組み合わせることで、「強い識別器」を構築できるとする理論である。弱識別器は、ハール（Ｈａａｒ）基底のようなフィルタを用いて構成することができる。それぞれの弱識別器は自分の前に生成された弱識別器が不得意とする識別に重みαを置くようにして生成され、それぞれの弱認識器がどの程度確からしいによって信頼度を求め、それに基づき多数決を行なう。

ここで、入力画像にはさまざまな大きさの顔が含まれることが想定されるから（図９を参照のこと）、さまざまなサイズの探索ウィンドウを切り出して顔か否かを判定する必要がある。

かかる画像の解像度と検出顔の大きさの相対関係の問題で、画像の解像度を固定にする方法（すなわち、入力画像に対していろいろな大きさの顔検出器を用意する方法）と、検出顔の大きさを固定にする方法（検出できる顔の大きさが固定された１つの顔検出器を用い、入力画像をいろいろな解像度に縮小して検出する方法）が考えられる。後者の方法が現実的であり、通常は、入力画像をスケール変換した各画像から学習サンプルと同一サイズのウィンドウ（以下では、「探索ウィンドウ」とも言う）を切り出すことで、異なるサイズの探索ウィンドウを探索するようになっている。入力画像に含まれる顔のサイズが分からないため、入力画像の解像度を変えながら、解像度毎に顔検出器をスキャンさせる。各解像度の入力画像からは、顔検出器のサイズに近い解像度の顔のみを検出することができる（図１０を参照のこと）。

しかしながら、例えば３２０×２４０画素からなる入力画像にはおよそ５０００種類のサイズの探索ウィンドウが含まれており、これらすべてのウィンドウ・サイズについて弱判別器の演算を実施するには長時間を要する。このため、弱判別器の演算を高速化するための幾つかの提案がなされている。

例えば、矩形特徴（ｒｅｃｔａｎｇｌｅ ｆｅａｔｕｒｅ）と積分画像（ｉｎｔｅｇｒａｌ ｉｍａｇｅ）と呼ばれる画像を使用することで、高速に弱仮説（ｗｅａｋ ｈｙｐｏｔｈｅｓｉｓ）を計算する方法が知られている（例えば、特許文献１、非特許文献１を参照のこと）。

また、重み付き多数決の際、すべての弱判別器の計算結果を待たず、計算途中であってもその値によっては対象物体でないと判断して計算を打ち切りするため、打ち切りの閾値を学習時に学習する対象物検出装置について提案がなされている（例えば、特許文献２を参照のこと）。上記の打ち切り処理によって、検出処理における演算量を大幅に削減することが可能となる。

米国特許出願公開２００２／０１０２０２４号明細書 特開２００５−１５７６７９号公報 Ｐａｕｌ Ｖｉｏｌａ著"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"（ＣＶＰＲ ２００１）

Ａｄａｂｏｏｓｔアルゴリズムを用いて構成される検出器は、複雑な画像シーンの中から画像信号の濃淡パターンのみを使って顔検出を行なうことができるが、本発明者らはこの種の検出器をさらに顔器官の検出にも適用できると考えている。

図１０に示したような顔検出方法をそのまま顔器官検出にも適用した場合には、入力画像から検出された顔画像毎に、解像度を変えながら、１つのサイズに固定された顔器官検出器をスキャンさせることになる（例えば、図１１を参照のこと）。顔検出器で検出されたそれぞれの顔画像について解像度を変換し、顔器官検出器をスキャンさせ、顔器官検出器のサイズに近い解像度の顔器官のみが各解像度で検出される。

しかしながら、このような顔器官検出方法では、入力画像から抽出された顔画像毎に、解像度を変更し、解像度毎に顔器官検出器をスキャンさせるといった処理が必要であることから、演算量とメモリ量を消費してしまう。

本発明はかかる技術的課題を勘案したものであり、その主な目的は、入力画像から検出された顔画像から目の中心や目頭、目尻、鼻、鼻底部、鼻側面、口、口端点、眉毛、眉毛頭、眉毛尻といった顔器官の位置を好適に検出することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、Ａｄａｂｏｏｓｔアルゴリズムなどの統計学習を用いて構成される検出器を用いて顔画像から顔器官の位置を好適に検出することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、顔検出処理によって検出された顔画像から目などの顔器官の位置をより少ない演算量並びにメモリ量で検出することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、顔を含む画像から所望の顔器官の位置を検出する画像処理装置であって、
任意の顔検出手段によって検出された顔の大きさが既知となる画像を入力する入力手段と、
該入力された画像を該顔の大きさに基づいて所定の顔サイズとなるように正規化する正規化手段と、
該正規化された画像よりも小さい領域を前記顔器官の検出範囲に設定する検出範囲設定手段と、
該設定された検出範囲内で前記顔器官の位置を検出する顔器官検出手段と、
を具備することを特徴とする画像処理装置である。

複雑な画像シーンの中から画像信号の濃淡パターンのみを使って顔検出する手法として、例えば、Ａｄａｂｏｏｓｔアルゴリズムなどの統計学習を用いて構成される検出器を用いる方法が知られている。また、入力画像にはさまざまな大きさの顔が含まれることが想定されることから、検出できる顔の大きさが固定された１つの顔検出器を用い、入力画像をいろいろな解像度に縮小して顔画像を検出する方法が知られている。

また、顔検出処理によって検出された顔画像から、さらに目などの顔器官の位置を検出する処理についても、基本的には複雑な画像シーンの中から画像信号の濃淡パターンのみを使って検出を行なうことに相当するから、上述のようなＡｄａｂｏｏｓｔアルゴリズムなどの統計学習を用いた顔器官検出方法が考えられる。

しかしながら、画像の解像度と検出顔の大きさの相対関係を解消するために、顔検出された顔画像をいろいろな解像度を変えながら、解像度毎に顔器官検出器をスキャンさせる必要があり、演算量やメモリ量が厖大になるという問題がある。あるいは顔画像の解像度を変更するのではなく、サイズの異なる複数の顔器官検出器を用意する方法もあるが、これは現実的でない。

そこで、本発明に係る画像処理装置では、顔器官検出の前段で顔検出を行なうことで大体の顔のサイズが分かることを利用して、前段で検出された顔画像を、該当する顔器官が顔器官検出器に適切な程度に拡大又は縮小する、すなわち該当する顔器官が顔器官検出器と同程度の解像度になるように、あらかじめ正規化しておく。そして、１つの大きさに固定された顔器官検出器のみを用いて正規化後の顔画像から顔器官を検出するようになっている。

したがって、本発明によれば、顔器官検出器は、前段の顔検出器によって検出された各検出顔について、正規化した１つの顔画像のみをスキャンすればよい。すなわち、各検出顔を複数の解像度に変換して解像度毎にスキャンを行なう必要がなくなるので、必要な演算量やメモリ量を大幅に削減することができ、また、解像度毎の不要なスキャンを削減できるので、顔器官検出処理を高速化することができる。

本発明に係る画像処理装置は、所望の顔器官として例えば目の位置を高速に検出するものであり、この場合の前記検出範囲設定手段は、正規化された顔画像よりも小さい、目の位置を検出するための領域を検出範囲として設定するようにする。

また、前記顔器官検出手段は、前記検出範囲に含まれる少なくとも２点の画素の輝度差を弱仮説として定義し、事前に統計学習した弱仮説によって定義される最終仮説を用いて、前記検出範囲から前記顔器官の位置を検出する。

具体的には、例えば２４×２４画素からなる顔器官検出手段の適用範囲内において、目などの顔器官の特徴を抽出し易い輝度差を持つとされる２点の画素の複数の組み合わせ（例えば数百組だけ）を選び、それぞれの組み合わせについて２点画素間の輝度差に関する弱仮説として定義し、事前に統計学習した弱仮説によって最終仮説を定義する。このようにして２４×２４画素内で定義された２点画素の輝度差に関する弱仮説の集合を、顔器官検出辞書として登録される。

なお、統計学習は、前記正規化手段により正規化された顔画像と同程度の解像度からなる顔画像を用いて行なわれるものとする。

そして、顔器官の検出時には、顔検出器などで検出された顔画像領域上で、上記の顔器官検出辞書を適用した検出器をスキャンさせていく。各スキャン位置において、弱仮説が定義されたそれぞれの２点画素において輝度差を算出し、計算結果が弱仮説に合致するかに応じてスコアをつけ、弱仮説が定義されたすべての２点画素におけるスコアの合計に基づいて、当該スキャン位置が所望する顔器官の位置に相当するか否か真偽判定することができる。

上述したように、本発明では、あらかじめ顔画像を一定サイズに正規化しておくので、例えば２４×２４画素に固定されたただ１つの顔器官検出器のみを用いて正規化後の顔画像から顔器官を検出することができる。また、検出範囲設定手段によって、正規化された顔画像よりも小さい領域を前記顔器官の検出範囲に設定するので（例えば、左目を検出するときには顔画像全体ではなく、左目が存在し得る顔画像よりも小さい領域を検出器のスキャン範囲とする）、顔器官検出に要する演算量やメモリ量を削減することができ、この結果、所望の顔器官の位置を高速に発見することができる。

ここで、目的とする顔器官が正のスコア値になるように前記の統計学習が行なわれる場合には、前記顔器官検出手段は、すべてのスキャン位置のうちゼロを超えた最もスコアの高い場所を目的とする顔器官の位置であると結論することができる。

また、各スキャン位置においてスコアを算出するには、弱仮説として定義されているすべての２点画素について輝度差を求める必要がある。弱仮説数が数百ある場合には、顔器官検出範囲全体にわたりすべてのスコア計算を行なうと、演算量は厖大となる。他方、弱仮説数をある程度増やしていった段階で、当該スキャン位置では目的とする顔器官である可能性があるかどうかを推定することができる。

そこで、統計学習に基づいて、もはや目的とする顔器官とは判定されないとする弱仮説数毎のスコアの限界値を設定して、顔器官検出器が演算する不要な弱仮説数を削減するようにしてもよい。限界値は、例えば投入した全学習データのうち、弱仮説数毎の最低スコアに基づいて設定することができる。あるスキャン位置においてスコア計算を行なう最中に、弱仮説数毎にその時点でのスコアを限界値と比較を行なう。スコアが限界値を下回るときには、目的の顔器官である可能性は極めて低いことから、以降のスコア計算をキャンセルし、当該スキャン位置は目的とする顔器官でない旨の結果を返すようにする。

また、顔器官検出手段を、（顔画像全体よりも小さな領域で設定された）顔器官検出範囲内のすべてのＸＹ点でスキャンを行なう必要はなく、スコア計算すべきスキャン位置を適宜間引く高速スキャンを行なうことによって、顔器官検出に要する処理時間を短縮することができる。

あるスキャン位置で算出されたスコアが高くなると、当該スキャン位置又はこれに隣接するスキャン位置が所望の顔器官の位置である可能性が高い。ところが、上述したような１点飛ばしの高速スキャンでは、顔器官検出の粒度が粗くなる。

そこで、算出されたスコアがあらかじめ設定された値よりも高いスキャン位置では、このスキャン位置に隣接する、デフォルトではスコア計算が省略されているスキャン位置においてもスコア計算を実施して、これらのうちゼロを超えた最もスコアの高い場所を目的とする顔器官の位置に決定するようにすれば、高速化とともに検出精度を保つことができる。

また、前記所望の顔器官の具体例は左右の目である。そして、本発明に係る画像処理装置は、前記顔器官検出手段によって検出された両目の位置に基づいて、前記入力手段により入力された顔画像の位置、大きさ、角度を正規化して、顔認識、又はその他の用途に利用する正規化顔画像利用手段をさらに備えていてもよい。

顔画像の正規化を行なうための、両目以外の顔器官の位置情報を利用することも考えられる。但し、他の顔器官と比べ、左右の目の間隔は個体差が少ないことから、両目位置に基づいてより高精度な顔画像の正規化を実現することができる。

また、本発明の第２の側面は、顔を含む画像から所望の顔器官の位置を検出するための画像処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
任意の顔検出手段によって検出された顔の大きさが既知となる画像を入力する入力手順と、
該入力された画像を該顔の大きさに基づいて所定の顔サイズとなるように正規化する正規化手順と、
該正規化された画像よりも小さい領域を前記顔器官の検出範囲に設定する検出範囲設定手順と、
該設定された検出範囲内で前記顔器官の位置を検出する顔器官検出手順と、
を実行させることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置と同様の作用効果を得ることができる。

本発明によれば、Ａｄａｂｏｏｓｔアルゴリズムなどの統計学習を用いて構成される検出器を用いて顔画像から顔器官の位置を好適に検出することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、顔検出処理によって検出された顔画像から目などの顔器官の位置をより少ない演算量並びにメモリ量で検出することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明に係る画像処理装置は、あらかじめ顔画像を一定サイズに正規化しておくので、画素サイズが固定された単一の顔器官検出器のみを用いて正規化した後の顔画像から顔器官を検出することができる。また、検出範囲設定手段によって、正規化された顔画像よりも小さい領域を前記顔器官の検出範囲に設定するので（例えば、左目を検出するときには顔画像全体ではなく、左目が存在し得る顔画像よりも小さい領域を検出器のスキャン範囲とする）、顔器官検出に要する演算量やメモリ量を削減することができ、この結果、顔器官の位置を高速に発見することができる。

さらに本発明に係る画像処理装置によれば、統計学習に基づいて弱仮説数毎のスコアの限界値を設定して、あるスキャン位置においてスコア計算を行なう最中にスコアが限界値を下回った弱仮説数にて、それ以降のスコア計算をキャンセルすることによって、不要なスコア計算コストを削除して、顔器官検出処理を高速化することができる。また、スコア計算すべきスキャン位置を適宜間引くとともに、高いスコアが計算されたスキャン位置の近傍では間引かずにスコア計算を行なうことで、演算量を大幅に削減して高速化を実現するとともに、検出精度の低下を抑制することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明を適用することができる顔認識システムの全体構成を模式的に示している。図示のシステム１は、画縮小器１１と、顔検出器１２と、両目位置検出器１３と、顔認識器１４と、複数枚の画像を蓄えるメモリ（ＳＤＲＡＭ）１５で構成される。また、顔検出器１２と、両目位置検出器１３と、顔認識器１４内部にローカル・メモリ（ＳＤＲＡＭ）を備えている。本システム１への入力は例えばデジタルカメラで撮影された画像であり、本システム１からの出力（Ｙｅｓ／Ｎｏ）は例えば同一人物か否かを示すフラグである。

画縮小器１１では、入力画像に対し水平及び垂直の各方向にそれぞれ１／２にした縮小画像を作成し、原入力画像とともにＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）１５に格納する。図１に示す例では、入力画像を画１、入力画像に対し水平及び垂直方向にそれぞれ１／２にした縮小画像を画１／２、入力画像に対し水平及び垂直方向にそれぞれ１／４にした縮小画像を画１／４として、これら３枚の画像を作成して、ＳＤＲＡＭ１５に格納する。

縮小画像を作成する際、演算精度を考慮すると、入力画像から直接それぞれの縮小画像を作成する方法が望ましい。但し、ハードウェアの規模を考慮して、１／２縮小を順番に施す方法、つまり、始めに入力画像（画１）から画１／２を作成し、次に作成された画１／２から画１／４を作成する方法で実現するようにしてもよい。

顔検出器１２では、入力画像とＳＤＲＡＭ１５に格納されているすべての縮小画像に対して顔を検出し、検出された顔の大きさと顔の位置を求める。顔の位置の検出に関しては、画像全体を検出することで処理速度を考慮しなければ容易に実現可能である。一方、いろいろな大きさの顔の検出に関しては、画像の解像度と検出顔の大きさの相対関係の問題で（図９を参照のこと）、画像の解像度を固定にする方法（すなわち、入力画像に対していろいろな大きさの顔検出器を用意する方法）と、検出顔の大きさを固定にする方法（検出できる顔の大きさが固定された１つの顔検出器を用い、入力画像をいろいろな解像度に縮小して検出する方法（図１０を参照のこと））が考えられるが、後者の方法が現実的である。したがって、図１に示すように、顔検出器１２では、画縮小器１１で作成された画１、画１／２、画１／４の各縮小画像に対して、２４×２４画素内に顔が存在するか否かを識別する。

なお、縮小率の刻みが１／２、１／４では粗過ぎて精度が不十分である場合には、例えば画縮小器１１で画７／８、画６／８、画５／８の縮小率の画像をさらに作成し、顔検出器１２でそれぞれの縮小率の画像に対しても顔検出を行なうようにすれば良い。

顔検出の特徴抽出として２点画素差分方式を適用することができる。これは、２４×２４画素内において顔の特徴を抽出し易い２点の画素の輝度差をさまざまな２点で行なう方式である。また、識別器演算としてＡｄａｂｏｏｓｔアルゴリズムを用いることができる。

両目位置検出器１３では、顔画像を顔認識するための準備として、顔検出器１２によって検出された顔に対して解像度を上げた画像の顔を正規化するために、左右の目の位置を特定する。すなわち、両目位置を検出して、顔検出によって得られた顔の大きさ、顔の位置から、その顔画像の解像度を上げた顔の大きさ、顔の位置、顔の角度を求める。

本発明の特定の実施形態では、顔器官として左右の目を顔画像から検出するように構成されている。これは、左右の目の間隔の個体差が少ないという経験則に依拠する。勿論、目の中心や目頭、目尻、鼻、鼻底部、鼻側面、口、口端点、眉毛、眉毛頭、眉毛尻などさまざまな顔器官を検出対象としても、同様に本発明を構成することができる。

両目位置検出の特徴抽出として、顔検出と同様に、２点画素差分方式を適用することができる。２点画素差分方式の適用範囲も２４×２４画素であり、顔検出器１２と同じであるので、顔検出器１２と同一のハードウェアで処理時間をシリアルにして実現することができる。また、識別器演算としてＡｄａｂｏｏｓｔアルゴリズムを用いることができる。

２４×２４画素からなる検出器において、目の特徴を抽出し易い輝度差を持つとされる２点の画素の複数の組み合わせ（例えば数百組だけ）を選び、それぞれの組み合わせについて２点画素間の輝度差に関する弱仮説として定義し、事前に統計学習した弱仮説によって最終仮説を定義する。このようにして２４×２４画素内で定義された２点画素の輝度差に関する弱仮説の集合は目検出器を構成し、顔器官検出辞書として登録される。そして、検出時には、顔検出器１２で検出された顔画像領域内で２４×２４画素からなる目検出器をスキャンさせていく。各スキャン位置において、弱仮説が定義されたそれぞれの２点画素間の輝度差を算出し、その計算結果が弱仮説に合致するかに応じてスコアをつけ、弱仮説が定義されたすべての２点画素におけるスコアの合計を最終仮説として、当該スキャン位置が目の位置か否か真偽判定することができる。

本発明は、目、あるいは口、鼻といった顔器官の位置を高速に発見することに主な特徴があるが、両目位置検出などの顔器官検出処理の詳細については後述に譲る。

顔認識器１４では、両目位置検出器１３によって左右の目位置が特定された顔画像から顔の大きさ、位置、角度を求め、それらに応じて顔検出器１２で検出された顔画像を正規化して６０×６６画素の内部のＳＲＡＭに一旦蓄えて、登録画像と一致するか否かを調べる。

顔画像の正規化を行なうための、両目以外の顔器官の位置情報を利用することも考えられる。但し、他の顔器官と比べ、左右の目の間隔は個体差が少ないことから、両目位置に基づいてより高精度な顔画像の正規化を実現することができる。

顔認識器１４には、顔認識の特徴抽出として「ガボア・フィルタリング（Ｇａｂｏｒ Ｆｉｌｔｅｒｉｎｇ）」を適用することができる。人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判明されている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタは、これと同様に、方向選択性を持つ複数のフィルタで構成される空間フィルタである。

また、顔認識器１４の識別器演算としてｇｅｎｔｌｅｂｏｏｓｔを用いる。正規化された顔画像にガボア・フィルタを適用して得られた結果と、以前に登録された画像にガボア・フィルタを適用して得られた結果との類似度を求める。そして、求められた類似度に対してｇｅｎｔｌｅｂｏｏｓｔを施すことによって、登録画と一致したか否か識別する。

上述したように、顔検出器１２には、複雑な画像シーンの中から画像信号の濃淡パターンのみを使って顔検出する手法として、Ａｄａｂｏｏｓｔアルゴリズムなどの統計学習を用いて構成される検出器を用いることができる。また、入力画像にはさまざまな大きさの顔が含まれることが想定されることから、検出できる顔の大きさが固定された１つの検出器を用い、入力画像をいろいろな解像度に縮小して解像度毎に検出するように構成されている（図１０を参照のこと）。

また、顔器官として左右の目の位置を検出する両目位置検出器１３も、特徴抽出として２点画素差分方式を適用するとともに、Ａｄａｂｏｏｓｔアルゴリズムなどの統計学習を用いた検出器を使用する。

ここで、両目位置検出処理では、画像の解像度と検出顔の大きさの相対関係を解消するために、顔検出器１２で顔検出された顔画像をいろいろな解像度を変えながら解像度毎に顔器官検出器をスキャンさせる必要があり（図１１を参照のこと）、演算量やメモリ量が厖大になるという問題がある。あるいは顔画像の解像度を変更するのではなく、サイズの異なる複数の顔器官検出器を用意する方法もあるが、これは現実的でない。

そこで、本実施形態では、前段の顔検出器１２で顔検出した際に大体の顔のサイズが分かることを利用して、顔画像を、左右の目が目検出器と同程度の解像度になるように、あらかじめ正規化しておくようにした。

具体的には、目検出器のサイズを２４×２４画素としたとき、顔画像を８０×８０画素サイズに正規化する。このようにすれば、２４×２４画素に固定された１つの目検出器のみを用いて８０×８０画に正規化後の顔画像から目の位置を検出することができる。すなわち、図２に示すように、顔検出器１２から出力される顔画像が大きければ、目検出器と同程度の解像度にあらかじめ正規化し、逆に顔画像が小さければ拡大する。この結果、複数の解像度でスキャンを行なう必要がなくなるので、高速に目検出を行なうことができる。

図３には、顔画像を正規化してから顔器官として目検出を行なう概略的な処理手順をフローチャートの形式で示している。

前段の顔検出器１２からは、処理対象の画像中の顔の大きさと顔の位置に関する情報が入力される（ステップＳ１）。目検出のために、まず、顔サイズが一定（例えば、顔の一辺が８０×８０画素）となるように正規化する（ステップＳ２）。

次いで、正規化した顔画像のうち目が存在する範囲を目検出範囲に設定し、この検出範囲において、目検出器をスキャンする（ステップＳ３）。

目検出器には２点画素差分方式が適用され、また、識別器演算としてＡｄａｂｏｏｓｔアルゴリズムが適用される。８０×８０画素の顔画像に対し、目検出器は例えば２４×２４画素からなる。

目検出器は、この２４×２４画素の領域内で、目の特徴を抽出し易い輝度差を持つとされる２点の画素の複数の組み合わせ（例えば数百組だけ）を設定し、それぞれの２点画素間の輝度差に関する弱仮説を定義し、且つ、事前に統計学習した弱仮説によって最終仮説を定義している。ここでは、目（目的とする顔器官）が正のスコア値になるように統計学習を行なうものとする。目検出範囲の各スキャン位置において、弱仮説が定義されたそれぞれの２点画素間において輝度差を算出し、その計算結果が弱仮説に合致するかに応じて付けられるスコアの合計を当該スキャン位置におけるスコアとして保存する。

そして、所定の目検出範囲内で目検出器のスキャンを終えると、スコアがゼロを超えていて、且つ、最もスコアの高いスキャン位置を目の位置とする（ステップＳ４）。目的とする顔器官が正のスコア値になるように顔器官検出器の統計学習を行なっている場合には、ゼロを超えた最もスコアの高い場所が目的器官の位置であると結論することができる。

上述のようにして一方の目の位置を検出する、続いて、反対側の目についても同様にステップＳ３〜Ｓ４の処理を実施して、その位置を検出する（ステップＳ５）。

そして、両目の位置が検出されると、目の位置があらかじめ決めてある模範位置に合うように、拡大縮小、回転を行ない、顔位置の正規化を行なってから（ステップＳ６）、得られた顔画像を、顔認識などの後段のアプリケーションに利用する。

図４には、正規化された顔画像上を左目検出器でスキャンする様子を模式的に示している。

図４Ａに示すように、顔検出器１２からはいろいろな解像度の顔画像が出力されることが想定される。左目などの顔器官検出を行なう際には、まず、８０×８０画素などあらかじめ決められたサイズに正規化される。そして、正規化された顔画像上で、左目検出器をスキャンさせる。左目検出器は、少なくとも２点の輝度差を弱仮説にし、これを多数組み合わせて最終仮説とする。

顔画像は、例えば８０×８０画素に正規化されているが、当該顔領域全体を左目検出器がスキャンする必要はなく、図４Ｂ中の斜線で示すように左目が存在しそうな範囲をあらかじめ左目検出範囲に設定する。このような顔器官検出範囲は、正規化された顔領域画像よりも小さい、固定された範囲とする。

８０×８０画素の顔画像に対し、目検出器のサイズは２４×２４画素程度でよい。Ａｄａｂｏｏｓｔなどにより用意された左目検出器は、左目の位置と重なると正のスコア値になるように統計学習が行なわれている。したがって、上述した左目検出範囲で左目検出器をＸＹ方向にスキャンさせて、ゼロを超えた最もスコアの高い場所が目的器官の位置であると結論することができる。

なお、左目検出器を左目検出範囲内のすべてのＸＹ点でスキャンを行なう必要はなく、スキャン位置を適宜間引くことによって検出に要する処理時間を短縮することができるが、この点の詳細については後述に譲る。

後段のアプリケーションとして、図１に示したように顔画像を顔認識する処理を行なう場合、顔器官検出としての目検出器による両目検出の結果を用いて、顔検出によって得られた顔の大きさ、顔の位置から、その顔画像の解像度を上げた顔の大きさ、顔の位置、顔の角度を求めるといった顔認識のための準備を行なう。本発明の特定の実施形態では、顔器官として左右の目を顔画像から検出するように構成されるが、これは左右の目の間隔の個体差が少ないという経験則に依拠する。例えば、顔画像を上記のように８０×８０画素に正規化した場合、目の幅が１０〜１５画素であるのに対し、目の間隔は概ね１６画素となる。

図５には、左目検出器の構成例を示している。左目検出器は、２４×２４画素からなり、点画素差分方式を適用するとともに、識別器演算としてＡｄａｂｏｏｓｔアルゴリズムを用いている。

図５Ａに示すように、２４×２４画素からなる左目検出器において、目の特徴を抽出し易い輝度差を持つとされる２点の画素ｐｉｘ１（ｔ）及びｐｉｘ２（ｔ）の組み合わせが複数設定されている（ｔは１〜数百の正の整数）。そして、それぞれの２点の画素ｐｉｘ１（ｔ）及びｐｉｘ２（ｔ）の組み合わせについて、画素間の輝度差の閾値θ（ｔ）未満であるとする弱仮説を定義し、事前に統計学習した弱仮説によって最終仮説を定義する。ここでは、左目が正のスコア値になるように統計学習を行なうものとする。弱仮説を下式に示しておく。

なお、統計学習は、正規化された顔画像と同程度の解像度からなる顔画像を用いて行なわれるものとする。

基本的には、目の特徴を抽出し易い輝度差を持つとされる輝度差を求める２点画素の組み合わせに対して弱仮説が定義されるが、組み合わせ毎に目の特徴を表す度合いが異なる。そこで、２点の画素ｐｉｘ１（ｔ）及びｐｉｘ２（ｔ）の組み合わせに対して重みα（ｔ）が与えられる。

したがって、例えば左目検出用の辞書には、２点画素の組み合わせ毎の、画素ｐｉｘ１（ｔ）及びｐｉｘ２（ｔ）の位置情報と、画素間の輝度差の閾値θ（ｔ）と、重みα（ｔ）が記述されている（図５Ｂを参照のこと）。この辞書はＡｄａｂｏｏｓｔを用いて別に用意しておく。

検出時には、２点の画素ｐｉｘ１（ｔ）及びｐｉｘ２（ｔ）の輝度差を算出し、仮説ｐｉｘ１（ｔ）−ｐｉｘ２（ｔ）＜θ（ｔ）を満たすかどうかをチェックし、仮説が真となるときにはｈ（ｔ）＝１を返し、偽であればｈ（ｔ）＝−１を返すようになっている。

そして、弱仮説ｈ（ｔ）に対して重みα（ｔ）を掛けたものが２点の画素ｐｉｘ１（ｔ）及びｐｉｘ２（ｔ）についてのスコアとなり、すべての２点画素の組み合わせの合計値が、当該スキャン位置におけるスコアすなわち最終仮説となる。下式のように、目が正のスコア値になるように統計学習を行なっている場合には、左目検出範囲で左目検出器をＸＹ方向にスキャンさせて、ゼロを超えた最もスコアの高い場所が目的器官の位置であると結論することができる。

図５Ｃには、顔器官検出器の構成を擬似プログラムコードの形式で記述している。

まず、スキャン位置において、スコアｓｃｏｒｅを０に初期化する。

そして、弱仮説が定義されている２点の画素ｐｉｘ１（ｔ）及びｐｉｘ２（ｔ）の輝度差を算出し、仮説ｐｉｘ１（ｔ）−ｐｉｘ２（ｔ）＜θ（ｔ）を満たすかどうかをチェックする。弱仮説が真となるときにはｈ（ｔ）＝１が返され、偽であればｈ（ｔ）＝−１が返される。弱仮説ｈ（ｔ）に対して重みα（ｔ）を掛けた値ｈ（ｔ）α（ｔ）が当該２点の画素ｐｉｘ１（ｔ）及びｐｉｘ２（ｔ）についてのスコアとなり、これをスコアｓｃｏｒｅに加算する。

このようなスコア計算をＮ回だけ、すなわちすべての２点画素の組み合わせについて繰り返し行ない、得られたスコアｓｃｏｒｅが当該スキャン位置におけるスコアとなる（但し、Ｎは全弱仮説数であり、例えば数百の値）。

目が正のスコア値になるように統計学習を行なっているので、スコアｓｏｃｅｒが正の値であれば、真すなわち当該スキャン位置が目的とする顔器官の位置であるとする結果が返され、そうでなければ偽すなわち当該スキャン位置が目的とする顔器官の位置でないとする結果が返される。

図５Ｄには、顔画像のうち所定の顔器官検出範囲内で、２点の画素の輝度差からなる弱仮説（Ｗｅａｋ Ｌｅａｒｎｅｒ：ＷＬ）を定義する様子を示している。同図中では、弱仮説数を２、５０、１００、５００とした場合を挙げている。なお、顔画像は肖像の保護のためグラデーション処理を施していることを容赦されたい。

図５Ｂ並びに図５Ｄに示したように、左目など顔器官検出器は、数百組の２点画素における輝度差に関する弱仮説で構成される。数百組すべての２点画素について輝度差を求めなければ、そのスキャン位置におけるスコアを計算することはできない。すべてのスキャン位置についてスコアを計算すると、その演算量や必要なメモリ量は厖大となる。

そこで、統計学習に基づいて、顔器官検出器が演算する不要な弱仮説数を削減するようにしてもよい。本実施形態では目的とする顔器官が正のスコア値になるように統計学習が行なわれるが（前述）、このような場合、検出時において、弱仮説数をある個数まで増やしていっても正のスコア値にならなければ、このまま最後までスコア計算を継続しても目的とする顔器官と評価若しくは判定されないという、「限界値」が統計学習から導き出される。

このような限界値は、投入した全学習データのうち、弱仮説数毎の最低スコアに基づいて設定することができる（図６Ａを参照のこと）。そして、あるスキャン位置においてスコア計算を行なう最中に、弱仮説数毎にその時点でのスコアを限界値と比較を行なう。スコアが限界値を下回るときには（図６Ｂを参照のこと）、目的の顔器官である可能性は極めて低いことから、以降のスコア計算をキャンセルし、当該スキャン位置は目的とする顔器官でない旨の結果を返すようにする。

また、左目検出器を左目検出範囲内のすべてのＸＹ点でスキャンを行なう必要はなく、スコア計算すべきスキャン位置を適宜間引いた高速スキャンを行なうことによって、顔器官検出に要する処理時間を短縮することができる。

図７には、顔器官検出範囲内で高速スキャンを行なう様子を示している。同図では、デフォルトのスキャン位置を左斜線で示している。図示の例では、水平方向（ｘ方向）には、１点飛ばしでデフォルトのスキャン位置を決定し、また、垂直方向（ｙ方向）には１行間隔でスキャン（１点飛ばしのスキャン）する行を設けている。

あるスキャン位置で算出されたスコアが高くなると、当該スキャン位置又はこれに隣接するスキャン位置が所望の顔器官の位置である可能性が高い。ところが、上述したような１点飛ばしの高速スキャンでは、顔器官検出の粒度が粗くなる。

そこで、算出されたスコアがあらかじめ設定された値よりも高いスキャン位置では、このスキャン位置に隣接する、デフォルトではスコア計算が省略されているスキャン位置においてもスコア計算を実施して、これらのうちゼロを超えた最もスコアの高い場所を目的とする顔器官の位置に決定するようにすれば、高速化とともに検出精度を保つことができる。

図７に示した例では、高いスコア値が算出されたスキャン位置を二重斜線で描いている。そして、当該スキャン位置に隣接する、同図中の右、下、並びに右下のスキャン位置（図中、右斜線で示す）においてもスコア計算を行なっている。

図７に示したような高速スキャンを行なうことにより、全スキャン位置でスコア計算を行なう場合に対し、およそ４分の１の計算量で、検出精度の低下を抑制しながら、所望の顔器官を好適に探索することができる。

顔画像から検出すべき顔器官の代表例は左右の目であり、図１に示したように、顔認識システム１は、顔器官検出手段として両目位置検出器１３を備えている。この両目位置検出器１３によって検出された両目の位置に基づいて、前記入力手段により入力された顔画像の位置、大きさ、角度を正規化して、後段の顔認識器１４によって顔認識を行ない（前述）、あるいは図示しない、検出顔を利用するその他のアプリケーションに供することができる。

図８には、検出された顔画像をその大きさに基づいて正規化し、さらに両目の位置に基づいて顔画像の位置、大きさ、角度を正規化した結果を示している。同図から、目検出を行ない、この目の位置で各顔領域画像を正規化することで、バラバラであった顔のアライメントを精度よく合わせることができる、ということを理解できよう。

顔画像の正規化を行なうための、両目以外の顔器官の位置情報を利用することも考えられる。但し、他の顔器官と比べ、左右の目の間隔は個体差が少ないことから、両目位置に基づいてより高精度な顔画像の正規化を実現することができる。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

例えば、顔認識技術を適用する個人認証システムや、性別識別などのマンマシン・インターフェースや、カメラワークの自動化などの目的で被写体認識技術を搭載したデジタルカメラ、デジタルカメラ付きの携帯電話機やその他の携帯端末に対して、本発明を適用することができる。

また、本明細書では、顔器官として左右の目を顔画像から検出する実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。目の中心や目頭、目尻、鼻、鼻底部、鼻側面、口、口端点、眉毛、眉毛頭、眉毛尻などさまざまな顔器官を検出対象としても、同様に本発明を適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明を適用することができる顔認識システムの全体構成を模式的に示した図である。 図２は、前段で顔検出した際に大体の顔のサイズが分かることを利用して、顔画像を左右の目が目検出器と同程度の解像度になるようにあらかじめ正規化して絡め検出を行なう様子を示した図である。 図３は、顔画像を正規化してから顔器官検出を行なう概略的な処理手順を示したフローチャートである。 図４Ａは、顔画像を正規化してから左目検出器でスキャンする様子を模式的に示した図である。 図４Ｂは、正規化された顔画像上を左目検出器でスキャンする様子を模式的に示した図である。 図５Ａは、２４×２４画素からなる左目検出器において、目の特徴を抽出し易い輝度差を持つとされる２点の画素ｐｉｘ１（ｔ）及びｐｉｘ２（ｔ）の組み合わせが複数設定されている様子を示した図である。 図５Ｂは、顔器官検出用の辞書の構成例を示した図である。 図５Ｃは、顔器官検出器の構成を擬似プログラムコードの形式で示した図である。 図５Ｄは、顔画像のうち所定の顔器官検出範囲内で、２点の画素の輝度差からなる弱仮説を定義する様子を示した図である。 図６Ａは、投入した全学習データのうち、弱仮説数毎の最低スコアに基づいて限界値を設定する様子を示した図である。 図６Ｂは、限界値を下回った弱仮説数でスコアの計算を打ち切る様子を示した図である。 図７は、顔器官検出範囲内で高速スキャンを行なう様子を示した図である。 図８は、検出された顔画像をその大きさに基づいて正規化し、さらに両目の位置に基づいて顔画像の位置、大きさ、角度を正規化した結果を示した図である。 図９は、入力画像にさまざまな大きさの顔が含まれている様子を示した図である。 図１０は、入力画像の解像度を変えながら顔検出器をスキャンさせ、各解像度の入力画像からは、顔検出器のサイズに近い解像度の顔のみを検出する様子を示した図である。 図１１は、顔画像の解像度を変えながら顔器官検出器をスキャンさせ、顔器官検出器のサイズに近い解像度の顔器官のみが各解像度で検出される様子を示した図である。

符号の説明

１…顔認識システム
１１…画縮小器
１２…顔検出器
１３…両目位置検出器
１４…顔認識器
１５…メモリ

Claims (13)

1. 顔を含む画像を処理する画像処理装置であって、
   任意の顔検出手段によって検出された顔の大きさが既知となる画像を入力する入力手段と、
   顔器官の位置を検出する、前記顔器官の解像度が１つの固定された顔器官検出手段と、
   前記入力された画像中の前記顔器官が前記固定された１つの解像度となるように、前記画像を前記顔の大きさに基づいて正規化する正規化手段と、
   前記正規化した画像よりも小さい領域を、前記顔器官の検出範囲に設定する検出範囲設定手段とを具備し、
   前記顔器官検出手段は、前記検出範囲設定手段により設定された検出範囲内で前記顔器官の位置を検出する、
   ことを特徴とする画像処理装置。
2. 前記顔器官検出手段は、前記検出範囲に含まれる少なくとも２点の画素の輝度差を弱仮説として定義し、事前に統計学習した弱仮説によって定義される最終仮説を用いて、前記検出範囲から前記顔器官の位置を検出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記顔器官検出手段は、前記検出範囲内において顔器官の特徴を抽出し易い輝度差を持つとされる少なくとも２点の画素の複数の組み合わせの各々について、２点画素間の輝度差に関する弱仮説として定義する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記顔器官検出手段は、前記輝度差による計算結果が弱仮説に合致するかに応じてスコアをつけ、弱仮説が定義されたすべての２点画素におけるスコアの合計に基づいて、スキャン位置が前記顔器官の位置に相当するか否か真偽判定する、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 目的とする顔器官が正のスコア値になるように前記の統計学習が行なわれており、
   前記顔器官検出手段は、すべてのスキャン位置のうちゼロを超えた最もスコアの高い位置を目的とする顔器官の位置であると結論する、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記統計学習に利用する全学習データのうち、弱仮説数毎の最低スコアに基づいてスコアの限界値を設定する手段をさらに備え、
   前記顔器官検出手段は、あるスキャン位置においてスコア計算を行なう最中に、弱仮説数毎にその時点でのスコアが前記限界値を下回るときには前記スコア計算をキャンセルする、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記顔器官検出手段は、前記スコア計算をキャンセルしたときのスキャン位置は目的とする顔器官でない旨の結果を返す、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記顔器官検出手段は、前記検出範囲内において、スコア計算すべきスキャン位置を間引いた高速スキャンを行なう、
   ことを特徴とする請求項５に記載の画像処理装置。
9. 前記顔器官検出手段は、算出されたスコアがあらかじめ設定された値よりも高いスキャン位置に隣接する、デフォルトではスコア計算が省略されているスキャン位置においてもスコア計算を実施する、
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記顔器官は左右の目であり、
    顔画像を、前記顔器官検出手段によって検出された両目の位置に基づいて正規化する第２の正規化手段をさらに備える、
    ことを特徴とする請求項１に記載の画像処理装置。
11. 前記顔検出手段は、検出できる顔の大きさが固定された１つの顔検出器を用い、入力画像の解像度を変化させながら、解像度毎に顔を検出する、
    ことを特徴とする請求項１に記載の画像処理装置。
12. 顔を含む画像を処理する画像処理方法であって、
    任意の顔検出手段によって検出された顔の大きさが既知となる画像を入力する入力ステップと、
    顔器官の位置を検出する、前記顔器官の解像度が１つの固定された顔器官検出ステップと、
    前記入力された画像中の前記顔器官が前記固定された１つの解像度となるように、前記画像を前記顔の大きさに基づいて正規化する正規化ステップと、
    前記正規化した画像よりも小さい領域を、前記顔器官の検出範囲に設定する検出範囲設定ステップとを有し、
    前記顔器官検出ステップでは、前記検出範囲設定ステップにおいて設定された検出範囲内で前記顔器官の位置を検出する、
    ことを特徴とする画像処理方法。
13. 顔を含む画像の処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
    任意の顔検出手段によって検出された顔の大きさが既知となる画像を入力する入力手段、
    顔器官の位置を検出する、前記顔器官の解像度が１つの固定された顔器官検出手段、
    前記入力された画像中の前記顔器官が前記固定された１つの解像度となるように、前記画像を前記顔の大きさに基づいて正規化する正規化手段、
    前記正規化した画像よりも小さい領域を、前記顔器官の検出範囲に設定する検出範囲設定手段として機能させ、
    前記顔器官検出手段は、前記検出範囲設定手段により設定された検出範囲内で前記顔器官の位置を検出する、
    ことを特徴とするコンピュータ・プログラム。