JP4078334B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等の撮像装置により取得された画像の処理技術に関するものである。

撮像装置により、暗い場所で被写体である人物を撮影する場合、照明光としてフラッシュを発光するが、フラッシュを発光した時点では該人物の瞳孔が開いているために、撮影画像ではいわゆる赤目状態となることが多い。このため、撮影の直前に被写体に光を照射して瞳孔を閉じさせて赤目を緩和する機能を有する撮像装置がある。

但し、このような撮像装置では、被写体が赤目緩和のための光を凝視しないとその効果が得られないという欠点がある。

このため、赤目を含む画像に対して画像処理を施して、赤目を補正する技術が提案されている（特許文献１等）。これは、撮影された画像をコンピュータ上のソフトウェア（プログラム）を用いて行うものであり、画像に含まれる人物の瞳を検出し、さらにその瞳が赤目か否かを判別し、赤目を所定の色変換処理や彩度低下処理によって補正するものである。
特開２００４−１４５２８７号公報（段落００６３〜００６４，図１等）

しかしながら、上記ソフトウェアによる赤目補正では、画像内の赤目は解消されても、被写体の瞳の本来の色が反映されないという問題がある。

なお、一般の画像処理ソフトウェアを用いて、撮影画像の瞳の部分の色を変更することは可能であるが、変更後の色は該ソフトウェアの使用者が選択するにすぎず、自動的な赤目補正処理を行うことはできない。

本発明の例示的な目的の１つは、撮影画像中の赤目を自動的に、かつ被写体の瞳の本来の色を反映できるように補正する画像処理装置を提供することを目的としている。

本発明は、撮像によって生成された第１の画像から第１の色を有する瞳を検出する第１の検出手段と、第１の検出手段にて検出された瞳を該第１の色とは異なる第２の色に変更する変更手段とを有する画像処理装置において、第１の画像から第１の色の瞳を有する被写体の特徴を表す特徴情報を検出する第２の検出手段と、第１の画像とは異なる第２の画像の中から、第２の検出手段にて検出された上記特徴情報に対応する被写体を探索する探索手段とを有する。そして、変更手段は、探索手段により探索された被写体の瞳の色を第２の色として設定する。

本発明によれば、探索手段にて探索された被写体の瞳の色を第２の色として設定することにより、被写体の本来の瞳の色を反映した補正画像を得ることが可能となる。

以下、本発明の実施例について図面を参照しながら説明する。

まず、本発明の実施例１に係る画像処理装置の形態について図１および図２を用いて説明する。図１は、本発明の実施例１に係る画像処理装置の一例である撮像装置１００の構成を示す図である。撮像装置１００はデジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等のデジタルカメラとして動作可能な装置により構成することができるが、実施例１では撮像装置１００がデジタルカメラである場合を説明する。

図１において、１０１は撮影レンズ部、１０２は撮影レンズ部１０１により形成された被写体像を光電変換するＣＣＤセンサ、ＣＭＯＳセンサ等の撮像素子である。

１０３は撮像素子１０２からの出力信号をＡ／Ｄ変換するＡ／Ｄ変換器、１０４は該Ａ／Ｄ変換器１０３からのデジタル信号に各種処理を施して画像信号（以下、単に画像という）を生成する画像生成部である。

また、１１２は画像生成部１０４にて生成された画像中の赤目を補正する赤目補正処理部である。１１３は画像生成部１０４で生成された画像や他の情報（後述する特徴点情報、人物情報等）を記憶保存するメモリである。

図１の撮像装置１００は、撮像素子１０２を用いて画像を生成する画像生成装置１０５と、赤目補正を行う画像処理装置１１０とが一体となったものである。なお、１２０は画像生成部１０４から出力された画像又は赤目補正処理部１１２から出力された赤目補正画像を表示する液晶ディスプレイ等からなる表示部である。また、１３０は画像生成部１０４から出力された画像又は赤目補正処理部１１２から出力された赤目補正画像を記録媒体（半導体メモリ、光ディスク、磁気ディスク等）に書き込んだり、該記録媒体から画像を読み出したりする記録部である。

さらに、１４０は照明光であるフラッシュ光を被写体に照射する照明ユニット、１５０は画像生成装置１０５、画像処理装置１１０および照明ユニット１４０を含む撮像装置１００の全体の制御を司るカメラ制御部である。

一方、図２には、本発明の実施例１に係る画像処理装置の一例であるパーソナルコンピュータ３００を示す図である。デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等の撮像装置２００では、被写体の画像が生成される。この画像は、記録媒体２０１に記録されたり、ケーブル２０２を介して外部に出力されたりする。

パーソナルコンピュータ３００は、画像が記録された記録媒体２０１がスロットに装着されることにより、この記録媒体２０１から画像を読み込むことができる。また、ケーブル２０２を介して撮像装置２００から直接画像を取り込むこともできる。

パーソナルコンピュータ３００では、主として内部のＣＰＵが、ハードディスクやメモリにインストールされた画像処理プログラムとともに、図１に示した赤目補正処理部１１２およびメモリ１１３の機能を果たす。

図３には、赤目補正処理部１１２のさらに詳細な構成を示している。１１２ａは入力された画像（画像信号）から該画像に含まれる人物の顔を検出する顔検出部である。顔の検出は、既に提案されている方法で行えばよい。例えば、エッジ検出や形状パターン検出による顔検出方法、色相抽出や肌色抽出による顔検出方法を用いることができる。

また、候補領域を小領域に分割し、該分割領域毎の特徴点を予め設定した顔パターンと照合して、その確度から顔領域を抽出する方法（特開２０００−１３７７８８号公報参照）、顔の候補領域を抽出し、各候補領域の重複度から確度を評価して顔領域を抽出する方法（特開２０００−１４９０１８号公報参照）、顔の候補領域を抽出して、各候補領域の濃度が所定の閾値に対応する値である場合に、胴体候補領域を抽出し、顔および胴体候補領域の濃度や彩度コントラストを用いて確度を評価して、顔領域を抽出する方法（特開２０００−１４８９８０号公報参照）等も用いることができる。

１１２ｂは顔検出部１１２ａで検出された顔領域の画像から、フラッシュ光の網膜での反射によって第１の色である赤色となった目（瞳）、すなわち赤目を検出する赤目検出部である。抽出した顔領域から赤目を検出する方法も、既に提案されている方法を用いればよい。例えば、エッジ検出、形状パターン検出、位置情報、色相情報等を用いた瞳抽出を行って、彩度や色相から赤目を検出する方法、エッジ検出、形状パターン検出、位置情報等を用いて目を抽出し、この目の画像データの輝度ヒストグラムから低輝度領域を抽出し、抽出した低輝度領域を収縮処理して、瞳の領域を抽出し、彩度や色相から赤目を検出する方法を用いることができる。

また、顔候補領域をｘｙ平面として画素毎に色相等を用いた画像特徴点ｚを求め、ｘｙｚの三次元空間を設定してｚ値の山状分布からｘｙ平面を分割して、分割領域毎に形状情報や統計的画像特徴点等から赤目を検出する方法（特開２０００−０７６４２７号公報参照）等も用いることができる。

なお、赤目検出部１１２ｂにおいては、まず顔領域の画像から、エッジ検出、形状パターン検出、位置情報、色相情報等を用いて目全体の領域を検出し、さらに瞳が赤くなっている（赤目）か否かを判別するようにしてもよい。例えば、検出された目の領域にて色差信号Ｃｒ，Ｃｂの平均値を算出し、

の式で色相角を算出し、予め設定した赤の角度に入っていることをもって赤目と判断する手法を採ることができる。

１１２ｃは顔検出部１１２ａで検出された顔領域の画像から顔の特徴点を表す情報を生成する特徴点算出部である。特徴点とは、眉や目の距離、顔の輪郭、鼻や口の形状、肌の色等を含む。また、例えば、ウェーブレット手法を用いて顔画像を処理して得られる、顔の濃淡やシャープさなども含んでいてもよい。さらに、特徴点情報として、画像上の形状認識やパターンマッチング法等を実行する際に用いる顔の特徴的な部位を含む画像パターンも生成する。

なお、顔検出部１１２ａおよび赤目検出部１１２ｂで採り得る検出方法は、上述したものに限らず、最終的に赤目や顔の特徴点を許容できる精度で検出できる手法であれば、公知のものおよび将来開発されるもののいずれでもよい。

１１２ｄは、入力画像上において、赤目検出部１１２ｂで検出された赤目の色を変更するための補正処理を行う色補正部である。ここでの処理については後述する。

メモリ１１３には、１又は複数の人物情報が記憶されている。人物情報とは、その人物（個人）の眉や目の距離、顔の輪郭、鼻や口の形状等を示す情報であり、さらにその人物の瞳の色も含む。また、人種に関する情報として、一般的な肌の色や瞳の色の情報も含む。また、メモリ１１３には、今回被写体となった人物を含む撮影画像（第２の画像）であって、赤目が発生していない画像が記憶されている。

図４は、上述した撮像装置１００におけるカメラ制御部１５０および赤目補正処理部１１２で実行される撮像から赤目補正処理の流れを示すフローチャートである。カメラ制御部１５０および赤目補正処理部１１２は、この処理をコンピュータプログラム（画像処理プログラム）に従って行う。但し、ハードウェア的に行ってもよい。なお、図４では、各ステップをＳと略して記している。

まず、ステップ１０１では、カメラ制御部１５０は、撮影者の撮影スイッチの操作に応じて照明ユニット１４０を発光させ、フラッシュ撮像を行う。これにより、画像生成部１０４では、第１の画像としての撮影画像（画像信号）が生成される。

次に、ステップ１０２では、顔検出部１１２ａにおいて、撮影画像に含まれる顔領域が検出され、さらに赤目検出部１１２ｂにおいて、赤目があるか否かが判別（検出）される。赤目がない場合はステップ１０３−２に進み、赤目がある場合にはステップ１０３−１に進む。

ステップ１０３−２では、赤目がない撮影画像を記録媒体に記録する。

一方、ステップ１０３−１では、特徴点算出部１１２ｃにおいて、赤目があると判別された顔領域からその顔の特徴点が算出される。

そして、ステップ１０４では、色補正部１１２ｄにおいて、予め登録された（すなわち既にメモリ１１３に記憶された）１又は複数の人物情報と、ステップ１０３−２で算出された特徴点とを比較する。該特徴点を持つ人物情報（以下、特定人物情報という）が検出された場合はステップ１０５に進み、検出できない場合はステップ１０６に進む。

ステップ１０５では、特定人物情報からその人物の本来の瞳の色を読み出し、その色（第２の色）を用いて第１の画像上の該人物の赤目領域を補正する。具体的には、ステップ１０３−１で検出した赤目領域の色差信号値を、該第２の色に対応する色差信号値で置換する。こうして赤目が本来の瞳の色に変更された補正画像を、ステップ１０７において記録媒体に記録する。

一方、ステップ１０６では、メモリ１１３に記録された１又は複数の撮影画像（第２の画像）のうち、第１の画像で被写体となった人物と同一人物が撮影されている画像を探索する。ここでは、上述した画像パターンを用いたパターンマッチング法や汎用の形状認識手法により探索が行われる。同一人物が発見できたときは、ステップ１０８に進む。同一人物が発見できなかったときはステップ１１０に進む。

ステップ１０８では、その同一人物が発見された探索画像から、その人物の瞳およびその色（第２の色）を検出する。このときの検出手法は、赤目検出部１１２ｂと同じでよい。そして、検出した色の色差信号で赤目領域の色差信号を置換して赤目補正を行い、ステップ１０９に進んで、補正画像を記録媒体に記録する。

また、ステップ１１０では、顔領域から被写体となった人物の人種を判定する。例えば、ステップ１０３−１で検出した特徴点としての肌の色を用いて人種を判定する。判定できた場合は、ステップ１１１に進み、判定した人種に一般的な瞳の色として人物情報に含まれる色の色差信号で赤目領域の色差信号を置換し、赤目を補正する。そして、ステップ１１２に進み、補正画像を記録媒体に記録する。ここで、人種別の瞳の色としては、例えば、白人であればブルーとし、黄色人種や黒人であれば黒とする。

ステップ１１０において人種を判定できなかった場合は、ステップ１１３に進み、デフォルト色として設定されている色（例えば、黒）や撮影者が指定した色を用いて、赤目補正を行う。そして、ステップ１１４で、補正画像を記録媒体に記録する。

以上の処理を、撮像装置においてフラッシュを発光させて人物撮影を行うごとに行うことで、赤目補正された画像が得られる。

なお、ここでは撮像装置における処理の流れを説明したが、該処理をパーソナルコンピュータで行う場合は、ステップ１０１でフラッシュ撮像された画像を記録媒体や撮像装置から読み込み、ステップ１０２からは同様の処理を行うことになる。補正画像の記録は、パーソナルコンピュータ内のハードディスクに行うようにしてもよい。

図５には、本発明の実施例２としての撮像装置１００におけるカメラ制御部１５０および赤目補正処理部１１２で実行される撮像から赤目補正処理の流れを示すフローチャートである。本処理が実行される撮像装置は、実施例１において説明したものと同様であるので、ここでは各構成要素に実施例１で用いた符号を付して説明する。カメラ制御部１５０および赤目補正処理部１１２は、この処理をコンピュータプログラム（画像処理プログラム）に従って行う。但し、ハードウェア的に行ってもよい。なお、図５では、各ステップをＳと略して記している。

まず、ステップ２０１では、カメラ制御部１５０は、フラッシュを発光させて１回目の撮像を行い、画像生成部１０４は、第１の画像としての撮影画像を生成する。

次に、ステップ２０２では、顔検出部１１２ａおよび赤目検出部１１２ｂにより、実施例１のステップ１０２と同様にして、撮影画像から顔領域が検出され、かつ赤目があるか否かを判定する。赤目がない場合には、ステップ２０４に進み、撮影画像を記録媒体に記録する。赤目がある場合は、ステップ２０３に進む。

ステップ２０３では、カメラ制御部１５０は、フラッシュを発光させずに若しくは発光量を１回目よりも低くして２回目の撮像を行う。画像生成部１０４は、第２の画像としての撮影画像を生成する。

次に、ステップ２０５では、色補正部１１２ｄにおいて、第２の画像から、第１の画像中の被写体人物と同一人物を探索する。探索手法は、実施例１のステップ１０６と同様である。同一人物が検出できたときはステップ２０６に、できなかったときはステップ２０８に進む。

ステップ２０６では、第２の画像における該人物の瞳の色を検出する。そして、その色（第２の色）を用いて第１の画像中の赤目を補正する。補正方法は、実施例１と同様である。次に、ステップ２０７において、補正画像を記録媒体に記録する。

一方、ステップ２０７では、実施例１のステップ１１０と同様に人種を判定する。人種が判定できたときは、ステップ２０９に進み、実施例１のステップ１１１と同様にして、人種に対応した瞳の色で第１の画像の赤目を補正する。そして、ステップ２１０にて、補正画像を記録媒体に記録する。

ステップ２０８において人種が判定できなかった場合は、ステップ２１１に進み、実施例１のステップ１１３と同様にして、デフォルト色又は撮影者による指定色で赤目を補正し、補正画像を記録媒体に記録する（ステップ２１２）。

ここで、ステップ２１１において、赤目補正を行わず、表示部１２０に警告表示を行ったり、スピーカーから警告音を発生させたりするようにしてもよい。このことは、実施例１のステップ１１３でも同様である。

以上の処理を、撮像装置においてフラッシュを発光させて人物撮影を行うごとに行うことで、赤目補正された画像が得られる。

なお、ここでは撮像装置における処理の流れを説明したが、該処理をパーソナルコンピュータで行う場合は、ステップ２０１でフラッシュ撮像された画像およびフラッシュを発光させないで撮像された又は発光量を低くして撮像された画像を記録媒体や撮像装置から読み込み、ステップ２０３を除くステップ２０２以降の処理を行うことになる。補正画像の記録は、パーソナルコンピュータ内のハードディスクに行うようにしてもよい。

上記各実施例では、第１の色を赤として説明したが、実際に撮影される赤目の色は純粋な赤とは限らない。この場合は、その撮像装置で撮影される赤目の色を第１の色として予め設定し、各検出処理を行うようにすればよい。

また、赤目を１色からなる第２の色で置換するだけでなく、複数色からなる第２の色で置換するようにしてもよい。

本発明の実施例１に係る画像処理装置の一例である撮像装置の構成を示すブロック図である。 本発明の実施例１に係る画像処理装置の一例であるパーソナルコンピュータを示す図である。 本発明の実施例１に係る撮像装置における赤目補正処理部の構成を示すブロック図である。 本発明の実施例１に係る撮像装置におけるカメラ制御部と赤目補正処理部の動作を示すフローチャートである。 本発明の実施例２に係る撮像装置におけるカメラ制御部と赤目補正処理部の動作を示すフローチャートである。

符号の説明

１００，２００ 撮像装置
１０１ 撮影レンズ部
１０２ 撮像素子
１０５ 画像生成装置
１１０，３００ 画像処理装置
１４０ 照明ユニット
２０１ 記録媒体

Claims (7)

1. 撮像により生成された第１の画像から第１の色を有する瞳を検出する第１の検出手段と、前記第１の検出手段にて検出された瞳を前記第１の色とは異なる第２の色に変更する変更手段とを有する画像処理装置において、
   前記第１の画像から前記第１の色の瞳を有する被写体の特徴を表す特徴情報を検出する第２の検出手段と、
   前記第１の画像とは異なる第２の画像の中から、前記第２の検出手段にて検出された前記特徴情報に対応する被写体を探索する探索手段とを有し、
   前記変更手段は、前記探索手段により探索された前記被写体の瞳の色を前記第２の色として設定することを特徴とする画像処理装置。
2. 前記第１の画像は、照明光を用いた撮像によって生成された画像であり、
   前記第２の画像は、前記第１の画像を生成したときの照明光より発光量が低い照明光を用いた撮像によって生成された画像、又は、前記照明光を用いない撮像によって生成された画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の色とは、照明光を用いた撮像によって生じた赤目の色であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特徴情報は、前記被写体の顔の特徴を表す情報であることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 前記顔の特徴を表す情報は、被写体の眉や目の距離、顔の輪郭、鼻又は口の形状、及び肌の色のうち少なくともいずれか一つを含むことを特徴とする請求項４に記載の画像処理装置。
6. 撮像により生成された第１の画像から第１の色を有する瞳を検出する第１の検出工程と、前記第１の検出工程にて検出された瞳を前記第１の色とは異なる第２の色に変更する変更工程とを有する画像処理方法において、
   前記第１の画像から前記第１の色の瞳を有する被写体の特徴を表す特徴情報を検出する第２の検出工程と、
   前記第１の画像とは異なる第２の画像の中から、前記第２の検出工程にて検出された前記特徴情報に対応する被写体を探索する探索工程とを有し、
   前記変更工程において、前記探索工程により探索された前記被写体の瞳の色を前記第２の色として設定することを特徴とする画像処理方法。
7. 前記第１の画像は、照明光を用いた撮像によって生成された画像であり、
   前記第２の画像は、前記第１の画像を生成したときの照明光より発光量が低い照明光を用いた撮像によって生成された画像、又は、前記照明光を用いない撮像によって生成された画像であることを特徴とする請求項６に記載の画像処理方法。
   

Images