JP2009177472A - 画像処理方法、画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】低照度や逆光といった劣悪な環境下で撮影された画像内に含まれる、例えば、白とびした領域と黒つぶれした領域とを同時に補正できるようにすることを目的とする。
【解決手段】入力された画像を複数のブロックに分割したブロック毎に、各ブロックの画像データの情報に基づいて補正するので、例えば、同一の画像内に、例えば、白とびした領域と黒つぶれした領域とが混在している場合であっても、白とびした領域と黒つぶれした領域とに各ブロックがそれぞれ対応するように分割して補正することにより、白とびした領域と黒つぶれした領域とを、同時に補正することが可能となる。これによって、例えば、白とびした顔領域と黒つぶれした顔領域とが混在するように画像における顔領域の検出精度を高めることが可能となる。
【選択図】図１１

Description

本発明は、低照度や逆光等により黒つぶれや白とびが発生するような撮影環境下においても、精度良く顔領域などの特定の領域を検出するのに好適な画像処理方法、画像処理装置及び撮像装置に関する。

近年、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯等）や監視カメラ、ドアフォンカメラ等の撮像装置、及び画像処理装置において顔領域検出機能の搭載が一般的となってきている。デジタルスチルカメラにおいては、検出された顔領域に対して自動合焦制御（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ：ＡＦ）を行ったり、自動露出補正（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：ＡＥ）を行ったりしており、また監視カメラにおいては、検出された顔領域を記憶することで不審者の特定に用いられたりする。

顔領域の検出においては、標準的な顔のパーツ(目や口等)の位置関係から検出する方法や、顔の色やエッジ情報を基に検出する方法、また予め用意した顔の特徴データとの比較により検出する方法等、多くの技術が考案されている。

しかしながら、上記のどの方法においても検出対象となる画像の撮影環境によって検出精度が大きく左右されてしまう。例えば、低照度や逆光等の環境下で撮影された画像は、画像内に白とびや黒つぶれが発生している可能性が高く、仮に顔領域が白とびや黒つぶれしてしまっている画像に対しては、検出精度は著しく低下する。

そこで、逆光等によるハイコントラストの撮影条件であっても、顔画像を精度よく検出するようにした撮像装置も提案されている（例えば、特許文献１参照）。

図２５は、この特許文献１の撮像装置の構成を示す図である。

同図において、２０１は対物レンズを含む光学系、２０２はＣＣＤで構成された撮像素子、２０３は撮像素子２０２からの撮像信号をアナログ画像信号に変換してノイズ削減やゲイン調整等を行うアナログ信号処理部、２０４はアナログ信号処理部２０３で処理された画像信号をデジタル信号へ変換するＡ/Ｄ変換部、２０５はＡ/Ｄ変換後の画像信号に対してガンマ調整やホワイトバランス調整等の画質調整を行うデジタル信号処理部、２１０は信号処理を経たフレームデータを記憶するフレームメモリ、２０９はフレームメモリ２１０のフレームデータから人物の顔領域を検出する顔領域検出部、２０８は顔領域検出部２０９が検出した顔領域の画像の画質を補正する画質補正部、２１１はフレームメモリ２１０からフレームデータを読み出すフレーム出力部、２１２は出力されたフレームデータをＪＰＥＧ（又はＭＰＥＧ）方式で符号化する符号化部、２１３は符号化されたフレームデータを伝送データに変換すると共に通信回線を介して集中監視室等へ伝送するデータ伝送部、２０６はフレームデータの各画素情報に基づいて、輝度ヒストグラムを作成するヒストグラム作成部、２０７は輝度ヒストグラムに基づいて、輝度やコントラストを補正する補正制御部である。

この撮像装置では、撮影画像のフレームデータに対してヒストグラム作成部２０６で輝度ヒストグラムを作成し、輝度レベルを暗部範囲、中間輝度範囲、明部範囲に分け、補正制御部２０７で暗部範囲又は明部範囲に含まれる累積画素数と予め設定する閾値との比較を行い、各範囲に含まれる画素数が閾値を越えた場合に、画像内に黒つぶれあるいは白とびが発生しているとして、撮像素子２０２、アナログ信号処理部２０３、及びデジタル信号処理部２０５を制御することにより輝度やコントラストを補正し、これによって、黒つぶれあるいは白とびを修正して、顔領域検出の精度を向上させるようにしている。
特開２００７−２０１９６３公報

しかしながら、上記特許文献１の撮像装置は、低照度や逆光といった悪劣な環境下で撮影されて顔領域が白とびや黒つぶれしてしまっている画像に対して、フレームデータ全体に対して、画質補正を行うものであるために、例えば、図２６（ａ）に示すような同一フレームデータ内に白とびした顔領域と黒つぶれした顔領域とが混在している画像３０１や、同図（ｂ）に示すように、異なるレベルで黒つぶれあるいは白とびした顔領域が混在している画像３０２においては、同一フレームデータ内に含まれる全ての顔領域を同時に補正して検出することが出来ないという課題がある。

本発明は、上記のような課題に鑑みて為されたものであって、低照度や逆光といった劣悪な環境下で撮影された画像内に含まれる、例えば、白とびした領域と黒つぶれした領域とを同時に補正できるようにすることを目的とする。

本発明の画像処理方法は、画像データに基づく画像を複数のブロックに分割したときの各ブロックの画像データの情報に基づいて、前記画像の画質を、ブロック毎に補正するものである。

画像データの情報としては、例えば、輝度情報が好ましい。

本発明の画像処理方法によれば、画像を複数のブロックに分割したブロック毎に、各ブロックの画像データの情報に基づいて補正するので、例えば、同一の画像内に、例えば、白とびした領域と黒つぶれした領域とが混在している場合であっても、前記白とびした領域と黒つぶれした領域とに各ブロックがそれぞれ対応するように分割して補正することにより、白とびした領域と黒つぶれした領域とを、同時に補正することが可能となる。これによって、例えば、白とびした顔領域と黒つぶれした顔領域が混在するように画像における顔領域の検出精度を高めるといったことが可能となる。

本発明の画像処理装置は、入力された画像データを記憶する画像データメモリと、前記画像データに基づく画像を複数のブロックに分割した各ブロックの画像データを生成するデータ分割部と、前記画像の画質を補正する画質補正部と、前記画質補正部による画質の補正を、前記データ分割部で分割された各ブロックの画像データの情報に基づいて、ブロック毎に制御する補正制御部とを備えている。

本発明の画像処理装置によれば、入力された画像を複数のブロックに分割したブロック毎に、各ブロックの画像データの情報に基づいて補正するので、例えば、同一の画像内に、例えば、白とびした領域と黒つぶれした領域とが混在している場合であっても、前記白とびした領域と黒つぶれした領域とに各ブロックがそれぞれ対応するように分割して補正することにより、白とびした領域と黒つぶれした領域とを、同時に補正することが可能となる。これによって、例えば、白とびした顔領域と黒つぶれした顔領域が混在するように画像における顔領域の検出精度を高めるといったことが可能となる。

前記データ分割部は、前記画像を分割するブロック数を変更可能であるのが好ましい。
画像を、第１のブロック数で分割して画像処理し、次に第２のブロック数で分割して画像処理し、更に、第３のブロック数で分割して画像処理するといったように、画像を、複数段階で順次分割して画像処理するようにし、例えば、顔領域の検出精度が最も良好なブロック数を採用するようにしてもよい。

分割するブロック数を変更することにより、ブロックの境界を、例えば、同一の画像内の白とびした領域と黒つぶれした領域との境界に対応させるといったことが可能となる。
前記画像の特定領域を検出する特定領域検出部を備え、前記データ分割部は、前記特定領域検出部で検出する前記特定領域の大きさに応じて、前記画像を分割するブロック数を決定するようにしてもよい。

ブロックの大きさは、特定領域を含む大きさであるのが好ましい。特定の領域の大きさに応じて、分割するブロック数を決定するので、特定の領域、例えば、人の顔領域を含む大きさのブロック単位で画質を補正するといったことが可能となる。

前記画像の特定領域を検出する特定領域検出部を備え、前記データ分割部は、前記画像を分割するブロック数を固定とし、前記補正制御部は、前記特定領域検出部で検出する前記特定領域の大きさに応じて、複数の隣接するブロックを結合するとともに、結合した結合ブロックの画像データの情報に基づいて、前記画質補正部による補正を、前記結合ブロック毎に制御してもよい。

分割するブロック数が固定であって、ブロックの大きさが特定領域よりも小さい場合には、隣接するブロックを仮想的に結合した結合ブロック毎に補正することにより、特定領域、例えば、人の顔領域を含む大きさの結合ブロック単位で画質を補正することが可能となる。

前記補正制御部は、前記画質補正部で画質を補正するブロックである注目ブロック毎に、当該注目ブロックのみの画像データの情報に基づいて、前記画質補正部による画質の補正を制御するようにしてもよい。

前記補正制御部は、前記画質補正部で画質を補正するブロックである注目ブロック毎に、当該注目ブロックおよびその周辺の周辺ブロックの画像データの情報に基づいて、前記注目ブロックに含まれる画素単位で、前記画質補正部による画質の補正を制御するようにしてもよい。

注目ブロックを画質補正する際には、注目ブロックの画像データの情報のみならず、周辺の周辺ブロックの画像データの情報も用いて画素単位で補正するので、特定領域、例えば、人の顔領域が複数のブロックにまたがっているような場合においても、画質の補正が良好に行われ、顔領域が精度よく検出できる。

前記画像の画質補正、および、前記特定領域の検出を行うか否かを切り替える切り替え手段を有する構成としてもよい。

前記特定領域が、人の顔の領域であるのが好ましい。

前記データ分割部で分割した前記ブロックの画像データを記憶するためのブロックデータメモリを備え、前記ブロックの画像データを、前記画像データメモリまたは前記ブロックデータメモリのいずれのメモリに記憶させるかを選択可能としてもよい。更に、前記ブロックの画像データを、いずれのメモリにも記憶させないことを選択可能としてもよい。
前記画質補正を、モニタモード及び動画モードで行なうようにしてもよい。

本発明の撮像装置は、光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、前記撮像素子から出力される撮像信号をデジタル信号に変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から出力されるデジタル信号に対してデジタル処理を施すデジタル信号処理部と、前記デジタル信号処理部から出力される画像データに対して処理を行う本発明に係る画像処理装置と、前記画像処理装置から出力される画像処理後の画像データを外部へ出力する画像データ出力部とを備えている。

画像処理装置の補正制御部によって、デジタル信号処理部を制御して画質補正を行うようにしてもよい。

本発明の撮像装置によれば、撮像した画像を複数のブロックに分割したブロック毎に、各ブロックの画像データの情報に基づいて補正するので、例えば、同一の画像内に、例えば、白とびした領域と黒つぶれした領域とが混在している場合であっても、前記白とびした領域と黒つぶれした領域とに各ブロックがそれぞれ対応するように分割して補正することにより、白とびした領域と黒つぶれした領域とを、同時に補正することが可能となる。これによって、例えば、白とびした顔領域と黒つぶれした顔領域とが混在するように画像における顔領域の検出精度を高めるといったことが可能となる。

本発明によれば、画像を複数のブロックに分割したブロック毎に、各ブロックの画像データの情報に基づいて補正するので、例えば、同一の画像内に、例えば、白とびした領域と黒つぶれした領域とが混在している場合であっても、前記白とびした領域と黒つぶれした領域とに各ブロックがそれぞれ対応するように分割して補正することにより、白とびした領域と黒つぶれした領域とを、同時に補正することが可能となる。これによって、例えば、白とびした顔領域と黒つぶれした顔領域が混在するように画像における顔領域の検出精度を高めるといったことが可能となる。

以下、図面を参照して本発明の実施の形態について説明する。なお、以下で説明する実施の形態はあくまで一例であり、様々な改変を行うことが可能である。

（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置及び撮像装置の全体構成を示す図である。

この実施の形態における画像処理装置１１４は、入力された画像データを記憶する画像データメモリ１０１と、画像データに基づく画像を複数のブロックに分割した各ブロックの画像データ（ブロックデータ）を生成するブロックデータ分割部１０２と、ブロックデータ分割部１０２が出力するブロックデータの情報に基づいて、画質を補正するための補正パラメータを制御する補正制御部１０３と、補正制御部１０３により決定される補正パラメータを用いて画質補正を行う画質補正部１０４と、画像データメモリ１０１に記憶された画像データ内の特定領域としての人の顔領域を検出する顔領域検出部１０５とを備えている。顔領域検出部１０５は、従来公知の検出方法、例えば、標準的な顔のパーツ(目や口等)の位置関係から検出する方法、顔の色やエッジ情報を基に検出する方法、あるいは、予め用意した顔の特徴データとの比較により検出する方法等を用いることができる。

この実施の形態１における撮像装置１１５は、更に、被写体像を撮像素子１０７上に集光するための光学系１０６と、光学系１０６によって集光された被写体像を撮像する、例えば、ＣＣＤからなる撮像素子１０７と、撮像素子１０７から出力されるアナログ撮像信号にノイズ削減等の所定の処理を加えるアナログ信号処理部１０８と、アナログ信号処理部１０８から出力される所定の処理が加えられたアナログ撮像信号をデジタル撮像信号に変換するＡ／Ｄ変換部１０９と、Ａ／Ｄ変換部１０９から出力されるデジタル撮像信号にホワイトバランス調整等の所定の処理を加えるデジタル信号処理部１１０と、デジタル信号処理部１１０から出力される所定の処理が加えられたデジタル撮像信号（画像データ）に所定の処理を施し、顔領域を検出する画像処理装置１１４と、画像処理装置１１４から出力される顔領域の情報を付加した画像データを外部へ出力する画像データ出力部１１３とを備えている。

また、この実施の形態１では、ブロックデータ分割部１０２から出力されるブロックデータを記憶するブロックデータメモリ１１２を有し、更に、撮像装置１１５において、画像処理装置１１４での画質の補正処理を施すか否かを切り替える画像処理切替ＳＷ１１１を有している。

次に、図２のフローチャートに基づいて、画像処理装置１１４の動作を説明する。

先ず、画像データが画像処理装置１１４に入力され、画像データメモリ１０１に記憶される（Ｓ４０１）。以降の処理は、画像処理切替ＳＷ１１１により選択される状態（Ｓ４０２）によって異なる。

画像処理切替ＳＷ１１１により画像処理ＯＮが選択された場合、ブロックデータ分割部１０２にて検出する顔領域のサイズに応じた任意のブロックサイズに入力画像を分割し（Ｓ４０３）、補正制御部１０３にて各ブロックデータの情報に基づいてブロック毎に補正のパラメータを決定し（Ｓ４０４）、画質補正部１０４にて補正のパラメータに従った画質補正処理を施し（Ｓ４０５）、画質補正後の画像データに対して顔領域検出部１０５にて顔領域検出を実施し（Ｓ４０６）、入力画像データに顔領域の情報を付加し（Ｓ４０７）、出力する。

また、画像処理切替ＳＷ１１１により画像処理ＯＦＦ且つ顔領域検出ＯＮが選択された場合、入力画像データに対して顔領域検出部１０５にて顔領域検出を実施し（Ｓ４０６）、入力画像データに顔領域の情報を付加し（Ｓ４０７）、出力する。

また、画像処理切替ＳＷ１１１により画像処理ＯＦＦ且つ顔領域検出ＯＦＦが選択された場合、入力画像データをそのまま出力する。

以下では、画像処理切替ＳＷ１１１により画像処理ＯＮが選択された場合のブロックデータ分割部１０２で施すブロック分割方法及び補正制御部１０３で施す補正のパラメータの決定方法に関して説明する。

上述の図２６（ａ）に示すような同一画像内に白とびした顔領域と黒つぶれした顔領域とが混在している画像３０１が入力された場合、先ず、ブロックデータ分割部１０２にて入力画像を、一定数のブロックに分割する。ここでは、図３に示すように、６×４の２４のブロックに均等に分割したものとする。

次に、補正制御部１０３によって、各ブロック５０１〜５２４の輝度レベル平均を算出し、ブロック毎に補正のパラメータを決定する。

図３の例では、各ブロック５０１〜５２４の輝度レベル平均は、ブロック５０１＝２０、ブロック５０２＝３０、ブロック５０３＝３０、ブロック５０４＝１５０、ブロック５０５＝１７０、ブロック５０６＝１８０、ブロック５０７＝２０、ブロック５０８＝３０、ブロック５０９＝４０、ブロック５１０＝１６０、ブロック５１１＝１８０、ブロック５１２＝１８０、ブロック５１３＝３０、ブロック５１４＝４０、ブロック５１５＝４０、ブロック５１６＝１７０、ブロック５１７＝１８０、ブロック５１８＝１９０、ブロック５１９＝３０、ブロック５２０＝３０、ブロック５２１＝４０、ブロック５２２＝１９０、ブロック５２３＝１９０、ブロック５２４＝２００である。

画質補正部１０４で、画質補正として、ゲイン補正及びγ補正を施す場合には、補正制御部１０３によって、分割した画像の各ブロックの輝度レベルの平均が、例えば、９０になるようにブロック毎にゲイン補正のパラメータを決定する一方、図４に示すように、輝度レベル９０付近が急峻に立ち上がるγ特性となるようにγ補正のパラメータを決定する。

図３の例では、各ブロック５０１〜５２４に施すゲイン補正のパラメータは、ブロック５０１＝×９/２、ブロック５０２＝×３、ブロック５０３＝×３、ブロック５０４＝×３/５、ブロック５０５＝×９/１７、ブロック５０６＝×１/２、ブロック５０７＝×９/２、５０８＝×３、ブロック５０９＝×９/４、ブロック５１０＝×９/１６、ブロック５１１＝×１/２、ブロック５１２＝×１/２、ブロック５１３＝×３、ブロック５１４＝×９/４、ブロック５１５＝×９/４、ブロック５１６＝×９/１７、ブロック５１７＝×１/２、ブロック５１８＝×９/１９、ブロック５１９＝×３、ブロック５２０＝×３、ブロック５２１＝×９/４、ブロック５２２＝×９/１９、ブロック５２３＝×９/１９、ブロック５２４＝×９/２０のように決定される。

かかる補正のパラメータを用いて、各ブロック５０１〜５２４のゲイン補正の補正値が算出されることになる。

また、各ブロック５０１〜５２４に施すγ補正のパラメータが、図４に示すようなγ特性となるように決定される。

画質補正部１０４では、決定された補正のパラメータに従って、ブロック毎に画質の補正を施し、これによって、図５に示すように補正される。

これによって、同一画像内に白とびした顔領域と黒つぶれした顔領域とが混在している画像３０１においても、前記画像処理によって白とびおよび黒つぶれが同時に補正されることになり、これによって、同時に複数の顔領域を精度良く検出することが可能となる。

尚、ブロックデータの情報として輝度レベル、画質補正の方法としてゲイン補正とγ補正を一例として記述したが、それに限らず他の情報や、他の補正によっても前記画像処理は実現可能である。

（実施の形態２）
上述の実施の形態１では、入力画像を、一定数、例えば、６×４の２４のブロックに分割するので、例えば、図６に示すような画像が入力された場合には、顔領域を精度良く検出することが出来ない。

すなわち、入力画像を一定数のブロックに分割する実施の形態１によると、図７に示すように入力画像を、例えば、６×４の２４のブロックに分割する。次に各ブロック９０１〜９２４の輝度レベル平均を算出し、補正制御部１０３にてブロック毎に補正のパラメータを決定する。

図７の例では、各ブロック５０１〜５２４の輝度レベル平均は、ブロック９０１＝２０、ブロック９０２＝９０、ブロック９０３＝１８０、ブロック９０４＝１９０、ブロック９０５＝１２０、ブロック９０６＝４０、ブロック９０７＝２０、ブロック９０８＝９０、ブロック９０９＝１８０、ブロック９１０＝１８０、ブロック９１１＝１２０、ブロック９１２＝３０、ブロック９１３＝３０、ブロック９１４＝８０、ブロック９１５＝１６０、ブロック９１６＝１７０、ブロック９１７＝１１０、ブロック９１８＝３０、ブロック９１９＝３０、ブロック９２０＝８０、ブロック９２１＝１６０、ブロック９２２＝１７０、ブロック９２３＝１００、ブロック９２４＝２０である。

上述のように、補正制御部１０３にて各ブロックの輝度レベル平均が９０になるようにゲイン補正のパラメータを決定する。即ち、各ブロック９０１〜９２４に施すゲイン補正のパラメータは、ブロック９０１＝×９/２、ブロック９０２＝×１、ブロック９０３＝×１/２、ブロック９０４＝×９/１９、ブロック９０５＝×３/４、ブロック９０６＝×９/４、ブロック９０７＝×９/２、ブロック９０８＝×１、ブロック９０９＝×１/２、ブロック９１０＝×１/２、ブロック９１１＝×３/４、ブロック９１２＝×３、ブロック９１３＝×３、ブロック９１４＝×９/８、ブロック９１５＝×９/１６、ブロック９１６＝×９/１７、ブロック９１７＝×９/１１、ブロック９１８＝×３、ブロック９１９＝×３、ブロック９２０＝×９/８、ブロック９２１＝×９/１６、ブロック９２２＝×９/１７、ブロック９２３＝×９/１０、ブロック９２４＝×９/２のように決定される。

ここで、図７におけるブロック９０１とブロック９０２、及び、ブロック９０７とブロック９０８に着目すると、ブロック９０２及びブロック９０８のゲイン補正のパラメータは、×１と決定されるため、図８に示すように、画質補正後の各々のブロック内にある顔領域で黒つぶれした領域１００２及び領域１００５が残ってしまい、精度良く顔領域を検出することが困難である。図７におけるブロック９０４とブロック９０５、及び、ブロック９１０とブロック９１１に含まれる白とびした顔領域に関しても同様なことが言える。

そこで、この実施の形態２では、顔領域検出部１０５にて検出する顔領域のサイズに応じて、ブロックデータ分割部１０２で任意数にブロック分割を行うようにしている。顔領域検出技術において、一般的に顔領域のサイズを数段階想定して検出を行う。例えば、入力画像サイズがQVGA（３２０×２４０）の場合に、先ずは、顔領域のサイズを２４０×２４０と想定して検出を試み、次に顔領域のサイズを２００×２００と想定して検出を試み、次に顔領域のサイズを１６０×１６０と想定して検出を試み、同様に顔領域のサイズを小さく想定して検出を繰り返すことによって数段階のサイズの顔領域を検出する。この実施の形態では、顔領域のサイズを複数段階想定して分割したけれども、他の実施の形態として、分割するブロック数を複数段階、例えば、３×２の６ブロックに均等に分割して顔領域の検出を試み、次に４×３の１２ブロックに均等に分割して顔領域の検出を試み、次に６×４の２４ブロックに均等に分割して顔領域の検出を試みるようにしてもよい。

以下、顔領域のサイズに応じてブロックを分割する方法を説明する。ここでは入力画像サイズをQVGA（３２０×２４０）とし、顔領域検出部１０５にて検出する顔領域のサイズは２４０×２４０、２００×２００、１６０×１６０、１２０×１２０、８０×８０、４０×４０、２０×２０、１０×１０の８段階を想定し、順次検出を行うものとする。

このうち、顔領域のサイズを１２０×１２０及び８０×８０と想定した場合に関して図９〜１２を用いて説明する。

先ず、図９に顔領域のサイズを１２０×１２０と想定した場合のブロック分割に関して示す。この場合、想定する１２０×１２０の顔領域のサイズ１１０７にあわせて１つのブロックのサイズが１２０×１２０となるように入力画像を分割する。

この例では、３２０×２４０の画像の左端を基準に分割しており、右端のブロック１１０３およびブロック１１０６は、１２０×１２０のサイズよりも小さなものとなる。
図９の例では、各ブロック１１０１〜１１０６の輝度レベル平均が、ブロック１１０１＝６０、ブロック１１０２＝１８０、ブロック１１０３＝６０、ブロック１１０４＝８０、ブロック１１０５＝２００、ブロック１１０６＝７０である。

画質補正部１０４で、画質補正として、ゲイン補正を施す場合に、補正制御部１０３では、各ブロックの輝度レベル平均が９０になるようにゲイン補正のパラメータを決定する。すなわち、各ブロック１１０１〜１１０６に施すゲイン補正のパラメータは、ブロック１１０１＝×３/２、ブロック１１０２＝×１/２、ブロック１１０３＝×３/２、ブロック１１０４＝×９/８、ブロック１１０５＝×９/２０、ブロック１１０６＝×９/７のように決定される。

ここで、図１０に示すように、図９におけるブロック１１０２とブロック１１０３とに着目すると、ブロック１１０３のゲイン補正のパラメータは、×３/２と決定されるため、画質補正後のブロック１１０２とブロック１１０３内にある顔領域に白とびした領域１２０２が残ってしまい、精度良く顔領域を検出することが困難である。

次に、図１１に顔領域のサイズを８０×８０と想定した場合のブロック分割に関して示す。この場合、想定する８０×８０の顔領域のサイズ１３１３にあわせて１つのブロックのサイズが８０×８０となるように入力画像を分割する。

図１１の例では、各ブロック１３０１〜１３１２の輝度レベル平均がブロック１３０１＝４０、ブロック１３０２＝１８０、ブロック１３０３＝１９０、ブロック１３０４＝３０、ブロック１３０５＝４０、ブロック１３０６＝１６０、ブロック１３０７＝１７０、ブロック１３０８＝３０、ブロック１３０９＝３０、ブロック１３１０＝１６０、ブロック１３１１＝１７０、ブロック１３１２＝２０である。

画質補正部１０４で、画質補正としてゲイン補正を施す場合に、補正制御部１０３では、各ブロックの輝度レベル平均が９０になるようにゲイン補正のパラメータを決定する。すなわち、各ブロック１３０１〜１３１２に施すゲイン補正のパラメータは、ブロック１３０１＝×９/４、ブロック１３０２＝×１/２、ブロック１３０３＝×９/１９、ブロック１３０４＝×３、ブロック１３０５＝×９/４、ブロック１３０６＝×９/１６、ブロック１３０７＝×９/１７、ブロック１３０８＝×３、ブロック１３０９＝×３、ブロック１３１０＝×９/１６、ブロック１３１１＝×９/１７、ブロック１３１２＝×９/２のように決定される。

決定されたゲイン補正のパラメータに従って、画質補正部１０４にてブロック毎に画質の補正を施すことによって、図１２に示すように、上述の図１０では残っていた顔領域の白とびが補正され、精度良く顔領域を検出することが出来る。

以上の説明のとおり、この実施の形態２では、顔領域検出部１０５にて想定する顔領域のサイズに応じて任意にブロック分割を行うことにより、何れかのサイズで精度良く顔領域を検出することが出来る。

（実施の形態３）
上述の実施の形態２では、矩形のブロック毎に画質補正を行なうために、例えば、図１３に示すような画像が入力された場合、顔領域を精度良く検出することができない。

すなわち、入力画像を矩形のブロックに分割してブロック毎に画質補正を行なう実施の形態２によると、顔領域検出部１０５にて想定する顔領域のサイズに応じて任意に矩形のブロック分割を行っていき、図１４に示すような実際の顔領域サイズとブロックサイズとが近くなった時に精度良く検出することが出来ると考えられるため、この場合に関して例を示す。

図１４の各ブロック１６０１〜１６１２の輝度レベル平均を算出し、補正制御部１０３にてブロック毎に補正のパラメータを決定する。図１４の例では、各ブロック１６０１〜１６１２の輝度レベル平均は、ブロック１６０１＝４０、ブロック１６０２＝１５０、ブロック１６０３＝１９０、ブロック１６０４＝３０、ブロック１６０５＝４０、ブロック１６０６＝１８０、ブロック１６０７＝１７０、ブロック１６０８＝３０、ブロック１６０９＝３０、ブロック１６１０＝１８０、ブロック１６１１＝１７０、ブロック１６１２＝２０である。

画質補正部１０４で、画質補正としてゲイン補正を施す場合に、補正制御部１０３では、各ブロックの輝度レベル平均が９０になるようにゲイン補正のパラメータを決定する。すなわち、各ブロック１６０１〜１６１２に施すゲイン補正のパラメータは、ブロック１６０１＝×９/４、ブロック１６０２＝×３/５、ブロック１６０３＝×９/１９、ブロック１６０４＝×３、ブロック１６０５＝×９/４、ブロック１６０６＝×１/２、ブロック１６０７＝×９/１７、ブロック１６０８＝×３、ブロック１６０９＝×３、ブロック１６１０＝×１/２、ブロック１６１１＝×９/１７、ブロック１６１２＝×９/２のように決定される。

ここで、図１４におけるブロック１６０１とブロック１６０２とに着目すると、ブロック１６０１、ブロック１６０２の補正のパラメータは各々、×９/４、×３/５と決定されるため、図１５に示すように、画質補正後の顔領域１７０２と顔領域１７０３との境界で輝度レベルに差が生じる。すなわち、顔領域内部に画質補正による輝度レベルの差が生じてしまうため、精度良く顔領域を検出することが困難である。

そこで、この実施の形態３では、補正制御部１０３にて、補正のパラメータを決定するブロックである注目ブロックの情報と、この注目ブロックの周辺の周辺ブロックの情報とに基づいて、注目ブロック内の画素毎に補正のパラメータを決定し、そのパラメータに従って画質補正部１０４にて画素毎に画質補正を行うようにしている。

以下、周辺ブロックを考慮した注目ブロックの画素毎の補正のパラメータ設定方法を説明する。

ここでは、図１６に示すように、入力画像サイズを３６×２７、実施の形態２によって入力画像が４×３にブロック分割（１ブロック：９×９）されたものとし、図１６における、例えば、ブロック１８０１を、補正のパラメータを決定して補正を行う注目ブロックとし、注目ブロック１８０１の情報と注目ブロック１８０１の周辺の周辺ブロック１８０２の情報とに基づいて、画素毎の補正のパラメータの決定方法を説明する。

図１６の例では、各ブロック１８０１〜１８１２の輝度レベル平均は、ブロック１８０１＝４０、ブロック１８０２＝１５０、ブロック１８０３＝１９０、ブロック１８０４＝３０、１８０５＝４０、ブロック１８０６＝１８０、ブロック１８０７＝１７０、ブロック１８０８＝３０、ブロック１８０９＝３０、ブロック１８１０＝１８０、ブロック１８１１＝１７０、ブロック１８１２＝２０である。

画質補正部１０４で、画質補正としてゲイン補正を施す場合に、補正制御部１０３では、先ず、図１７に示すように注目ブロック内の全画素に輝度レベル平均４０を割り振る。なお、図１７では、パラメータの決定の説明に関係する画素のみについて数値を記載している。

次に、図１６に示される注目ブロック１８０１と周辺ブロック１８０２との輝度レベル平均の差分、すなわち、１５０−４０＝１１０を算出し、注目ブロック１８０１の中心画素から周辺ブロック１８０２の中心画素まで、図１８に示すように、輝度レベルが段階的に変化するように、注目ブロック２００１(１８０１)の画素に割り振る。

すなわち、図１８に示すように注目ブロック２００１(１８０１)の中心画素の１つ右隣の画素の輝度レベルは、４０＋（１１０/９）×１＝５２で置き換え、２つ右隣の画素の輝度レベルは、４０＋（１１０/９）×２＝６４で置き換え、３つ右隣の画素の輝度レベルは、４０＋（１１０/９）×３＝７６で置き換え、４つ右隣の画素の輝度レベルは、４０＋（１１０/９）×４＝８８で置き換える。但し、小数点以下は切捨てる。

次に、置き換えた輝度レベルがレベル９０になるように、ゲイン補正のパラメータを画素毎に決定する。すなわち、注目ブロック１８０１の中心画素の補正パラメータは、×９/４、中心画素の１つ右隣の画素の補正パラメータは、×９０/５２、１つ右隣の画素の補正パラメータは、×９０/６４、１つ右隣の画素の補正パラメータは、×９０/７６、１つ右隣の画素の補正パラメータは、×９０/８８と決定する。

更に、同様の方法で、注目ブロック２００１(１８０１)の領域右下の画素毎の補正パラメータを決定する。図１９に示すように、注目ブロック２１０１(１８０１)の中心画素よりも下方の各画素の輝度レベルは、図１６に示すように、注目ブロック１８０１の下隣の周辺ブロック１８０５の輝度レベル平均が４０で注目ブロック１８０１と同じであるので、注目ブロック１８０１の中心画素と同じ輝度レベル４０とする。

注目ブロック１８０１の中心画素の右側の画素の補正パラメータの決定では、上述のように、右隣の周辺ブロック１８０２の輝度レベル平均１５０をそのまま用いたけれども、中心画素よりも下方の画素の補正パラメータの決定では、周辺ブロック１８０２の輝度レベル平均１５０をそのまま用いるのではなく、周辺ブロック１８０２の下隣の周辺ブロック１８０６の輝度レベル平均を用いて仮に置き換えた輝度レベルを用いる。

すなわち、図１６の周辺ブロック１８０２の情報と、その下隣の周辺ブロック１８０６の情報とに基づいて、上述と同様な方法で周辺ブロック１８０２における画素毎の輝度レベルの置き換えを、図２０の周辺ブロック２２０２（１８０２）に示すように仮に行い、それらを用いて、上述と同様にして注目ブロック１８０１の領域右下に含まれる残りの画素全てに対して輝度レベルの置き換えを行い、画素毎に置き換えたレベルがレベル９０になるようにゲイン補正のパラメータを決定する。

図２０に示す周辺ブロック２２０２(１８０２)の中心画素の下方の各画素の輝度レベルの仮の置き換えは、その下隣の周辺ブロック１８０６の輝度レベル平均１８０を用いて、上述と同様に行われる。

すなわち、周辺ブロック１８０２とその下隣の周辺ブロック１８０６との輝度レベル平均の差分、すなわち、１８０−１５０＝３０を算出し、周辺ブロック１８０２の中心画素から周辺ブロック１８０６の中心画素まで、輝度レベルが段階的に変化するように、周辺ブロック１８０２の画素に割り振る。これによって、周辺ブロック１８０２は、図２０の周辺ブロック２２０２に示すように、中心画素の１つ下の画素の輝度レベルは、１５３に仮に置き換えられ、２つ下の画素の輝度レベルは、１５６に仮に置き換えられ、３つ下の画素の輝度レベルは、１５９に仮に置き換えられ、４つ下の画素の輝度レベルは、１６３に仮に置き換えられる。

この周辺ブロック２２０２の仮に置き換えられた輝度レベルを用いて、上述と同様に、輝度レベルが段階的に変化するように、注目ブロック１８０１の領域右下の各画素の輝度レベルが、図２０の注目ブロック２２０１（１８０１）に示すように置き換えられる。

さらに、それらを用いて注目ブロック１８０１の領域右下に含まれる残りの画素全てに対して、画素毎に置き換えた輝度レベルが、レベル９０になるようにゲイン補正のパラメータを決定する。

また、図２１に示すように同様な方法で注目ブロック１８０１の領域右上、左下、左上に対して画素毎に輝度レベルの置き換えを行い、画素毎に置き換えた輝度レベルがレベル９０になるようにゲイン補正のパラメータを決定する。

この場合、注目ブロック１８０１の右上の領域の画素の輝度レベルの置き換えには、周辺ブロック１８０２の輝度レベルを用いるが、周辺ブロック１８０２の上方には、ブロックが存在しないために、周辺ブロック１８０２の中心画素よりも上方の画素の輝度レベルは、図２１の周辺ブロック２３０２（１８０２）に示すように１５０となる。

また、注目ブロック１８０１は、図１６に示すように、入力画像の左上端のブロックであり、上隣と左隣とにブロックが存在しないため、注目ブロック１８０１の領域左上は輝度レベル平均である４０で置き換えた。

次に、補正を行う注目ブロックを、ブロック１８０２とし、左隣の周辺ブロック１８０１の情報に基づいて、上述と同様にして注目ブロック１８０２の左側の輝度レベルの置き換えを行うと、図２２のブロック２４０２に示すようになる。

以下同様にして、入力画像の各ブロックを順次注目ブロックとして、その周辺のブロックの情報を用いて補正のパラメータを順次決定する。

以上の説明のとおり、本発明は補正制御部１０３にて注目ブロックの情報と注目ブロックの周辺ブロックの情報とに基づいて、注目ブロック内の画素毎に補正のパラメータを決定し、そのパラメータに従って画質補正部１０４にて画素毎に画質補正を行うことにより、ブロック境界で輝度レベルの差を低減して、精度良く顔領域を検出することが出来る。

（実施の形態４）
上述の実施の形態２，３では、ブロックデータ分割部１０２で、分割数を自由に決定することができる場合に関して説明したが、以下でブロック数が固定となっている場合に対して説明を行う。

ブロック数が固定されている場合、実際の顔領域サイズとブロックサイズとが異なる場合があるため、精度良く顔領域を検出することが困難である。

そこで、この実施の形態４では、顔領域検出部１０５にて想定する顔領域のサイズに応じて仮想的にブロックを結合し、補正制御部１０３にて仮想的な結合した結合ブロック毎のパラメータの決定を行う。

以下、仮想的にブロックを結合する方法及び仮想ブロック毎のパラメータの決定方法を説明する。

図２３に示すように入力画像サイズがQVGA（３２０×２４０）、ブロック数が８×６（１ブロック：４０×４０）に固定されており、また、顔領域が８０×８０のサイズ２４０５と想定されている場合、各ブロックを顔領域のサイズに近くなるように仮想的にブロックを結合する。図２４に仮想的に結合したブロックを示す。図２３におけるブロック２４０１、２４０２、２４０３、２４０４は仮想的に結合されて図２４における結合ブロック２５０１となり、ブロック２５０１の輝度レベル平均は結合した各ブロックの輝度レベル平均の平均とする。即ち、結合ブロック２５０１の輝度レベル平均は、（５０＋４０＋４０＋３０）/４＝４０となる。画質の補正にゲイン補正を施す場合、補正制御部１０３にて結合ブロック２５０１の輝度レベル平均が９０になるようにゲイン補正のパラメータを決定する。すなわち、結合ブロック２５０１に施すゲイン補正のパラメータは、×９/４に決定する。決定した結合ブロック２５０１のゲイン補正のパラメータは、仮想的に結合された各ブロックのゲイン補正のパラメータとなる。以降の処理は、実施の形態２及び３と同様である。

以上の説明のとおり、本発明は、ブロック数が固定となっている場合に対して、顔領域検出部１０５にて想定する顔領域のサイズに応じて仮想的にブロックを結合し、補正制御部１０３にて仮想的に結合した結合ブロック毎のパラメータの決定を行うことにより、精度良く顔領域を検出することが出来る。

なお、ブロック数が固定されている場合のブロックのサイズが、想定される顔領域のサイズよりも大きいときには、各ブロックを顔領域のサイズに近くなるように仮想的に分割すればよい。

上述の各実施の形態１〜４で説明してきたブロック毎及び画素毎の補正のパラメータの決定方法はあくまで一例に過ぎず、様々な改変が可能であることは言うまでもない。

本発明によって、低照度や逆光等により黒つぶれや白とびが発生する撮影環境下においても精度良く顔領域を検出することが可能になり、デジタルカメラ、監視カメラ及びドアフォンカメラなどに有用である。

本発明に係る画像処理装置を含む撮像装置の構成図である。 図１の動作説明に供するフローチャートである。 実施の形態１のブロック分割を示す図である。 実施の形態１のγ特性を示す図である。 実施の形態１の画質補正後の画像を示す図である。 実施の形態２の入力画像を示す図である。 図６の入力画像を実施の形態１でブロック分割した場合を示す図である。 実施の形態１による画質補正後の画像を示す図である。 実施の形態２のブロック分割を示す図である。 実施の形態２の画質補正後の画像を示す図である。 実施の形態２のブロック分割を示す図である。 実施の形態２の画質補正後の画像を示す図である。 実施の形態３の入力画像を示す図である。 図１３の入力画像を、実施の形態２でブロック分割した場合を示す図である。 実施の形態２による画像補正後の画像を示す図である。 実施の形態３のブロック分割を示す図である。 実施の形態３の補正パラメータの決定手順を説明するための図である。 実施の形態３の補正パラメータの決定手順を説明するための図である。 実施の形態３の補正パラメータの決定手順を説明するための図である。 実施の形態３の補正パラメータの決定手順を説明するための図である。 実施の形態３の補正パラメータの決定手順を説明するための図である。 実施の形態３の補正パラメータの決定手順を説明するための図である。 実施の形態４の入力画像のブロック分割を示す図である。 実施の形態４の入力画像の仮想的なブロック結合を示す図である。 従来例の構成図である。 従来の課題を説明するための入力画像を示す図である。

符号の説明

１０１ 画像データメモリ
１０２ ブロックデータ分割部
１０３ 補正制御部
１０４ 画質補正部
１０５ 顔領域検出部
１１４ 画像処理装置

Claims (12)

1. 画像データに基づく画像を複数のブロックに分割したときの各ブロックの画像データの情報に基づいて、前記画像の画質を、ブロック毎に補正することを特徴とする画像処理方法。
2. 入力された画像データを記憶する画像データメモリと、前記画像データに基づく画像を複数のブロックに分割した各ブロックの画像データを生成するデータ分割部と、前記画像の画質を補正する画質補正部と、前記画質補正部による画質の補正を、前記データ分割部で分割された各ブロックの画像データの情報に基づいて、ブロック毎に制御する補正制御部とを備えたことを特徴とする画像処理装置。
3. 前記データ分割部は、前記画像を分割するブロック数を変更可能である請求項２に記載の画像処理装置。
4. 前記画像の特定領域を検出する特定領域検出部を備え、
   前記データ分割部は、前記特定領域検出部で検出する前記特定領域の大きさに応じて、前記画像を分割するブロック数を決定する請求項３に記載の画像処理装置。
5. 前記画像の特定領域を検出する特定領域検出部を備え、
   前記データ分割部は、前記画像を分割するブロック数が固定であり、
   前記補正制御部は、前記特定領域検出部で検出する前記特定領域の大きさに応じて、複数の隣接するブロックを結合するとともに、結合した結合ブロックの画像データの情報に基づいて、前記画質補正部による補正を、前記結合ブロック毎に制御する請求項２に記載の画像処理装置。
6. 前記補正制御部は、前記画質補正部で画質を補正するブロックである注目ブロック毎に、当該注目ブロックのみの画像データの情報に基づいて、前記画質補正部による画質の補正を制御する請求項２〜５のいずれか一項に記載の画像処理装置。
7. 前記補正制御部は、前記画質補正部で画質を補正するブロックである注目ブロック毎に、当該注目ブロックおよびその周辺の周辺ブロックの画像データの情報に基づいて、前記注目ブロックに含まれる画素単位で、前記画質補正部による画質の補正を制御する請求項２〜５のいずれか一項に記載の画像処理装置。
8. 前記画像の画質補正、および、前記特定領域の検出を行うか否かを切り替える切り替え手段を有する請求項４または５に記載の画像処理装置。
9. 前記特定領域が、人の顔の領域である請求項４、５または８のいずれか一項に記載の画像処理装置。
10. 前記データ分割部で分割した前記ブロックの画像データを記憶するためのブロックデータメモリを備え、前記ブロックの画像データを、前記画像データメモリまたは前記ブロックデータメモリのいずれのメモリに記憶させるかを選択可能とした請求項２〜９のいずれか一項に記載の画像処理装置。
11. モニタモード及び動画モードで前記画質補正を行なう請求項２〜１０のいずれか一項に記載の画像処理装置。
12. 光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、前記撮像素子から出力される撮像信号をデジタル信号に変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部から出力されるデジタル信号に対してデジタル処理を施すデジタル信号処理部と、前記デジタル信号処理部から出力される画像データに対して処理を行う請求項１〜１１のいずれか一項に記載の画像処理装置と、前記画像処理装置から出力される画像処理後の画像データを外部へ出力する画像データ出力部とを備えたことを特徴とする撮像装置。

Images