JP3784806B2

JP3784806B2 - デジタルオートホワイトバランス装置

Info

Publication number: JP3784806B2
Application number: JP2004010631A
Authority: JP
Inventors: 亨晩朴; 愿太崔; ▲而▼ ▲吉▼ 李; 江柱金; 釜東廓; 相 ▲玄▼ 朴
Original assignee: 三星電機株式会社
Priority date: 2003-12-03
Filing date: 2004-01-19
Publication date: 2006-06-14
Anticipated expiration: 2024-01-19
Also published as: CN1625267A; KR20050053864A; DE102004001890A1; US7319483B2; KR100513342B1; US20050122408A1; CN100350804C; JP2005167956A; DE102004001890B4

Description

本発明はカメラホンのような携帯用画像システムに適用できるデジタルホワイトバランス装置に関するもので、とりわけグレイワールドアルゴリズムを適用してデジタル処理方式で簡素に具現することにより、別途のメモリーや高性能プロセッサ無しでもリアルタイム処理が可能で、イメージセンサと独立的に動作しイメージデータを高速処理できるデジタルオートホワイトバランス装置に関するものである。

一般にホワイトバランス（ｗｈｉｔｅｂａｌａｎｃｅ）は白色を基準に撮影する際ＴＶカメラのカラーバランスを調整するもので、光には色温度という特有の色があり、単位はＫ（ケルビン）で表示する。通常人間は風景などの景色が如何なる色温度の光に照らされても自動的に色への感受性を調節するので、色彩に対する認識差が生じない。しかし、ＴＶカメラやフィルムカメラは色温度がそのまま色彩に反映されるので影響が大きくなってくる。

例えば、晴れた天気の日差しは色温度が高いので画面全体が青色に見えるが、日出／日没の時間帯は色温度が低いので赤くなる。こうした環境において如何なる処理も施さずそのまま撮影すると光源の色温度に応じて画面全体が青になったり赤になったりする欠点がある。こうした欠点を防止すべく、撮影に先立って光源を白紙などに反射させ、それを投影しながらきれいな白色で再現されるＲＧＢ（赤／緑／青）カラーバランスを調整する。家庭用カメラ一体型ビデオテープ録画機（ＶＴＲ）は殆どの機種にオートホワイトバランス機能が搭載されるので、このような調整はカメラで自動的に行われる。

最近、カメラホンの需要が増加する中、デジタルカメラレベルの高画質イメージ（Ｉｍａｇｅ）が要求され、これに伴ってカメラホンに適したイメージ処理ＩＣも共に要求される現状である。一方、ホワイトバランス（ＷｈｉｔｅＢａｌａｎｃｅ）は高画質映像を再現するための映像処理技法の一つとして、各々異なる色温度を有する照明条件において撮影すると、ＣＭＯＳまたはＣＣＤイメージセンサの場合、ホワイトを確実に認識できず撮影したイメージの赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分が一方に偏向し映像の色調が歪曲される現象を補正する役目を果たす。こうして、かかるホワイトバランス装置は高画質を要求するカメラホンには必需的である。

図８は一般的なＣｂ−Ｃｒの２次元色座標系グラフである。図８によると、通常オートホワイトバランスを行うための諸方法のうち、もっとも簡単且つ具現し易いものはグレイワールド（ＧｒｅｙＷｏｒｌｄ）アルゴリズムで、このアルゴリズムは一つのイメージに対する全体ピクセル（Ｐｉｘｅｌ）の色差成分平均がグレイ（Ｇｒｅｙ）であるとの仮定に基づきホワイトバランスのためのピクセル利得、即ちホワイトバランス係数を求めるのである。図８に示したＲＧＢ色座標系においてグレイは「Ｒ＝Ｇ＝Ｂ」で定義される。

例えば、イメージのピクセル深さ（Ｄｅｐｔｈ）が８ビットとすると、「ＩＴＵ−ＲＢＴ．６０１」が勧奨している下記数１の「ＲＧＢ−ｔｏ−ＹＣｂＣｒ色座標系変換式」において色差成分である「Ｃｂ及びＣｒ」は各々１２８となり、これによりホワイトバランスは図８に示したように色差成分平均がホワイトバランスポイント（Ｃｂ＝Ｃｒ＝１２８）から離れた距離ｄを最小化する方向へ各ピクセルの利得を調節し具現することができる。

このように、オートホワイトバランスのためのピクセル利得を調節する従来の方法には大別してアナログ利得調節方式とデジタルイメージ処理方式があるが、これに対しては図９及び図１０を参照しながら説明する。

図９は従来のアナログ方式のホワイトバランスを行うアナログ信号処理器の構成図である。図９に示した従来のアナログ方式のホワイトバランスを行うイメージ信号処理器は、レンズ（９２１）を通した被写体の映像を撮像して信号処理するアナログ信号処理器（９２２）と、上記アナログ信号処理器（９２２）からのＲＧＢアナログ信号をＹＣｂＣｒ信号に変換するＲＧＢ−ｔｏ−ＹＣｂＣｒコンバーター（９２３）と、上記ＲＧＢ−ｔｏ−ＹＣｂＣｒコンバーター（９２３）からのＹＣｂＣｒ信号中色差信号の平均を求めるＣｂ＆Ｃｒ平均器（９２４）と、上記Ｃｂ＆Ｃｒ平均器（９２４）からの信号に基づきＲＧＢ利得を求めて上記アナログ信号処理器（９２２）に出力するＲＧＢ利得制御器（９２５）とを含む。

上記アナログ信号処理器（９２２）は、上記レンズを通して入射する被写体の映像を撮像するフォトセル（Ａ）と、上記ＲＧＢ利得制御器（９２５）からの利得で上記フォトセル（Ａ）からの映像信号の利得を調節するＲＧＢゲイン利得増幅部（Ｂ）と、上記ＲＧＢゲイン利得増幅部（Ｂ）からの信号をデジタル信号に変換して出力するＡ／Ｄコンバーター（Ｃ）とを含む。

こうした従来のイメージ信号処理器におけるアナログ方式のホワイトバランス過程をみると、色差成分の平均を計算してホワイトバランスが成立するまで、上記センサ内部のＲＧＢ各チャネル別増幅部利得を調節するフィードバック（Ｆｅｅｄｂａｃｋ）構造となっている。

しかし、こうした従来のアナログ方式のホワイトバランスはアナログ利得を調節するので比較的精密な操作が可能という利点はあるが、アナログ利得を調節するポートが存在しないセンサであったりセンサ自体に利得調節機能が内蔵されていない場合には、こうした方法が適用できないという問題があり、またアナログ増幅器の利得特性を正確に知らないと具現し難いという問題も抱えている。

図１０は従来のデジタル方式のホワイトバランスを行うイメージ信号処理器である。図１０に示した従来のイメージ信号処理器はデジタル方式のホワイトバランスを行うが、ここでオートホワイトバランスを具現する異なる方式として、ホワイトバランスアルゴリズムをプログラム化しデジタル信号処理器（ＤＳＰ）またはマイクロコントローラ（Ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒ）を用いて具現する方法である。

こうした従来のデジタル方式のホワイトバランスを行うイメージ信号処理器は、レンズ（９３１）を通して入射される被写体の映像を撮影するイメージセンサ部（９３２）と、上記イメージセンサ部（９３２）からの映像信号に対する利得を調節する高性能デジタル信号処理器（９３３）（またはマイクロコントローラ）と、上記高性能デジタル信号処理器（９３３）におけるリアルタイムイメージ処理のために一時的にイメージデータとプログラムを記憶するメモリー（９３４）とを含む。

一方、カメラのビューファインダ（ｖｉｅｗｆｉｎｄｅｒ）機能のために、例えば約３０万画素イメージの場合には１秒当たり３０フレーム（３０ｆｒａｍｅ／ｓ）以上のフレームレート（ｆｒａｍｅｒａｔｅ）が要求され、または約１００万画素以上のイメージの場合には１秒当たり最小１５フレーム（１５ｆｒａｍｅ／ｓ）以上のフレームレートが要求されるが、このように高いフレームレートを具現するためには、図１０に示したように、高速で動作できる高性能デジタル信号処理器（ＤＳＰ）またはマイコム（マイコン）が必要で、場合によっては追加的なメモリーが必要になりもする。

このような従来のデジタル処理方式はデジタル信号処理器（ＤＳＰ）またはマイコムを用いることによりアルゴリズムをプログラムで具現しシステムの柔軟性（Ｆｌｅｘｉｂｉｌｉｔｙ）を高める利点があるが、カメラホンなどの携帯用画像システムのように低電力化、小型化を要求するシステムへの適用には不都合であり、また高価の汎用プロセッサを使用するのでシステム価格の上昇を招く問題もある。

本発明は上記諸問題を解決するためのもので、その目的は、グレイワールドアルゴリズムを適用しデジタル処理方式で簡素に具現することにより、別途のメモリーや高性能プロセッサ無しでもリアルタイム処理が可能で、イメージセンサと独立的に動作してイメージデータを高速処理できるデジタルオートホワイトバランス装置を提供することにある。

上記した本発明の目的を成し遂げるために、本発明のデジタルオートホワイトバランス装置は、入力されるイメージの垂直同期信号と水平同期信号の入力を受けてタイミング制御信号を生成するタイミング制御部；入力される入力ＲＧＢイメージデータに各チャネル別に与えられたＲＧＢ利得を乗ずるＲＧＢ乗算部；入力される入力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換後、このＹＣｂＣｒイメージデータに対する第１のＹＣｂＣｒ平均を求める第１のＹＣｂＣｒ平均部；上記ＲＧＢ乗算部から出力される出力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換後、このＹＣｂＣｒイメージデータに対する第２のＹＣｂＣｒ平均を求める第２のＹＣｂＣｒ平均部；及び、上記タイミング制御部のタイミング制御信号に応じて、上記第２のＹＣｂＣｒ平均と予め設定したＹＣｂＣｒ目標平均とを各々比較し、この比較結果により上記第１のＹＣｂＣｒ平均を利用して各チャネル別利得を求め上記ＲＧＢ乗算部に与えるＲＧＢ利得制御部を具備することを特徴とする。

先述したような本発明によると、別途のメモリーや高性能プロセッサ無しで低コストで具現でき、ハードウェア構造が簡単で比較的小面積に具現できる利点がある。デジタル映像処理方式である為イメージセンサのアナログ利得調節のようなセンサに対する別途の操作無しでもセンサと独立的に動作可能な利点があり、イメージデータに対してｏｎ−ｔｈｅ−ｆｌｙでポイント処理（ＰｏｉｎｔＰｒｏｃｅｓｓｉｎｇ）を行う為入力イメージに対して高速処理が可能でビューファインダ機能のようなイメージプレビュー（Ｐｒｅｖｉｅｗ）時にメモリー無しでリアルタイムホワイトバランス動作が可能である。

本発明の好ましき実施の形態を添付した図面を参照しながら詳しく説明する。本発明が参照する図面において実質的に同一な構成と機能を有する構成要素には同一符号を付ける。

図１は本発明が適用されるイメージ信号処理装置の構成図である。図１によると、本発明が適用されるイメージ信号処理器はカメラホンのような携帯用画像システムに適用され、これはレンズ（４１）を通した被写体の映像を撮影するイメージセンサ部（４２）と、上記イメージセンサ部（４２）からのイメージデータを処理するイメージ信号処理器（４３）とで成る得るが、ここで、本発明のデジタルオートホワイトバランス装置はイメージ信号処理器（４３）に含まれイメージに対するホワイトバランスを行う。

図２は本発明によるデジタルオートホワイトバランス装置の構成図である。図２によると、本発明によるデジタルオートホワイトバランス装置は入力されるイメージの垂直同期信号（Ｖｓｙｎｃ）と水平同期信号（Ｈｓｙｎｃ）の入力を受けてタイミング制御信号を生成するタイミング制御部（５１０）と、入力される入力ＲＧＢイメージデータ（Ｒ入力、Ｇ入力、Ｂ入力）に各チャネル別に与えられるＲＧＢ利得を乗ずるＲＧＢ乗算部（５２０）と、入力される入力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換後、このＹＣｂＣｒイメージデータに対する第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）を求める第１のＹＣｂＣｒ平均部（５３０）と、上記ＲＧＢ乗算部（５２０）から出力される出力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換後、このＹＣｂＣｒイメージデータに対する第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）を求める第２のＹＣｂＣｒ平均部（５４０）と、そして上記タイミング制御部（５１０）のタイミング制御信号に応じて上記第２ＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）と予め設定したＹＣｂＣｒ目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）とを各々比較し、この比較結果により上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）を利用して各チャネル別利得（Ｒｇ、Ｇｇ、Ｂｇ）を求めて上記ＲＧＢ乗算部（５２０）に与えるＲＧＢ利得制御部（５５０）とを含む。

上記第１のＹＣｂＣｒ平均部（５３０）は、上記入力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換する第１のＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器（５３２）と、上記第１のＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器（５３２）からのＹＣｂＣｒイメージデータに対する第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）を求める第１のＹＣｂＣｒ平均器（５３４）とを含む。

また、上記第２の入力ＹＣｂＣｒ平均部（５４０）は、上記出力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換する第２のＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器（５４２）と、上記ＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器（５４２）からのＹＣｂＣｒイメージデータに対する第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）を求める第２のＹＣｂＣｒ平均器（５４４）とを含む。

上記ＲＧＢ利得制御部（５５０）は予めコース／ファイン／ロック（Ｃｏａｒｓｅ／Ｆｉｎｅ／Ｌｏｃｋ）領域を設定しておき、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）が上記コースまたはファイン領域であれば各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を再計算して上記ＲＧＢ乗算器（５２０）に与え、反面ロック領域であれば以前のチャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を上記ＲＧＢ乗算器（５２０）に与えるよう作動する。

また、上記ＲＧＢ利得制御部（５５０）は、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）がコース領域の場合に上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を予め設定したコースステップ（ＣｏａｒｓｅＳｔｅｐ）を利用して変更するが、即ち上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）と目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）とを比較し、この比較結果により上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を上記コースステップ（ＣｏａｒｓｅＳｔｅｐ）で加算または減算して変更し、上記変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）、及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を計算するよう構成されることができる。

上記ＲＧＢ利得制御部は上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）がファイン領域であれば上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を予め設定したファインステップ（ＦｉｎｅＳｔｅｐ）を利用して変更するが、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）と目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）とを比較し、この比較結果により上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を上記ファインステップ（ＦｉｎｅＳｔｅｐ）で加算または減算して変更し、上記変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）、及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を計算するよう構成される。

一方、Ａ／Ｄ変換解像度（画素深さ＝Ｎ）を考慮すると、上記ＲＧＢ利得制御部（５５０）は予め設定したＡ／Ｄ変換解像度（２^Ｎ−１）、上記変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を計算することが好ましい。

しかも、上記ＲＧＢ利得制御部（５５０）は使用者の選択によるＲＧＢ利得エンエーブル／ディスエーブルに応じて動作が選択されるが、ＲＧＢ利得エンエーブルの場合にはＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を再計算して与え、ＲＧＢ利得ディスエーブルの場合には予め設定した基本ＲＧＢ利得を与えることを特徴とするデジタルオートホワイトバランス装置である。

以下、本発明の作用及び効果を添付の図面を参照しながら詳しく説明する。本発明はカメラホンなどの携帯用画像システムに適用できるデジタルホワイトバランス装置において、グレイワールドアルゴリズムを適用してデジタル処理方式で簡素に具現することにより、別途のメモリーや高性能プロセッサ無しでもリアルタイム処理が可能で、イメージセンサと独立的に動作しイメージデータを高速処理できるが、これについては図１及び図７を参照に説明する。

先ず、図１によると、本発明のデジタルオートホワイトバランス装置が適用されるイメージ信号処理器（４３）（ＩｍａｇｅＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）はイメージセンサ部（４２）から原始イメージを受けてラインバッファ（Ａ）に一時的に記憶後、第１、第２イメージ処理器（Ｂ、Ｄ）を通してイメージが改善され、ホワイトバランス装置（Ｃ）においてオートホワイトバランスが行われ、以後出力フォーマッタ（Ｅ）（ＯｕｔｐｕｔＦｏｒｍａｔｔｅｒ）から結果イメージを出力する。この際、出力イメージはＹＣｂＣｒが通常の形態である。

一方、上記第１、第２イメージ処理器（Ｂ、Ｄ）はイメージ処理及び改善を行う部分で、インターポレーション（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、カラー空間変換（ＣｏｌｏｒＳｐａｃｅＣｏｎｖｅｒｓｉｏｎ）、ガンマ補正（ＧａｍｍａＣｏｒｒｅｃｔｉｏｎ）、ノイズ除去（ＮｏｉｓｅＲｅｄｕｃｔｉｏｎ）、色相／飽和（Ｈｕｅ／Ｓａｔｕｒａｔｉｏｎ）、明度／コントラスト（Ｂｒｉｇｈｔｎｅｓｓ／Ｃｏｎｔｒａｓｔ）、ヒストグラム均等化（ＨｉｓｔｏｇｒａｍＥｑｕａｌｉｚａｔｉｏｎ）などがこれに該当する。そして、ビデオイメージの入力を受けてグレイワールドホワイトバランスアルゴリズムを適用しリアルタイムでオートホワイトバランスを行うために、図３及び図４に示したようなホワイトバランスのためのＲＧＢ利得の最適値または目標値を探す一連の過程が行われる。

図２によると、先ず、本発明のデジタルオートホワイトバランス装置のタイミング制御部（５１０）は入力されるイメージの垂直同期信号（Ｖｓｙｎｃ）と水平同期信号（Ｈｓｙｎｃ）の入力を受けてタイミング制御信号を生成し各部の動作タイミングを制御する。

本発明のＲＧＢ乗算部（５２０）は入力される入力ＲＧＢイメージデータに各チャネル別に与えられるＲＧＢ利得を乗じてＲＧＢイメージデータを出力する。ここで、上記ＲＧＢ利得は下記に説明されるＲＧＢ利得制御部（５５０）から提供される。

また、本発明の第１のＹＣｂＣｒ平均部（５３０）は入力される入力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換後、このＹＣｂＣｒイメージデータに対する第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）を求める。これについて具体的に説明すると、上記第１のＹＣｂＣｒ平均部（５３０）の第１のＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器（５３２）が上記入力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換して第１のＹＣｂＣｒ平均器（５３４）に出力すると、上記第１のＹＣｂＣｒ平均器（５３４）は上記第１のＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器（５３２）からのＹＣｂＣｒイメージデータに対する第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）を求めて上記ＲＧＢ利得制御部（５５０）に与える。

前述した上記第１のＹＣｂＣｒ平均部（５３０）の動作と同様、本発明の第２のＹＣｂＣｒ平均部（５４０）は上記ＲＧＢ乗算部（５２０）から出力される出力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換後、このＹＣｂＣｒイメージデータに対する第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）を求める。これについて具体的に説明すれば、上記第２のＹＣｂＣｒ平均部（５４０）の第２のＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器（５４２）が上記出力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換して第２のＹＣｂＣｒ平均器（５４４）に出力すると、上記第２のＹＣｂＣｒ平均器（５４４）は上記ＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器（５３２）からのＹＣｂＣｒイメージデータに対する第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）を求めて上記ＲＧＢ利得制御部（５５０）に与える。

前述したように、上記第１のＹＣｂＣｒ平均部（５３０）及び第２のＹＣｂＣｒ平均部（５４０）は図３に示したように、イメージデータを読み込んで累積し続けながら一つのフレームに対するイメージデータを全て読み込むと（Ｓ６１−Ｓ６４）、この読み込んだイメージデータに対する平均を各々求める（Ｓ６５）。

以後、上記ＲＧＢ利得制御部（５５０）は上記タイミング制御部（５１０）のタイミング制御に応じて、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）と予め設定したＹＣｂＣｒ目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）とを各々比較して、この比較結果により上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）を利用して各チャネル別利得（Ｒｇ、Ｇｇ、Ｂｇ）を求めて上記ＲＧＢ乗算部（５２０）に与えると、上記ＲＧＢ乗算部（５２０）は前述したように、入力される入力ＲＧＢイメージデータに上記ＲＧＢ利得制御部（５５０）からの各チャネル別ＲＧＢ利得を乗じてＲＧＢイメージデータを出力する。

以下、上記ＲＧＢ利得制御部（５５０）の動作について詳しく説明する。先ず、図２ないし図４によると、上記ＲＧＢ利得制御部（５５０）には予めステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、Ａ／Ｄ変換解像度（２^Ｎ−１）のＮ、ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を設定し（Ｓ７１）、次にコースステップ（ＣｏａｒｓｅＳｔｅｐ）、ファインステップ（ＦｉｎｅＳｔｅｐ）、コース／ファイン／ロック領域を設定すべく各領域の境界を定義するａ、ｂ、ｃ及びｄ、そして各チャネル別目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を設定しておく（Ｓ７２）。ここで、コース／ファイン／ロック境界（Ｃｏａｒｓｅ／Ｆｉｎｅ／ＬｏｃｋＢｏｕｎｄａｒｙ）はＹＣｂＣｒ平均を各領域で割るとａ、ｂ、ｃ、ｄ値に該当する。

続いて、前述したように、上記ＲＧＢ利得制御部（５５０）に上記第１のＹＣｂＣｒ平均部（５３０）及び第２のＹＣｂＣｒ平均部（５４０）から求めた第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）及び第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）が入力される（Ｓ７３）。

次に、上記ＲＧＢ利得制御部（５５０）は上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）がコースに含まれるか、ファイン領域に含まれるか、それともロック領域に含まれるか否かを各々判断する（Ｓ７４）。この際、上記判断した結果、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）がコースまたはファイン領域であれば各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を再計算して更新し（Ｓ７５−７９）上記ＲＧＢ乗算器（５２０）に与え、反面ロック領域であれば以前のチャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を上記ＲＧＢ乗算器（５２０）に与えるようになっている。

以下、上記ＲＧＢ利得制御部（５５０）においてステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を決定する過程について説明すれば次のとおりである。

図４によると、上記ＲＧＢ利得制御部（５５０）は上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）がコース領域であれば上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を予め設定したコースステップ（ＣｏａｒｓｅＳｔｅｐ）を利用して変更するが、即ち上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）と目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）とを比較し、この比較結果により上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を上記コースステップ（ＣｏａｒｓｅＳｔｅｐ）で加算または減算して変更する（Ｓ７６）。

また、図４によると、上記ＲＧＢ利得制御部（５５０）は上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）がファイン領域であれば上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を予め設定したファインステップ（ＦｉｎｅＳｔｅｐ）を利用して変更するが、即ち上記ＲＧＢ利得制御部は上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）と目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）とを比較し、この比較結果により上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を上記ファインステップ（ＦｉｎｅＳｔｅｐ）で加算または減算して変更する（Ｓ７７）。

ここで、上記コースステップ（ＣｏａｒｓｅＳｔｅｐ）はコース領域においてホワイトバランス目標値を探すステップ（Ｓｔｅｐ）の数値で、上記ファインステップ（ＦｉｎｅＳｔｅｐ）はファイン領域においてホワイトバランス目標値を探すステップの数値である。そして、目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）は各Ｙ、Ｃｂ、Ｃｒの各チャネルに該当するホワイトバランス目標値である。

このようにステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）が決定されたら、上記ＲＧＢ利得制御部は予め設定したＡ／Ｄ変換解像度（２^Ｎ−１）、上記変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を下記数２のように計算する（Ｓ７８）。

上記ＲＧＢ利得制御部（５５０）は上記数２のように計算されたＲＧＢ利得で以前のＲＧＢ利得を更新し、上記ＲＧＢ乗算部（５２０）に出力する。他方、本発明の上記ＲＧＢ利得制御部（５５０）はＲＧＢ利得エンエーブル／ディスエーブルに応じて動作が選択されるが、ＲＧＢ利得エンエーブルであればＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を再計算して提供し、ＲＧＢ利得ディスエーブルの場合には予め設定した基本ＲＧＢ利得を提供する。

図５（Ａ）、５（Ｂ）及び図６は測定ＹＣｂＣｒ平均−ＲＧＢ利得、ＲＧＢ利得−測定ＹＣｂＣｒ平均、及びホワイトバランス探索グラフである。ここで、本発明において提案した０から２^Ｎ−１（Ｎ：画素深さ（ＰｉｘｅｌＤｅｐｔｈ））までのコードレベルを有する入力イメージに対するホワイトバランス係数探索アルゴリズムの概念を説明するため曲線Ａと曲線Ｂを示す。

ここで、ＹＣｂＣｒ平均測定値が目標値から離れた度合いに応じてコース、ファイン、ロック（Ｃｏａｒｓｅ、Ｆｉｎｅ、Ｌｏｃｋ）に区分し大きく五つの領域に分類したが、各領域の幅は最適ホワイトバランスを見出す探索速度とホワイトバランスが済んだ出力イメージの画質に影響を及ぼす。

図５（Ａ）ないし図６に示した五つの領域、即ち上記コース領域は目標値から遠く離れた地点で、コース領域においては目標値を探すステップをより大きくし、反面ファイン領域は目標値に近接した地点で、ファイン領域においては目標値を探すステップをより小さくする。そして、ロック領域はホワイトバランスの目標値にかなり近接した部分で、ホワイトバランス探索アルゴリズムを止めて入力イメージに適用するＲＧＢ利得を維持する。この際、ステップの数値はＲＧＢ利得を計算する際使用される調節可能な設定値で、また図５（Ａ）ないし図６の各領域を区分するａ、ｂ、ｃ、ｄ、目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）値もやはり調節可能な設定値である。通常イメージ入力が始まってから３〜４フレーム以内に所望のホワイトバランスレベルに到達するようになる。

図５（Ａ）は測定ＹＣｂＣｒ平均−ＲＧＢ利得に対するグラフで、図５（Ｂ）はＲＧＢ利得−測定ＹＣｂＣｒ平均グラフで、図６はホワイトバランス探索グラフである。

図５（Ａ）のグラフによると、曲線ＡはＹＣｂＣｒピクセル平均とＲＧＢ利得との関数関係利得＝ｆ（平均）を示すが、即ち関数ｆはビデオイメージがフレーム単位で入力され現フレームのＹＣｂＣｒピクセル平均（Ｍ１−Ｍ３）が求められた場合、次のフレームに適用するＲＧＢ利得（Ｇ１−Ｇ３）を意味する。

図５（Ｂ）によると、曲線ＢはＲＧＢ利得とＹＣｂＣｒピクセル平均との関数関係平均＝ｇ（利得）をあらわす。そして、関数ｇは現フレームの各ピクセルにＲＧＢ利得（Ｇ１−Ｇ３）を適用する際予測される次のフレームのＹＣｂＣｒ平均（Ｍ２−Ｍ４）を示す。

図５（Ａ）ないし図６によると、ＹＣｂＣｒ平均がｍ１のイメージが入力されると仮定してホワイトバランス探索アルゴリズムをより詳しく観察すると、例えば、曲線Ａから平均Ｍ１に対応するＲＧＢ利得はＧ１＝ｙ（Ｍ１）となり、ＲＧＢ利得Ｇ１を入力イメージに適用すると曲線ＢからＹＣｂＣｒ平均Ｍ２＝（Ｇ１）を得るようになる。こうした過程を経て、イメージのホワイトバランスレベルは比較的目標値に近接した状態ではあるが所望のレベルでない為再び同じ方法で新たな利得を探すことになる。

また、曲線Ａにおいて新たなＲＧＢ利得Ｇ２＝ｆ（Ｍ２）を適用すると、曲線ＢにおいてＹＣｂＣｒ画素平均Ｍ３＝ｇ（Ｇ２）を得るようになり、続いて同じ方法で新たなＲＧＢ利得Ｇ３＝ｆ（Ｍ３）を適用すると、イメージはＹＣｂＣｒ画素平均Ｍ４＝ｇ（Ｇ３）に変化し、イメージのＹＣｂＣｒ画素平均は漸次目標値に近接するようになる。

このような一連の過程を経てイメージのホワイトバランスレベルは「Ａ−Ｂ−Ｃ−Ｄ−Ｅ−Ｆ」などと漸次向上し所望のレベルに至るようになる。

図７は本発明によるタイムスケジューリングチャートである。図７によると、ＲＧＢ利得制御器動作の機能別タイムスケジューリング（ＴｉｍｅＳｃｈｅｄｕｌｉｎｇ）を示すが、現在のイメージに対して計算されたＲＧＢ利得は次のイメージに適用されることがわかり、ＲＧＢ利得の計算はイメージとイメージ間の垂直ブランク（ＶｅｒｔｉｃａｌＢｌａｎｋ）時間の間に行われる。

以上の説明は本発明の具体的な実施例に対する説明に過ぎず、本発明はこうした具体的な実施例に限定されるわけではなく、また本発明に対する上述の具体的な実施例からその構成の多様な変更及び改造が可能なことは本発明の属する技術分野において通常の知識を有する者にとっては明らかである。

本発明が適用されるイメージ信号処理装置の構成図である。本発明によるデジタルオートホワイトバランス装置の構成図である。本発明のホワイトバランス装置の全体動作過程を示したフローチャートである。本発明のホワイトバランス装置の詳細な動作過程を示したフローチャートである。（Ａ）、（Ｂ）は、測定ＹＣｂＣｒ平均−ＲＧＢ利得、ＲＧＢ利得−測定ＹＣｂＣｒ平均、及びホワイトバランス探索グラフである。測定ＹＣｂＣｒ平均−ＲＧＢ利得、ＲＧＢ利得−測定ＹＣｂＣｒ平均、及びホワイトバランス探索グラフである。本発明によるタイムスケジューリングチャートである。一般のＣｂ−Ｃｒ２次元色座標系グラフである。従来のアナログ方式のホワイトバランスを行うイメージ信号処理器の構成図である。従来のデジタル方式のホワイトバランスを行うイメージ信号処理器である。

符号の説明

５１０タイミング制御部
５２０ＲＧＢ乗算部
５３０第１のＹＣｂＣｒ平均部
５３２第１のＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器
５３４第１のＹＣｂＣｒ平均器
５４０第２のＹＣｂＣｒ平均部
５４２第２のＲＧＢ−ｔｏ−ＹＣｂＣｒ変換器
５４４第２のＹＣｂＣｒ平均器
５５０ＲＧＢ利得制御部
ＳＹ、ＳＣｂ、ＳＣｒステップＹ／Ｃｂ／Ｃｒ
２^Ｎ−１Ａ／Ｄ変換解像度
Ｒｇ、Ｇｇ、Ｂｇチャネル別利得
ＣｏａｒｓｅＳｔｅｐコースステップ
ＦｉｎｅＳｔｅｐファインステップ
ＴＹ、ＴＣｂ、ＴＣｒＹＣｂＣｒ目標平均
Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ第１のＹＣｂＣｒ平均
Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ第２のＹＣｂＣｒ平均

Claims

入力されるイメージの垂直同期信号（Ｖｓｙｎｃ）と水平同期信号（Ｈｓｙｎｃ）の入力を受けてタイミング制御信号を生成するタイミング制御部（５１０）と、
入力される入力ＲＧＢイメージデータに各チャネル別に与えられたＲＧＢ利得を乗ずるＲＧＢ乗算部（５２０）と、
入力される入力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換後、このＹＣｂＣｒイメージデータに対する第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）を求める第１のＹＣｂＣｒ平均部（５３０）と、
上記ＲＧＢ乗算部（５２０）から出力される出力ＲＧＢイメージデータをＹＣｂＣｒイメージデータに変換後、このＹＣｂＣｒイメージデータに対する第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）を求める第２のＹＣｂＣｒ平均部（５４０）と、
予めコース／ファイン／ロック領域を設定しておき、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）がコースまたはファイン領域の場合には各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を再計算して上記ＲＧＢ乗算器（５２０）に提供し、反面ロック領域の場合には以前のチャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を上記ＲＧＢ乗算器（５２０）に提供し、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）がコース領域の場合には上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を予め設定したコースステップ（ＣｏａｒｓｅＳｔｅｐ）を利用して変更し、この変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）、及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を計算するＲＧＢ利得制御部（５５０）と、
を有することを特徴とするデジタルオートホワイトバランス装置。
上記ＲＧＢ利得制御部は、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）と目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）とを比較し、この比較結果により上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を上記コースステップ（ＣｏａｒｓｅＳｔｅｐ）で加算または減算して変更し、この変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）、及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を計算することを特徴とする請求項１に記載のデジタルオートホワイトバランス装置。
上記ＲＧＢ利得制御部は、予め設定したＡ／Ｄ変換解像度（２^Ｎ−１）、上記変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）、及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を計算することを特徴とする請求項２に記載のデジタルオートホワイトバランス装置。
上記ＲＧＢ利得制御部は、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）がファイン領域の場合には上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を予め設定したファインステップ（ＦｉｎｅＳｔｅｐ）を利用して変更し、この変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）、及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を計算することを特徴とする請求項１に記載のデジタルオートホワイトバランス装置。
上記ＲＧＢ利得制御部は、上記第２のＹＣｂＣｒ平均（Ｙ２ａｖｇ、Ｃｂ２ａｖｇ、Ｃｒ２ａｖｇ）と目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）とを比較し、この比較結果に応じて上記ステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）を上記ファインステップ（ＦｉｎｅＳｔｅｐ）で加算または減算して変更し、この変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）、及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を計算することを特徴とする請求項４に記載のデジタルオートホワイトバランス装置。
上記ＲＧＢ利得制御部は、予め設定したＡ／Ｄ変換解像度（２^Ｎ−１）、上記変更されたステップＹ／Ｃｂ／Ｃｒ（ＳＹ、ＳＣｂ、ＳＣｒ）、上記第１のＹＣｂＣｒ平均（Ｙ１ａｖｇ、Ｃｂ１ａｖｇ、Ｃｒ１ａｖｇ）、及び目標平均（ＴＹ、ＴＣｂ、ＴＣｒ）を利用して各チャネル別ＲＧＢ利得（Ｒｇ、Ｇｇ、Ｂｇ）を計算することを特徴とする請求項５に記載のデジタルオートホワイトバランス装置。