JP4415318B2

JP4415318B2 - カラー画像の色ずれ補正方法及びカラー画像撮像装置

Info

Publication number: JP4415318B2
Application number: JP2005036769A
Authority: JP
Inventors: 仁卜部
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2004-04-27
Filing date: 2005-02-14
Publication date: 2010-02-17
Anticipated expiration: 2025-02-14
Also published as: US20050251019A1; JP2005341530A; US7623708B2

Description

本発明はカラー画像の色ずれ補正方法及びカラー画像撮像装置に係り、特にＲＧＢ等の各色面のカラー画像間のずれに伴って生じる色ずれの新規の判定技術に関する。

一般に、面順次のカラー画像撮像装置は、ＲＧＢのカラーフィルタを有する回転カラーフィルタを回転させるとともに、各カラーフィルタが撮影光学系の光軸上に移動するごとに、そのカラーフィルタを介して被写体を白黒撮像装置によって撮像し、各色に対応する画像を順次取り込み、その後、各画像を合成してカラー画像を得るようにしている。

この種の面順次のカラー画像撮像装置は、回転カラーフィルタの回転軸の振れやカラーフィルタの取付精度等により、各カラーフィルタの面と撮影光軸との直交精度を十分に確保することができず、そのため回転カラーフィルタの回転位置に応じて結像面での被写体像の位置がずれるという問題がある。

この問題を解決するために、特許文献１に記載の面順次カラーカメラは、回転カラーフィルタの回転にともなう光学像の変位に対応して２次元固体撮像素子を微小変位させるようにしている。即ち、特許文献１に記載の発明では、回転カラーフィルタが撮影光軸に対して傾斜している場合には、回転カラーフィルタの回転に伴って光学像のある一点は結像面上で円を描くことに着目し、回転カラーフィルタの回転に同期して２次元固体撮像素子を円運動させるようにしている。

その一方、カラーフィルタを切り替えて順次撮像を行うため、被写体が動いている場合にもカラーフィルタごとに結像面での被写体像の位置がずれるという問題がある。特許文献２には、面順次の各画像間の動きベクトル量を検出し、この動きベクトル量に応じて各画像の画素ずらしを行って色ずれを補正する技術が開示されている。尚、各画像間の動きベクトル量の検出は、各画像間で相関演算を行い、その相関が最大になるときのベクトル量を検出するようにしている。
特開平６−３１９１４３号公報特開平６−２１７３２８号公報

特許文献１に記載の発明は、回転カラーフィルタの面が撮影光軸に対して所定の角度だけ傾斜しており、この傾斜した回転カラーフィルタの回転にともなう光学像のずれに対応して２次元固体撮像素子を微小変位させているが、前記光学像の結像面上のずれは、回転カラーフィルタの回転位置に応じて既知であることを前提にしている。従って、特許文献１に記載の発明は、回転カラーフィルタの回転軸の振れによって回転カラーフィルタの面と撮影光軸との角度がランダムに変動したり、回転カラーフィルタ以外の他の要因によって、面順次の各画像にずれが生じる場合には適用できない。

また、引用文献２に記載の面順次の各画像間のずれ量（動きベクトル量）の検出は、各画像間を相関演算した相関値に基づいて検出するようにしている。即ち、面順次の各画像間のずれ量の評価値として、面順次の各画像間の相関値を使用するようにしている。

尚、３板式（３ＣＣＤ方式）のカラー画像撮像装置の場合も、３つのＣＣＤイメーセンサの位置ずれに起因して各ＣＣＤイメーセンサから得られる各画像にずれが生じる。

本発明はこのような事情に鑑みてなされたもので、カラー画像を構成する複数の色面ごとの画像間の色ずれを、虚色の発生頻度という新規な評価値によって評価し、その評価結果に基づいて各画像間の色ずれを補正することができるカラー画像の色ずれ補正方法及びカラー画像撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に係るカラー画像の色ずれ補正方法は、
(a) 被写体を撮像して３原色を含む複数の色面ごとの画像データを取得する工程と、
(b) 前記複数の色面ごとの画像データを合成したカラー画像データの画素ごとに該画素の色が虚色か否かを判別する工程と、
(c) 前記工程(b) で虚色と判別された画素をカウントし、１画面内に生じる虚色となる画素の画素数を算出する工程と、
(d) 前記複数の色面ごとの画像データを各色面ごとに相対的に画素ずらしを行い、その画素ずらしした複数の色面ごとの画像データを使用して前記工程(b) 及び(c) を繰り返し実施させ、各色面ごとに相対的に画素ずらしを行った中で前記虚色となる画素の画素数が最小になるときの各色面の画素ずらしを求める工程と、
(e) 前記工程(a) で取得した前記複数の色面ごとの画像データを、前記工程(d) で求めた画素ずらしに応じて補正する工程と、を含み、
前記工程(b) は、各画素ごとのカラー画像データをＬＡＢ表色系又はＸＹＺ表色系のデータに変換する工程と、前記変換したＬＡＢ表色系又はＸＹＺ表色系のデータが、その画素の明度におけるＣＩＥＬＡＢ色度図又はＣＩＥｘｙ色度図の最明色の範囲外になるときに、前記画素の色を虚色と判別する工程とを有することを特徴としている。

一般に、カラーフィルタの色を切り替えて順次撮像した光学像や、３ＣＣＤ方式の３つＣＣＤイメージセンサ上の各光学像は、結像面上で各色ごとに画素ずれが発生し、その結果、各色面の画像データを合成したカラー画像データには色ずれが生じるが、請求項１に係る発明では、この色ずれを評価するための評価値として、虚色の発生頻度を使用するようにしている。即ち、各色面の画像データを合成したときのカラー画像データの各画素ごとに、その画素の色が虚色か否かを判別する。ここで、虚色とは、ある明るさ（明度）のある色相での最大彩度、又は最大彩度の軌跡（最明色）を越えるような色であり、人間が視認できない色である。画素ずれが生じている場合には、同一画素上のＲ、Ｇ、Ｂ等の３原色の値から得られる画素の色は、虚色となる場合がある。そこで、１画面内に生じる虚色となる画素の画素数をカウントし、この画素数が最小になるように各色面の画像データの画素ずらしを行う。このようにして求めた画素ずらしに応じて、白黒撮像手段から取得した各色面の画像データを補正するようにしている。
尚、ＬＡＢ表色系やＸＹＺ表色系では、虚色を含む全ての色を数字で表現することができる。そして、ＬＡＢ表色系又はＸＹＺ表色系のデータに変換された画素のデータが、ＣＩＥＬＡＢ色度図又はＣＩＥｘｙ色度図の最明色の範囲外になる場合には、その画素の色を虚色と判別するようにしている。

請求項２に示すように請求項１に記載のカラー画像の色ずれ補正方法において、前記工程(a) は、カラーフィルタの色を切り替えるとともに白黒撮像手段によって被写体を撮像して面順次の画像データを取得することを特徴としている。

請求項３に示すように請求項１に記載のカラー画像の色ずれ補正方法において、前記工程(a) は、被写体からの入射光を色分解光学系を介して３原色の色成分に分解し、それぞれの色成分ごとの光が入射する３つの白黒撮像手段から各色面ごとの画像データを取得することを特徴としている。

請求項４に係るカラー画像撮像装置は、白黒撮像手段と、少なくとも３原色のカラーフィルタを有し、各カラーフィルタを前記白黒撮像手段の撮影光路上に順次切り替えて配置するカラーフィルタ手段と、被写体の撮像時に前記カラーフィルタ手段及び白黒撮像手段を制御して面順次の画像データを取得する撮像制御手段と、前記取得した面順次の画像データを各色面ごとに一時記憶する記憶手段と、前記記憶手段に記憶された面順次の画像データに基づいて前記白黒撮像手段の結像面での色ずれを検出する色ずれ検出手段であって、前記記憶手段に記憶された面順次の画像データを各色面ごとに相対的に画素ずらしを行い、画素ずらしした面順次の画像データを得る手段と、前記画素ずらしした面順次の画像データを合成したカラー画像データの各画素ごとに該画素の色が虚色か否かを判別する判別手段と、前記判別手段によって虚色と判別された画素をカウントし、１画面内に生じる虚色となる画素の画素数を算出する算出手段と、前記算出手段によって算出された画素数が最小になるときの画素ずらしを色ずれとして検出する手段とからなる色ずれ検出手段と、前記色ずれ検出手段によって検出された色ずれに応じて前記記憶手段に記憶された面順次の画像データの色ずれを補正する色ずれ補正手段と、を備え、前記カラーフィルタ手段は、前記白黒撮像手段の撮影光学系の前方に回転自在に配設された回転カラーフィルタと、前記回転カラーフィルタを回転させるとともに、各カラーフィルタを前記撮影光学系の光軸上で停止させる駆動手段とを有することを特徴としている。

即ち、カラーフィルタ手段及び白黒撮像手段を制御して取得した面順次の画像データは記憶手段に一時記憶される。この記憶手段に記憶された面順次の画像データを使用して、上記と同様にして色ずれを検出する。そして、検出した色ずれに応じて面順次の画像データの各色面の画素の位置を相対的に補正して色ずれを補正する。

請求項５に係るカラー画像撮像装置は、撮影レンズを介して入射する被写体光を３原色の色成分に分解する色分解光学系と、前記色分解光学系によって分解された各色成分ごとの被写体光がそれぞれ入射する３つの白黒撮像手段と、前記３つの白黒撮像手段から３原色の画像データを取得する撮像制御手段と、前記取得した３原色の画像データを各色面ごとに一時記憶する記憶手段と、前記記憶手段に記憶された各色面ごとの画像データに基づいて前記３つの白黒撮像手段の結像面での色ずれを検出する色ずれ検出手段であって、前記記憶手段に記憶された各色面ごとの画像データを各色面ごとに相対的に画素ずらしを行い、画素ずらしした各色面の画像データを得る手段と、前記画素ずらしした各色面の画像データを合成したカラー画像データの各画素ごとに該画素の色が虚色か否かを判別する判別手段と、前記判別手段によって虚色と判別された画素をカウントし、１画面内に生じる虚色となる画素の画素数を算出する算出手段と、前記算出手段によって算出された画素数が最小になるときの画素ずらしを色ずれとして検出する手段とからなる色ずれ検出手段と、前記色ずれ検出手段によって検出された色ずれに応じて前記記憶手段に記憶された各色面の画像データの色ずれを補正する色ずれ補正手段と、を備え、前記色ずれ検出手段の判別手段は、各画素ごとのカラー画像データをＬＡＢ表色系又はＸＹＺ表色系のデータに変換するデータ変換手段と、前記変換したＬＡＢ表色系又はＸＹＺ表色系のデータが、その画素の明度におけるＣＩＥＬＡＢ色度図又はＣＩＥｘｙ色度図の最明色の範囲外になるときに、前記画素の色を虚色と判別する手段とを有することを特徴としている。

請求項６に係るカラー画像撮像装置は、白黒撮像手段と、少なくとも３原色のカラーフィルタを有し、各カラーフィルタを前記白黒撮像手段の撮影光路上に順次切り替えて配置するカラーフィルタ手段と、被写体の撮像時に前記カラーフィルタ手段及び白黒撮像手段を制御して面順次の画像データを取得する撮像制御手段と、前記取得した面順次の画像データを各色面ごとに一時記憶する記憶手段と、前記記憶手段に記憶された面順次の画像データに基づいて前記白黒撮像手段の結像面での色ずれを検出する色ずれ検出手段であって、前記記憶手段に記憶された面順次の画像データを各色面ごとに相対的に画素ずらしを行い、画素ずらしした面順次の画像データを得る手段と、前記画素ずらしした面順次の画像データを合成したカラー画像データの各画素ごとに該画素の色が虚色か否かを判別する判別手段と、前記判別手段によって虚色と判別された画素をカウントし、１画面内に生じる虚色となる画素の画素数を算出する算出手段と、前記算出手段によって算出された画素数が最小になるときの画素ずらしを色ずれとして検出する手段とからなる色ずれ検出手段と、前記色ずれ検出手段によって検出された色ずれに応じて前記記憶手段に記憶された面順次の画像データの色ずれを補正する色ずれ補正手段と、を備え、前記色ずれ検出手段の判別手段は、各画素ごとのカラー画像データをＬＡＢ表色系又はＸＹＺ表色系のデータに変換するデータ変換手段と、前記変換したＬＡＢ表色系又はＸＹＺ表色系のデータが、その画素の明度におけるＣＩＥＬＡＢ色度図又はＣＩＥｘｙ色度図の最明色の範囲外になるときに、前記画素の色を虚色と判別する手段とを有することを特徴としている。

本発明によれば、カラー画像を構成する複数の色面ごとの画像間の色ずれを、虚色の発生頻度という新規な評価値によって評価し、その評価結果に基づいて各画像間の色ずれを検出するようにしたため、複数の色面ごと画像（異なる色の画像）間の相互相関では、高精度の色ずれ検出ができないシーンでも精度の高い色ずれを検出することができ、色ずれのないカラー画像を得ることができる。

以下添付図面に従って本発明に係るカラー画像の色ずれ補正方法及びカラー画像撮像装置の好ましい実施の形態について詳説する。

図１は本発明に係るカラー画像撮像装置の実施の形態を示す外観図である。同図に示すように、このカラー画像撮像装置１０は、主として撮像装置本体１００と、回転カラーフィルタ装置２００とから構成され、それぞれ支持台２０上に配設されている。尚、撮像装置本体１００は、図示しない雲台機構を介して支持台２０に固定されており、これにより回転カラーフィルタ装置２００に対して位置や角度を微調整できるようになっている。

回転カラーフィルタ装置２００は、主としてＲ（赤）、Ｇ（緑）、Ｂ（青）、Ｃ（シアン）、Ｍ（マゼンタ）、及びＹ（イエロー）のカラーフィルタを有するターレット板２０２と、このターレット板２０２を電動で回転させるモータ２０４（図２参照）を含む回転駆動手段とから構成されている。

ターレット板２０２は、一部に開口２０６Ａ、２０６Ｂを有するカバー２０６によって覆われている。カバー２０６の開口２０６Ａは、撮像装置本体１００の撮影レンズ１１２に対向する位置に形成されている。

また、ターレット板２０２の外周には、各カラーフィルタを所定の位置（カバー２０６の開口２０６Ａの位置）に位置決めするためのカム２０２Ａが形成されており、このカム２０２Ａには、レバー部材２０８のローラ部２０８Ａが当接するようになっている。このレバー部材２０８は、先端のローラ部２０８Ａがターレット板２０２の外周のカム２０２Ａに弾性をもって常時当接するように付勢されており、ターレット板２０２の回転（カム２０２Ａ）に応じて揺動する。従って、レバー部材２０８の揺動角度（即ち、ローラ部２０８Ａがカム２０２Ａの谷部に達したこと）を検出することで、各カラーフィルタが所定の位置に回転移動したことを検出することができる。また、レバー部材２０８のローラ部２０８Ａがカム２０２Ａの谷部に達した時点で、ターレット板２０２の回転をフリーにすることで、レバー部材２０８によりターレット板２０２を精度よく位置決めすることができる。

図２は上記カラー画像撮像装置１０の実施の形態を示すブロック図である。

このカラー画像撮像装置１０は、前述したように撮像装置本体１００と、回転カラーフィルタ装置２００とから構成されており、回転カラーフィルタ装置２００を介して撮像した面順次のカラー画像をメモリカード１５４に記録するものであり、装置全体の動作は、中央処理装置（ＣＰＵ）１４０によって統括制御される。尚、ＲＯＭ１５１には
、予めプログラムや調整値、後述するＣＩＥＬＡＢ色度図の最明色のグラフ等が記憶されており、これらのプログラム、調整値、グラフ等は適宜読み出される。

撮像装置本体１００には、シャッタボタンや、撮影モード、再生モード等を設定するモードダイヤルを含む操作部１３８が設けられており、この操作部１３８での操作に応じた信号はＣＰＵ１４０に入力される。

被写体を示す画像光は、回転カラーフィルタ装置２００、撮影レンズ１１２、絞り１１４を介してＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の白黒撮像素子１１６の受光面に結像される。

回転カラーフィルタ装置２００のターレット板２０２は、ＣＰＵ１４０によって制御されるフィルタ駆動部１３７及びモータ２０４によって回転駆動され、面順次の撮影ごとに各カラーフィルタが撮影レンズ１１２の光軸上に位置するように制御される。

撮影レンズ１１２は、ＣＰＵ１４０によって制御されるレンズ駆動部１３６によって駆動され、フォーカス制御等が行われる。絞り１１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ１４０によって制御される絞り駆動部１３４によって駆動され、例えば、絞り値Ｆ2.8 〜Ｆ11まで１Ａ_V刻みで５段階に絞り制御される。

また、ＣＰＵ１４０は、絞り駆動部１３４を介して絞り１１４を制御するとともに、撮像素子制御部１３２を介して白黒撮像素子１１６での電荷蓄積時間（シャッタスピード）の制御等を行う。

白黒撮像素子１１６に蓄積された信号電荷は、撮像素子制御部１３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。白黒撮像素子１１６から読み出された電圧信号は、アナログ信号処理部１１８に加えられ、ここで各画素ごとの電圧信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器１２０に加えられる。Ａ／Ｄ変換器１２０は、順次入力するアナログ信号をデジタル信号に変換し、このデジタル信号（画像データ）は、画像入力コントローラ１２２を介してメモリ(SDRAM) １４８に一時記憶される。

メモリ１４８に記憶された画像データは、デジタル信号処理部１２４を介して所要の信号処理が行われた後、ＶＲＡＭ１５０に出力される。ＶＲＡＭ１５０には、それぞれが１駒分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ１５０において１駒分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ１５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。ＶＲＡＭ１５０から読み出された画像データはビデオ・エンコーダ１２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ１３０に出力され、これにより被写体像が液晶モニタ１３０の表示画面上に表示される。

また、操作部１３８のシャッタボタンの第１段階の押下（半押し）があると、ＡＥ動作及びＡＦ動作が開始する。即ち、Ａ／Ｄ変換器１２０から出力される画像データがＡＦ
検出部１４２並びにＡＥ検出部１４４に取り込まれる。ＡＦ検出部１４２では、画像データ（例えば、白黒撮像素子１１６の中央領域（フォーカス領域）の信号）を使用し、１次元水平方向に連続する画像データからハイパスフィルタ（ＨＰＦ）を介して高周波成分を抽出し、この高周波成分を積算した値（ＡＦ評価値）をＣＰＵ１４０に出力する。ＡＥ検出部１４４では、画面全体の画像データを積算し、又は画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をＣＰＵ１４０に出力する。

ＣＰＵ１４０は、ＡＦ検出部１４２から入力するＡＦ評価値に基づいてそのＡＦ評価値が最大になるレンズ位置にレンズ駆動部１３６を介して撮影レンズ１１２を移動させるとともに、ＡＥ検出部１４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１１４の絞り値及び白黒撮像素子１１６の電子シャッタ（シャッタスピード）を所定のプログラム線図にしたがって決定し、その決定した絞り値に基づいて絞り駆動部１３４を介して絞り１１４を制御するとともに、決定したシャッタスピードに基づいて撮像素子制御部１３２を介して白黒撮像素子１１６での電荷蓄積時間を制御する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答して面順次の撮像が行われ、面順次の各色ごとの画像データは、画像入力コントローラ１２２を介してメモリ１４８に一時記憶される。

ＣＰＵ１４０は、メモリ１４８に格納された各色ごとの画像データの色ずれを補正する。尚、この色ずれ補正方法の詳細については後述する。

デジタル信号処理部１２４は、色ずれ補正後の各色ごとの画像データに対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガン
マ補正処理、ＹＣ処理等の所定の信号処理を行う。ＹＣ処理された画像データ（ＹＣデータ）は、デジタル信号処理部１２４から読み出され、再びメモリ１４８に記憶される。続いて、ＹＣデータは圧縮伸長処理部１２６に出力され、JPEG (joint photgraphic experts group)などの所定の圧縮処理が実行される。圧縮されたＹＣデータは、再びメモリ１
４８に出力されて記憶されたのち、メディア・コントローラ１５２によって読み出され、メモリカード１５４に記録される。

また、ＲＡＷデータ記録を行う場合には、前記画像入力コントローラ１２２を介してメモリ１４８に格納され、ＣＰＵ１４０によって色ずれ補正された画像データ（デジタル信号処理部１２４での信号処理等が行われていない面順次の画像データ）がそのままメモリカード１５４に記録される。

次に、面順次の画像データの色ずれ補正方法について説明する。

図３は本発明に係るカラー画像の色ずれ補正方法の実施の形態を示すフローチャートである。

図３において、ＣＰＵ１４０は、メモリ１４８から面順次の画像データを入力する（ステップＳ１０）。尚、この実施の形態では、面順次の撮像時に回転カラーフィルタ装置２００によりＲ、Ｇ、Ｂのカラーフィルタの切り替えを行い、メモリ１４８には、ＲＧＢ面順次の３枚の画像データが記憶されているものとする。

次に、入力したＲＧＢ面順次の画像データから虚色となる画素の画素数を算出する（ステップＳ２０）。

ここで、カラー画像中に虚色となる画素が発生する理由について説明する。

ｓＲＧＢ原色近似した３原色の一次色（ＲＧＢ）と二次色（ＣＭＹ）とを、補色関係（Ｒ−Ｃ、Ｇ−Ｍ、Ｂ−Ｙ）で近接させたときの位置ずれによる組み合わせの色を計算した。

ＣＩＥ（国際照明委員会）の表色系には、ＲＢＧ系、ＸＹＺ系（Ｙｘｙ系）、ＬＡＢ系等がある。

図５に示すように、ｓＲＧＢの原色を近似した３原色の一次色（ＲＧＢ）、二次色（ＣＭＹ）を、ＸＹＺ系に変換して表すと、図５のＡ欄に示すようになる。尚、ＸＹＺとＲＧの関係を下記に示す。

補色関係（Ｒ−Ｃ、Ｇ−Ｍ、Ｂ−Ｙ）にある色同士間の三刺激値ＸＹＺの組み合わせは、図５のＢ、Ｃ、Ｄ欄に示すようにそれぞれ８通りある。即ち、補色関係にある各画素の色が、画素ずれによって混在すると、図５のＢ、Ｃ、Ｄ欄に示すようにな色の画素が生じる。

また、図５には、ＸＹＺ系をＣＩＥが1976年に定めたＣＩＥＬＡＢ系（Ｌ* ａ* ｂ* 系ともいう）に変換した値が示されている。尚、ＸＹＺとＣＩＥＬＡＢとの関係を以下に示す。

［数２］
Ｌ＊＝１１６（Ｙ／Ｙｎ）^1/3−１６
ａ＊＝５００｛（Ｘ／Ｘｎ）^1/3−（Ｙ／Ｙｎ）^1/3｝
ｂ＊＝２００｛（Ｙ／Ｙｎ）^1/3−（Ｚ／Ｚｎ）^1/3｝
ただし、Ｘｎ、Ｙｎ、Ｚｎは、標準の光の三刺激値である。

図６及び図７はそれぞれＣＩＥＬＡＢ色度図であり、Ｌ＊＝60.0の最明色の軌跡、Ｌ＊＝90.0最明色の軌跡が図示されている。尚、最明色とは、与えられた３つの分光特性又は原色が、ある明るさ（明度）のある色相での最大明度をいい、ここでは、ある明度での異なる色相での最大彩度の軌跡にも最明色なる用語を使用する。

図６には、図５に示したＬ＊＝60.2663 となる４つの画素の色が示されている。この４つの画素のうち、３つの画素は位置ずれが発生して、Ｍの色とは異なる色になっており、特に１つの画素は、最明色の範囲を越えた虚色となっている。

同様に、図７には、図５に示したＬ＊＝91.10745、87.72736となる８つの画素の色が示されている。この８つの画素のうち、６つの画素は位置ずれが発生して、Ｃ、Ｇの色とは異なる色になっており、特に４つの画素は、最明色の範囲を越えた虚色となっている。

即ち、面順次の各色面の同一位置の画素のデータから１つ画素の色が決定されるが、面順次の各色面に位置ずれ（画素ずれ）が発生していると、虚色となる場合がある。そこで、本発明は、１画面内に生じる虚色となる画素の画素数をカウントし、この画素数が最小になるように面順次の各色面間の画素ずらしを行い、色ずれの補正を行う。尚、面順次の各色面間で位置ずれが発生していない場合には虚色の発生もない。

図４は図３に示したステップＳ２０の処理の詳細を示すフローチャートである。

同図において、まず、虚色の画素の画素数をカウントするカウンタのカウント値Ｃを０にリセットする（ステップＳ２１）。続いて、ステップＳ１０で取り込んだＲＧＢ面順次の画像データのうちから１画素のＲ、Ｇ、Ｂデータを抽出する（ステップＳ２２）。このＲ、Ｇ、ＢデータをＣＩＥＬＡＢ（即ち、Ｌ* ａ* ｂ* 値）に変換する（ステップＳ２３）。変換したＬ* ａ* ｂ* 値から、その画素が虚色か否かを判別する（ステップＳ２４）。

この虚色の判別は以下のようにして行う。

ステップＳ２３で求めたＬ* ａ* ｂ* から、次式によりＣ＊、Ｈ＊を求める。

［数３］
Ｃ＊＝√（ａ＊²＋ｂ＊²） …（3)
Ｈ＊＝tan ^-1（ｂ＊／ａ＊）
図８は、あるＬ* における最明色の軌跡を示している。この図において、色相Ｈ＊における最大彩度Ｃｍａｘが、最明色の軌跡から求められる。式(3) により求められたＣ＊は、Ｃmax と比較され、Ｃmax ＜Ｃ＊となるとき、その画素を虚色と判定する。

図４に戻って、ステップＳ２４で虚色と判別されると、カウント値Ｃを１だけインクリメントする（ステップＳ２５）。

続いて、１画面の全ての画素について、虚色の判別が終了したか否かを判別し（ステップＳ２６）、終了していない場合には、ステップＳ２２に戻り、１画面の中から前回抽出した画素と異なる画素を抽出する。これにより、１画面の全ての画素について、ステップＳ２２から２６の処理を繰り返し、１画面中で虚色となった画素の画素数を算出する。

図３に戻って、ステップＳ３０では、Ｒ、Ｇ、Ｂ面の全ての位置ずれのパターンについて、虚色の画素数を算出したか否かを判別する。

ここで、Ｒ、Ｇ、Ｂ面の１画素の範囲での位置ずれのパターンは、２５通りある。即ち、１つの面の１画素の範囲のずれは、位置ずれなし、上、下、左、右の５通りあり、Ｒ、Ｇ、Ｂの３面のうちの１つの面（例えば、Ｇ面）を固定した場合、Ｒ、Ｂ面を１画素の範囲でずらす組み合わせは、全部で２５（＝５²）通りとなる。また、右上、右下、左上、左下のずれを含めると、全部で８１（＝９²）通りとなる。

尚、この実施の形態の回転カラーフィルタ装置２００を使用して撮像した面順次の各色面は、Ｒ面とＢ面とは１／２〜１画素程度の平行移動、Ｒ、Ｂ面に対してＧ面は、時計回り方向に１画素程度の回転が発生していることが実験によって確認されており、この種の回転カラーフィルタ装置を使用する場合には、上記２５通り、又は８１通りの位置ずれのパターンについて、それぞれ虚色となる画素の画素数を算出すればよい。

ステップＳ３０において、Ｒ、Ｇ、Ｂ面の全ての位置ずれのパターンの虚色の画素数の算出が終了していないと判別されると、Ｇ面に対してＲ面、Ｂ面を１画素シフトし（ステップＳ４０）、シフト後のＲＧＢ面順次の画像データを入力する（ステップＳ１０）。そして、ステップＳ１０〜Ｓ４０の処理を繰り返すことにより、２５通り又は８１通りのＲＧＢ面の位置ずれのパターンについて、それぞれ虚色となる画素の画素数を算出する。

ステップＳ３０において、Ｒ、Ｇ、Ｂ面の全ての位置ずれのパターンの虚色の画素数の算出が終了したと判別されると、ステップＳ５０に進み、ここで、虚色の画素数が最小となるときのＲ、Ｇ、Ｂ面の位置ずれのパターンから、Ｇ面に対するＲ面、Ｂ面の位置ずれを求め、この位置ずれを補正したＲＧＢ面順次の画像データを作成する。ＲＧＢ面順次の画像データの位置ずれの補正は、例えばメモリ１４８に格納されているＲ面、Ｂ面の画像データの各画素の位置を示すアドレスを、前記求めた位置ずれに応じて変更することで行うことができる。

図９は本発明に係るカラー画像撮像装置の他の実施の形態を示す構成図である。

同図に示すように、このカラー画像撮像装置３００は、３ＣＣＤ方式の撮像装置であり、撮影レンズ３１０と、色分解プリズム３２０と、３つの白黒撮像手段（ＣＣＤイメージセンサ）３３１、３３２、３３３とを有している。

色分解プリズム３２０は３つのプリズム、即ち、光の入射側から第１、第２、第３プリズムから構成される。第１プリズム３２１の光束出射面には、青色（Ｂ）成分のみを反射するダイクロイックコートが施され、第２プリズム３２２の光束出射面には赤色（Ｒ）成分のみを反射するダイクロイックコートが施されている。

撮影レンズ３１０を介して色分解プリズム３２０に入射した光束のうち、第１プリズム３２１の光束出射面でＢ成分が反射され、このＢ成分反射光は第１プリズム３２１の入射面で全反射され、Ｂチャンネル出射面から出射されてＣＣＤイメージセンサ３３１上に結像する。

Ｂ成分以外の残りの光束は、第１プリズム３２１を通過して第２プリズム３２２に入射し、第２プリズム３２２の光束出射面のダイクロイックコートによってＲ成分のみが反射される。このＲ反射光は、第２プリズム３２２の入射面で全反射され、第２プリズム３２２のＲチャンネルの出射面から出射されてＣＣＤイメージセンサ３３２上に結像する。

残る緑色（Ｇ）成分は、第３プリズム３２３のＧチャンネルの出射面から出射されてＣＣＣＤイメージセンサ３３３上に結像する。

各ＣＣＤイメージセンサ３３１〜３３３からＲの画像データ、Ｂの画像データ、及びＧの画像データを取得することができる。これらのＲＧＢの画像データは、図示しない画像メモリに一時記憶され、その後、各色面の画像データの色ずれが補正される。このカラー画像撮像装置３００におけるカラー画像の色ずれ補正方法は、前述した面順次のカラー画像撮像装置１０における色ずれ補正方法と同様であるため、その説明は省略する。

３ＣＣＤ方式の撮像装置の場合、色分解プリズムに３つのＣＣＤイメージセンサを貼り合わせる際の位置精度が求められ、その位置精度を得るために人手による調整作業に時間と労力がかかり、コストアップの要因になっているが、本発明によるカラー画像の色ずれ補正方法を採用することで、３つのＣＣＤイメージセンサの貼り合わせ精度はある程度の範囲内に入っていればよくなり、これにより、３つのＣＣＤイメージセンサの貼り合わせ作業の自動化が可能となり、コストダウンを図ることができる。また、接着剤や衝撃によりＣＣＤイメージセンサが経時的に変化する場合でも本発明を採用することで色ずれのない高画質のカラー画像を維持することができる。

尚、この実施の形態では、ＣＩＥＬＡＢ色度図を使用して画素の色が虚色か否かを判別するようにしたが、これに限らず、例えば、ＣＩＥｘｙ色度図を使用するようにしてもよい。また、面順次のカラー画像撮像装置におけるカラーフィルタ装置は、図１に示した実施の形態のものに限定されず、面順次のカラー撮像に使用できるものであれば、いかなるものでもよい。

また、この実施の形態では、３色型の面順次（ＲＧＢ、ＣＭＹ又はＸＹＺのカラーフィルタ）の場合について説明したが、本発明は６色以上の色バンドパスフィルタを使用して、被写体の反射率分布を求める系にも適用できる。６または８色のデータから反射率を計算し、ＸＹＺ、ＣＩＥＬＡＢデータを求めれば、本方法と同じように虚色点の計算が可能となる。

図１は本発明に係るカラー画像撮像装置の実施の形態を示す外観図である。図２は図１に示したカラー画像撮像装置の実施の形態を示すブロック図である。図３は本発明に係るカラー画像の色ずれ補正方法の実施の形態を示すフローチャートである。図４は図３に示した虚色画素数の算出処理の詳細を示すフローチャートである。図５は虚色の発生を説明するために用いた図表である。図６は虚色の発生を説明するために用いたＣＩＥＬＡＢ色度図である。図７は虚色の発生を説明するために用いたＣＩＥＬＡＢ色度図である。図８は虚色の判別方法を説明するために用いたＣＩＥＬＡＢ色度図である。

符号の説明

１０、３００…カラー画像撮像装置、２０…支持台、１００…撮像装置本体、１１２、３１０…撮影レンズ、１１６、３３１、３３２、３３３…白黒撮像素子、１２４…デジタル信号処理部、１３８…操作部、１４０…中央処理装置（ＣＰＵ）、１４８…メモリ(SDRAM) 、１５１…ＲＯＭ、１５４…メモリカード、２００…回転カラーフィルタ装置、２０２…ターレット板、２０４…モータ、３１０…撮影レンズ、３２０…色分解プリズム

Claims

(a) 被写体を撮像して３原色を含む複数の色面ごとの画像データを取得する工程と、
(b) 前記複数の色面ごとの画像データを合成したカラー画像データの画素ごとに該画素の色が虚色か否かを判別する工程と、
(c) 前記工程(b) で虚色と判別された画素をカウントし、１画面内に生じる虚色となる画素の画素数を算出する工程と、
(d) 前記複数の色面ごとの画像データを各色面ごとに相対的に画素ずらしを行い、その画素ずらしした複数の色面ごとの画像データを使用して前記工程(b) 及び(c) を繰り返し実施させ、各色面ごとに相対的に画素ずらしを行った中で前記虚色となる画素の画素数が最小になるときの各色面の画素ずらしを求める工程と、
(e) 前記工程(a) で取得した前記複数の色面ごとの画像データを、前記工程(d) で求めた画素ずらしに応じて補正する工程と、を含み、
前記工程(b) は、各画素ごとのカラー画像データをＬＡＢ表色系又はＸＹＺ表色系のデータに変換する工程と、前記変換したＬＡＢ表色系又はＸＹＺ表色系のデータが、その画素の明度におけるＣＩＥＬＡＢ色度図又はＣＩＥｘｙ色度図の最明色の範囲外になるときに、前記画素の色を虚色と判別する工程とを有することを特徴とするカラー画像の色ずれ補正方法。
前記工程(a) は、カラーフィルタの色を切り替えるとともに白黒撮像手段によって被写体を撮像して面順次の画像データを取得することを特徴とする請求項１に記載のカラー画像の色ずれ補正方法。
前記工程(a) は、被写体からの入射光を色分解光学系を介して３原色の色成分に分解し、それぞれの色成分ごとの光が入射する３つの白黒撮像手段から各色面ごとの画像データを取得することを特徴とする請求項１に記載のカラー画像の色ずれ補正方法。
白黒撮像手段と、
少なくとも３原色のカラーフィルタを有し、各カラーフィルタを前記白黒撮像手段の撮影光路上に順次切り替えて配置するカラーフィルタ手段と、
被写体の撮像時に前記カラーフィルタ手段及び白黒撮像手段を制御して面順次の画像データを取得する撮像制御手段と、
前記取得した面順次の画像データを各色面ごとに一時記憶する記憶手段と、
前記記憶手段に記憶された面順次の画像データに基づいて前記白黒撮像手段の結像面での色ずれを検出する色ずれ検出手段であって、前記記憶手段に記憶された面順次の画像データを各色面ごとに相対的に画素ずらしを行い、画素ずらしした面順次の画像データを得る手段と、前記画素ずらしした面順次の画像データを合成したカラー画像データの各画素ごとに該画素の色が虚色か否かを判別する判別手段と、前記判別手段によって虚色と判別された画素をカウントし、１画面内に生じる虚色となる画素の画素数を算出する算出手段と、前記算出手段によって算出された画素数が最小になるときの画素ずらしを色ずれとして検出する手段とからなる色ずれ検出手段と、
前記色ずれ検出手段によって検出された色ずれに応じて前記記憶手段に記憶された面順次の画像データの色ずれを補正する色ずれ補正手段と、を備え、
前記カラーフィルタ手段は、前記白黒撮像手段の撮影光学系の前方に回転自在に配設された回転カラーフィルタと、前記回転カラーフィルタを回転させるとともに、各カラーフィルタを前記撮影光学系の光軸上で停止させる駆動手段とを有することを特徴とするカラー画像撮像装置。
撮影レンズを介して入射する被写体光を３原色の色成分に分解する色分解光学系と、
前記色分解光学系によって分解された各色成分ごとの被写体光がそれぞれ入射する３つの白黒撮像手段と、
前記３つの白黒撮像手段から３原色の画像データを取得する撮像制御手段と、
前記取得した３原色の画像データを各色面ごとに一時記憶する記憶手段と、
前記記憶手段に記憶された各色面ごとの画像データに基づいて前記３つの白黒撮像手段の結像面での色ずれを検出する色ずれ検出手段であって、前記記憶手段に記憶された各色面ごとの画像データを各色面ごとに相対的に画素ずらしを行い、画素ずらしした各色面の画像データを得る手段と、前記画素ずらしした各色面の画像データを合成したカラー画像データの各画素ごとに該画素の色が虚色か否かを判別する判別手段と、前記判別手段によって虚色と判別された画素をカウントし、１画面内に生じる虚色となる画素の画素数を算出する算出手段と、前記算出手段によって算出された画素数が最小になるときの画素ずらしを色ずれとして検出する手段とからなる色ずれ検出手段と、
前記色ずれ検出手段によって検出された色ずれに応じて前記記憶手段に記憶された各色面の画像データの色ずれを補正する色ずれ補正手段と、を備え、
前記色ずれ検出手段の判別手段は、各画素ごとのカラー画像データをＬＡＢ表色系又はＸＹＺ表色系のデータに変換するデータ変換手段と、前記変換したＬＡＢ表色系又はＸＹＺ表色系のデータが、その画素の明度におけるＣＩＥＬＡＢ色度図又はＣＩＥｘｙ色度図の最明色の範囲外になるときに、前記画素の色を虚色と判別する手段とを有することを特徴とするカラー画像撮像装置。
白黒撮像手段と、
少なくとも３原色のカラーフィルタを有し、各カラーフィルタを前記白黒撮像手段の撮影光路上に順次切り替えて配置するカラーフィルタ手段と、
被写体の撮像時に前記カラーフィルタ手段及び白黒撮像手段を制御して面順次の画像データを取得する撮像制御手段と、
前記取得した面順次の画像データを各色面ごとに一時記憶する記憶手段と、
前記記憶手段に記憶された面順次の画像データに基づいて前記白黒撮像手段の結像面での色ずれを検出する色ずれ検出手段であって、前記記憶手段に記憶された面順次の画像データを各色面ごとに相対的に画素ずらしを行い、画素ずらしした面順次の画像データを得る手段と、前記画素ずらしした面順次の画像データを合成したカラー画像データの各画素ごとに該画素の色が虚色か否かを判別する判別手段と、前記判別手段によって虚色と判別された画素をカウントし、１画面内に生じる虚色となる画素の画素数を算出する算出手段と、前記算出手段によって算出された画素数が最小になるときの画素ずらしを色ずれとして検出する手段とからなる色ずれ検出手段と、
前記色ずれ検出手段によって検出された色ずれに応じて前記記憶手段に記憶された面順次の画像データの色ずれを補正する色ずれ補正手段と、を備え、
前記色ずれ検出手段の判別手段は、各画素ごとのカラー画像データをＬＡＢ表色系又はＸＹＺ表色系のデータに変換するデータ変換手段と、前記変換したＬＡＢ表色系又はＸＹＺ表色系のデータが、その画素の明度におけるＣＩＥＬＡＢ色度図又はＣＩＥｘｙ色度図の最明色の範囲外になるときに、前記画素の色を虚色と判別する手段とを有することを特徴とするカラー画像撮像装置。