JP4894594B2

JP4894594B2 - 画像処理装置

Info

Publication number: JP4894594B2
Application number: JP2007098997A
Authority: JP
Inventors: 文仁安間; 知生光永
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-04-05
Filing date: 2007-04-05
Publication date: 2012-03-14
Anticipated expiration: 2027-04-05
Also published as: US8233733B2; EP1978751A3; JP2008258932A; EP1978751A2; US20080247662A1; CN101282486A

Description

本発明は、画像処理装置に関し、特にモザイク画像のデモザイク処理を行う画像処理装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

ＣＣＤ（Charge Coupled Devices）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子では、通常、受光素子が格子状に配置され、各受光素子の光電変換によって生じた電荷量が順次読み出されるような構造になっている。ここで、通常の受光素子は単一の分光特性を持つため、固体撮像素子から得られる画像信号は色に関して１チャネル（すなわち単色）である。１つの固体撮像素子でカラー画像（例えばＲＧＢなどの３チャネル画像）を得ようとする場合には、受光素子毎に分光特性（色）の異なるフィルタを取り付けた固体撮像素子を用いる。このようなカラー固体撮像素子１個を用いた撮像装置は、一般に単板カラー撮像装置と呼ばれる。カラー固体撮像素子から得られる画像信号は１チャネル画像であるため、１画素毎には対応する受光素子のフィルタの色のみが得られ、その結果、色に関してモザイク状の画像が得られることになる。このような理由から、このカラー固体撮像素子の出力画像をモザイク画像と呼称する。

カラー撮像素子から多チャネル画像を得るためには、適当な画像処理によって、モザイク画像の各画素の色情報を周囲の画素位置によって補間することが必要である。このような画像処理は一般に、デモザイク処理、色補間処理または同時化処理などと呼ばれる。このように、デモザイク処理はカラー固体撮像素子を使った単板カラー撮像装置には必須の処理であり、従来からさまざまな手法が開発されてきた。

このデモザイク処理においては、カラーフィルタの各色でサンプリング周波数および位相が異なることから、画質に対して様々な影響を及ぼすことが問題となる。現在最も広く用いられている色配列である原色系ベイヤー（Bayer）配列（以下、ベイヤー配列と呼称する。）では、Ｒ（赤：Red）、Ｇ（緑：Green）、Ｂ（青：Blue）の３つの原色系色フィルタを用い、Ｇを市松状に、ＲとＢを線順次に配置するようになされている。ベイヤー配列においては、Ｇは市松状に配置されるため、Ｇ信号は、水平、垂直の全位相において存在するが、ＲおよびＢは線順次であるために、それぞれに対応する信号は、水平または垂直にそれぞれ１ラインおきにしか存在しない。すなわちＲおよびＢのサンプリング周波数は、Ｇのサンプリング周波数の半分であるため、再現できる画像信号の周波数の限界も、ＲおよびＢはＧと比較して１／２となってしまう。そのため、画像信号に高周波成分が存在すると、そのＧ成分は正しく復元できるが、Ｒ成分およびＢ成分には、振幅の劣化やエイリアシング（aliasing）が生じてしまい、それが、出力画像における色バランスのずれとして観測されてしまう現象、すなわち、偽色（色モアレ）が発生する。さらに、ＲとＢとはサンプリング周波数は同一であるが、サンプリングの位相が異なる。このため、ＲとＧとではエイリアシングによる色ずれの出かたが画像上で異なる。このことにより、さらに、ＲとＢとにおける偽色現象が顕著に発生してしまう。

このような出力画像の画質を損なう偽色現象を低減するため、従来のデモザイク処理でさまざまな工夫がなされている。例えば、近似的にＲの平均値Ｍ＿ＲとＧの平均値Ｍ＿Ｇとの比率を使って、Ｒ＝Ｇ・（Ｍ＿Ｒ／Ｍ＿Ｇ）によって、注目画素位置のＲ強度の推定値を求める技術が提案されている（例えば、特許文献１参照。）。この技術では、Ｇのサンプルの情報をＲの再構成に利用することによって、単純にＲのサンプルのみの補間でＲ信号を再構成する場合よりも周波数特性の改善を図っている。
特開昭６１−２１８２９０号公報（図１）

しかし、上述の従来技術では、ナイキスト近辺において、低周波成分の算出時に解像度が劣化してしまい、偽色を発生させてしまうという問題がある。

本発明はこのような状況に鑑みてなされたものであり、単板カラー固体撮像素子のモザイク出力画像の各チャネルを同時化するデモザイク処理において、例えば、白線と黒線が１画素毎に繰り返される縞模様のような高周波成分を含んだ画像においても、偽色の発生を低減することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、入力画像における所定の注目画素の近傍領域を対象として上記近傍領域における第１の方向に沿った複数の位置について上記第１の方向と異なる第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第１のチャネルについて算出する第１の平滑化手段と、上記近傍領域における上記第１の方向に沿った複数の位置について上記第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第２のチャネルについて算出する第２の平滑化手段と、上記第１および第２のチャネルの上記第１段階の平滑化値に基づいて上記第２のチャネルの上記第１段階の平滑化値の強度を推定する強度推定手段と、上記強度推定手段によって強度推定された上記第２のチャネルの上記第１段階の平滑化値を上記第１の方向に沿って平滑化した上記第２のチャネルの第２段階の平滑化値を算出する第３の平滑化手段とを具備することを特徴とする画像処理装置である。これにより、第１のチャネル（例えばＧ）および第２のチャネル（例えばＲおよびＢ）の第１段階の平滑化値に基づいて第２のチャネルの第１段階の平滑化値の強度を推定させるという作用をもたらす。

また、この第１の側面において、上記強度推定手段は、上記第１の方向に沿った各位置について上記第１のチャネルの上記第１段階の平滑化値の当該位置における高周波成分を算出する高周波成分算出手段と、上記第１の方向に沿った各位置について上記第２のチャネルの上記第１段階の平滑化値の当該位置における低周波成分を算出する低周波成分算出手段と、上記第１の方向に沿った各位置について上記第１のチャネルの上記第１段階の平滑化値の当該位置における高周波成分と上記第２のチャネルの上記第１段階の平滑化値の当該位置における低周波成分とから上記第２のチャネルの当該位置の補正値を算出する補正値算出手段とを備えてもよい。これにより、第１のチャネルの第１段階の平滑化値の高周波成分と第２のチャネルの第１段階の平滑化値の低周波成分とから第２のチャネルの第１段階の平滑化値を補正させるという作用をもたらす。

また、この第１の側面において、上記強度推定手段は、上記第１の方向に沿った各位置について上記第１のチャネルの上記第１段階の平滑化値の当該位置における高周波成分を算出する高周波成分算出手段と、上記第１の方向に沿った各位置について上記第１のチャネルの上記第１段階の平滑化値の当該位置における低周波成分を算出する第１の低周波成分算出手段と、上記第１の方向に沿った各位置について上記第２のチャネルの上記第１段階の平滑化値の当該位置における低周波成分を算出する第２の低周波成分算出手段と、上記第１の方向に沿った各位置について上記第１のチャネルの上記第１段階の平滑化値の当該位置における低周波成分と上記第２のチャネルの上記第１段階の平滑化値の当該位置における低周波成分との比率に基づいて上記第１のチャネルの上記第１段階の平滑化値の当該位置における高周波成分を調整することにより上記第２のチャネルの上記第１段階の平滑化値の当該位置における高周波成分を推定する高周波成分推定手段と、上記第１の方向に沿った各位置について上記第２のチャネルの上記第１段階の平滑化値の当該位置における低周波成分と上記推定された第２のチャネルの上記第１段階の平滑化値の当該位置における高周波成分とから上記第２のチャネルの当該位置の補正値を算出する補正値算出手段とを備えてもよい。これにより、第２のチャネルの第１段階の平滑化値の低周波成分と推定された第２のチャネルの第１段階の平滑化値の高周波成分とから第２のチャネルの第１段階の平滑化値を補正させるという作用をもたらす。

また、この第１の側面において、上記第１のチャネルの上記第１段階の平滑化値を上記第１の方向に沿って平滑化した上記第１のチャネルの第２段階の平滑化値を算出する第４の平滑化手段をさらに具備してもよい。これにより、第１のチャネルの第２段階の平滑化値をさらに算出させるという作用をもたらす。また、この場合において、上記注目画素位置における上記第１のチャネルの強度を推定する第２の強度推定手段と、上記第１のチャネルの強度と上記第１のチャネルの第２段階の平滑化値と上記第２のチャネルの第２段階の平滑化値とから上記注目画素位置における上記第２のチャネルの強度を合成する合成手段とをさらに具備してもよい。これにより第２のチャネルの補間値を生成させるという作用をもたらす。

また、本発明の第２の側面は、入力画像における所定の注目画素の近傍領域を対象として上記近傍領域における複数の方向を補間方向としてそれら補間方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手段と、上記近傍領域のテクスチャの方向を判断する方向判断手段と、上記テクスチャ方向の判断結果に基づいて上記補間方向のそれぞれに沿った補間値を合成する合成手段とを具備する画像処理装置であって、上記補間手段は、上記近傍領域において上記補間方向と異なる基準方向に沿った複数の位置について上記補間方向に沿って画素値の平滑化を行った第１段階の平滑化値を第１のチャネルについて算出する第１の平滑化手段と、上記近傍領域における上記基準方向に沿った複数の位置について上記補間方向に沿って画素値の平滑化を行った第１段階の平滑化値を第２のチャネルについて算出する第２の平滑化手段と、上記第１および第２のチャネルの上記第１段階の平滑化値に基づいて上記第２のチャネルの上記第１段階の平滑化値の強度を推定する強度推定手段と、上記強度推定手段によって強度推定された上記第２のチャネルの上記第１段階の平滑化値を上記基準方向に沿って平滑化した上記第２のチャネルの第２段階の平滑化値を算出する第３の平滑化手段とを上記複数の方向のそれぞれについて備えることを特徴とする画像処理装置である。これにより、第１のチャネルおよび第２のチャネルの第１段階の平滑化値に基づいて第２のチャネルの第１段階の平滑化値の強度を推定して偽色を抑制させるという作用をもたらす。また、この場合において上記複数の方向は、水平方向、垂直方向、右上がり斜め方向、および、右下がり斜め方向の何れか２つ以上の組合せとすることができる。

また、本発明の第３の側面は、被写体を撮像して入力画像を生成する撮像手段と、上記入力画像における所定の注目画素の近傍領域を対象として上記近傍領域における第１の方向に沿った複数の位置について上記第１の方向と異なる第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第１のチャネルについて算出する第１の平滑化手段と、上記近傍領域における上記第１の方向に沿った複数の位置について上記第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第２のチャネルについて算出する第２の平滑化手段と、上記第１および第２のチャネルの上記第１段階の平滑化値に基づいて上記第２のチャネルの上記第１段階の平滑化値の強度を推定する強度推定手段と、上記強度推定手段によって強度推定された上記第２のチャネルの上記第１段階の平滑化値を上記第１の方向に沿って平滑化した上記第２のチャネルの第２段階の平滑化値を算出する第３の平滑化手段とを具備することを特徴とする画像処理装置である。これにより、撮像画像の第１のチャネルおよび第２のチャネルの第１段階の平滑化値に基づいて第２のチャネルの第１段階の平滑化値の強度を推定させるという作用をもたらす。

また、この第３の側面において、上記撮像手段は、原色系ベイヤー配列によるカラーフィルタを前面に配したイメージセンサであってもよい。

また、この第３の側面において、上記撮像手段は、カラーフィルタを前面に配したイメージセンサであって、上記カラーフィルタは、特定の色に対応する画素が市松状に配置され、他の少なくとも３つの色が残る画素位置に配置することができる。また、この場合において、上記特定の色は、人間の視感度曲線に近い分光感度を有するフィルタ色を採用することができる。また、上記他の少なくとも３つの色のうち、第１の色は上記特定の色以外の画素位置において水平方向および垂直方向に１画素おきの正方格子状に配置され、第２および第３の色は残る画素位置において斜め方向に１画素おきの斜め格子状に配置することができる。この場合において、上記第１の色は、上記特定の色と比較して長波長側に感度を有する分光特性のフィルタ色を採用することができ、上記第２および第３の色のうち少なくとも一方は、上記特定の色と比較して短波長側に感度を有する分光特性のフィルタ色を採用することができる。また、上記特定の色は、赤外線にも分光感度を有するフィルタ色を採用することができる。

また、本発明の第４の側面は、入力画像における所定の注目画素の近傍領域を対象として上記近傍領域における第１の方向に沿った複数の位置について上記第１の方向と異なる第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第１のチャネルについて算出する第１の平滑化手順と、上記近傍領域における上記第１の方向に沿った複数の位置について上記第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第２のチャネルについて算出する第２の平滑化手順と、上記第１および第２のチャネルの上記第１段階の平滑化値に基づいて上記第２のチャネルの上記第１段階の平滑化値の強度を推定する強度推定手順と、上記強度推定された上記第２のチャネルの上記第１段階の平滑化値を上記第１の方向に沿って平滑化した上記第２のチャネルの第２段階の平滑化値を算出する第３の平滑化手順とを具備することを特徴とする画像処理方法もしくはこれら手順をコンピュータに実行させることを特徴とするプログラムである。これにより、第１のチャネルおよび第２のチャネルの第１段階の平滑化値に基づいて第２のチャネルの第１段階の平滑化値の強度を推定させるという作用をもたらす。

本発明によれば、高周波成分を含んだ画像においても、偽色の発生を低減することができるという優れた効果を奏し得る。

次に本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の実施の形態における撮像装置の一例を示す図である。この撮像装置は、大別して光学系、信号処理系、記録系、表示系、および、制御系から構成される。

光学系は、被写体の光画像を集光するレンズ１１と、光画像の光量を調整する絞り１２と、集光された光画像を光電変換して電気信号に変換する撮像素子１３とから構成される。撮像素子１３は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどにより実現される。

信号処理系は、撮像素子１３からの電気信号をサンプリングするサンプリング回路２１と、サンプリング回路２１から供給されるアナログ信号をディジタル信号に変換するＡ／Ｄ変換回路２２と、Ａ／Ｄ変換回路２２から入力されるディジタル信号に所定の画像処理を施す画像処理回路２３とから構成される。サンプリング回路２１は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現される。これにより、撮像素子１３で発生するノイズが軽減される。また、画像処理回路２３は、例えば、ＤＳＰ（Digital Signal Processor）によって実現される。なお、画像処理回路２３により実行される処理の詳細については後述する。

記録系は、画像信号を記憶するメモリ３２と、画像処理回路２３によって処理された画像信号を符号化してメモリ３２に記録し、また、メモリ３２から画像信号を読み出して復号し、画像処理回路２３に供給する符号化／復号器３１とから構成される。なお、メモリ３２は、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等であってよい。

表示系は、画像処理回路２３によって処理された画像信号を表示部４２に出力する表示ドライバ４１と、入力される画像信号に対応する画像を表示する表示部４２とから構成される。表示部４２は、例えば、ＬＣＤ（Liquid Crystal Display）等により実現され、ファインダとしての機能も有する。

制御系は、撮像素子１３、サンプリング回路２１、Ａ／Ｄ変換回路２２、および、画像処理回路２３の動作タイミングを制御するタイミング生成器５１と、ユーザによるシャッタ操作やその他のコマンド入力を受け付けるための操作入力受付部５２と、周辺機器を接続するためのドライバ５３と、撮像装置全体を制御する制御部５４とから構成される。ドライバ５３には、磁気ディスク、光ディスク、光磁気ディスク、または、半導体メモリ等が接続される。制御部５４は、これらに記憶されている制御用プログラムを、ドライバ５３を介して読み出し、読み出した制御用プログラムや操作入力受付部５２から入力されるユーザからのコマンド等に基づいて制御を行う。

画像処理回路２３、符号化／復号器３１、メモリ３２、表示ドライバ４１、タイミング生成器５１、操作入力受付部５２、および、制御部５４は、バス５９を介して相互に接続されている。

この撮像装置において、被写体の光学画像（入射光）は、レンズ１１および絞り１２を介して撮像素子１３に入射され、撮像素子１３によって光電変換されて電気信号となる。得られた電気信号は、サンプリング回路２１によってノイズ成分が除去され、Ａ／Ｄ変換回路２２によってディジタル化された後、画像処理回路２３が内蔵する（図示しない）画像メモリに一時格納される。

なお、通常の状態では、タイミング生成器５１による信号処理系に対する制御により、画像処理回路２３の内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理回路２３の内蔵する画像メモリの画像信号は、表示ドライバ４１を介して表示部４２に出力され、対応する画像が表示部４２に表示される。

表示部４２は、撮像装置のファインダとしての役割も担っている。ユーザが操作入力受付部５２に含まれるシャッタボタンを押下した場合、制御部５４は、タイミング生成器５１に対して、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理回路２３の画像メモリに画像信号が上書きされないように、信号処理系を制御する。画像処理回路２３の画像メモリに保持された画像データは、符号化／復号器３１によって符号化されてメモリ３２に記録される。以上のような撮像装置の動作によって、１枚の画像データの取込みが完了する。

図２は、本発明の実施の形態における画像処理回路２３の処理機能の一例を示す図である。画像処理回路２３は、ホワイトバランス処理部２３１と、デモザイク処理部２３２と、マトリックス処理部２３３と、ガンマ補正部２３４と、ＹＣ変換部２３５とを備える。この画像処理回路２３は、Ａ／Ｄ変換回路２２によってデジタイズされたモザイク画像Ｍを入力画像として画像処理を施すものである。モザイク画像は、各画素にＲ、Ｇ、Ｂの何れかの色に対応する強度信号が格納されたものであり、その色配列は図３に示すようなベイヤー配列である。

ホワイトバランス処理部２３１は、モザイク画像Ｍに対してホワイトバランス処理を施すものである。このホワイトバランス処理部２３１は、モザイク画像Ｍに対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかけるものである。このホワイトバランス処理を施されたモザイク画像Ｍ_ｗは、デモザイク処理部２３２に供給される。

デモザイク処理部２３２は、モザイク画像Ｍ_ｗの各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うように補間処理（デモザイク処理）を行うものである。この補間処理の施されたデモザイク画像［Ｒ，Ｇ，Ｂ］^Ｔは、マトリックス処理部２３３に供給される。なお、行列Ａ^Ｔは、行列Ａの転置行列を意味する。

マトリックス処理部２３３は、予め係数が設定された３行３列のリニアマトリックスをデモザイク処理部２３２の出力の各画素［Ｒ，Ｇ，Ｂ］^Ｔに適用し、３原色の強度値［Ｒ_ｍ，Ｇ_ｍ，Ｂ_ｍ］^Ｔに変換するものである。リニアマトリックスは、人間の見え方に近い色再現のための変換係数である。この変換後の強度値［Ｒ_ｍ，Ｇ_ｍ，Ｂ_ｍ］^Ｔは、ガンマ補正部２３４に供給される。

ガンマ補正部２３４は、強度値［Ｒ_ｍ，Ｇ_ｍ，Ｂ_ｍ］^Ｔに対してガンマ補正を施すものである。ガンマ補正は、表示部４２において入力画像に忠実な表示を再現するための補正である。このガンマ補正部２３４の出力［Ｒ^γ，Ｇ^γ，Ｂ^γ］^Ｔは、ＹＣ変換部２３５に供給される。

ＹＣ変換部２３５は、ガンマ補正された３チャネル画像［Ｒ^γ，Ｇ^γ，Ｂ^γ］^ＴにＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号（Ｙ）および色差信号（Ｃｒ，Ｃｂ）を出力するものである。この輝度信号および色差信号は、画像処理回路２３の後段の符号化／復号器３１に供給される。

なお、表示ドライバ４１には、通常の場合、ＲＧＢ信号が供給される。このＲＧＢ信号は、ＹＣ変換部２３５の出力である輝度信号および色差信号をＲＧＢ信号に変換したものである。

図３は、本発明の実施の形態における撮像素子の前面に配されるカラーフィルタの一例としてのベイヤー配列を示す図である。このベイヤー配列では、Ｇの色の画素が市松状に配置され、それ以外の画素位置ではＲの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置され、残りの画素位置にＢの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置されている。

Ｇの色は、人間の視感度曲線に近い分光特性のフィルタ色である。Ｒの色は、比較的長波長側に感度を有するような分光特性のフィルタ色である。一方、Ｂの色は、比較的短波長側に感度を有するような分光特性のフィルタ色である。

これらは、市松状に配置された第１のチャネル（Ｇ）と、それ以外の第２のチャネル（ＲおよびＢ）に区分けすることができる。第１のチャネルでは、水平方向および垂直方向の何れについて平滑化してもその色が存在する。これに対して、第２のチャネルでは、水平方向および垂直方向の何れか一方について平滑化した際、その色が存在しない場合がある。この場合、第１のチャネルの強度を用いて第２のチャネルの強度を推定することができる。

図４は、本発明の実施の形態におけるデモザイク処理部２３２の機能構成例を示す図である。デモザイク処理部２３２は、近傍領域抽出部１００と、方向補間部２００と、方向判断部３００と、合成部４００とを備える。デモザイク処理は、全画素位置において全ての色が存在するように、各画素位置に対して順次、そこにない色の強度を補間または推定していく処理である。すなわち、以下に説明する各処理は、順次設定される注目画素位置において行われる処理であり、全画素について繰り返し行われた後に終了する。

近傍領域抽出部１００は、ホワイトバランス処理の施されたモザイク画像Ｍ_ｗから、注目画素位置の周囲の所定の大きさの近傍領域を抽出するものである。本発明の実施の形態では、注目画素位置を中心とした９×９画素の矩形領域を近傍領域として抽出するものとする。

例えば、近傍領域抽出部１００をソフトウェアとして実現する場合は、注目画素位置の近傍の９×９画素の矩形領域内の画素値を配列の形でメモリ上に確保する動作をすればよい。また、近傍領域抽出部１００をハードウェアで実現する場合、通常の撮像装置の信号処理系ではイメージセンサからの信号は水平ラインの画素強度の１次元系列としてデータを流すように実装されることが多いため、その場合は１水平ライン分の画素強度を保持できるディレイラインを用いて上下に隣接する水平ラインの画素へのアクセスを確保するようにすればよい。９×９画素の矩形領域へのアクセスを確保するには、最低８個のディレイラインを用意すれば足りる。

方向補間部２００は、注目画素位置について、複数の方向それぞれに沿って補間処理を行い、複数の方向それぞれにおける補間結果を出力するものである。本発明の実施の形態では、方向補間部２００は、水平方向に沿った補間処理を行う水平方向補間処理部２１０と、垂直方向に沿った補間処理を行う垂直方向補間処理部２２０とを備えるものとする。水平方向補間処理部２１０は水平方向補間値［Ｒ_ｈ，Ｇ_ｈ，Ｂ_ｈ］^Ｔを信号線２１９に出力し、垂直方向補間処理部２２０は垂直方向補間値［Ｒ_ｖ，Ｇ_ｖ，Ｂ_ｖ］^Ｔを信号線２２９に出力する。

方向判断部３００は、注目画素位置についてテクスチャ方向を判断し、複数の方向に沿った補間値をどのように合成するかを指示するものである。本発明の実施の形態では、方向判断部３００は、水平方向および垂直方向の補間値の重みＳ_ｈおよびＳ_ｖを算出するものとする。この方向判断部３００は、水平方向に沿った補間処理を行う水平方向補間処理部３１０と、垂直方向に沿った補間処理を行う垂直方向補間処理部３２０とを備える。これら水平方向補間処理部３１０および垂直方向補間処理部３２０から信号線３１９および３２９を介して出力された補間値は、それぞれクロマ信号エイリアス強度算出部３３０および３４０に供給される。クロマ信号エイリアス強度算出部３３０および３４０は、補間値に含まれるクロマ信号のエイリアス強度を算出するものである。これらクロマ信号エイリアス強度算出部３３０および３４０から信号線３３９および３４９を介して出力された水平方向のエイリアス強度Ｖ_ｈおよび垂直方向のエイリアス強度Ｖ_ｖは、方向評価部３５０に供給される。

方向評価部３５０は、水平方向および垂直方向のエイリアス強度Ｖ_ｈおよびＶ_ｖに基づいて水平方向および垂直方向の補間値の重みＳ_ｈおよびＳ_ｖを算出する。この方向評価部３５０により算出された水平方向および垂直方向の補間値の重みＳ_ｈおよびＳ_ｖは信号線３６９および３７９を介して出力される。例えば、水平方向のエイリアス強度Ｖ_ｈが垂直方向のエイリアス強度Ｖ_ｖよりも小さい場合には、水平方向の補間値の重みＳ_ｈを「１」として、垂直方向の補間値の重みＳ_ｖを「０」とする。一方、それ以外の場合には、水平方向の補間値の重みＳ_ｈを「０」として、垂直方向の補間値の重みＳ_ｖを「１」とする。また、他の算出方法として、エイリアス強度の比率から次式のように重みＳ_ｈおよびＳ_ｖを算出してもよい。
Ｓ_ｈ＝１−Ｖ_ｈ／（Ｖ_ｈ＋Ｖ_ｖ）
Ｓ_ｖ＝１−Ｖ_ｖ／（Ｖ_ｈ＋Ｖ_ｖ）

合成部４００は、方向判断部３００によって出力された補間値の重みＳ_ｈおよびＳ_ｖに基づいて方向補間部２００によって出力された補間値を合成するものである。この合成部４００は、例えば次式によりモザイク画像［Ｒ，Ｇ，Ｂ］^Ｔを算出して、信号線４０９に出力する。

これにより、例えば縦縞のようにテクスチャ方向が垂直方向であれば垂直方向の補間値に比重をおいて合成を行い、横縞のようにテクスチャ方向が水平方向であれば水平方向の補間値に比重をおいて合成を行うことができる。

図５は、本発明の実施の形態における水平方向補間処理部２１０の機能構成例を示す図である。この水平方向補間処理部２１０は、水平方向平滑化部２１１０および２１２０と、強度推定部２１３０および２１４０と、垂直方向平滑化部２１７０および２１８０と、合成部２１９０とを備える。

水平方向平滑化部２１１０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＧチャネルについて、垂直方向に沿った位置（以下、垂直サンプル位置と呼称する。）で水平方向に平滑化を行うものである。この水平方向平滑化部２１１０によって生成された平滑化値は、信号線２１１９に出力される。

水平方向平滑化部２１２０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＲチャネルおよびＢチャネルについて、垂直サンプル位置で水平方向に平滑化を行うものである。但し、ＲチャネルおよびＢチャネルについては、ある垂直サンプル位置の水平ラインに、該当するチャネルの画素が存在しない場合があり、その場合には平滑化値を求めることはできず、平滑値は不在のままである。この水平方向平滑化部２１２０によって生成された平滑化値は、信号線２１２９に出力される。

強度推定部２１３０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＧチャネルについて、注目画素位置の強度を推定するものである。この強度推定部２１３０は、注目画素位置にＧチャネルの画素が存在する場合にはその値を強度とし、注目画素位置にＧチャネルの画素が存在しない場合には水平方向に隣り合うＧチャネルの画素強度の平均値を強度と推定する。この推定された強度は、Ｇチャネルの補間値として信号線２１３９に出力される。

強度推定部２１４０は、水平方向平滑化部２１２０によるＲチャネルおよびＢチャネルの平滑化値の強度を、水平方向平滑化部２１１０によるＧチャネルの平滑化値の強度によって推定するものである。この強度推定部２１４０によって推定された強度は、ＲチャネルおよびＢチャネルの補間された平滑化値として信号線２１４９に出力される。

垂直方向平滑化部２１７０は、水平方向平滑化部２１１０によるＧチャネルの水平方向の平滑化値の強度を、さらに垂直方向に平滑化するものである。このようにして生成された値はＧチャネルの低周波成分として信号線２１７９に出力される。

垂直方向平滑化部２１８０は、強度推定部２１４０によるＲチャネルおよびＢチャネルの補間された水平方向の平滑化値の強度を、さらに垂直方向に平滑化するものである。このようにして生成された値はＲチャネルおよびＢチャネルの低周波成分として信号線２１８９に出力される。

合成部２１９０は、垂直方向平滑化部２１７０によるＧチャネルの低周波成分と、垂直方向平滑化部２１８０によるＲチャネルおよびＢチャネルの低周波成分と、強度推定部２１３０によるＧチャネルの補間値とに基づいて、注目画素位置のＲチャネルおよびＢチャネルの強度を合成するものである。ここで、合成対象となるチャネルとしてＲチャネルを例にすると、Ｒチャネルの強度Ｒ_Ｃは、Ｒチャネルの高周波成分Ｒ_Ｈおよび低周波成分Ｒ_Ｌの合成値となる。また、Ｒチャネルの高周波成分Ｒ_Ｈは、Ｇチャネルの高周波成分と低周波成分との比から求めることができる。したがって、Ｒチャネルの強度Ｒ_Ｃは、次式のように、ＲチャネルおよびＧチャネルの低周波成分の比とＧチャネルの強度Ｇ_Ｃをかけたものになる。なお、Ｂチャネルについても同様である。
Ｒ_Ｃ＝Ｒ_Ｈ＋Ｒ_Ｌ＝Ｒ_Ｌ・（（Ｇ_Ｃ−Ｇ_Ｌ）／Ｇ_Ｌ）＋Ｒ_Ｌ＝（Ｒ_Ｌ／Ｇ_Ｌ）・Ｇ_Ｃ

この合成部２１９０により合成されたＲチャネルおよびＢチャネルの強度は、ＲチャネルおよびＢチャネルの補間値として信号線２１９９に出力される。また、これらＲチャネルおよびＢチャネルの補間値、および、強度推定部２１３０から出力されたＧチャネルの補間値は、水平方向に沿った補間処理結果として信号線２１９に出力される。

なお、ここでは、水平方向補間処理部２１０の機能構成例について説明したが、垂直方向補間処理部２２０の場合は水平方向と垂直方向とが逆になるだけで基本的な構成は同様である。

図６は、本発明の実施の形態における水平方向補間処理部２１０による処理の模式図である。図６（ａ）は、９×９画素のベイヤー配列に対して水平方向の平滑化を行う様子を示す図である。Ｇチャネルについては水平方向平滑化部２１１０により平滑化が行われ、ＲチャネルおよびＢチャネルについては水平方向平滑化部２１２０により平滑化が行われる。

図６（ｂ）は、水平方向平滑化部２１１０および２１２０による平滑化の結果を示す図である。Ｇチャネルは各ラインに存在するため、全ての垂直サンプル位置について平滑化値が得られている。一方、ＲチャネルおよびＢチャネルは１ラインおきに存在するため、平滑化値は全ての垂直サンプル位置について得られるわけではなく、空きが生じていることがわかる。

強度推定部２１４０は、ＲチャネルおよびＢチャネルの平滑化値について強度を推定して、図６（ｃ）のように、ＲチャネルおよびＢチャネルについても全ての垂直サンプル位置について平滑化値が揃うようにする。

図６（ｃ）は、得られた水平方向の平滑化値に対して垂直方向の平滑化を行う様子を示す図である。Ｇチャネルについては垂直方向平滑化部２１７０により平滑化が行われ、ＲチャネルおよびＢチャネルについては垂直方向平滑化部２１８０により平滑化が行われる。

図６（ｄ）は、垂直方向平滑化部２１７０および２１８０による平滑化の結果を示す図である。これらの平滑化値は、各チャネルの低周波成分であり、合成部２１９０に供給される。

図７は、本発明の実施の形態における強度推定部２１４０の機能構成例を示す図である。この強度推定部２１４０は、高周波成分算出部２１４１と、低周波成分算出部２１４３と、補正値算出部２１４５とを備えている。

高周波成分算出部２１４１は、水平方向平滑化部２１１０によって生成された平滑化値から各垂直サンプル位置での高周波成分を算出するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＧチャネルの平滑化値をＧ［ｉ］、位置ｉに隣り合う垂直サンプル位置のＧチャネルの平滑化値をＧ［ｉ−１］およびＧ［ｉ＋１］とする。このとき、Ｇチャネルの高周波成分Ｇ_Ｈ［ｉ］は、位置ｉにＲチャネルの画素がある場合は、
Ｇ_Ｈ［ｉ］＝（（Ｇ［ｉ＋１］＋Ｇ［ｉ−１］）／２−Ｇ［ｉ］）／２
により算出され、位置ｉにＲチャネルの画素がない場合は、
Ｇ_Ｈ［ｉ］＝（Ｇ［ｉ］−（Ｇ［ｉ＋１］＋Ｇ［ｉ−１］）／２）／２
により算出される。ここではＲチャネルの位置を基準としてＧチャネルの高周波成分を算出する方法について説明したが、Ｒチャネルの代わりにＢチャネルを基準としてもよい。

低周波成分算出部２１４３は、水平方向平滑化部２１２０によって生成された平滑化値から各垂直サンプル位置での低周波成分を算出するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＲチャネルの平滑化値をＲ［ｉ］、位置ｉに隣り合う垂直サンプル位置のＲチャネルの平滑化値をＲ［ｉ−１］およびＲ［ｉ＋１］とする。このとき、Ｒチャネルの低周波成分Ｒ_Ｌ［ｉ］は、位置ｉにＲチャネルの画素がある場合は、
Ｒ_Ｌ［ｉ］＝Ｒ［ｉ］
により算出され、位置ｉにＲチャネルの画素がない場合は、
Ｒ_Ｌ［ｉ］＝（Ｒ［ｉ＋１］＋Ｒ［ｉ−１］）／２
により算出される。なお、Ｂチャネルの低周波成分Ｂ_Ｌ［ｉ］を算出する場合も同様である。

補正値算出部２１４５は、高周波成分算出部２１４１によって生成されたＧチャネルの高周波成分と、低周波成分算出部２１４３によって生成されたＲチャネルまたはＢチャネルの低周波成分とから、ＲチャネルまたはＢチャネルの各垂直サンプル位置での平滑化値を補正するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＲチャネルの補正値をＲ_Ｃ［ｉ］は、次式のようにＲチャネルの低周波成分Ｒ_Ｌ［ｉ］とＧチャネルの高周波成分Ｇ_Ｈ［ｉ］との加算によって算出することができる。
Ｒ_Ｃ［ｉ］＝Ｒ_Ｌ［ｉ］＋Ｇ_Ｈ［ｉ］

Ｂチャネルについても同様であり、Ｂチャネルの低周波成分Ｂ_Ｌ［ｉ］とＧチャネルの高周波成分Ｇ_Ｈ［ｉ］との加算からＢチャネルの補正値Ｂ_Ｃ［ｉ］を算出することができる。

なお、ここでは、ＲチャネルまたはＢチャネルの低周波成分とＧチャネルの高周波成分との加算からＲチャネルの補正値を算出する例について説明したが、以下のようにＲチャネルまたはＢチャネルの高周波成分を推定することによりＲチャネルまたはＢチャネルの補正値を算出してもよい。

図８は、本発明の実施の形態における強度推定部２１４０の他の機能構成例を示す図である。この強度推定部２１４０は、高周波成分算出部２１４１と、低周波成分算出部２１４２および２１４３と、高周波成分推定部２１４４と、補正値算出部２１４５とを備えている。すなわち、図７の例と比較して、低周波成分算出部２１４２および高周波成分推定部２１４４を追加した構成になっている。

低周波成分算出部２１４２は、水平方向平滑化部２１１０によって生成された平滑化値から各垂直サンプル位置での低周波成分を算出するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＧチャネルの平滑化値をＧ［ｉ］とすると、Ｇチャネルの低周波成分Ｇ_Ｌ［ｉ］は、
Ｇ_Ｌ［ｉ］＝Ｇ［ｉ］
により算出される。

高周波成分推定部２１４４は、低周波成分算出部２１４２によって生成されたＧチャネルの低周波成分と、低周波成分算出部２１４３によって生成されたＲチャネルまたはＢチャネルの低周波成分との比率に基づいて、高周波成分算出部２１４１によって生成されたＧチャネルの高周波成分を調整することにより、ＲチャネルまたはＢチャネルの高周波成分を推定するものである。参照している垂直サンプル位置を位置ｉとした場合、位置ｉにおけるＧチャネルの高周波成分をＧ_Ｈ［ｉ］、Ｇチャネルの低周波成分をＧ_Ｌ［ｉ］、Ｒチャネルの低周波成分をＲ_Ｌ［ｉ］とすると、Ｒチャネルの高周波成分Ｒ_Ｈ［ｉ］は次式により算出することができる。
Ｒ_Ｈ［ｉ］＝（Ｒ_Ｌ［ｉ］／Ｇ_Ｌ［ｉ］）・Ｇ_Ｈ［ｉ］

これにより、補正値算出部２１４５は、次式のようにＲチャネルの低周波成分Ｒ_Ｌ［ｉ］とＲチャネルの高周波成分Ｒ_Ｈ［ｉ］との加算によって算出することができる。
Ｒ_Ｃ［ｉ］＝Ｒ_Ｌ［ｉ］＋Ｒ_Ｈ［ｉ］

なお、ここでは、Ｒチャネルについて説明したが、Ｂチャネルについても同様である。

図９は、本発明の実施の形態における水平方向補間処理部３１０の機能構成例を示す図である。この水平方向補間処理部３１０は、Ｇ強度推定部３１１と、ＲＢ強度推定部３１２とを備える。

Ｇ強度推定部３１１は、近傍領域抽出部１００によって抽出された近傍領域において、Ｇチャネルの画素がない位置についてＧチャネルを推定するものである。この場合の推定方法として、例えば図１０（ａ）に示す補間フィルタを用いて、水平方向に隣り合う画素の強度の平均値を求めることにより推定することができる。このＧチャネルの推定値は信号線３１８に出力される。なお、垂直方向補間処理部３２０におけるＧ強度推定部でも同様であり、例えば図１０（ｂ）に示す補間フィルタを用いて、垂直方向に隣り合う画素の強度の平均値を求めることにより推定することができる。

ＲＢ強度推定部３１２は、近傍領域抽出部１００によって抽出された近傍領域において、ＲチャネルおよびＢチャネルの画素がない位置についてそれぞれＲチャネルおよびＢチャネルを推定するものである。この場合の推定方法として、例えば図１０（ａ）に示す補間フィルタを用いて、水平方向に隣り合う画素の強度の平均値を求めることにより推定することができる。但し、ＲチャネルおよびＢチャネルについては、ラインに該当するチャネルが存在しない場合があるため、その場合にはＧ強度推定部３１１により推定されたＧチャネルの強度に基づいて、ＲチャネルおよびＢチャネルの強度を推定することができる。このＲＢ強度推定部３１２により推定されたＲチャネルおよびＢチャネルの強度、および、Ｇ強度推定部３１１により推定されたＧチャネルの強度は、信号線３１９に出力される。

この図９の例では、近傍領域の全ての画素について、存在しないチャネルの強度を推定している。したがって、信号線３１９には近傍領域に対応する９×９画素における各チャネルの強度が出力される。これに対し、次のように、一方向に平滑化を行った後に、足りないチャネルの強度のみを推定するようにしてもよい。

図１１は、本発明の実施の形態における水平方向補間処理部３１０の他の機能構成例を示す図である。この水平方向補間処理部３１０は、水平方向平滑化部３１３および３１４と、ＲＢ強度推定部３１５とを備えている。

水平方向平滑化部３１３は、注目画素位置の近傍領域に含まれるＧチャネルについて、垂直サンプル位置で水平方向に平滑化を行うものである。この水平方向平滑化部３１３によって生成された平滑化値は、信号線３１７に出力される。

水平方向平滑化部３１４は、注目画素位置の近傍領域に含まれるＲチャネルおよびＢチャネルについて、垂直サンプル位置で水平方向に平滑化を行うものである。但し、ＲチャネルおよびＢチャネルについては、ある垂直サンプル位置の水平ラインに、該当するチャネルの画素が存在しない場合があり、その場合には平滑化値を求めることができず、平滑値は不在のままである。この水平方向平滑化部３１４によって生成された平滑化値は、信号線３１６に出力される。

ＲＢ強度推定部３１５は、水平方向平滑化部３１４によるＲチャネルおよびＢチャネルの平滑化値の強度を、水平方向平滑化部３１３によるＧチャネルの平滑化値の強度によって推定するものである。このＲＢ強度推定部３１５により推定されたＲチャネルおよびＢチャネルの強度、および、水平方向平滑化部３１３により平滑化されたＧチャネルの強度は、信号線３１９に出力される。

この図１１の例では、近傍領域の各画素を水平方向に平滑化して処理を行っている。したがって、信号線３１９には近傍領域の各画素を水平方向に平滑化した１×９画素における各チャネルの強度が出力される。すなわち、近傍領域について１画素毎に補間を行わずに補間方向に沿って１ライン分平滑化することにより、図９の例の場合と比べて高速な補間処理を行うことができる。そこで、以下では、図１１の例による水平方向補間処理部３１０の出力（１×９画素）に基づいてクロマ信号のエイリアス強度を算出する場合について説明する。

図１２は、本発明の実施の形態におけるクロマ信号エイリアス強度算出部３３０の機能構成例を示す図である。このクロマ信号エイリアス強度算出部３３０は、類似度算出部３３１と、クロマ信号分散算出部３３２とを備えている。

類似度算出部３３１は、注目画素を含むラインの補間値と近傍領域の補間値との類似度を算出するものである。この類似度算出部３３１は、例えば次式によりｉ番目の垂直サンプル位置における類似度ｗ_ｉを算出する。ここで、Ｇ_{ｃｅｎｔｅｒ}は注目画素を含む垂直サンプル位置におけるＧチャネルの補間値であり、Ｇ_ｉはｉ番目の垂直サンプル位置におけるＧチャネルの補間値である。また、Ｇチャネルの各補間値は最大値が１になるように正規化されているものとする。
ｗ_ｉ＝１−｜Ｇ_ｉ−Ｇ_{ｃｅｎｔｅｒ}｜

なお、類似度算出部３３１における類似度の算出式は上式に限られるものではなく、例えば次式により類似度ｗ_ｉを算出してもよい。ここで、Ｇ_ｍｅａｎはＧチャネルの補間値の平均値であり、Ｇ_ｖａｒはＧチャネルの補間値の分散である。
ｗ_ｉ＝（（Ｇ_ｉ−Ｇ_ｍｅａｎ）・（Ｇ_{ｃｅｎｔｅｒ}−Ｇ_ｍｅａｎ）／Ｇ_ｖａｒ）×０．５＋０．５

このようにして得られた類似度は、クロマ信号分散算出部３３２におけるクロマ信号の分散値算出のための重みとして用いられる。

クロマ信号分散算出部３３２は、クロマ信号の重み付け分散値を算出するものである。ここで、クロマ信号は、画素信号のクロミナンス（Chrominance：色差）であり、画素信号から輝度信号Ｙ（ルミナンス：Luminance）を除いたものである。本発明の実施の形態では、赤の色差Ｃｒおよび青の色差Ｃｂを次式から算出するものとする。但し、Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂである。
Ｃｒ＝Ｒ−Ｙ
Ｃｂ＝Ｂ−Ｙ

このクロマ信号分散算出部３３２は、このようにして算出されたクロマ信号の類似度による重み付け分散値として、赤の色差Ｃｒの分散Ｖ_Ｃｒおよび青の色差Ｃｂの分散Ｖ_Ｃｂを次式により算出する。ここで、Ｎはサンプリング総数であり、図１１を前提とする実施の形態ではＮ＝９である。また、Ｃｒ_ｉおよびＣｂ_ｉは、ｉ番目の垂直サンプル位置における赤および青のクロマ信号の強度である。また、オーバーラインは平均値を表す。

この結果、クロマ信号の分散値を加算した値Ｖ＝Ｖ_Ｃｒ＋Ｖ_Ｃｂがクロマ信号のエイリアス強度となる。このエイリアス強度Ｖは、水平方向のエイリアス強度Ｖ_ｈとして信号線３３９から出力される。

なお、クロマ信号エイリアス強度算出部３４０における処理も同様であり、エイリアス強度Ｖが垂直方向のエイリアス強度Ｖ_ｖとして信号線３４９から出力される。

図４の構成例においては、方向補間部２００における補間処理（水平方向補間処理部２１０および垂直方向補間処理部２２０による処理）と方向判断部３００における補間処理（水平方向補間処理部３１０および垂直方向補間処理部３２０による処理）とを独立して行っている。しかし、これらの間では互いに重複する部分が存在するため、何れか一方における結果を共用することも可能である。この場合の構成例について以下に説明する。

図１３は、本発明の実施の形態におけるデモザイク処理部２３２の他の機能構成例を示す図である。この図１３の例では、図４の例と比べて、水平方向補間処理部３１０および垂直方向補間処理部３２０が除かれている。そして、これらに代えて、水平方向補間処理部２１０および垂直方向補間処理部２２０からの信号線２１８および２２８が、クロマ信号エイリアス強度算出部３３０および３４０にそれぞれ入力されている。

図１４は、図１３の例における水平方向補間処理部２１０の一構成例を示す図である。この水平方向補間処理部２１０では、垂直方向平滑化部２１７０および２１８０への入力である信号線２１１９および２１４９が、信号線２１８として出力されている。この信号線２１８の出力は、図１１における信号線３１９と等価である。したがって、クロマ信号エイリアス強度算出部３３０に対して供給される信号は、図４の例と同様になる。

なお、ここでは、水平方向補間処理部２１０について説明したが、垂直方向補間処理部２２０の場合は水平方向と垂直方向とが逆になるだけで基本的な構成は同様である。

次に本発明の実施の形態における画像処理装置の動作について図面を参照して説明する。

図１５は、本発明の実施の形態における画像処理回路２３の処理手順例を示す図である。Ａ／Ｄ変換回路２２からモザイク画像が取得されると（ステップＳ９０１）、ホワイトバランス処理部２３１は、そのモザイク画像に対してホワイトバランス処理を施す（ステップＳ９０２）。デモザイク処理部２３２は、ホワイトバランス処理の施されたモザイク画像の各画素位置にＲ、Ｇ、Ｂの全てのチャネルの強度が揃うように補間処理（デモザイク処理）を行う（ステップＳ９０３）。マトリックス処理部２３３は、リニアマトリックスをデモザイク処理部２３２の出力の各画素に適用し、３原色の強度値に変換する（ステップＳ９０４）。ガンマ補正部２３４は、マトリックス処理された強度値に対してガンマ補正を施す（ステップＳ９０５）。ＹＣ変換部２３５は、ガンマ補正された３チャネル画像にＹＣマトリックス処理およびクロマ成分に対する帯域制限を行うことにより、輝度信号（Ｙ）および色差信号（Ｃｒ，Ｃｂ）を出力する（ステップＳ９０６）。

図１６は、本発明の実施の形態におけるデモザイク処理部２３２によるデモザイク処理（図１５のステップＳ９０３）の処理手順例を示す図である。デモザイク処理は、全画素位置に全ての色が存在するように、画素位置毎にそこにない色の強度を補間または推定していく処理である。この処理は、各画素位置（ｐ，ｑ）について（ｐ＝１〜ｍ，ｑ＝１〜ｎ）ループＬ９９１を繰り返すことにより実現される。

まず、現在の画素位置（ｐ，ｑ）が注目画素位置として設定されると（ステップＳ９１１）、近傍領域抽出部１００は、ホワイトバランス処理の施されたモザイク画像から、注目画素位置の周囲の所定の大きさ（例えば９×９画素）の近傍領域を抽出する（ステップＳ９１２）。方向補間部２００は、注目画素位置について、複数の方向それぞれに沿って補間処理を行い、複数の方向それぞれにおける補間結果を出力する（ステップＳ９１３）。方向判断部３００は、注目画素位置についてテクスチャ方向を判断し、複数の方向に沿った補間値をどのように合成するかを指示する（ステップＳ９１４）。合成部４００は、方向判断部３００によって出力された補間値の重みに基づいて方向補間部２００によって出力された補間値を合成して、注目画素位置の補間値として出力する（ステップＳ９１５）。

図１７は、本発明の実施の形態における方向補間部２００による補間処理（図１６のステップＳ９１３）の処理手順例を示す図である。水平方向平滑化部２１１０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＧチャネルについて、垂直サンプル位置で水平方向に平滑化を行う（ステップＳ９２１）。また、水平方向平滑化部２１２０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＲチャネルおよびＢチャネルについて、垂直サンプル位置で水平方向に平滑化を行う（ステップＳ９２２）。強度推定部２１４０は、水平方向平滑化部２１２０によるＲチャネルおよびＢチャネルの平滑化値の強度を、水平方向平滑化部２１１０によるＧチャネルの平滑化値の強度によって推定する（ステップＳ９２３）。

そして、垂直方向平滑化部２１７０は、水平方向平滑化部２１１０によるＧチャネルの水平方向の平滑化値の強度を、さらに垂直方向に平滑化する（ステップＳ９２４）。また、垂直方向平滑化部２１８０は、強度推定部２１４０によるＲチャネルおよびＢチャネルの補間された水平方向の平滑化値の強度を、さらに垂直方向に平滑化する（ステップＳ９２５）。

また、強度推定部２１３０は、注目画素位置の近傍領域に含まれるＲＧＢの各チャネルのうちのＧチャネルについて、注目画素位置の強度を推定する（ステップＳ９２６）。そして、合成部２１９０は、垂直方向平滑化部２１７０によるＧチャネルの低周波成分と、垂直方向平滑化部２１８０によるＲチャネルおよびＢチャネルの低周波成分と、強度推定部２１３０によるＧチャネルの補間値とに基づいて、注目画素位置のＲチャネルおよびＢチャネルの強度を合成する（ステップＳ９２７）。

なお、これらの手順は、図５における動作の依存関係に従う限り、異なる順序で実行しても構わない。

図１８は、本発明の実施の形態における方向判断部３００によるテクスチャ方向判断処理（図１６のステップＳ９１４）の処理手順例を示す図である。水平方向補間処理部３１０は、水平方向に沿った補間処理を行う（ステップＳ９３１）。クロマ信号エイリアス強度算出部３３０は、水平方向に沿った補間値に含まれるクロマ信号のエイリアス強度を算出する（ステップＳ９３２）。

また、垂直方向補間処理部３２０は、垂直方向に沿った補間処理を行う（ステップＳ９３３）。クロマ信号エイリアス強度算出部３４０は、垂直方向に沿った補間値に含まれるクロマ信号のエイリアス強度を算出する（ステップＳ９３４）。

そして、方向評価部３５０は、水平方向および垂直方向のエイリアス強度に基づいて水平方向および垂直方向の補間値の重みを算出する（ステップＳ９３５）。

なお、これらの手順は、図４における動作の依存関係に従う限り、異なる順序で実行しても構わない。

図１９は、本発明の実施の形態における水平方向補間処理部３１０および垂直方向補間処理部３２０による一方向補間処理（図１８のステップＳ９３１およびＳ９３３）の処理手順例を示す図である。図９の水平方向補間処理部３１０は、近傍領域の全ての画素についてＲ、Ｇ、Ｂ信号が全て揃うように補間処理を行う。この水平方向補間処理部３１０による処理は、各画素位置（ｓ，ｔ）について（本発明の実施の形態ではｓ＝１〜９，ｔ＝１〜９）ループＬ９９２およびＬ９９３を繰り返すことにより実現される。

ループＬ９９２では、画素位置（ｓ，ｔ）の色がＧでなければ（ステップＳ９４１）、Ｇ強度推定部３１１は、画素位置（ｓ，ｔ）のＧチャネルの強度を推定する（ステップＳ９４２）。近傍領域内の全ての画素について、ステップＳ９４１の処理が実行されると、ループＬ９９２は終了して、ループＬ９９３へ移行する。

ループＬ９９３では、ＲＢ強度推定部３１２は、画素位置（ｓ，ｔ）において、ＲチャネルおよびＢチャネルの画素がない位置についてそれぞれＲチャネルおよびＢチャネルを推定する（ステップＳ９４３）。近傍領域内の全ての画素についてＲ、Ｇ、Ｂ信号が揃うと、一方向補間処理は終了する。

なお、垂直方向補間処理部３２０による処理は、水平方向と垂直方向とが逆になるだけで水平方向補間処理部３１０による処理と同様である。

図２０は、本発明の実施の形態におけるクロマ信号エイリアス強度算出部３３０および３４０によるクロマ信号のエイリアス強度算出処理（図１８のステップＳ９３２およびＳ９３４）の処理手順例を示す図である。

クロマ信号エイリアス強度算出部３３０において、類似度算出部３３１は、注目画素を含むラインの補間値と近傍領域の補間値との類似度を算出する（ステップＳ９５１）。そして、クロマ信号分散算出部３３２は、クロマ信号の重み付け分散値を算出する（ステップＳ９５２）。

なお、クロマ信号エイリアス強度算出部３４０による処理は、水平方向と垂直方向とが逆になるだけでクロマ信号エイリアス強度算出部３３０による処理と同様である。

本発明の実施の形態においては、図３に示したベイヤー配列の３原色系色フィルタを用いた例について説明したが、本発明はこれ以外の色配列についても適用可能である。例えば、図２１（ａ）のようにＲＧＢの他にＥ（エメラルド）のフィルタを加えた４色配列であってもよい。この４色配列は、３色のベイヤー配列のＢ画素位置の半分を若干分光特性の異なるものに置換した配列となっている。この４色配列の場合、方向補間部２００においてＲ、Ｇ、Ｂ、Ｅの各チャネルの補間値を算出しておいて、方向判断部３００におけるテクスチャ方向の判断に基づいて合成部４００において補間値を合成することができる。

この４色配列では、Ｇの色の画素が市松状に配置され、それ以外の画素位置ではＲの色の画素が水平方向および垂直方向に１画素おきの正方格子状に配置され、残りの画素位置にＢおよびＥの色の画素が斜め方向に１画素おきの斜め格子状に配置されている。

Ｇの色は、人間の視感度曲線に近い分光特性のフィルタ色である。Ｒの色は、比較的長波長側に感度を有するような分光特性のフィルタ色である。一方、ＢおよびＥの色は、比較的短波長側に感度を有するような分光特性のフィルタ色である。

この４色配列は、図２１（ｂ）のように一般化することができる。上の例では、ＧがＣ１に相当し、ＲがＣ２に相当し、ＢがＣ３に相当し、ＥがＣ４に相当する。これらは、市松状に配置された第１のチャネル（Ｃ１）と、それ以外の第２のチャネル（Ｃ２乃至Ｃ４）に区分けすることができる。第１のチャネルでは、水平方向および垂直方向の何れについて平滑化してもその色が存在する。これに対して、第２のチャネルでは、水平方向および垂直方向の何れか一方もしくは両方について平滑化した際、その色が存在しない場合がある。この場合、第１のチャネルの強度を用いて第２のチャネルの強度を推定することができる。

また、５色以上の配列についても同様である。すなわち、第１のチャネルが市松状に配置されていれば、第２のチャネルについては規則的に配列された４色以上の色を含むことができる。

なお、ここでは、市松状に配置される第１のチャネルとして人間の視感度曲線に近い分光特性のフィルタ色を想定したが、これに限らず、赤外線にも分光感度を有するフィルタ色であってもよい。そのような例として、例えば全ての色の光線を通す素通しフィルタが想定される。

また、本発明の実施の形態では、各画素が水平方向および垂直方向に規則的に配置されていることを想定したが、これに限らず、例えば４５度傾斜して配置されていてもよい。

また、本発明の実施の形態では、近傍領域において水平方向および垂直方向に補間してテクスチャ方向を判断することを想定したが、これに限らず、水平方向および垂直方向に加えて例えば右上がり斜め方向（Ascending）および右下がり斜め方向（Descending）の補間およびテクスチャ方向判断を行い、これらに基づいて合成を行ってもよい。

このように、本発明の実施の形態によれば、高周波成分算出部２１４１によって第１のチャネルの高周波成分を算出して、第２のチャネルの低周波成分を補正値算出部２１４５によって補正することによって注目画素位置における偽色の発生を抑制することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。

なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。

本発明の実施の形態における撮像装置の一例を示す図である。本発明の実施の形態における画像処理回路２３の処理機能の一例を示す図である。本発明の実施の形態における撮像素子の前面に配されるカラーフィルタの一例としてのベイヤー配列を示す図である。本発明の実施の形態におけるデモザイク処理部２３２の機能構成例を示す図である。本発明の実施の形態における水平方向補間処理部２１０の機能構成例を示す図である。本発明の実施の形態における水平方向補間処理部２１０による処理の模式図である。本発明の実施の形態における強度推定部２１４０の機能構成例を示す図である。本発明の実施の形態における強度推定部２１４０の他の機能構成例を示す図である。本発明の実施の形態における水平方向補間処理部３１０の機能構成例を示す図である。本発明の実施の形態において用いられる補間フィルタの例を示す図である。本発明の実施の形態における水平方向補間処理部３１０の他の機能構成例を示す図である。本発明の実施の形態におけるクロマ信号エイリアス強度算出部３３０の機能構成例を示す図である。本発明の実施の形態におけるデモザイク処理部２３２の他の機能構成例を示す図である。図１３の例における水平方向補間処理部２１０の一構成例を示す図である。本発明の実施の形態における画像処理回路２３の処理手順例を示す図である。本発明の実施の形態におけるデモザイク処理部２３２によるデモザイク処理の処理手順例を示す図である。本発明の実施の形態における方向補間部２００による補間処理の処理手順例を示す図である。本発明の実施の形態における方向判断部３００によるテクスチャ方向判断処理の処理手順例を示す図である。本発明の実施の形態における水平方向補間処理部３１０および垂直方向補間処理部３２０による一方向補間処理の処理手順例を示す図である。本発明の実施の形態におけるクロマ信号エイリアス強度算出部３３０および３４０によるクロマ信号のエイリアス強度算出処理の処理手順例を示す図である。本発明の実施の形態における撮像素子の前面に配される他のカラーフィルタの例を示す図である。

符号の説明

１１レンズ
１２絞り
１３撮像素子
２１サンプリング回路
２２Ａ／Ｄ変換回路
２３画像処理回路
３１符号化／復号器
３２メモリ
４１表示ドライバ
４２表示部
５１タイミング生成器
５２操作入力受付部
５３ドライバ
５４制御部
５９バス
１００近傍領域抽出部
２００方向補間部
２１０水平方向補間処理部
２２０垂直方向補間処理部
３００方向判断部
３１０水平方向補間処理部
３１１Ｇ強度推定部
３１２ＲＢ強度推定部
３１３、３１４水平方向平滑化部
３１５ＲＢ強度推定部
３２０垂直方向補間処理部
３３０、３４０クロマ信号エイリアス強度算出部
３３１類似度算出部
３３２クロマ信号分散算出部
３５０方向評価部
４００合成部
２１１０、２１２０水平方向平滑化部
２１３０、２１４０強度推定部
２１４１高周波成分算出部
２１４２、２１４３低周波成分算出部
２１４４高周波成分推定部
２１４５補正値算出部
２１７０、２１８０垂直方向平滑化部
２１９０合成部

Claims

入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における第１の方向に沿った複数の位置について前記第１の方向と異なる第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第１のチャネルについて算出する第１の平滑化手段と、
前記近傍領域における前記第１の方向に沿った複数の位置について前記第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第２のチャネルについて算出する第２の平滑化手段と、
前記第１および第２のチャネルの前記第１段階の平滑化値に基づいて前記第２のチャネルの前記第１段階の平滑化値の強度を推定する強度推定手段と、
前記強度推定手段によって強度推定された前記第２のチャネルの前記第１段階の平滑化値を前記第１の方向に沿って平滑化した前記第２のチャネルの第２段階の平滑化値を算出する第３の平滑化手段と
を具備し、
前記強度推定手段は、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分を算出する高周波成分算出手段と、
前記第１の方向に沿った各位置について前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分を算出する低周波成分算出手段と、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分と前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分とから前記第２のチャネルの当該位置の補正値を算出することにより前記第２のチャネルの前記第１段階の平滑化値の強度を推定する補正値算出手段と
を備える
画像処理装置。
前記強度推定手段は、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における低周波成分を算出する第２の低周波成分算出手段と、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における低周波成分と前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分との比率に基づいて前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分を調整することにより前記第２のチャネルの前記第１段階の平滑化値の当該位置における高周波成分を推定する高周波成分推定手段と
をさらに備え、
前記補正値算出手段は、前記第１の方向に沿った各位置について前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分と前記推定された第２のチャネルの前記第１段階の平滑化値の当該位置における高周波成分とから前記第２のチャネルの当該位置の補正値を算出することにより前記第２のチャネルの前記第１段階の平滑化値の強度を推定する
請求項１記載の画像処理装置。
前記第１のチャネルの前記第１段階の平滑化値を前記第１の方向に沿って平滑化した前記第１のチャネルの第２段階の平滑化値を算出する第４の平滑化手段をさらに具備する請求項１記載の画像処理装置。
入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における複数の方向を補間方向としてそれら補間方向のそれぞれに沿って補間を行ってそれぞれの補間値を生成する補間手段と、前記近傍領域のテクスチャの方向を判断する方向判断手段と、前記テクスチャ方向の判断結果に基づいて前記補間方向のそれぞれに沿った補間値を合成する合成手段とを具備する画像処理装置であって、
前記補間手段は、
前記近傍領域において前記補間方向と異なる基準方向に沿った複数の位置について前記補間方向に沿って画素値の平滑化を行った第１段階の平滑化値を第１のチャネルについて算出する第１の平滑化手段と、
前記近傍領域における前記基準方向に沿った複数の位置について前記補間方向に沿って画素値の平滑化を行った第１段階の平滑化値を第２のチャネルについて算出する第２の平滑化手段と、
前記第１および第２のチャネルの前記第１段階の平滑化値に基づいて前記第２のチャネルの前記第１段階の平滑化値の強度を推定する強度推定手段と、
前記強度推定手段によって強度推定された前記第２のチャネルの前記第１段階の平滑化値を前記基準方向に沿って平滑化した前記第２のチャネルの第２段階の平滑化値を算出する第３の平滑化手段と
を前記複数の方向のそれぞれについて備え、
前記強度推定手段は、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分を算出する高周波成分算出手段と、
前記第１の方向に沿った各位置について前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分を算出する低周波成分算出手段と、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分と前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分とから前記第２のチャネルの当該位置の補正値を算出することにより前記第２のチャネルの前記第１段階の平滑化値の強度を推定する補正値算出手段と
を備える
画像処理装置。
前記複数の方向は、水平方向、垂直方向、右上がり斜め方向、および、右下がり斜め方向の何れか２以上の組合せである請求項４記載の画像処理装置。
被写体を撮像して入力画像を生成する撮像手段と、
前記入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における第１の方向に沿った複数の位置について前記第１の方向と異なる第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第１のチャネルについて算出する第１の平滑化手段と、
前記近傍領域における前記第１の方向に沿った複数の位置について前記第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第２のチャネルについて算出する第２の平滑化手段と、
前記第１および第２のチャネルの前記第１段階の平滑化値に基づいて前記第２のチャネルの前記第１段階の平滑化値の強度を推定する強度推定手段と、
前記強度推定手段によって強度推定された前記第２のチャネルの前記第１段階の平滑化値を前記第１の方向に沿って平滑化した前記第２のチャネルの第２段階の平滑化値を算出する第３の平滑化手段と
を具備し、
前記強度推定手段は、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分を算出する高周波成分算出手段と、
前記第１の方向に沿った各位置について前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分を算出する低周波成分算出手段と、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分と前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分とから前記第２のチャネルの当該位置の補正値を算出することにより前記第２のチャネルの前記第１段階の平滑化値の強度を推定する補正値算出手段と
を備える
画像処理装置。
前記撮像手段は、原色系ベイヤー配列によるカラーフィルタを前面に配したイメージセンサである請求項６記載の画像処理装置。
前記撮像手段は、カラーフィルタを前面に配したイメージセンサであって、
前記カラーフィルタは、特定の色に対応する画素が市松状に配置され、他の少なくとも３つの色が残る画素位置に配置される
請求項６記載の画像処理装置。
前記特定の色は、人間の視感度曲線に近い分光感度を有するフィルタ色である請求項８記載の画像処理装置。
前記他の少なくとも３つの色のうち、第１の色は前記特定の色以外の画素位置において水平方向および垂直方向に１画素おきの正方格子状に配置され、第２および第３の色は残る画素位置において斜め方向に１画素おきの斜め格子状に配置される請求項８記載の画像処理装置。
前記第１の色は、前記特定の色と比較して長波長側に感度を有する分光特性のフィルタ色であり、
前記第２および第３の色のうち少なくとも一方は、前記特定の色と比較して短波長側に感度を有する分光特性のフィルタ色である
請求項１０記載の画像処理装置。
前記特定の色は、赤外線にも分光感度を有するフィルタ色である請求項８記載の画像処理装置。
入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における第１の方向に沿った複数の位置について前記第１の方向と異なる第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第１のチャネルについて算出する第１の平滑化手順と、
前記近傍領域における前記第１の方向に沿った複数の位置について前記第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第２のチャネルについて算出する第２の平滑化手順と、
前記第１および第２のチャネルの前記第１段階の平滑化値に基づいて前記第２のチャネルの前記第１段階の平滑化値の強度を推定する強度推定手順と、
前記強度推定された前記第２のチャネルの前記第１段階の平滑化値を前記第１の方向に沿って平滑化した前記第２のチャネルの第２段階の平滑化値を算出する第３の平滑化手順と
を具備し、
前記強度推定手順は、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分を算出する高周波成分算出手順と、
前記第１の方向に沿った各位置について前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分を算出する低周波成分算出手順と、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分と前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分とから前記第２のチャネルの当該位置の補正値を算出することにより前記第２のチャネルの前記第１段階の平滑化値の強度を推定する補正値算出手順と
を備える
画像処理方法。
入力画像における所定の注目画素の近傍領域を対象として前記近傍領域における第１の方向に沿った複数の位置について前記第１の方向と異なる第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第１のチャネルについて算出する第１の平滑化手順と、
前記近傍領域における前記第１の方向に沿った複数の位置について前記第２の方向に沿って画素値の平滑化を行った第１段階の平滑化値を第２のチャネルについて算出する第２の平滑化手順と、
前記第１および第２のチャネルの前記第１段階の平滑化値に基づいて前記第２のチャネルの前記第１段階の平滑化値の強度を推定する強度推定手順と、
前記強度推定された前記第２のチャネルの前記第１段階の平滑化値を前記第１の方向に沿って平滑化した前記第２のチャネルの第２段階の平滑化値を算出する第３の平滑化手順と
をコンピュータに実行させるプログラムであって、
前記強度推定手順は、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分を算出する高周波成分算出手順と、
前記第１の方向に沿った各位置について前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分を算出する低周波成分算出手順と、
前記第１の方向に沿った各位置について前記第１のチャネルの前記第１段階の平滑化値の当該位置における高周波成分と前記第２のチャネルの前記第１段階の平滑化値の当該位置における低周波成分とから前記第２のチャネルの当該位置の補正値を算出することにより前記第２のチャネルの前記第１段階の平滑化値の強度を推定する補正値算出手順と
を備える
プログラム。