JP4867204B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置において、例えば、単板撮像素子を用いた場合に、高周波の折帰りにより発生する色モアレを、解像度劣化やS/N劣化を防止して効果的に低減することを図った撮像装置の信号処理方法に関する。

従来、「色信号と輝度信号の垂直方向の位相ずれをなくし、かつ回路の規模の増大を抑制された撮像装置を提供する」（特許文献１の要約の課題）ために、「２つの１H遅延回路８，８‘を用いて近接する３Hの出力信号により、RGB信号と輝度信号を生成し、γ補正回路7aにてRGB信号を点順次の信号とし、γ補正を行う」（特許文献１の要約の解決手段）ことの開示がある。

特開平１０−１０８２１０号公報

ところで、複数の色フィルタがモザイク状に配列された、一般的に単板と呼ばれる撮像素子を用いた撮像装置においては、各色信号の空間的サンプリング周波数が、撮像素子の画素のサンプリング周波数より低いため、高周波信号の折返り雑音である色モアレが発生しやすくなる。

例えば図５の例においては、R・G・Bの各色フィルタが配列されており、各RGBの色信号のサンプリング周波数は、水平方向垂直方向共に、画素のサンプリング周波数の半分となる。この色モアレを低減するものとして、光学水晶フィルタが用いられる。この光学水晶フィルタは、撮像素子へ入射する光に対して、色モアレの発生の要因となる高周波成分を除去するものである。

図４は、撮像装置における光学系ユニットの周波数特性の図である。横軸を周波数、縦軸を利得する。画素のサンプリング周波数をfs/2とすると、色のサンプリング周波数は図４の例においてはfs/4である。光学水晶フィルタは、色の折り返り雑音となる、限界周波数fs/2付近の利得を下げ、色モアレの発生を抑制している。しかしながら、輝度信号における限界周波数は画素のサンプリング周波数であるfs/2であり、逆に高周波の利得を弱めてしまうことによる、輝度解像度劣化が起こる。

光学水晶フィルタを用いた撮像装置では、光学水晶による解像度劣化を抑制するため、後段に付けられたデジタル信号処理部においてエンハンス処理を行う。しかしながら、撮像素子やA/D変換回路を通った画素信号にはアナログノイズが重畳しており、エンハンス処理はこのアナログノイズを増幅してしまい、S/Nを劣化させる弊害が生じることとなる。よって、従来の撮像装置では、色モアレの低減と解像度、S/N比の間にトレードオフがあった。

本発明では、解像度の劣化やS/N劣化を防ぎつつ、色モアレを効果的に低減することで、上記課題を解決するものである。

上記課題は、特許請求の範囲に記載の発明により解決される。

本発明により、使い勝手を向上した撮像装置を提供できる。

以下、図面を用いて実施例を説明する。

図１は、本発明における実施例１の概念図を示す。
レンズ１０１を透過した被写体からの光は、撮像素子１０２に入射される。撮像素子１０２は、複数のセルを持ち、被写体からの光を各セルが光電変換し電気信号に変えることで、画素信号を生成する。撮像素子１０２により生成された画素信号は、A/D変換部１０３によりデジタルデータに変換される。前処理部１０４は、A/D変換部１０３からのデジタルデータに対して、信号レベルの利得調節等の前処理を行う。

前処理部１０４により利得調節がなされた画素信号は、ラインメモリ１０５に入力され、該ラインメモリからのｎH分（ｎは定数）の画素遅延信号は、輝度信号生成部１０９に入力され、輝度信号が生成される。

また、ラインメモリ１０５からのｎHの画素遅延信号は、広帯域輝度信号生成部１０６に入力される。該広帯域輝度信号生成部は、高周波成分の利得低下を防ぎかつ色のキャリア成分の除去を行うローパスフィルター処理を行う。広帯域輝度信号生成部１０６により生成された輝度信号は、バンドパスフィルタ１１０に入力され、輝度信号の高周波AC成分の信号が生成される。

高周波減衰ゲイン算出部１１１は、該バンドパスフィルタからの出力信号を基に、それぞれの画素信号に対して、高周波の利得を減衰させるためのゲインを算出する処理を行う。高周波信号利得減衰部１０７は、高周波利得減衰ゲイン算出部１１１から得られたゲインを、ラインメモリ１０５からの出力信号であるｎHの画素遅延信号に乗算処理することで、画素信号に対する高周波の利得を減衰させる。該高周波信号利得減衰部からの出力である画素信号は、色差信号生成部に入力され、色差信号が生成される。
本実施例によれば、広帯域輝度信号を生成し、該輝度信号から画素補正ゲインを算出し、該画素補正ゲインを画素信号に乗算することで高周波成分の利得を下げ帯域制限を行った信号を生成でき、色差信号を生成するための信号は、この帯域制限を行った信号を用いることで、高周波成分の折り返り雑音である色モアレの発生を抑制することができる。

また、輝度信号を生成する場合、ラインメモリ１０５から輝度信号生成部１０９へ信号を出力しており、色差信号を生成するときの色モアレの発声を抑制するための処理（広帯域輝度信号生成部１０６〜高周波信号利得減衰部１０７の処理）を行っていない。従って、輝度信号を生成するための信号は、光学水晶フィルタを使用した場合に比べ広帯域の信号であり、これにより解像度の劣化を防ぐことができる。

尚、本実施例では単板撮像素子を用いているが、これに限らず、光学的に画素重心ずらしを行った複数の撮像素子からの出力画素信号を再配列し、高画素単板撮像素子の画素信号として信号処理を行う撮像装置においても、本実施例を適用できることは言うまでもない。

図２は、本発明における実施例２の概念図を示す。
レンズ１０１を透過した被写体からの光は、撮像素子１０２に入射される。該撮像素子１０２は、複数のセルを持ち、被写体からの光を各セルが光電変換し電気信号に変えることで、画素信号を生成する。撮像素子１０２により生成された画素信号は、A/D変換部１０３によりデジタルデータに変換される。前処理部１０４は、A/D変換部１０３からのデジタルデータに対して、信号レベルの利得調節等の前処理を行う。

前処理部１０４により利得調節がなされた画素信号は、ラインメモリ１０５に入力され、ラインメモリ１０５からのｎH分（ｎは定数）の画素遅延信号は、輝度信号生成部１０９に入力され、輝度信号が生成される。

また、ラインメモリ１０５からのｎHの画素遅延信号は、広帯域G補間信号生成部２０１に入力される。広帯域G補間信号生成部２０１は、原色ベイヤ配列の単板撮像素子を用いた場合における、G信号を補完する処理を行う。このG信号は、R信号やB信号に比べ、2倍の画素数を持っており広帯域の信号を生成しやすい。広帯域G補間信号生成部２０１により生成された輝度信号は、バンドパスフィルタ１１０に入力され、画素信号の高周波成分の信号が生成される。

高周波減衰ゲイン算出部１１１は、バンドパスフィルタ１１０からの出力信号を基に、それぞれの画素信号に対して、高周波の利得を減衰させるためのゲインを算出する処理を行う。高周波信号利得減衰部１０７は、高周波利得減衰ゲイン算出部１１１から得られたゲインを、ラインメモリ１０５からの出力信号であるｎHの画素遅延信号に乗算処理することで、画素信号に対する高周波の利得を減衰させる。高周波信号利得減衰部１０７からの出力である画素信号は、色差信号生成部に入力され、色差信号が生成される。

本実施例によれば、原色ベイヤ配列の単板撮像素子を用いた撮像装置において、広帯域G補間信号を生成し、該G補間信号から画素補正ゲインを算出し、該画素補正ゲインを画素信号に乗算することで高周波成分の利得を下げ帯域制限を行った信号を生成でき、色差信号を生成するための信号は、この帯域制限を行った信号を用いることで、高周波成分の折り返り雑音である色モアレの発生を抑制することができる。

また、輝度信号を生成する場合、ラインメモリ１０５から輝度信号生成部１０９へ信号を出力しており、色差信号を生成するときの色モアレの発声を抑制するための処理（広帯域G補間信号生成部２０１〜高周波信号利得減衰部１０７の処理）を行っていない。従って、輝度信号を生成するための信号は、光学水晶フィルタを使用した場合に比べ広帯域の信号であり、これにより解像度の劣化を防ぐことができる。

尚、本実施例では原色ベイヤ配列の単板撮像素子を用いているが、これに限らず、光学的に画素重心ずらしを行った複数の撮像素子からの出力画素信号を再配列し、高画素単板撮像素子の画素信号として信号処理を行う撮像装置において、特に原色ベイヤ配列と同等となるように画素再配列を行う場合においても、本実施例を適用できることは言うまでもない。

図３は、本発明における実施例３の概念図を示す。
レンズ１０１を透過した被写体からの光は、まずプリズム３０１に入射される。該プリズムは、レンズからの光を2方向に分光され、一方の光は光学水晶フィルタ３０２へ入射され、周波数帯域制限がかけられ撮像素子１０２に入射される。該プリズムにより分光されたもう一方の光は撮像素子３０３に入射される。この構成によれば、周波数帯域制限をかけた画素信号と、周波数帯域制限をかけない画素信号の双方の信号を同時に生成することが可能となる。この撮像素子１０２は、複数の色フィルタが配列された撮像素子である。また、撮像素子３０３は、撮像素子と異なる色フィルタであってよく、単一色フィルタが配列された単板撮像素子であってよい。

該帯域制限がかけられた撮像素子１０２からのアナログ画素信号は、A/D変換部１０３によりデジタルデータに変換され、前処理部１０４により利得調整等が行われる。該利得調整後のデジタル画素信号は、ラインメモリ１０５に入力され、該ラインメモリからのｎH分（ｎは定数）の画素遅延信号は、色差信号生成部１０８に入力され、色差信号が生成される。

該帯域制限がかけられていない撮像素子３０３からのアナログ画素信号は、A/D変換部１０３によりデジタルデータに変換され、前処理部１０４により利得調整等が行われる。該利得調整後のデジタル画素信号は、ラインメモリ１０５に入力され、ラインメモリ１０５からのｎH分（ｎは定数）の画素遅延信号は、輝度信号生成部１０９に入力され、輝度信号が生成される。

本実施例によれば、単板撮像素子を用いた撮像装置において、被写体からの光をプリズムで2方向に分光し、該分光した一方の光は光学水晶フィルタを通り撮像素子により画素信号に変換されることで、高周波成分の利得を下げ帯域制限を行った信号を生成でき、色差信号を生成するための信号は、この帯域制限を行った信号を用いることで、高周波成分の折り返り雑音である色モアレの発生を抑制することができる。該分光したもう一方の光はそのまま撮像素子により画素信号に変換された広帯域の信号であり、これにより解像度の劣化を防ぐことができる。

なお、本実施例ではプリズム３０１で分光しているが、これに限らず、光学水晶フィルタ302へ入力される前に輝度信号を分離できれば本実施例を適用できることは言うまでもない。

以上の実施例によれば、解像度劣化あるいはS/N劣化を伴うことなく、高周波の折り返り雑音である色モアレを効果的に抑制することが可能となる。

本発明は、撮像装置において、特に単板撮像素子を用いた場合に、高周波の折帰りにより発生する色モアレを、解像度劣化やS/N劣化を防止して効果的に低減することを図った撮像装置の信号処理方法に関する。

本発明による実施例１の概念図 本発明による実施例２の概念図 本発明による実施例３の概念図 信号処理回路への入力信号の周波数特性図 撮像素子色フィルタ配列例

符号の説明

１０１ レンズ
１０２ 撮像素子
１０３ A/D変換部
１０４ 前処理部
１０５ ラインメモリ
１０６ 広帯域輝度信号生成部
１０７ 高周波信号利得減衰部
１０８ 色差信号生成部
１０９ 輝度信号生成部
１１０ バンドパスフィルタ
１１１ 高周波減衰ゲイン算出部
２０１ 広帯域G補間信号生成部
３０１ プリズム
３０２ 光学水晶フィルタ
３０３ 撮像素子
５０１ 撮像素子

Claims (6)

1. 複数の色フィルタが配列された単板撮像素子と、該撮像素子からの画素信号に対し画素毎に利得制御を行うことで高周波成分を減衰させる画素信号周波数帯域制限手段と、該画素信号周波数帯域制限手段からの出力信号から色差信号を生成する色差信号生成部と、を有することを特徴とした撮像装置。
2. 請求項１記載の撮像装置において、
   画素信号周波数帯域制限手段は、画素信号から広帯域輝度信号を生成する広帯域輝度信号生成部と、該広帯域輝度信号生成部からの輝度信号に対して高周波成分を抽出するバンドパスフィルタと、該画素信号に対して高周波成分を減衰させるゲインを該バンドパスフィルタの出力から算出する高周波減衰ゲイン算出部と、を有することを特徴とする撮像装置。
3. 請求項1記載の撮像装置において、
   画素信号周波数帯域制限手段は、撮像素子からの画素信号に対し補間処理により補間画素信号を生成する画素補間手段と、該補間画素信号の高周波成分を抽出するバンドパスフィルタと、該撮像素子からの画素信号に対して高周波成分を減衰させるゲインを該バンドパスフィルタの出力から算出する高周波減衰ゲイン算出部と、を有することを特徴とする撮像装置。
4. 請求項２記載の撮像装置であって、
   複数の色フィルタが配列された単板撮像素子と、該撮像素子からの画素信号をデジタルデータに変換するA/D変換部と、該デジタルデータ化された画素信号を複数水平走査期間遅延させた信号を生成するラインメモリと、該ラインメモリにより複数の水平走査期間遅延された画素信号から輝度信号を生成する輝度信号生成部と、
   該ラインメモリにより複数の水平走査期間遅延された画素信号から広帯域輝度信号を生成する広帯域輝度信号生成部と、該広帯域輝度信号生成部からの輝度信号に対して高周波成分を抽出するバンドパスフィルタと、該ラインメモリからの出力画素信号に対して高周波成分を減衰させるゲインを該バンドパスフィルタの出力から算出する高周波減衰ゲイン算出部と、該高周波減衰ゲイン算出部により算出されたゲインを該ラインメモリからの出力画素信号に対して乗算することで高周波信号を減衰させる高周波信号利得減衰部とを有し、
   該色差信号生成部は該高周波信号利得減衰部からの出力画素信号を用いて色差信号を生成すること、
   を特徴とする撮像装置。
5. 請求項３記載の撮像装置であって、
   原色ベイヤ配列の単板撮像素子と、該撮像素子からの画素信号をデジタルデータに変換するA/D変換部と、該デジタルデータ化された画素信号を複数水平走査期間遅延させた信号を生成するラインメモリと、該ラインメモリにより複数水平走査期間遅延された画素信号から色差信号を生成する色差信号生成部と、該ラインメモリにより複数水平走査期間遅延された画素信号から輝度信号を生成する輝度信号生成部と、を有する撮像装置において、
   該ラインメモリにより複数の水平走査期間遅延された画素信号からG信号を補間により生成する広帯域G補間信号生成部と、該広帯域G補間信号生成部からのG信号に対して高周波成分を抽出するバンドパスフィルタと、該ラインメモリからの出力画素信号に対して高周波成分を減衰させるゲインを該バンドパスフィルタの出力から算出する高周波減衰ゲイン算出部と、該高周波減衰ゲイン算出部により算出されたゲインを該ラインメモリからの出力画素信号に対して乗算することで高周波信号を減衰させる高周波信号利得減衰部とを有し、
   該色差信号生成部は該高周波信号利得減衰部からの出力画素信号を用いて色差信号を生成すること、
   を特徴とする撮像装置。
6. 請求項１乃至５のいずれかに記載の撮像装置において、光学的に画素重心ずらしさせた単一色フィルタからなる複数の撮像素子と、該複数の撮像素子からの出力画素信号を補間処理することで前記単板撮像素子からの出力信号と同一色配列とする画素信号倍サンプリング手段とを有し、
   前記単板撮像素子からの出力された画素信号に代わり、該画素信号倍サンプリング手段により生成した画素信号を用いて実現すること、
   を特徴とする撮像装置。

Images