JP7423033B2

JP7423033B2 - 画像信号処理方法

Info

Publication number: JP7423033B2
Application number: JP2019103566A
Authority: JP
Inventors: 政史小豆澤
Original assignee: Sigma Inc
Current assignee: Sigma Inc
Priority date: 2019-06-03
Filing date: 2019-06-03
Publication date: 2024-01-29
Anticipated expiration: 2039-06-03
Also published as: JP2020198540A

Description

本発明は、色ノイズを低減する画像信号処理方法に関するものである。

近年、画像データにおいて色に関するノイズである色ノイズを低減するための画像信号処理方法が提言されている。

色ノイズとは、画像データに本来存在しないはずの色情報が、何らかの理由で含まれることで発生するノイズである。

よって、この色ノイズを含んだ画像データをデジカメの背面液晶画面やモニター画面上や紙媒体などに出力すると、本来存在しない色情報が画像信号として表示されるため、撮影者に違和感を与える。

特許文献１は、ホワイトバランス補正した後、画像データの画素毎に色差データを算出し、色差データが一定の範囲内であり、輝度が指定された輝度範囲内である画素のデータに対して、当該画素の色差データが小さくなるように色ノイズ低減処理が施される技術が開示されている。

本発明の目的は、色ノイズの原因になりうる高周波成分を取り除くことが可能であり、高周波成分の色ノイズを取り除いた画像信号へフィルタサイズの大きなフィルタリングなどの処理を行っても、色ノイズの広がりを抑えつつ、さらには各色すべての高周波成分にノイズ処理を施した場合よりも、高周波の情報を維持することが可能な画像信号処理方法を提供することにある。
５９７７５６５号公報

特許文献１にて開示されている画像信号処理方法は、色差データが小さいほど、色ノイズ低減処理の効果が得られるが、色差データが大きい部分については色ノイズ低減処理の効果は得にくいという課題を有する。

したがって、特に孤立した強いノイズ成分には色ノイズの低減効果は得られにくくなり、孤立した色ノイズが残ってしまうという課題を有する。

一方、孤立した色ノイズを消すために、色差データが大きい部分にも色ノイズ低減処理の効果を得ようとすると、多色の滲みや色差のディテールを著しく損なう結果になってしまう。

本発明はこのような状況に鑑みてなされたものであり、多色の高周波情報を用いて画像信号処理を行うことで、色ノイズの原因になりうる高周波成分を取り除くことが可能であり、高周波成分の色ノイズを取り除いた画像信号へフィルタサイズの大きなフィルタリングなどの処理を行っても、広がりを持つノイズが発生しにくく、さらには各色すべての色信号にノイズ処理を施した場合よりも、高周波の情報を維持することが可能な画像信号処理方法を提供することを目的とする。

上記課題を解決するための手段である第１の発明は、複数の色画像信号を処理する画像信号処理方法において、補正対象の色となる１色の前記色画像信号を補正対象信号値として選択する画像信号選択部と、前記補正対象信号値以外の複数色の画像信号の加重平均信号値を計算する加重平均計算部と、前記補正対象信号値から前記加重平均信号値を減算して第１の減算信号値を求める第１減算部と、前記第１の減算信号値にローパスフィルタを適用することで第１の高周波成分削減信号値を算出する第１高周波成分削減部と、前記第１の減算信号値から前記第１の高周波成分削減信号値を減算して第２の減算信号値を算出する第２減算部と、前記第２の減算信号値にローパスフィルタを適用することで第２の高周波成分削減信号値を算出する第２高周波成分削減部と、前記第２の減算信号値から前記第２の高周波成分削減信号値を減算して第３の減算信号値を算出する第３減算部と、前記補正対象信号値から前記第３の減算信号値を減算して第４の減算信号値を算出する第４減算部と、からなり、前記第４の減算信号値を前記画像信号選択部にて選択した前記補正対象信号値とすることを特徴とする画像信号処理方法。

また、上述の課題を解決するための手段である第２の発明は、第１の発明に記載の画像信号処理方法であって、前記第１高周波成分削減部は、前記第１の減算信号値をリサイズ縮小したのち、再度リサイズ拡大して元のサイズに戻すことで第１の高周波成分削減信号値を算出することを特徴とする画像信号処理方法。

また、上述の課題を解決するための手段である第３の発明は、第１又は第２の発明に記載の画像信号処理方法であって、前記第２減算部は、前記第２の減算信号値が閾値を超える場合には、前記第２の減算信号値を閾値に置き換える処理を適用する第１閾値部を有することを特徴とする画像信号処理方法。

また、上述の課題を解決するための手段である第４の発明は、第１の発明乃至第３の発明のいずれか１項に記載の画像信号処理方法であり、前記第３減算部は、前記第３の減算信号値が閾値を超える場合には、前記第３の減算信号値を閾値に置き換える処理を適用する第２閾値部を有することを特徴とする画像信号処理方法。

また、上述の課題を解決するための手段である第５の発明は、第１の発明乃至第４の発明のいずれか１項に記載の画像信号処理方法であり、前記複数の色画像信号は、積層型の固体撮像素子により変換された画像信号であることを特徴とする画像信号処理方法。

本発明によれば、多色の高周波情報を用いて画像信号処理を行うことで、色ノイズの原因になりうる高周波成分を取り除くことが可能であり、高周波成分の色ノイズを取り除いた画像信号へフィルタサイズの大きなフィルタリングなどの処理を行っても、広がりを持つノイズが発生しにくく、さらには各色すべての色信号にノイズ処理を施した場合よりも、高周波の情報を維持することが可能な画像信号処理方法を提供することができる。

本発明の実施例に係る固体撮像装置の構成を示すブロック図本発明の実施例に係るノイズリダクションを行う際のフローチャート

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

本実施例において、１００はレンズ鏡筒、１０１は固体撮像素子、１０１１は、マイクロレンズ、１０１２は光電変換部、１０１３は配線部、１０２はＣＰＵ、１０２１は画像信号決定部、１０２２は加重平均計算部、１０２３は第１減算部、１０２４は第１高周波削減部、１０２５は第２減算部、１０２６は第２高周波削減部、１０２７は第３減算部、１０２８は第４減算部、１０２９は第１閾値部、１０３０は第２閾値部、とする。

図１は、本実施例の撮像装置の構成を示す構成図である。

撮像装置１０は、レンズ鏡筒１００と不図示のカメラ本体から構成される。

レンズ鏡筒１００は、カメラ本体に脱着可能であり、レンズ鏡筒１００のマウント部とカメラ本体のマウント部とがバヨネット機構などにより接続される。尚、レンズ鏡筒１００は、カメラ本体に固定式の物でも構わない。

固体撮像素子１０１は、マイクロレンズ１０１１と光電変換部１０１２と配線部１０１３などを含む。

マイクロレンズ１０１１は、レンズ鏡筒１００に入射した光束を各光電変換部１０１２が受光に適するように集光するレンズである。

光電変換部１０１２は、マイクロレンズ１０１１を通過した光束を画像信号に変換する。

光電変換部１０１２にて変換された画像信号について説明する。光束を画像信号へ変換する光電変換部１０１２は、各画素に配置される。固体撮像素子１０１がベイヤー型の場合、各画素に配置された光電変換部１０１２からマイクロレンズ１０１１と光電変換部１０１２配置されたカラーフィルタと同色の画像信号へ変換される。カラーフィルタは赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色が用いられることが一般的であり、この時、変換される画像信号は３種類となる。

一方、固体撮像素子１０１が積層型の場合、１画素から光電変換部の積層数分の画像信号が変換される。本願実施例では、１画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色の画像信号を得る為、光電変換部１０１２は３層積層されている。

配線部１０１３は、光電変換部１０１２にて変換された画像信号を各光電変換部１０１２からＣＰＵ１０２へ転送する。

ＣＰＵ１０２は、光電変換部１０１２が変換し配線部１０１３を通じて転送されてきた画像信号に各々の処理を行う。

画像信号選択部１０２１は、光電変換部１０１２が変換し、配線部１０１３を通じて転送された画像信号から補正対象とする画像信号を決定する。

加重平均計算部１０２２は、画像信号選択部１０２１が決定した補正対象となる画像信号以外の画像信号において、画像信号から加重平均を計算する。具体的な計算方法は後述する。

第１減算部１０２３は、画像信号選択部１０２１にて決定した補正対象画像信号から加重平均計算部１０２２にて計算した補正対象以外の画像信号の加重平均を減算する。

第１高周波成分削減部１０２４は、加重平均計算部１０２２にて計算した結果である加重平均にローパスフィルタを適用することで、高周波成分が削減されて、結果として低周波成分を抽出することができる。

第２減算部１０２５は、第１減算部１０２３の計算結果から、第１高周波成分削減部１０２４にて抽出された画像信号を減算する。

第２高周波成分削減部１０２６は、第２減算部１０２５の計算結果にローパスフィルタを適用する。

第３減算部１０２７は、第２減算部１０２６にて計算した結果から、第２高周波成分削減部１０２６にて抽出された画像信号を減算する。

第４減算部１０２８は、画像信号選択部１０２１の決定した画像信号から第３減算部１０２７にて計算した画像信号を減算する。その結果、補正対象の画像信号は色ノイズが除去された画像信号となる。

第１閾値部１０２９は、第２減算部１０２４の計算結果に適用し、計算結果が閾値範囲を超えた場合には閾値に置き換えるなどすることで、補正量をコントロールする。

第２閾値部１０３０は、第３減算部１０２６の計算結果に適用し、計算結果が閾値範囲を超えた場合には閾値に置き換えるなどすることで、補正量をコントロールする。

次に、本発明における画像信号処理方法について、図２のフローチャートを用いて実施例を説明する。

図１に示すようにレンズ鏡筒１００を通過した光束は、固体撮像素子１０１へ届き、マイクロレンズ１０１１を経て光電変換部１０１２へ導かれた後、画像信号へ変換される。本願実施例に用いられる固体撮像素子１０１は、１画素に３層の光電変換部１０１２が積層される。従って、１画素から３種類の画像信号が変換される。

ステップ＃１の画像信号決定部では、固体撮像素子１０１の光電変換部１０１２にて変換された３種類の画像信号の中から、画像信号選択部１０２１が補正対象となる画像信号を決定する。

ステップ＃２では、ステップ＃１にて画像信号選択部１０２１が決定した補正対象となる画像信号以外の２種類の画像信号を用いて、加重平均計算部１０２２は加重平均を計算する。

加重平均の係数は、ステップ＃１にて決定した補正対象となる画像信号の分光感度と、補正対象となる画像信号以外の分光感度の差分から求める。

例えば、補正対象となる画像信号と分光感度の形状やピークが近い画像信号成分の加重平均の係数を大きくし、分光感度の形状やピークの違いが大きい画像信号であれば、加重平均の係数を小さくする。

ステップ＃３では、第１減算部１０２３はステップ＃１にて画像信号決定部１０２１が決定した補正対象となる画像信号から、ステップ＃２にて加重平均計算部１０２２が計算した加重平均を減算する。この減算結果を第１減算結果とする。

ステップ＃４では、第１高周波成分削減部１０２４がステップ＃３の第１減算部１０２３の計算した第１減算結果は、ローパスフィルタを適用することで低周波成分を抽出する。

ステップ＃４では、ローパスフィルタのフィルタサイズを比較的大きくして適用する。

ローパスフィルタのフィルタサイズを大きくする理由は、幅を持つ色ノイズの除去するためにあり、より広い範囲を考慮した信号を正しい色と判定するためである。

仮にローパスフィルタのフィルタサイズを小さくした場合には、極端な信号に引っ張られるケースや、幅を持つノイズがある場合に、正しい色と判断される色の信頼性が低くなるためである。

尚、低周波成分を抽出することが出来れば、ローパスフィルタを適用する方法以外にも、リサイズなどでも問題ない。

具合的には、特定の比率で縮小リサイズを行い、その後、前記比率の逆数で拡大リサイズすることで、高周波成分を削減する方法などでも問題ない。

ステップ＃５では、第２減算部１０２５がステップ＃４にて抽出した低周波成分をステップ＃３の第１減算結果から減算する。この結果を第２減算結果とし、第２減算結果は、高周波成分を抽出したものとなる。

この高周波成分はノイズ成分と共に、色滲み成分も持ってしまう。この色滲み成分はステップ＃４で使用したローパスフィルタのフィルタサイズを大きくした影響で、エッジなどの著しい色の変化があった部分の周辺で発生する。

例えば、信号の小さい側から大きい側に変化するエッジがある部分に対しては、元信号からローパスフィルタ適用後の信号を引いて差分信号を算出した場合、信号の小さい側からエッジ部では、差分信号はエッジに近付く程マイナス量が少しずつ増え、信号の大きい側からエッジ部では、差分信号はエッジに近付く程プラス量が少しずつ増える特性を持つ。

差分信号がエッジ付近でマイナス量及びプラス量が増える幅は、ローパスフィルタのフィルタサイズが大きい程広くなり色滲みの成分となる。

この高周波成分に含まれる色滲み成分は、エッジに近い程大きくなる特性を持つため、閾値を設ける事でエッジ付近の色滲みの量とノイズ成分を調整してもよい。

ステップ＃６では、第２高周波成分削減部１０２６がステップ＃５にて第２減算部１０２５が算出した第２減算結果にローパスフィルタを適用する。

第２高周波成分削減部１０２６のローパスフィルタは、ステップ＃４で使用したローパスフィルタのフィルタサイズよりもフィルタサイズを小さくすることで、前記エッジ部分の色滲み成分を含む画像信号となる。また、以下にフィルタサイズを小さくする理由を述べる。

例えば、ステップ＃５で得られる高周波成分は前述した通り色滲み成分を含んでおり、この色滲み成分はエッジ部を境にプラス側成分とマイナス側成分に発生している。ステップ＃６の第２高周波成分削減部は、特に色滲み成分のみを抽出したいため、なるべくエッジ部を境にしたプラス側成分毎およびエッジ部を境にしたマイナス側成分毎にローパスフィルタを掛けることが望まれる。

仮にステップ＃４と同じサイズのローパスフィルタを掛けた場合、エッジ部を境にしたプラス側成分とエッジ部を境にしたマイナス側成分が足し合わされて、色滲み成分を除外することが出来なくなってしまう。

ステップ＃７では、第３減算部１０２７がステップ＃５にて算出した第２減算結果からステップ＃６にて第２減算結果にローパスフィルタを適用したものを減算する。この減算結果を第３減算結果とする。

第３の減算結果は、主に画像信号補正対象色と画像信号対象外以外の加重平均の差分信号のノイズ成分で構成される画像信号となる。

この高周波成分に残った色滲み成分は、エッジに近い程大きくなる特性を持つため、閾値を設ける事でエッジ付近の色滲みの量とノイズ成分を調整してもよい。

ステップ＃８では、第４減算部１０２６がステップ＃７にて算出した第３減算結果からステップ＃１にて画像信号決定部１０２１の決定した補正対象となる画像信号を減算する。この減算結果を第４減算結果とする。

この第４減算結果を画像信号決定部１０２１にて決定した補正対象画像信号の補正後の画像信号とする。

補正対象画像信号は、処理前の画像信号と比較して、単色でノイズ処理をした場合よりも解像感を維持した状態で色ノイズが軽減された画像信号となる。

以下に、上記各ステップを具体的に説明する。

本実施例では、光電変換部１０１２の変換した画像信号のうち、緑色（Ｇ）を補正対象の画像信号として、具体的に補正方法を説明する。

補正対象の画像信号を緑色（Ｇ）としているので、ステップ＃１で画像信号選択部１０２１は、緑色（Ｇ）を補正対象の画像信号となる。

次に、ステップ＃２では、補正対象の画像信号である緑色（Ｇ）以外の画像信号である赤色（Ｒ）と青色（Ｂ）を用いて、加重平均計算部１０２２が加重平均を計算する。

ステップ＃１にて決定した補正対象となる画像信号とステップ＃２にて加重平均を計算の基となる２種類の画像信号は、同一画素から得られる画像信号を用いている。なぜなら、本願実施例にて用いる固体撮像素子１０１は、前述したように１画素から３種類の画像信号を得ることが可能である積層型の固体撮像素子であるため。

実施例の加重平均計算部１０２２が行う具体的な計算方法を示す。

赤色（Ｒ）と青色（Ｂ）の画像信号をそれぞれＲとＢとし、係数をそれぞれαとβとすると加重平均は以下のように表せる。
加重平均：（α＊Ｒ＋β＊Ｂ）（α＋β＝１）

次に、ステップ＃３で第１減算部１０２３の計算を説明する。光電変換部１０１２の変換した緑色（Ｇ）の画像信号をＧとし、計算後の緑色（Ｇ）をＧ１とすると、以下の式となる。
Ｇ１＝Ｇ－（α＊Ｒ＋β＊Ｂ）（α＋β＝１）

ステップ＃４では、ステップ＃３にて計算したＧ１から低周波成分を抽出する。
Ｇ２＝ＬＰＦ（Ｇ１）

ステップ＃５では、ステップ＃３にて計算したＧ１からステップ＃４にて抽出した周波成分を減算する。Ｇ１から低周波成分を減算することで、高周波成分のみを抽出することが可能となる。
Ｇ３＝Ｇ１－Ｇ２

この高周波成分は緑色の画像信号と、赤色と青色を用いた加重平均の画像信号の違いとなり、緑色の高周波色ノイズ成分と成り得るが、同時に、この高周波成分はエッジ部分の色滲みを発生させる要素を持っている。

ステップ＃６では、第２減算部１０２５の計算結果にステップ＃４と同様にローパスフィルタを適用することで、第２減算部１０２５の計算結果より低周波成分を抽出する。
Ｇ４＝ＬＰＦ（Ｇ３）
この時、適用するローパスフィルタのサイズは、ステップ＃４に用いたローパスフィルタよりも小さいフィルタサイズ（または縮小率）となる。

縮小率とは、ローパスフィルタの代わりにリサイズ処理を用いた場合の画像サイズ変更比率をあらわす。縮小率の値が大きいほど、リサイズで作成される画像は小さくなる。

ステップ＃７では、ステップ＃５の第２減算部１０２５にて求めた計算からステップ＃６の第２高周波削減部１０２６にてローパスフィルタを適用された画像信号である。
Ｇ５＝Ｇ３－Ｇ４

また、追加実施例として、計算結果の代わりに閾値を用いることとしてもよい。

具体的には、ステップ＃５と＃６の間に、ステップ＃５．５を追加する。ステップ＃５．５は、第１閾値部１０２９がステップ＃５にて第２減算部１０２５が計算した計算結果と閾値とを比較し、計算結果が閾値範囲外の場合、以降のステップにて用いる第２減算部１０２５の計算結果は閾値とする。

同様にステップ＃７と＃８の間に、ステップ＃７．５を追加する。ステップ＃７．５は、第２閾値部１０３０がステップ＃６にて第３減算部１０２７が計算した計算結果と第２閾値を比較し、計算結果が第２閾値範囲外の場合、以降のステップにて用いる第３減算部１０２７の計算結果は第２閾値とする。

また、前述した実施例に追加して第１閾値部１０２９や第２閾値部１０３０を用いる方法は、いずれか一方の閾値部だけを追加してもよいし、両方の閾値部を追加してもよい。

ステップ＃８は、一つ前の工程であるステップ＃７又はステップ＃７．５によって、計算された計算結果からステップ＃１の画像信号決定部１０２１の決定した補正対象となる画像信号の補正後の画像信号となる。

また、これまでの実施例では、固体撮像素子１０１は、積層型を想定していたが、１画素に１種類の画像信号を有するベイヤー型の固体撮像素子を用いてもかまわない。

積層型の固体撮像素子である場合、同一の位置の信号を取得出来る為、高周波情報の損失を防ぎ易く色ノイズ抑制効果を得られ易い。また、色が混色しているセンサの場合、他の色信号にも対象信号の高周波情報が含まれるため、高周波情報の損失を防ぎ易く色ノイズ抑制効果を得られ易い。

また、ベイヤー型の固体撮像素子では、１画素から１種類の画像信号しか得ることができない。そこで、他の２種類の画像信号については、周辺の画素より補間することで得ることができる。本願発明にて、ベイヤー型の固体撮像素子を用いる場合、補間処理にて１画素の画像信号を３種類の状態にしてから、ステップ＃１の補正対象となる画像信号を決定することで、以後の処理は積層型の固体撮像素子を用いる場合と同様とすることが可能である。

１０撮像装置
１００レンズ鏡筒
１０１固体撮像素子
１０１１マイクロレンズ
１０１２光電変換部
１０１３配線層
１０２ＣＰＵ
１０２０減算部
１０２１画像信号決定部
１０２２線形和計算部
１０２３第１ローパスフィルタ部
１０２４第１減算部
１０２５第２ローパスフィルタ部
１０２６第２減算部
１０２７第３減算部
１０２８第１閾値部
１０２９第２閾値部

Claims

複数の色画像信号を処理する画像信号処理方法において、
補正対象の色となる１色の前記色画像信号を補正対象信号値として選択する画像信号選択部と、
前記補正対象信号値以外の前記複数の色画像信号の加重平均信号値を計算する加重平均計算部と、
前記補正対象信号値から前記加重平均信号値を減算して第１の減算信号値を求める第１減算部と、
前記第１の減算信号値にローパスフィルタを適用することで第１の高周波成分削減信号値を算出する第１高周波成分削減部と、
前記第１の減算信号値から前記第１の高周波成分削減信号値を減算して第２の減算信号値を算出する第２減算部と、
前記第２の減算信号値にローパスフィルタを適用することで第２の高周波成分削減信号値を算出する第２高周波成分削減部と、
前記第２の減算信号値から前記第２の高周波成分削減信号値を減算して第３の減算信号値を算出する第３減算部と、
前記補正対象信号値から前記第３の減算信号値を減算して第４の減算信号値を算出する第４減算部と、
からなり、
前記第４の減算信号値を前記画像信号選択部にて選択した前記補正対象信号値とすることを特徴とする画像信号処理方法。
請求項１に記載の画像信号処理方法について、
前記第１高周波成分削減部は、前記第１の減算信号値をリサイズ縮小したのち、再度リサイズ拡大して元のサイズに戻すことで第１の高周波成分削減信号値を算出することを特徴とする画像信号処理方法。
請求項１乃至２の何れか１項に記載の画像信号処理方法について、
前記第２減算部は、前記第２の減算信号値が閾値を超える場合には、前記第２の減算信号値を閾値に置き換える処理を適用する第１閾値部を有することを特徴とする画像信号処理方法。
請求項１乃至３の何れか１項に記載の画像信号処理方法について、
前記第３減算部は、前記第３の減算信号値が閾値を超える場合には、前記第３の減算信号値を閾値に置き換える処理を適用する第２閾値部を有することを特徴とする画像信号処理方法。
請求項１乃至４の何れか１項に記載の画像信号処理方法について、
前記複数の色画像信号は、積層型の固体撮像素子により変換された画像信号であることを特徴とする画像信号処理方法。