JP5588729B2

JP5588729B2 - 画像信号処理装置

Info

Publication number: JP5588729B2
Application number: JP2010102832A
Authority: JP
Inventors: 慎一郎廣岡; 雄一野中
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2010-04-28
Filing date: 2010-04-28
Publication date: 2014-09-10
Anticipated expiration: 2030-04-28
Also published as: JP2011234148A

Description

本発明は、画像信号処理装置に関する。例えば、固定パタンノイズを有する撮像画像を入力とし、固定パタンノイズの補正を行う画像信号処理装置に関する。

本技術の背景分野として、例えば特公平６−１０３９２５号公報（特許文献１）がある。該公報には、「イメージセンサの各画素の感度特性のバラツキを入射光量の全域にわたって精度よく補正することができるイメージセンサの感度補正方法を提供する」を目的とし、「予め定められた白基準濃度、黒基準濃度、および少なくとも１つのグレー基準濃度に対応するイメージセンサの各画素の出力信号を、白基準濃度データ、黒基準濃度データ、およびグレー基準濃度データとして求め、原稿を当該イメージセンサで読み取ったときの各画素の画像信号レベルが、各々の画素に対応する前記少なくとも３個の基準濃度データ中のいずれの基準濃度データ間にあるかを判定し、各画素の画像信号レベルを挟む２つの基準濃度データと、各々の基準濃度データに対応する既知の基準濃度との関係に基づき、各画素の画像信号を補正する」という技術が開示されている。

特公平６−１０３９２５号

イメージセンサで撮像して得られる画像信号では、フォト・ダイオードに発生する暗電流や増幅器の感度といった特性の画素ごとのばらつきにより、同量の光量が入射された場合でも得られる信号量が画素ごとにばらつくため、画像上においてノイズとして見えるといった問題がある。このような画素ごとに固定の位置で現れるノイズは固定パタンノイズと呼ばれる。高画質な画像を生成するためには、画像信号に信号処理を行うことにより固定パタンノイズを補正することが必要となる。

上記特許文献１では、予め定義した白、黒、ないし任意のグレー濃度を持つ校正用の被写体をそれぞれ撮影し、得られた画像信号の各画素の出力値、すなわち画素値と、予め定義した白、黒、および任意のグレー濃度とをそれぞれ対応付ける。そして、目的の被写体を撮影する際には、得られた画像信号の各画素の画素値をこの対応付けを元に線形補間して所定の画素値に変換することで、画素ごとに生じる感度のばらつきを補正する、という方法が開示されている。上記特許文献１では、さらに白と黒の間で複数個の任意のグレー濃度を基準として設けることで、感度のばらつきが入射する光量に対し非線形である場合でも精度良く補正が行うことが可能である。但し、上記特許文献１に示された方法では、以下に示すような課題がある。

近年、イメージセンサのダイナミックレンジ向上を目的とし、入射する光量に対し出力する画素値が対数特性を持つＣＭＯＳイメージセンサが開発されている。このようなイメージセンサでは、感度のばらつきではなく感度そのものが入射する光量に対し非線形であることを特徴とするため、上記特許文献１に示された方法で補正すると、非線形の感度特性が線形に補正され、ダイナミックレンジが損なわれるという問題がある。

また、イメージセンサのダイナミックレンジ向上を目的とし、１つの画素に複数の電荷蓄積箇所を設けることでダイナミックレンジの広い露光が可能なイメージセンサが開発されている。このようなイメージセンサでは、出力する画素値が入射する光量に対し連続的に変化しないため、上記特許文献１に示された方法で補正すると、被写体濃度と画像信号の画素値の関係性が変わってしまう問題がある。

そこで、本発明では、イメージセンサの出力する画像信号の各画素に対し、イメージセンサの感度のばらつきを含む固定パタンノイズのノイズ特性を考慮して、画素値に応じて異なる補正関数で補正を行うことを目的とする。これにより、入射する光量に対し非線形性や不連続性を有することを特徴とするイメージセンサにおいても、イメージセンサの撮像特性を維持しつつ固定パタンノイズを高精度に補正することが可能となる。

上記目的は特許請求の範囲に記載の発明により達成される。

本発明によれば、画像信号の各画素に対し、固定パタンノイズのノイズ特性を考慮して、画素値に応じて異なる補正関数で補正を行うことで、いかなる特性を持つイメージセンサに対しても固定パタンノイズを高精度に補正することが可能となる。

本発明の第１実施例に係る画像信号処理装置を示す第一の模式図本発明の第１実施例に係る固定パタンノイズ補正関数選択方法および固定パタンノイズ補正方法の一例を示す第１の図本発明の第１実施例に係る固定パタンノイズ補正関数選択方法および固定パタンノイズ補正方法の一例を示す第２の図本発明の第２実施例に係る画像信号処理装置を示す第一の模式図本発明の第２実施例に係る補正関数の格納方式の一例を示す図本発明の第２実施例に係る固定パタンノイズ補正関数選択処理および固定パタンノイズ補正処理シーケンスの一例を示す図本発明の第２実施例に係る画像信号処理装置を示す第二の模式図本発明の第２実施例に係る温度変化時の固定パタンノイズ補正方法の一例を示す図本発明の第２実施例に係る利得変化時の固定パタンノイズ補正方法の一例を示す図本発明の第３実施例に係る固定パタンノイズ補正方法の一例を示す第１の図本発明の第３実施例に係る固定パタンノイズ補正方法の一例を示す第２の図本発明の第４実施例に係る画像信号処理装置を示す模式図本発明の第４実施例に係るノイズ強調方法の一例を示す図

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係る画像信号処理装置を示す第一の模式図である。図１において、０１０１は画像信号入力部、０１０２は固定パタンノイズ補正関数選択部、０１０３は固定パタンノイズ補正部である。

図１に示した画像信号処理装置において、画像信号入力部０１０１は、イーサネット（登録商標）やＵＳＢ、キャプチャボードなどを介して撮像機器ないし映像機器と接続し、固定パタンノイズを有する画像信号を入力する。あるいは、画像信号入力部０１０１がレンズおよび撮像素子およびＡ／Ｄ変換部を備え、撮像処理を行うことで画像信号を生成するといった形態を取っても良い。あるいは、不図示の画像記録部に格納された画像信号の読み込みを行うといった形態を取っても良い。ここで、固定パタンノイズとは、撮像に用いた機器において、色フィルタや、光電変換部や、読出し駆動回路や、信号増幅器や、Ａ／Ｄ変換部や、マイクロレンズアレイなどの各々の特性のばらつきにより、同量の光量が撮像素子に入射された場合でも出力される画像信号の信号量が画素ごとで異なるために生じる、画素に固有のノイズを指す。固定パタンノイズ補正関数選択部０１０２は、画像信号入力部０１０１より入力した画像信号を取得し、画像信号の各画素の画素値を評価して、画素値に含まれる固定パタンノイズの成分を補正するための補正関数を、予め用意した複数の補正関数の中から選択し、固定パタンノイズ補正部０１０３へ出力する。用意するべき複数の補正関数や、複数の補正関数の中から必要な補正関数を選択する方法については、図２を用いて後述する。この補正関数や補正関数を選択するための条件については、予め不図示のメモリ部に記録しておき、画像信号入力部０１０１から画像信号を入力した際に読み込んで用いればよい。あるいは、不図示のユーザインタフェースからユーザが入力を行う形態としても良い。また、画像信号入力部０１０１が入力する画像信号が複数の種類の撮像機器によって撮像されうる場合、補正関数や補正関数を選択するための条件は撮像機器ごとに用意し、選択して使用する形態としても良い。固定パタンノイズ補正部０１０３は、画像信号入力部０１０１より入力した画像信号を、固定パタンノイズ補正関数選択部０１０２から画像信号の各画素の補正関数を、それぞれ取得し、画像信号の各画素の画素値を対応した補正関数を用いて補正して、補正画像信号として出力する。これにより、固定パタンノイズを補正した画像信号を生成することが可能となる。なお、固定パタンノイズ補正関数選択処理および固定パタンノイズ補正処理は、例えばパソコンであればＣＰＵ上のアプリケーション、組み込み機器であればマイコンやＤＳＰ、専用のＬＳＩなどにて実施される。

図２は、本発明の第１実施例に係る固定パタンノイズ補正関数選択方法および固定パタンノイズ補正方法の一例を示す第１の図である。本発明において固定パタンノイズ補正関数選択処理は固定パタンノイズ補正関数選択部０１０２で、固定パタンノイズ補正処理は固定パタンノイズ補正部０１０３で、それぞれ行われる。図２（１）は、画像信号入力部０１０１で入力した固定パタンノイズを有する画像信号の信号特性を示す図であり、画像信号入力部０１０１で入力する画像信号を撮像した際の、入射する光量に対する画像信号の各画素の画素値の関係を示している。図２（１）に示すように、固定パタンノイズを有する画像信号では、撮像素子に含まれるフォト・ダイオードの暗電流や感度のばらつき、増幅器の感度のばらつきなど、撮像素子の種類に応じた種々の原因により、理想的な信号特性に対し、画素ごとの信号特性にばらつきが生じる。このばらつき、すなわち固定パタンノイズの大きさは画素ごとに異なるだけでなく、入射する光量に対しても変化する。図２（２）は、画像信号入力部０１０１で入力した固定パタンノイズを有する画像信号の固定パタンノイズのノイズ特性を示す図であり、画像信号入力部０１０１で入力する画像信号の理想的な画素値に対するノイズレベルの関係を示している。ノイズレベルは、例えば同一輝度の被写体を撮像したときの、画像信号の各画素の固定パタンノイズの標準偏差を算出することで得られる。このように、ノイズレベルが画素値に対し、局所的な範囲の中において関数近似できる特性を示していれば、近似関数を用いて固定パタンノイズを補正することが可能である。例えば図２（２）の場合では、ノイズレベルが２つの範囲内においてそれぞれ一次関数で近似可能である。なお、本例はノイズ特性を簡単なモデルで示しているが、もちろん実際の適用においては、３つ以上の範囲内においてノイズレベルを近似したり、多次元関数で近似したりしても良く、近似精度と計算コストを考慮して最適なモデルを選択すれば良い。本例においては、固定パタンノイズ補正関数選択方法０１０２は、予めノイズレベルを関数近似可能な第１の範囲と、関数近似可能な第２の範囲、およびそれぞれの範囲において固定パタンノイズを補正するための補正関数を推定し、用意しておく。図２（３）は画像信号入力部０１０１より入力した固定パタンノイズを有する画像信号の固定パタンノイズの補正関数の選択方法を示す図であり、入力した画像信号の各画素の画素値に対する、補正後の画素値の関係を示している。固定パタンノイズ補正関数選択部０１０２は、画像信号入力部０１０１より入力した固定パタンノイズを有する画像信号の各画素の画素値を参照し、予め用意したノイズレベルを関数近似可能な第１の範囲とノイズレベルを関数近似可能な第２の範囲のいずれかの範囲内に画素値があるかを判定し、第１の範囲内にある場合は第１の補正関数を、第２の範囲内にある場合は第２の補正関数を選択する。なお、画素ごとに固定パタンノイズの大きさが異なる場合には、高精度な補正を行うために、第１の補正関数および第２の補正関数を画素ごとに用いて補正することが好ましい。すなわち、第１の画素ａの画素値がノイズレベルを関数近似可能な第１の範囲にある場合には画素ａに対応した第１の補正関数ｆ_ａ１（ｘ）を、ノイズレベルを関数近似可能な第２の範囲にある場合には画素ａに対応した第２の補正関数ｆ_ａ２（ｘ）を、第２の画素ｂの画素値がノイズレベルを関数近似可能な第１の範囲にある場合には画素ｂに対応した第１の補正関数ｆ_ｂ１（ｘ）を、ノイズレベルを関数近似可能な第２の範囲にある場合には画素ａに対応した第２の補正関数ｆ_ｂ２（ｘ）を、それぞれ予め用意しておき、固定パタンノイズ補正関数選択部０１０２は、参照する画素とその画素値の組み合わせから最適な補正関数を選択すれば良い。図２（４）は画像信号入力部０１０１より入力した固定パタンノイズを有する画像信号の固定パタンノイズの補正方法を示す図であり、入射する光量に対する画像信号の各画素の画素値の関係を示している。固定パタンノイズ補正関数選択部０１０３は、画像信号入力部０１０１より入力した固定パタンノイズを有する画像信号の各画素の画素値に対し、固定パタンノイズ補正関数選択部０１０２の選択した補正関数を用いて固定パタンノイズの補正を行う。すなわち、ノイズレベルが関数近似可能な第１の範囲内に対象とする画素の画素値がある場合は第１の補正関数を用いて補正し、ノイズレベルが関数近似可能な第２の範囲内に対象とする画素の画素値がある場合は第２の補正関数を用いて補正する。これにより、補正を行った全ての画素において、その画素値を理想的な信号特性における画素値と一致させることが可能となる。これにより、画像信号の本来の入射する光量に対する信号特性は損なわずに固定パタンノイズを補正することができ、入射する光量に対し非線形ないし不連続な信号特性を持つイメージセンサにおいても高精度な固定パタンノイズの補正が可能となる。

図３は、本発明の第１実施例に係る固定パタンノイズ補正関数選択方法および固定パタンノイズ補正方法の一例を示す第２の図である。図３は、画像信号入力部０１０１で入力した固定パタンノイズを有する画像信号の固定パタンノイズの色ごとのノイズ特性を示す図であり、画像信号入力部０１０１で入力する画像信号の理想的な画素値に対する色ごとのノイズレベルの関係を示している。図３においては、ＲＧＢのカラーフィルタを介して撮像し、デモザイキング処理を施さず画素ごとに異なる色成分を持つような画像信号を入力した場合に、ＲＧＢ成分ごとに、それぞれ異なる範囲で固定パタンノイズのノイズレベルを関数近似した例を示している。このように感度の異なる同一の色成分ごとにノイズレベルを関数近似する範囲と、その範囲内における補正関数を用意することで、カラー画像に対してより高精度な固定パタンノイズの補正が可能となる。

かように本実施例に拠れば、固定パタンノイズを有する画像信号に対し、本来の信号特性は損なわずに固定パタンノイズのみを高精度に補正することが可能となる。

図４は、本発明の第２実施例に係る画像信号処理装置を示す第一の模式図である。本実施例では本発明をデジタルスチルカメラやデジタルビデオカメラ等の撮像機器に適用した場合の実施形態の例を示す。図４において、０４１０は撮像部、０４１１はレンズ群、０４１２は撮像素子、０４１３はＡ／Ｄ変換部、０４０２は固定パタンノイズ補正関数選択部、０４０３は固定パタンノイズ補正部、０４０４は範囲情報格納部、０４０５は固定パタンノイズ補正関数格納部、０４０６は信号処理部である。

図４に示した画像信号処理装置において、撮像部０４１０は、図１における画像信号入力部０１０１に相当するもので、レンズ群０４１１、撮像素子０４１２、Ａ／Ｄ変換部０４１３によって構成され、レンズ群０４１１を介して撮像素子０４１２に入射した光を光電変換し、Ａ／Ｄ変換部０４１３によってデジタル画像信号として出力される。必要に応じて不図示のアナログフロントエンド部を備えても良く、例えば撮像素子０４１２がＣＣＤである場合は、ＣＤＳやＡＧＣなどが撮像素子０４１２とＡ／Ｄ変換部０４１３の間に存在する。固定パタンノイズ補正関数選択部０４０２は、撮像部０４１０の出力した画像信号を取得し、範囲情報格納部０４０４に格納された範囲情報を用いて、画像信号の各画素の画素値が２つ以上の任意の範囲内にあるかを評価し、いずれかの範囲内にあった場合に、固定パタンノイズ補正関数格納部０４０５に格納された複数の補正関数の中から画素値に含まれる固定パタンノイズの成分を補正するための補正関数を選択し、固定パタンノイズ補正部０４０３へ出力する。固定パタンノイズ補正部０４０３は、撮像部０４１０の出力した画像信号を、固定パタンノイズ補正関数選択部０４０２から画像信号の各画素の補正関数を、それぞれ取得し、画像信号の各画素の画素値を対応した補正関数を用いて補正して、信号処理部０４０６に出力する。範囲情報格納部０４０４は、固定パタンノイズ補正関数選択部０４０２が複数の補正関数から最適な補正関数を選択するための判定に必要な範囲情報として、例えば範囲の上限閾値と下限閾値などを格納する。固定パタンノイズ補正関数選択部０４０２は固定パタンノイズ補正部０４０３が画像信号の各画素の固定パタンノイズを補正するために必要な複数の補正関数を格納する。範囲情報格納部０４０４が格納するべき範囲情報や固定パタンノイズ補正関数格納部０４０５が格納するべき複数の補正関数は、図２に示したように、撮像素子０４１２の固定パタンノイズのノイズ特性を評価することにより、予め最適なものを生成して格納すればよい。信号処理部０４０６は、固定パタンノイズ補正部０４０３の出力した固定パタンノイズの補正された画像信号に、デモザイキング処理やローパス処理やエンハンサ処理やガンマ処理などの各種の高画質化のための信号処理を行い、不図示の映像信号生成部や画像記録部に出力する。これにより、固定パタンノイズを補正した高画質な画像をリアルタイムで撮像することが可能となる。なお、固定パタンノイズ補正関数選択処理および固定パタンノイズ補正処理、信号処理は、マイコンやＤＳＰ、専用のＬＳＩなどにて実施される。また、範囲情報格納部０４０４や固定パタンノイズ補正関数格納部０４０５はＥＥＰＲＯＭやＦＲＡＭなどの不揮発性メモリなどに相当する。

図５は、本発明の第２実施例に係る補正関数の格納方式の一例を示す図である。本発明において補正関数の格納は固定パタンノイズ補正関数格納部０４０５で行われる。図２で示したとおり、補正関数は撮像部０４１０の出力する画像信号の各画素に対し、画像信号の固定パタンノイズのノイズレベルが関数近似可能な範囲についてそれぞれ異なる関数が用意されていることが好ましい。そこで、本例では、各画素に対し、ノイズレベルが関数近似可能なそれぞれの範囲において、補正関数を一次関数で近似した場合に、補正関数の傾きと切片をルックアップテーブルの形式で格納している。例えば１つ目の画素である画素１に対しては、ノイズレベルが関数近似可能な第１の範囲内における補正関数の傾き１１および切片１１から、ノイズレベルが関数近似可能な第Ｍの範囲内における補正関数の傾き１Ｍおよび切片１Ｍまでが補正関数として対応しており、これがＮ個の画素それぞれについて、この対応が格納される。これにより、補正関数として保存するべき情報量が少なくなるため、メモリの少ない組み込み機器でも用意に実現可能である。

図６は、本発明の第２実施例に係る固定パタンノイズ補正関数選択処理および固定パタンノイズ補正処理シーケンスの一例を示す図である。図６の固定パタンノイズ補正関数選択処理および固定パタンノイズ補正処理シーケンスにおいて、ＳＴ０６０１では、固定パタンノイズ補正関数選択部０４０２および固定パタンノイズ補正部０４０３は撮像部０４１０より画像信号を取得し、ラインメモリ等に格納された１番目の画素の画素値を取得する。ＳＴ０６０２では、固定パタンノイズ補正関数選択部０４０２は、範囲情報格納部０４０４より範囲情報を取得し、画素値が範囲情報として格納された第１の範囲内にあるかを判定し、画素値が第１の範囲内にある場合にはＳＴ０４０３に、ない場合にはＳＴ０４０６に進む。ＳＴ０４０３では、画素値が第１の範囲内にあった場合に、固定パタンノイズ補正関数格納部０４０５に格納されたルックアップテーブルを参照して、対応する補正関数の傾きと切片を選択し、固定パタンノイズ補正部０４０３に出力する。ＳＴ０４０４では、固定パタンノイズ補正部０４０３はＳＴ０４０１で取得した画素値に対し、ＳＴ０４０３で取得した切片を加算処理する。ＳＴ０４０５では、固定パタンノイズ補正部０４０３はＳＴ０４０１で取得した画素値に対し、ＳＴ０４０３で取得した傾きを積算処理し、ＳＴ０４０７に進む。ＳＴ０４０６では、画素値が範囲情報として格納されたいずれかの範囲内にあるかの判定を、予め要した全ての範囲について行ったかを判定し、全ての範囲について行った場合には対象とする画素値の補正は行わずＳＴ０４０７に進む。全ての範囲について行っていない場合には、次の範囲を対象にＳＴ０４０２から再び繰り返す。すなわち、画素値が第１の範囲内にない場合は、第２の範囲内にあるかを判定する、といったことを全ての範囲について繰り返す。ＳＴ０４０７では撮像部０４１０の出力した画像信号の全ての画素について補正処理を行ったかを判定し、全ての画素について行った場合には１画面分処理を終了する。全ての画素について行っていない場合には、次の画素を対象にＳＴ０４０１から再び繰り返す。これにより、１画素に対する補正処理が加算と積算が各１回ですむため、小規模な回路構成で高精度な固定パタンノイズの補正が実現できる。

図７は、本発明の第２実施例に係る画像信号処理装置を示す第二の模式図である。図７において、０７１０は撮像部、０７１１はレンズ群、０７１２は撮像素子、０７１３はＡ／Ｄ変換部、０７０２は固定パタンノイズ補正関数選択部、０７０３は固定パタンノイズ補正部、０７０４は範囲情報格納部、０７０５は固定パタンノイズ補正関数格納部、０７０６は信号処理部、０７０７は利得制御部、０７０８は温度測定部であり、図４で示した模式図に温度測定部０７０７と利得制御部０７０８を加えた構成となっている。

図７で示した画像信号処理装置において、温度測定部０７０７は撮像部０７１０が撮像を行う際の撮像部０７１０の温度を測定し、固定パタンノイズ補正関数選択部０７０２に出力する。撮像時の温度に応じて、画像信号中の固定パタンノイズの大きさも変動する可能性がある。そこで、範囲情報格納部０７０４および固定パタンノイズ補正関数格納部０７０５は温度の変動を考慮した範囲情報および複数の補正関数をそれぞれ格納し、固定パタンノイズ補正関数選択部０７０２は温度測定部０７０７より撮像時の温度を取得して、撮像時の温度に対応した範囲情報と複数の補正関数を基に適切な補正関数の選択を行う。これにより動作環境が変わった場合でも高精度な固定パタンノイズの補正が可能である。利得制御部０７０８は撮像部０７１０の出力する画像信号の信号量に基づく自動露光制御や、不図示のユーザインタフェースからのユーザの入力などを基に、撮像素子０７１２が光電変換による出力するアナログの画像信号の利得を制御する。利得の制御は、例えば撮像素子０７１２がＣＣＤである場合には、不図示のアナログフロントエンドにおいて、ＡＧＣのゲイン量を制御すれば良く、例えば撮像素子０７１２がＣＭＯＳである場合には、増幅器の増幅量を制御すればよい。このとき、アナログの画像信号の利得に応じて、画像信号中の固定パタンノイズの大きさも増幅される。そこで、範囲情報格納部０７０４および固定パタンノイズ補正関数格納部０７０５は利得の変動を考慮した範囲情報および複数の補正関数をそれぞれ格納し、固定パタンノイズ補正関数選択部０７０２は利得制御部０７０８より撮像時の利得を取得して、撮像時の利得に対応した範囲情報と複数の補正関数を基に適切な補正関数の選択を行う。これによりシーンに応じて撮像により得られた画像信号の利得が変わった場合でも高精度な固定パタンノイズの補正が可能である。

図８は、本発明の第２実施例に係る温度変化時の固定パタンノイズ補正方法の一例を示す図である。撮像部０７１０で撮像した固定パタンノイズを有する画像信号の固定パタンノイズの温度ごとのノイズ特性を示す図であり、撮像部０７１０で撮像する画像信号の理想的な画素値に対する温度ごとのノイズレベルの関係を示している。このようにある温度αと別のある温度βで、ノイズレベルを関数近似可能な範囲や、ノイズレベルが変動する場合、あらかじめ温度変化に対応した範囲情報や複数の補正関数を用意して、それぞれ範囲情報格納部０７０４および固定パタンノイズ補正関数格納部０７０５に格納すればよい。このとき、例えば、画像信号処理装置の動作保障温度の範囲内で、一定間隔おきの温度下で撮像したときのノイズレベルを評価して、それぞれの温度時における範囲情報や複数の補正関数を用意して範囲情報格納部０７０４および固定パタンノイズ補正関数格納部０７０５に格納し、固定パタンノイズ補正関数選択部０７０２は撮像時の温度に最も近い温度時の範囲情報や複数の補正関数の情報、あるいは、近傍の温度時の範囲情報や複数の補正関数から補間により得られた情報を用いて適切な補正関数の選択を行うことで、温度が変化した場合でも高精度な固定パタンノイズの補正が可能である。また、別の方法としては、温度変化により範囲情報や複数の補正関数が規則的に変化するのであれば、例えば、基準となる温度時の範囲情報や複数の補正関数と、温度変化時の範囲情報や複数の補正関数の差分情報を範囲情報格納部０７０４および固定パタンノイズ補正関数格納部０７０５に格納し、固定パタンノイズ補正関数選択部０７０２は撮像時の温度と基準となる温度との差分から撮像時の温度に最適な範囲情報や複数の補正関数を演算して、適切な補正関数の選択を行うことで、格納するデータ量の低減を図ることが可能である。

図９は、本発明の第２実施例に係る利得変化時の固定パタンノイズ補正方法の一例を示す図である。撮像部０７１０で撮像した固定パタンノイズを有する画像信号の固定パタンノイズの利得ごとのノイズ特性を示す図であり、撮像部０７１０で撮像する画像信号の理想的な画素値に対する利得ごとのノイズレベルの関係を示している。このように利得に応じてノイズレベルを関数近似可能な範囲や、ノイズレベルも変動するため、あらかじめ利得変化に対応した範囲情報や複数の補正関数を用意して、それぞれ範囲情報格納部０７０４および固定パタンノイズ補正関数格納部０７０５に格納すればよい。このとき、例えば、利得制御部０７０８の制御可能な利得の範囲内で、一定間隔おきの利得に制御して撮像したときのノイズレベルを評価して、それぞれの利得時における範囲情報や複数の補正関数を用意して範囲情報格納部０７０４および固定パタンノイズ補正関数格納部０７０５に格納し、固定パタンノイズ補正関数選択部０７０２は撮像時の利得に最も近い利得時の範囲情報や複数の補正関数の情報、あるいは、近傍の温度時の範囲情報や複数の補正関数から補間により得られた情報を用いて適切な補正関数の選択を行うことで、利得が変化した場合でも高精度な固定パタンノイズの補正が可能である。また、別の方法としては、利得変化により範囲情報や複数の補正関数も同じ利得で規則的に変化するため、例えば、基準となる温度時の範囲情報や複数の補正関数と、利得変化時の範囲情報や複数の補正関数の差分情報を範囲情報格納部０７０４および固定パタンノイズ補正関数格納部０７０５に格納し、固定パタンノイズ補正関数選択部０７０２は撮像時の利得と基準となる利得との比率から撮像時の利得に最適な範囲情報や複数の補正関数を演算して、適切な補正関数の選択を行うことで、格納するデータ量の低減を図ることが可能である。

かように本実施例に拠れば、デジタルビデオカメラやデジタルスチルカメラ等の撮像機器においてリアルタイムに、固定パタンノイズを有する画像信号に対し、本来の信号特性は損なわずに固定パタンノイズのみを高精度に補正することが可能となる。

本実施例では、図１に示す本発明の第１実施例に係る画像信号処理装置において、画像信号入力部０１０１が複数の画素で固定パタンノイズが同一の特性を有するような画像信号を入力する実施形態の例、あるいは、図４に示す本発明の第２実施例に係る画像信号処理装置において、撮像部０４１０が複数の画素で固定パタンノイズが同一の特性を有するような画像信号を撮像する実施形態の例であり、撮像に用いた機器において、色フィルタや、光電変換部や、読出し駆動回路や、信号増幅器や、Ａ／Ｄ変換部や、マイクロレンズアレイなどの一部を複数の画素で共有する構成となっている。

本実施例においては、複数の画素間で固定パタンノイズの成分を補正するための補正関数または補正関数の一部を共有することが可能である。

図１０は、本発明の第３実施例に係る固定パタンノイズ補正方法の一例を示す第１の図である。図１０（１）は撮像素子にＣＣＤを用いた場合の信号読出しの例であり、図１０（２）は画像信号中の固定パタンノイズを複数の一次関数で近似可能な場合に補正関数の傾きを記録したルックアップテーブルの例であり、図１０（３）は補正関数の切片を記録したルックアップテーブルの例である。図１０（１）に示した例では、撮像素子の各画素がそれぞれフォト・ダイオードを有し、光電変換により得られた信号を列ごとに垂直ＣＣＤで転送し、さらに行ごとに水平ＣＣＤで転送することで画像信号として出力する。このとき、例えば垂直ＣＣＤでの転送劣化に起因する固定パタンノイズのばらつきは、同一の列の全ての画素において、同量だけ発生することになる。もし垂直ＣＣＤでの転送劣化が、固定パタンノイズのオフセット成分のばらつきの主要因となっていて、その他の要因に起因する固定パタンノイズのオフセット成分のばらつきが補正の不要なほど十分に小さい場合であれば、図１０（２）および図１０（３）に示すように、補正関数の傾きについては全ての画素について用意し、補正関数の切片については列ごとに同一の値を共有する形で用意し、それぞれルックアップテーブルを作成すれば良い。これにより、図５で示したルックアップテーブルに対し、メモリ量を低減することが可能となる。また、固定パタンノイズのゲイン成分のばらつきが十分に小さい場合であれば、補正関数の傾きに関するルックアップテーブルを用いなくてもよく、更なるメモリ量の低減が実現できる。

図１１は、本発明の第３実施例に係る固定パタンノイズ補正方法の一例を示す第２の図である。図１１（１）は撮像素子に列ごとに増幅器を持つＣＭＯＳを用いた場合の信号読出しの例であり、図１１（２）は画像信号中の固定パタンノイズを複数の一次関数で近似可能な場合に補正関数の傾きを記録したルックアップテーブルの例であり、図１１（３）は補正関数の切片を記録したルックアップテーブルの例である。図１１（１）に示した例では、撮像素子の各画素がそれぞれフォト・ダイオードを有し、光電変換により得られた信号を列ごとに信号線で転送し、列ごとの増幅器で信号増幅し、行ごとの信号線で転送することで画像信号として出力する。このとき、例えば増幅器のゲインに起因する固定パタンノイズのばらつきは、同一の列の全ての画素において、同じ傾き特性で発生することになる。もし増幅器のゲインばらつきが、固定パタンノイズのゲイン成分のばらつきの主要因となっていて、その他の要因に起因する固定パタンノイズのゲイン成分のばらつきが補正の不要なほど十分に小さい場合であれば、図１１（２）および図１１（３）に示すように、補正関数の切片については全ての画素について用意し、補正関数の傾きについては列ごとに同一の値を共有する形で用意し、それぞれルックアップテーブルを作成すれば良い。これにより、図５で示したルックアップテーブルに対し、メモリ量を低減することが可能となる。また、固定パタンノイズのオフセット成分のばらつきが十分に小さい場合であれば、補正関数の切片に関するルックアップテーブルを用いなくてもよく、更なるメモリ量の低減が実現できる。

かように本実施例に拠れば、画像信号の有する固定パタンノイズの特性に応じて、補正関数、ないし、補正関数の一部を複数の画素で共有することで、少ないメモリ量で高精度な固定パタンノイズの補正を実現できる。

図１２は、本発明の第４実施例に係る画像信号処理装置を示す模式図である。図１２において、１２０１は画像信号入力部、１２０２は固定パタンノイズ補正関数選択部、１２０３は固定パタンノイズ強調部であり、図１に示した本発明の第１実施例に係る画像信号処理装置を示す第一の模式図の固定パタンノイズ補正部０１０３を固定パタンノイズ強調部１２０３に置き換えた構成となっている。

図１２に示した画像信号処理装置において、固定パタンノイズ強調部１２０３は、画像信号入力部１２０１より入力した画像信号を、固定パタンノイズ補正関数選択部１２０２から画像信号の各画素の補正関数を、それぞれ取得し、画像信号の各画素の画素値を対応した補正関数をもとにノイズ量を算出し、ノイズ量を強調してもとの画像信号に加算する。これにより、画像に対する特殊効果として、ノイズを強調した画像信号を生成することが可能となる。なお、固定パタンノイズ強調処理は、例えばパソコンであればＣＰＵ上のアプリケーション、組み込み機器であればマイコンやＤＳＰ、専用のＬＳＩなどにて実施される。

図１３は本発明の第４実施例に係るノイズ強調方法の一例を示す図である。本発明においてノイズ強調方処理は固定パタンノイズ強調部１２０３で行われる。図１３では、一様な輝度の被写体を撮影した場合の画像信号の各画素の画素値を示しており、横軸は画像信号の空間位置、縦軸は各空間位置における画素値である。固定パタンノイズ強調部１２０３は、画像信号入力部１２０１より入力した画像信号の各画素に対し、固定パタンノイズ補正関数選択部１２０２より取得した補正関数をもとにノイズ量、すなわち固定パタンノイズのない理想的な信号特性における画素値と、実際の画素値との差分を算出する。これは、例えば補正関数により補正した後の画素値と、補正前の画素値との差分をとることで算出できる。このノイズ量を、もとの画素値に加えることで、ノイズ強調した画像信号を取得することが可能となる。このとき、ノイズ量に不図示のユーザ入力部や設定値記録部等から入力した重みを加算ないし積算し、得られた値をもとの画素値に加算しても良い。また、ノイズ量を推定せずに、補正関数の係数の符号を次数に応じて反転させたり、係数に一定の値を積算したりしてノイズ量を増幅しても良い。これにより、意図的にノイズ感を強調したような画像信号を生成することが可能となる。

かように本実施例によれば、同様の構成で固定パタンノイズを補正するだけでなく、固定パタンノイズを強調し、意図的にノイズ感を持たせた画像を生成することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

本発明は例えば、民生や監視や車載や業務用途において、撮像装置やＰＣアプリケーション、画像処理装置などに利用可能である。

０１０１画像信号入力部
０１０２固定パタンノイズ補正関数選択部
０１０３固定パタンノイズ補正部
０４０２固定パタンノイズ補正関数選択部
０４０３固定パタンノイズ補正部
０４０４範囲情報格納部
０４０５固定パタンノイズ補正関数格納部
０４０６信号処理部
０４１０撮像部
０４１１レンズ群
０４１２撮像素子
０４１３Ａ／Ｄ変換部
０７０７利得制御部
０７０８温度測定部
０７０２固定パタンノイズ補正関数選択部
０７０３固定パタンノイズ補正部
０７０４範囲情報格納部
０７０５固定パタンノイズ補正関数格納部
０７０６信号処理部
０７１０撮像部
０７１１レンズ群
０７１２撮像素子
０７１３Ａ／Ｄ変換部
１２０１画像信号入力部
１２０２固定パタンノイズ補正関数選択部
１２０３固定パタンノイズ強調部

Claims

固定パタンノイズを有する画像信号を入力する画像信号入力手段と、
前記画像信号の各画素の固定パタンノイズを補正するために予め用意した複数の補正関数から、前記画像信号入力手段より入力した画像の撮像条件および前記画像信号入力手段より入力した画像信号の各画素の画素値を基に、最適な補正関数を選択して出力する固定パタンノイズ補正関数選択手段と、
前記画像信号入力手段より入力した画像信号の各画素の画素値を、前記固定パタンノイズ補正関数選択手段の出力する補正関数に基づき補正し、補正画像信号として出力する固定パタンノイズ補正手段と、
を備え、
該固定パタンノイズ補正関数選択手段は、該画像信号の各画素の画素値について予め２つ以上の任意の範囲を該撮像条件ごとに定め、該画像信号入力手段より入力した画像信号の各画素の画素値がいずれの範囲にあるかに応じて異なる補正関数を選択することを特徴とする画像信号処理装置。
請求項１に記載の画像信号処理装置において、
該撮像条件とは撮像素子における色フィルタの種別であり、
該画像信号入力手段が画素ごとに少なくとも2つ以上の異なる種類の色成分を持つ画像信号を入力する場合に、該画像信号の各画素の画素値について予め定めた２つ以上の任意の範囲は、該画像信号の画像全体ないし任意の領域内で色成分ごとに異なり、
該固定パタンノイズ補正関数選択手段は、入力した画像信号の各画素の画素値がいずれの色成分であるかに基づいて予め定めた２つ以上の任意の範囲を選択し、該画素値が選択した２つ以上の任意の範囲のいずれの範囲にあるかに応じて異なる補正関数を選択することを特徴とする画像信号処理装置。
請求項１に記載の画像信号処理装置において、
さらに、該画像信号の各画素の画素値について予め定めた２つ以上の任意の範囲を定義する範囲情報を格納する範囲情報格納手段と、
を備え、
該固定パタンノイズ補正関数選択手段は、該画像信号入力手段より入力した画像信号の各画素の画素値が、該範囲情報格納手段の格納する範囲情報に基づき、予め定めた２つ以上の任意の範囲のいずれかの範囲内にあるかを判定することを特徴とする画像信号処理装置。
請求項３に記載の画像信号処理装置において、
さらに、該画像信号の各画素の固定パタンノイズを補正するための複数の補正関数を格納する固定パタンノイズ補正関数格納手段と、
を備えることを特徴とする画像信号処理装置。
請求項４に記載の画像信号処理装置において、
該撮像条件とは前記画像信号を撮像した際の温度であり、
該画像信号入力手段に入力した画像信号を撮像した際の温度を入力する撮像時温度入力手段と、
を備え、
該範囲情報格納手段は複数の温度における範囲情報をそれぞれ格納し、
該固定パタンノイズ補正関数格納手段は複数の温度における補正関数をそれぞれ格納し、
該固定パタンノイズ補正関数選択手段は、前記撮像時温度入力手段より入力した温度情報をもとに、前記範囲情報および前記補正関数について撮像時の温度に対応した情報を選択ないし補間して用いることを特徴とする画像信号処理装置。
請求項４に記載の画像信号処理装置において、
該撮像条件とは前記画像信号を撮像した際の温度であり、
該画像信号入力手段に入力した画像信号を撮像した際の温度を入力する撮像時温度入力手段と、
を備え、
該範囲情報格納手段は所定の温度時の範囲情報および温度変化時の範囲情報の変動情報を格納し、
該固定パタンノイズ補正関数格納手段は、所定の温度時の補正関数および温度変化時の補正関数の変動情報を格納し、
該固定パタンノイズ補正関数選択手段は、前記撮像時温度入力手段より入力した温度情報をもとに、前記範囲情報および前記補正関数について撮像時の温度に対応した情報に補正して用いることを特徴とする画像信号処理装置。
請求項４に記載の画像信号処理装置において、
該撮像条件とは前記画像信号を撮像した際の利得であり、
該画像信号入力手段は、レンズと撮像素子と利得制御部を有し、レンズを介して撮像素子へ入射した光を光電変換して得られた信号の利得を制御した信号を画像信号として入力し、
該範囲情報格納手段は複数の利得における範囲情報をそれぞれ格納し、
該固定パタンノイズ補正関数格納手段は複数の利得における補正関数をそれぞれ格納し、
該固定パタンノイズ補正関数選択手段は、前記画像信号入力手段より利得情報を取得し、前記範囲情報および前記補正関数について撮像時の利得に対応した情報を選択ないし補間して用いることを特徴とする画像信号処理装置。
請求項４に記載の画像信号処理装置において、
該撮像条件とは前記画像信号を撮像した際の利得であり、
該画像信号入力手段は、レンズと撮像素子と利得制御部を有し、レンズを介して撮像素子へ入射した光を光電変換して得られた信号の利得を制御した信号を画像信号として入力し、
該範囲情報格納手段は、所定の利得時の範囲情報および利得変化時の範囲情報の変動情報を格納し、
該固定パタンノイズ補正関数格納手段は、所定の利得時の補正関数および利得変化時の補正関数の変動情報を格納し、
該固定パタンノイズ補正関数選択手段は、前記画像信号入力手段より利得情報を取得し、前記範囲情報および前記補正関数について撮像時の利得に対応した情報に補正して用いることを特徴とする画像信号処理装置。
請求項１に記載の画像信号処理装置において、
該予め用意した複数の補正関数の各々が、該画像信号の固定パタンノイズのノイズ特性に基づいた一次関数であることを特徴とする画像信号処理装置。
請求項１に記載の画像信号処理装置において、
該予め用意した複数の補正関数が、該画像信号の画素ごとに異なることを特徴とする画像信号処理装置。
請求項１に記載の画像信号処理装置において、
該画像信号の各画素の画素値について予め定めた２つ以上の任意の範囲は、該画像信号の画像全体ないし任意の領域内で同一であることを特徴とする画像信号処理装置。
請求項１に記載の画像信号処理装置において、
該画像信号入力手段は、撮像素子を有し、撮像素子へ入射した光を光電変換して得られた信号を画像信号として入力することを特徴とする画像信号処理装置。
請求項４に記載の画像信号処理装置において、
該固定パタンノイズ補正関数格納手段は、各々の補正関数を、該画像信号の各画素の位置を特定する情報と、その画素を補正するための一次関数の傾きあるいは切片に係る情報と、を対応付けるルックアップテーブルとして格納することを特徴とする画像信号処理装置。
請求項１乃至１３のいずれかに記載の画像信号処理装置において、
該予め用意した複数の補正関数ないし複数の補正関数の一部が、該画像信号の複数の画素で同一であることを特徴とする画像信号処理装置。
請求項１乃至１４のいずれかに記載の画像信号処理装置において、
前記固定パタンノイズ補正手段が、前記固定パタンノイズ補正関数選択手段の出力する補正関数に基づいて、前記画像信号入力手段より入力した画像信号の各画素の固定パタンノイズを強調することを特徴とする画像信号処理装置。