JP2006217441A - 色信号処理方法 - Google Patents
色信号処理方法 Download PDFInfo
- Publication number
- JP2006217441A JP2006217441A JP2005029979A JP2005029979A JP2006217441A JP 2006217441 A JP2006217441 A JP 2006217441A JP 2005029979 A JP2005029979 A JP 2005029979A JP 2005029979 A JP2005029979 A JP 2005029979A JP 2006217441 A JP2006217441 A JP 2006217441A
- Authority
- JP
- Japan
- Prior art keywords
- color
- signal
- light receiving
- color signal
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Radiation Pyrometers (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
【課題】 RGB各受光部のカラーフィルタが赤外光を透過する場合、各色信号にそれぞれ赤外光に起因する信号成分(IR成分)が重畳され、色バランスがくずれる。
【解決手段】 RGB各色信号に含まれるIR成分Ir,Ig,Ibを、IR成分を検知するIR受光部からの出力信号〈IR〉に基づいて特定する。各色信号に含まれるIR成分に関してだけ、各色信号間での比率を、白色光におけるRGB成分比α:β:γに合わせる補正を行い、補正色信号を生成する。
【選択図】 なし
【解決手段】 RGB各色信号に含まれるIR成分Ir,Ig,Ibを、IR成分を検知するIR受光部からの出力信号〈IR〉に基づいて特定する。各色信号に含まれるIR成分に関してだけ、各色信号間での比率を、白色光におけるRGB成分比α:β:γに合わせる補正を行い、補正色信号を生成する。
【選択図】 なし
Description
本発明は、互いに異なる色成分の検出を目的とする複数種類の受光素子から得られる色信号の処理方法に関し、特に、各色信号に含まれる目的外の波長に係るオフセット成分に対応した補正処理に関する。
ビデオカメラやデジタルカメラに搭載されるCCD(Charge Coupled Device)イメージセンサ等の固体撮像素子(固体撮像装置)は二次元配列された受光部(受光素子)を有し、この受光部で入射光を光電変換して電気的な画像信号を生成する。受光部は半導体基板に形成されたフォトダイオードを含み、このフォトダイオード自体は、いずれの受光部においても共通の分光感度特性を有する。そのため、カラー画像を取得するために、透過光の色、つまり透過波長領域が異なる複数種類のカラーフィルタをフォトダイオード上に配置する。
カラーフィルタには、透過光が赤(R)、緑(G)及び青(B)である原色系のフィルタセットや、シアン(Cy)、マゼンタ(Mg)及びイエロー(Ye)である補色系のフィルタセットがある。これらカラーフィルタは例えば、着色した有機材料で形成され、それぞれ対応する色の可視光を透過するが、その材質上、赤外光も透過する。例えば、図2は、RGB各フィルタの透過率の波長特性を示すグラフであり、同図はフォトダイオードの分光感度特性も併せて示している。各色のカラーフィルタの透過率は、可視光領域ではそれぞれの着色に応じて固有の分光特性を示すが、赤外光領域ではほぼ共通の分光特性を示す。
一方、フォトダイオードは、波長が380〜780nm程度の可視光領域全般に加え、さらに長波長の近赤外領域まで感度を有する。そのため、赤外光成分(IR成分)が受光部に入射すると、当該赤外光成分はカラーフィルタを透過して、フォトダイオードにて信号電荷を発生し、正しい色表現ができない。そのため、従来は、カメラのレンズと固体撮像素子との間に、別途、赤外カットフィルタを配置している。
この赤外カットフィルタは、赤外光をカットすると同時に、可視光も10〜20%程度、減衰させる。そのため、受光部に入射する可視光の強度が減少し、それに応じて出力信号のS/N比が低下し、画質の劣化を招くという問題があった。
この問題への対処として、赤外カットフィルタを無くす一方で、RGB等の特定色の光成分を透過するカラーフィルタを配置された受光部(特定色受光部)に加えて、基本的に入射光中のIR成分のみを検出する受光部(IR受光部)を有した固体撮像素子が提案されている。IR受光部が出力する信号(参照信号)は、各受光部にてIR成分に起因して生じる信号量に関する情報を与える。この参照信号を用いて、特定色受光部から出力される各色信号に含まれるIR成分の影響を除去することが考えられている。
IR受光部は、例えば、フォトダイオード上に互いに異なる色の可視光を透過する複数種類のカラーフィルタを積層することにより実現できる。すなわち、互いに積層されたカラーフィルタは、あるカラーフィタを透過した可視光成分を他のカラーフィルタで吸収することにより可視光の透過を阻止する一方、各カラーフィルタがIR成分を透過する結果、赤外光を選択的に透過する。
例えば、入射光のR,G,B成分に固有の感度を有するR受光部、G受光部、B受光部と、赤外光に選択的に感度を有するIR受光部とが撮像部に二次元配列された固体撮像素子からの出力信号に基づいて、RGB信号、又は輝度信号Y及び色差信号Cr,Cbを生成する従来の色信号処理方法を説明する。
図3は、RGB各受光部の分光感度特性を示すグラフである。RGB各受光部の分光感度特性は、図2に示した、R,G,B各フィルタの透過率特性とフォトダイオードの分光感度特性との積となる。各受光部は、780nmを越える波長領域である赤外光領域に共通に強い感度を有する一方で、可視光領域において、RGB各受光部はR,G,B各フィルタの透過率特性に応じた固有の波長領域に強い感度を示す。具体的には、図3において、G受光部の分光感度特性30は、当該受光部に固有の分光感度特性として緑色に対応する550nm付近に中心を有するピーク32と、赤外光領域の850nm付近に中心を有するピーク34とが重畳されたものとなる。同様にB受光部の分光感度特性40は、当該受光部に固有の分光感度特性として青色に対応する450nm付近に中心を有するピーク42と、赤外光領域の850nm付近に中心を有するピーク44とが重畳されたものとなる。R受光部の分光感度特性50においては、赤色と赤外光領域とが近接するため、分離した2つのピークは現れていないが、やはり、固有の分光感度特性として赤色に対応する650nm付近における感度の強調部52と、赤外光領域における感度の強調部54とが重畳されていることが図3から読み取れる。
一般に、輝度信号Yは、適当な係数α,βを用いて、下に示すようなRGB各成分の一次式で表される。
Y ≡αR+βG+γB ・・・・・・(1)
Y ≡αR+βG+γB ・・・・・・(1)
ここで、
α+β+γ=1
なる関係がある。
α+β+γ=1
なる関係がある。
また、色差信号Cr,Cbの一般式は係数λ,μを用いて次式で表される。
Cr≡λ(R−Y) ・・・・・・(2)
Cb≡μ(B−Y) ・・・・・・(3)
Cr≡λ(R−Y) ・・・・・・(2)
Cb≡μ(B−Y) ・・・・・・(3)
R受光部、G受光部、B受光部の出力信号を〈R〉,〈G〉,〈B〉、それらのうち入射光のR,G,B成分に応じた信号成分をR0,G0,B0、赤外光に応じた信号成分をIr,Ig,Ibとすると、次式が成り立つ。
〈R〉=R0+Ir
〈G〉=G0+Ig ・・・・・・(4)
〈B〉=B0+Ib
〈R〉=R0+Ir
〈G〉=G0+Ig ・・・・・・(4)
〈B〉=B0+Ib
ちなみに、図3において、R0,G0,B0は、分光感度特性のうちそれぞれ強調部52、ピーク32,42に応じた部分に対応して発生する信号成分であり、Ir,Ig,Ibは分光感度特性のうちそれぞれ強調部54、ピーク34,44に対応して発生する信号成分である。
ここで、IR受光部の出力信号を〈IR〉とする。R,G,B,IR各受光部に配置されるカラーフィルタは赤外光領域にて基本的に同様の分光特性を有し、Ir,Ig,Ib,〈IR〉は同程度となる。説明を簡単にするために、
Ir=Ig=Ib=〈IR〉 ・・・・・・(5)
とすると、(4)式は、
〈R〉=R0+〈IR〉
〈G〉=G0+〈IR〉 ・・・・・・(6)
〈B〉=B0+〈IR〉
となる。
Ir=Ig=Ib=〈IR〉 ・・・・・・(5)
とすると、(4)式は、
〈R〉=R0+〈IR〉
〈G〉=G0+〈IR〉 ・・・・・・(6)
〈B〉=B0+〈IR〉
となる。
(4)式又は(6)式で表される〈R〉,〈G〉,〈B〉は、それぞれに同程度のIR成分がオフセットとして重畳されており、それらで表される画像は色バランスが崩れる。特に、R0,G0,B0に比べてIR成分が大きいほど、バランスの崩れが顕著となる。また、〈R〉,〈G〉,〈B〉を用いて(1)〜(3)式から得られる輝度信号Y'、色差信号Cr',Cb'も同様に色バランスを欠いた画像を表すことになる。
そこで従来の処理方法として、IR成分を除去してR0,G0,B0を出力したり、R0,G0,B0に応じて(1)〜(3)式から得られる輝度信号Y0、色差信号Cr0,Cb0を生成したりすることが行われている。
具体的には、R0,G0,B0は、R,G,B,IR各受光部からの出力を用いた次式により算出することができる。
R0=〈R〉−〈IR〉
G0=〈G〉−〈IR〉 ・・・・・・(7)
B0=〈B〉−〈IR〉
R0=〈R〉−〈IR〉
G0=〈G〉−〈IR〉 ・・・・・・(7)
B0=〈B〉−〈IR〉
また、輝度信号Y0は、各受光部の出力信号に基づいて次式で算出することができる。
Y0=α〈R〉+β〈G〉+γ〈B〉−〈IR〉 ・・・・・・(8)
Y0=α〈R〉+β〈G〉+γ〈B〉−〈IR〉 ・・・・・・(8)
色差信号Cr0,Cb0は次式で算出することができる。
Cr0≡λ(R0−Y0) ・・・・・・(9)
=λ{(1−α)〈R〉−β〈G〉−γ〈B〉} ・・・・・・(9’)
Cb0≡μ(B0−Y0) ・・・・・・(10)
=μ{−α〈R〉−β〈G〉+(1−γ)〈B〉} ・・・・・・(10’)
Cr0≡λ(R0−Y0) ・・・・・・(9)
=λ{(1−α)〈R〉−β〈G〉−γ〈B〉} ・・・・・・(9’)
Cb0≡μ(B0−Y0) ・・・・・・(10)
=μ{−α〈R〉−β〈G〉+(1−γ)〈B〉} ・・・・・・(10’)
例えば、α,β,γは、
α=0.299, β=0.587, γ=0.114
に設定することができる。また、λ,μはCr0に含まれるR成分の係数(1−α)、Cb0に含まれるB成分の係数(1−γ)をそれぞれ0.5にスケーリングするように設定することができ、上記α,β,γの値に対しては、
λ=0.713, μ=0.564
となる。
特願2003−425708号
α=0.299, β=0.587, γ=0.114
に設定することができる。また、λ,μはCr0に含まれるR成分の係数(1−α)、Cb0に含まれるB成分の係数(1−γ)をそれぞれ0.5にスケーリングするように設定することができ、上記α,β,γの値に対しては、
λ=0.713, μ=0.564
となる。
原理的には、上述のようにIR成分を除去すれば、色バランスを正しく表現し得るR,G,B信号、又はY,Cr,Cb信号が得られるはずである。しかし、例えば、白熱電球による照明下での撮影等、各受光部への入射光にIR成分が多く含まれる場合、IR受光部からの出力信号〈IR〉が大きくなると共に、RGB各受光部からの出力信号〈R〉,〈G〉,〈B〉に含まれるIR成分Ir,Ig,Ibも大きくなる。
(7)式や(8)〜(10)式の信号処理は、固体撮像素子から出力されるアナログ信号をA/D(Analog to Digital)変換し、得られたデジタルデータを用いて行われる。A/D変換ではアナログ信号は所定のビット数のデジタルデータに変換される。例えば、A/D変換の量子化ビット数が8ビットである場合、各受光部からの出力信号〈R〉,〈G〉,〈B〉,〈IR〉は0から255までの範囲内の整数値で表される。
このようなA/D変換後の出力信号において、IR成分が大きくなると、相対的に、本来のRGB成分であるR0,G0,B0が小さくなる。そのため、それらに対応してY0が小さくなることから理解されるように、画像が暗くなるという問題を生じる。
また、デジタルデータで表される〈R〉,〈G〉,〈B〉,〈IR〉から例えば(7)式を用いて、デジタルデータで表されるR0,G0,B0を求める場合、得られたR0,G0,B0には量子化に伴う丸め誤差が含まれ得る。これらR0,G0,B0の丸め誤差は、R0,G0,B0が小さい程、相対的に大きくなる。そのため、IR成分を除去して得られたR0,G0,B0、又はそれらから得られたCr,Cbにより表される色は、丸め誤差の影響により色バランスのずれが比較的大きくなることがあるという問題もあった。
本発明は上述の問題点を解決するためになされたものであり、互いに異なる色成分の検出を目的とする複数種類の受光素子から得られる色信号にIR成分のような目的外の波長に係るオフセット成分が含まれる場合に、正しい色バランスで、かつ明るい画像が得られる色信号処理方法を提供することを目的とする。
本発明に係る色信号処理方法は、所定の参照分光感度特性を有する受光素子から得られる参照信号及び、互いに異なる特定色に対応した固有感度特性と前記参照分光感度特性に応じたオフセット感度特性とが合成された分光感度特性を有する複数種類の受光素子から得られる複数種類の色信号を用いる方法であって、前記参照信号に基づいて、前記各色信号に含まれる前記オフセット感度特性に応じたオフセット信号成分量を決定し、当該オフセット信号成分量について前記各色信号間での比率を変更することにより、前記各色信号からそれぞれ補正色信号を生成する補正ステップを有し、前記各補正色信号間での前記オフセット信号成分量の前記比率が、白色光における前記各特定色に関する成分比に応じて定められる方法である。
他の本発明に係る色信号処理方法は、所定の参照分光感度特性を有する受光素子から得られる参照信号及び、互いに異なる特定色に対応した固有感度特性と前記参照分光感度特性に応じたオフセット感度特性とが合成された分光感度特性を有する複数種類の受光素子から得られる複数種類の色信号を用いる方法であって、前記各色信号から補正色信号に応じた補正色差信号を生成する補正色差信号生成ステップを有し、前記補正色信号が、前記各色信号において、前記オフセット感度特性に応じたオフセット信号成分量についての前記各色信号間での比率を変更したものであり、前記各補正色信号間での前記オフセット信号成分量の前記比率が、白色光における前記各特定色に関する成分比に応じて定められる方法である。
別の本発明に係る色信号処理方法においては、前記補正色差信号生成ステップが、前記色信号に応じた輝度信号を生成する輝度信号生成ステップと、前記各色信号と前記各補正色信号との前記オフセット信号成分量の差に起因する色差信号の変化量を求めるステップと、前記色信号、前記輝度信号及び前記変化量に基づいて、前記補正色差信号を生成するステップと、を有する。
本発明の好適な態様は、前記参照分光感度特性が、可視光帯域に比べ赤外光帯域に大きな感度を有する色信号処理方法である。
本発明の他の好適な態様は、前記特定色が、赤、緑及び青の3原色である色信号処理方法である。
本発明によれば、各補正色信号はオフセット信号成分を含む分、信号レベルが大きくなる。すなわち、各受光素子の固有感度特性に応じた信号成分のみに基づく輝度よりも大きな輝度が得られる。一方、各特定色の補正色信号相互間でのオフセット信号成分量の比率は、白色光における各特定色の成分比に応じたものとされる。これにより、各補正色信号で表される各特定色成分を合成したとき、オフセット信号成分はその合成結果が白色となるので、色バランスが、各受光素子の固有感度特性に応じた信号成分に基づくものとなる。すなわち、オフセット信号成分による色バランスのずれが回避される。
以下、本発明の実施の形態(以下実施形態という)について、図面に基づいて説明する。
図1は、本実施形態に係る撮像装置の概略の構成を示すブロック図である。この撮像装置は、CCDイメージセンサ2、アナログ信号処理回路4、A/D変換回路(ADC)6及びデジタル信号処理回路8を備えている。
図1に示すCCDイメージセンサ2はフレーム転送型であり、半導体基板上に形成される撮像部2i、蓄積部2s、水平転送部2h、及び出力部2dを含んで構成される。
撮像部2iを構成する垂直シフトレジスタの各ビットは、それぞれ画素を構成する受光部(受光素子)として機能する。
各受光部はカラーフィルタを配置され、そのカラーフィルタの透過特性に応じて、受光部が感度を有する光成分が定まる。ここでは、2×2画素の配列が受光部の配列の単位を構成する。例えば、受光部10,12,14,16がこの単位を構成する。
受光部10,12,14はそれぞれGフィルタ、Rフィルタ、Bフィルタを配置される。これら各フィルタは例えば、図2に示す透過特性を有する。受光部10はG受光部であり、可視光だけでなくIR成分も含む入射光に対して、当該受光部はG成分及びIR成分に応じた信号電荷を発生する。また、同様に、受光部12はR成分及びIR成分に応じた信号電荷を発生するR受光部であり、受光部14はB成分及びIR成分に応じた信号電荷を発生するB受光部である。
受光部16は、IR成分を選択的に透過するIRフィルタ(赤外光透過フィルタ)を配置され、入射光中のIR成分に応じた信号電荷を発生するIR受光部である。このIRフィルタは、RフィルタとBフィルタとを積層して構成することができる。なぜならば、可視光のうちBフィルタを透過するB成分はRフィルタを透過せず、一方、Rフィルタを透過するR成分はBフィルタを透過しないため、両フィルタを通すことで、基本的に可視光成分が除去され、もっぱら透過光には両フィルタを透過するIR成分が残るからである。
撮像部2iには、当該2×2画素の構成が垂直方向、水平方向それぞれに繰り返して配列される。
CCDイメージセンサ2は、図示されていない駆動回路から供給されるクロックパルス等により駆動され、撮像部2iの各受光部で発生した信号電荷は、蓄積部2s、水平転送部2hを介して出力部2dへ転送される。出力部2dは、水平転送部2hから出力される信号電荷を電圧信号に変換し、画像信号として出力する。
アナログ信号処理回路4は、出力部2dが出力するアナログ信号の画像信号に対して、増幅やサンプルホールド等の処理を施す。A/D変換回路6はアナログ信号処理回路4から出力される画像信号を、所定の量子化ビット数のデジタルデータに変換することにより、画像データを生成し、これを出力する。例えば、A/D変換回路6は8ビットのデジタル値へのA/D変換を行い、これにより画像データは0から255までの範囲内の値で表される。
デジタル信号処理回路8はA/D変換回路6から画像データを取り込み、各種の処理を行う。例えば、デジタル信号処理回路8は撮像部2iにおけるR,G,B,IR各受光部の配列に対応してそれぞれ異なるサンプリング点にて得られたR,G,B,IR各データに対して補間処理を行い、画像を構成する各サンプリング点それぞれにて、R,G,B,IRデータを定義する。また、それらデータを用いて、各サンプリング点における輝度データ(輝度信号)Y及び色差データ(色差信号)Cr,Cbを生成する処理が行われる。
以下、Y,Cr,Cbを生成する色信号処理方法について説明する。以下、背景技術の欄にて既に説明した記号をできる限り用いて説明の簡略化を図る。本色信号処理への入力とされる信号は、R,G,B,IR各受光部の出力信号を空間的に補間することにより、画像の各サンプリング点に対してそれぞれ定義された〈R〉,〈G〉,〈B〉,〈IR〉である。
簡単な場合として(5)式、すなわち
Ir=Ig=Ib=〈IR〉
が成り立つ場合を説明する。この場合、上記(6)式と同じ次式が成り立つ。
〈R〉=R0+〈IR〉
〈G〉=G0+〈IR〉
〈B〉=B0+〈IR〉
Ir=Ig=Ib=〈IR〉
が成り立つ場合を説明する。この場合、上記(6)式と同じ次式が成り立つ。
〈R〉=R0+〈IR〉
〈G〉=G0+〈IR〉
〈B〉=B0+〈IR〉
白色光におけるR,G,B成分の比率は、
α:β:γ ・・・・・・(11)
である。これに対応して、次式で表される補正色信号RN,GN,BNを定義する。
RN=R0+κα〈IR〉
GN=G0+κβ〈IR〉 ・・・・・・(12)
BN=B0+κγ〈IR〉
α:β:γ ・・・・・・(11)
である。これに対応して、次式で表される補正色信号RN,GN,BNを定義する。
RN=R0+κα〈IR〉
GN=G0+κβ〈IR〉 ・・・・・・(12)
BN=B0+κγ〈IR〉
ここでκはκ>0なる比例係数である。これら補正色信号RN,GN,BNの合成により表現される色は、各補正色信号に含まれるIR成分の合成が白色光となることから、R0,G0,B0を合成した色となる。つまり、その色はR,G,B各受光部が検出目的とする可視光領域の固有感度特性に応じた信号成分R0,G0,B0に基づくものであり、IR成分による色バランスのずれが回避される。
例えば、α,β,γは、
α=0.299, β=0.587, γ=0.114 ・・・・・・(13)
に設定することができる。また、例えば、κは、白色光(又は輝度信号)において最も比率の高い成分であるG成分に含まれるIR成分が、補正色信号GNとオリジナルの色信号〈G〉とで等しくなるように設定することができる。その場合、κは1/βに設定される。
α=0.299, β=0.587, γ=0.114 ・・・・・・(13)
に設定することができる。また、例えば、κは、白色光(又は輝度信号)において最も比率の高い成分であるG成分に含まれるIR成分が、補正色信号GNとオリジナルの色信号〈G〉とで等しくなるように設定することができる。その場合、κは1/βに設定される。
補正色信号に対応する輝度信号YNは、(1)(12)式から、
YN=Y0+κ(α2+β2+γ2)〈IR〉 ・・・・・・(14)
と表される。なお、
Y0 =αR0+βG0+γB0 ・・・・・・(15)
である。
YN=Y0+κ(α2+β2+γ2)〈IR〉 ・・・・・・(14)
と表される。なお、
Y0 =αR0+βG0+γB0 ・・・・・・(15)
である。
(14)式から分かるようにYNはY0より大きくなり、よって補正色信号に基づく画像は明るくなる。
一方、補正色信号に対応する色差信号CrN,CbNは、(2)(3)式に相当する次式で定義される。
CrN=λ(RN−YN) ・・・・・・(16)
CbN=μ(BN−YN) ・・・・・・(17)
CrN=λ(RN−YN) ・・・・・・(16)
CbN=μ(BN−YN) ・・・・・・(17)
(16)(17)式をオリジナルの色信号〈R〉,〈G〉,〈B〉及びこれらに対応する輝度信号Y'を用いて表すと、
CrN=λ{〈R〉−Y'−κ(α2+β2+γ2−α)〈IR〉}・・・・・・(16’)
CbN=μ{〈B〉−Y'−κ(α2+β2+γ2−γ)〈IR〉}・・・・・・(17’)
となる。なお、
Y'≡α〈R〉+β〈G〉+γ〈B〉
である。ちなみに(16’)(17’)式を得る際に、(6)(12)(14)式及び、
Y'=Y0+〈IR〉 ・・・・・・(18)
なる関係を利用している。
CrN=λ{〈R〉−Y'−κ(α2+β2+γ2−α)〈IR〉}・・・・・・(16’)
CbN=μ{〈B〉−Y'−κ(α2+β2+γ2−γ)〈IR〉}・・・・・・(17’)
となる。なお、
Y'≡α〈R〉+β〈G〉+γ〈B〉
である。ちなみに(16’)(17’)式を得る際に、(6)(12)(14)式及び、
Y'=Y0+〈IR〉 ・・・・・・(18)
なる関係を利用している。
オリジナルの色信号〈R〉,〈G〉,〈B〉に対応する色差信号Cr',Cb'を表す次式、
Cr'≡λ(〈R〉−Y')
Cb'≡μ(〈B〉−Y')
と(16’)(17’)式とを比較すると、(16’)(17’)式右辺の〈IR〉に関する項は、(6)式で表されるオリジナルの色信号と(12)式で表される補正色信号とのIR成分の差に起因する色差信号の変化量(これをΔとする)であることが理解できる。
Cr'≡λ(〈R〉−Y')
Cb'≡μ(〈B〉−Y')
と(16’)(17’)式とを比較すると、(16’)(17’)式右辺の〈IR〉に関する項は、(6)式で表されるオリジナルの色信号と(12)式で表される補正色信号とのIR成分の差に起因する色差信号の変化量(これをΔとする)であることが理解できる。
(16)(17)式右辺を構成するRN,BN,YNはIR成分を含む分、R0,B0,Y0より大きな値となる。上述のように、IR成分が大きくなると、R0,G0,B0が小さくなり、Cr0,Cb0を構成するR0,B0,Y0に含まれる丸め誤差の相対的な大きさは大きくなり得る。これに対し、RN,BN,YNがR0,B0,Y0より大きな値となることにより、RN,BN,YNに含まれる丸め誤差の相対的な大きさは比較的小さい。すなわち、色差信号CrN,CbNは丸め誤差による色バランスのずれを生じにくい。
また、デジタル信号処理回路8は、(16’)(17’)式を用いて、オリジナルの色信号及びそれに対応する輝度信号と、上記色差信号の変化量Δとから、色差信号CrN,CbNを算出することができる。この場合も、(16’)(17’)式右辺に含まれる〈R〉,〈B〉,Y'の丸め誤差の相対的な大きさが小さくなることにより、色バランスのずれを生じにくい。
(13)式のα,β,γに対する(14)(16’)(17’)式は以下のようになる。ここで、λ,μはそれぞれ上述した値0.713、0.564としている。
YN=Y0+0.447κ〈IR〉
CrN=0.713(〈R〉−Y')−0.105κ〈IR〉
CbN=0.564(〈B〉−Y')−0.188κ〈IR〉
YN=Y0+0.447κ〈IR〉
CrN=0.713(〈R〉−Y')−0.105κ〈IR〉
CbN=0.564(〈B〉−Y')−0.188κ〈IR〉
デジタル信号処理回路8は、これら輝度信号YN及び色差信号CrN,CbNを生成し出力する。YN,CrN,CbNは、補正色信号RN,GN,BNに対応した輝度信号及び色差信号であり、補正色信号と同様、色バランスのずれが抑制された画像を表現することができる。
また、デジタル信号処理回路8は、補正色信号RN,GN,BNを出力するように構成することもできる。
上述の構成では、
Ir=Ig=Ib=〈IR〉
としたが、オフセット信号成分となるIr,Ig,Ibがそれぞれ〈IR〉と所定の関係にある場合には、〈IR〉を参照してIr,Ig,Ibを定めることができる。よって、例えば、図2に示す各受光部の分光感度特性を測定する等の方法により、予めIr,Ig,Ibと〈IR〉との関係を求めておけば、その関係を用いて、上述と同様にして、明るくかつ色バランスのずれが抑制された補正色信号、又はそれに対応する輝度信号及び色差信号を得ることができる。
Ir=Ig=Ib=〈IR〉
としたが、オフセット信号成分となるIr,Ig,Ibがそれぞれ〈IR〉と所定の関係にある場合には、〈IR〉を参照してIr,Ig,Ibを定めることができる。よって、例えば、図2に示す各受光部の分光感度特性を測定する等の方法により、予めIr,Ig,Ibと〈IR〉との関係を求めておけば、その関係を用いて、上述と同様にして、明るくかつ色バランスのずれが抑制された補正色信号、又はそれに対応する輝度信号及び色差信号を得ることができる。
また、各色信号に重畳するオフセット信号を白色光化するという上述の手法は、入射光のうちIR成分に起因するもの以外のオフセット信号成分に対しても適用することができる。また各受光部が固有の感度を有する色のセットはR,G,B以外のものでもよく、例えば、Cy,Mg,Yeという補色系のセットでもよい。
2 CCDイメージセンサ、4 アナログ信号処理回路、6 A/D変換回路、8 デジタル信号処理回路、10,12,14,16 受光部。
Claims (5)
- 所定の参照分光感度特性を有する受光素子から得られる参照信号及び、互いに異なる特定色に対応した固有感度特性と前記参照分光感度特性に応じたオフセット感度特性とが合成された分光感度特性を有する複数種類の受光素子から得られる複数種類の色信号を用いる色信号処理方法であって、
前記参照信号に基づいて、前記各色信号に含まれる前記オフセット感度特性に応じたオフセット信号成分量を決定し、当該オフセット信号成分量について前記各色信号間での比率を変更することにより、前記各色信号からそれぞれ補正色信号を生成する補正ステップを有し、
前記各補正色信号間での前記オフセット信号成分量の前記比率は、白色光における前記各特定色に関する成分比に応じて定められること、
を特徴とする色信号処理方法。 - 所定の参照分光感度特性を有する受光素子から得られる参照信号及び、互いに異なる特定色に対応した固有感度特性と前記参照分光感度特性に応じたオフセット感度特性とが合成された分光感度特性を有する複数種類の受光素子から得られる複数種類の色信号を用いる色信号処理方法であって、
前記各色信号から補正色信号に応じた補正色差信号を生成する補正色差信号生成ステップを有し、
前記補正色信号は、前記各色信号において、前記オフセット感度特性に応じたオフセット信号成分量についての前記各色信号間での比率を変更したものであり、
前記各補正色信号間での前記オフセット信号成分量の前記比率は、白色光における前記各特定色に関する成分比に応じて定められること、
を特徴とする色信号処理方法。 - 請求項2に記載の色信号処理方法において、
前記補正色差信号生成ステップは、
前記色信号に応じた輝度信号を生成する輝度信号生成ステップと、
前記各色信号と前記各補正色信号との前記オフセット信号成分量の差に起因する色差信号の変化量を求めるステップと、
前記色信号、前記輝度信号及び前記変化量に基づいて、前記補正色差信号を生成するステップと、
を有することを特徴とする色信号処理方法。 - 請求項1から請求項3のいずれか1つに記載の色信号処理方法において、
前記参照分光感度特性は、可視光帯域に比べ赤外光帯域に大きな感度を有すること、
を特徴とする色信号処理方法。 - 請求項1から請求項4のいずれか1つに記載の色信号処理方法において、
前記特定色は、赤、緑及び青の3原色であることを特徴とする色信号処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005029979A JP2006217441A (ja) | 2005-02-07 | 2005-02-07 | 色信号処理方法 |
CNA2006100045012A CN1819663A (zh) | 2005-02-07 | 2006-01-25 | 色信号处理方法 |
US11/345,405 US20060177129A1 (en) | 2005-02-07 | 2006-02-02 | Color signal processing method |
TW095103712A TW200629916A (en) | 2005-02-07 | 2006-02-03 | Color signal processing method |
KR1020060011054A KR20060090178A (ko) | 2005-02-07 | 2006-02-06 | 색 신호 처리 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005029979A JP2006217441A (ja) | 2005-02-07 | 2005-02-07 | 色信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006217441A true JP2006217441A (ja) | 2006-08-17 |
Family
ID=36780008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005029979A Pending JP2006217441A (ja) | 2005-02-07 | 2005-02-07 | 色信号処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20060177129A1 (ja) |
JP (1) | JP2006217441A (ja) |
KR (1) | KR20060090178A (ja) |
CN (1) | CN1819663A (ja) |
TW (1) | TW200629916A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010100692A1 (ja) * | 2009-03-05 | 2010-09-10 | パナソニック株式会社 | 固体撮像装置、撮像モジュール、及び撮像システム |
US9344689B2 (en) | 2012-06-07 | 2016-05-17 | Industry-Academic Cooperation Foundation, Yonsei University | Camera system with multi-spectral filter array and image processing method thereof |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4730082B2 (ja) * | 2005-12-22 | 2011-07-20 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
JP5106870B2 (ja) * | 2006-06-14 | 2012-12-26 | 株式会社東芝 | 固体撮像素子 |
JP2008092247A (ja) * | 2006-10-02 | 2008-04-17 | Sanyo Electric Co Ltd | 固体撮像素子 |
JP4949806B2 (ja) * | 2006-11-10 | 2012-06-13 | オンセミコンダクター・トレーディング・リミテッド | 撮像装置及び画像信号処理装置 |
JP4971816B2 (ja) * | 2007-02-05 | 2012-07-11 | 三洋電機株式会社 | 撮像装置 |
CN101610355B (zh) * | 2009-05-05 | 2011-03-16 | 张日和 | 日夜两用摄像装置 |
CN101621697B (zh) * | 2009-07-28 | 2010-11-10 | 黄松涛 | 一种用多色图像传感器的背景消除装置及使用方法 |
CN102088553A (zh) * | 2009-10-08 | 2011-06-08 | Hoya株式会社 | 对移动物体成像的成像仪和成像系统 |
JP2011239252A (ja) * | 2010-05-12 | 2011-11-24 | Panasonic Corp | 撮像装置 |
JPWO2011155135A1 (ja) * | 2010-06-07 | 2013-08-01 | コニカミノルタ株式会社 | 撮像装置 |
EP2579574A4 (en) * | 2010-06-07 | 2013-12-25 | Konica Minolta Advanced Layers | IMAGING DEVICE |
JP5507376B2 (ja) | 2010-07-28 | 2014-05-28 | 三洋電機株式会社 | 撮像装置 |
US8357899B2 (en) * | 2010-07-30 | 2013-01-22 | Aptina Imaging Corporation | Color correction circuitry and methods for dual-band imaging systems |
JP6368115B2 (ja) | 2013-05-10 | 2018-08-01 | キヤノン株式会社 | 固体撮像装置およびカメラ |
KR102071325B1 (ko) * | 2013-09-27 | 2020-04-02 | 매그나칩 반도체 유한회사 | 조도와 물체의 거리를 측정하는 광 센서 |
CN104980667B (zh) * | 2014-04-13 | 2018-11-09 | 比亚迪股份有限公司 | 图像传感器和监控系统 |
CN106416238A (zh) * | 2014-05-29 | 2017-02-15 | 诺基亚技术有限公司 | 用于图像处理的方法和装置 |
CN106488209A (zh) * | 2016-09-29 | 2017-03-08 | 杭州雄迈集成电路技术有限公司 | 一种基于红外环境的rgb‑ir图像传感器的颜色校正方法 |
CN111050097B (zh) * | 2018-10-15 | 2022-03-15 | 瑞昱半导体股份有限公司 | 红外线串扰补偿方法及其装置 |
US20240187712A1 (en) * | 2022-12-02 | 2024-06-06 | Qualcomm Incorporated | Systems and methods of imaging with multi-domain image sensor |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4286123B2 (ja) * | 2003-12-22 | 2009-06-24 | 三洋電機株式会社 | カラー撮像素子およびカラー信号処理回路 |
-
2005
- 2005-02-07 JP JP2005029979A patent/JP2006217441A/ja active Pending
-
2006
- 2006-01-25 CN CNA2006100045012A patent/CN1819663A/zh active Pending
- 2006-02-02 US US11/345,405 patent/US20060177129A1/en not_active Abandoned
- 2006-02-03 TW TW095103712A patent/TW200629916A/zh unknown
- 2006-02-06 KR KR1020060011054A patent/KR20060090178A/ko not_active Abandoned
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010100692A1 (ja) * | 2009-03-05 | 2010-09-10 | パナソニック株式会社 | 固体撮像装置、撮像モジュール、及び撮像システム |
US8514307B2 (en) | 2009-03-05 | 2013-08-20 | Panasonic Corporation | Solid-state imaging device, imaging module, and imaging system |
US9344689B2 (en) | 2012-06-07 | 2016-05-17 | Industry-Academic Cooperation Foundation, Yonsei University | Camera system with multi-spectral filter array and image processing method thereof |
Also Published As
Publication number | Publication date |
---|---|
US20060177129A1 (en) | 2006-08-10 |
KR20060090178A (ko) | 2006-08-10 |
TW200629916A (en) | 2006-08-16 |
CN1819663A (zh) | 2006-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006217441A (ja) | 色信号処理方法 | |
US10257484B2 (en) | Imaging processing device and imaging processing method | |
JP4286123B2 (ja) | カラー撮像素子およびカラー信号処理回路 | |
US9055181B2 (en) | Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information | |
JP5206796B2 (ja) | 画像入力装置 | |
US20060186322A1 (en) | Color filter array and solid-state image pickup device | |
US8525905B2 (en) | Solid-state imaging device, color filter arrangement method therefor and image recording apparatus | |
CN101494795B (zh) | 使用绿色光谱范围重叠的单位像素群的图像传感器及方法 | |
US20060188155A1 (en) | Color signal processing method | |
JP4874752B2 (ja) | デジタルカメラ | |
JP6136669B2 (ja) | 撮像装置 | |
JP2009194604A (ja) | 撮像装置及び撮像装置の駆動方法 | |
JP2006094112A (ja) | 撮像装置 | |
CN104756488A (zh) | 信号处理设备、信号处理方法和信号处理程序 | |
JPWO2011148799A1 (ja) | 撮像装置及びホワイトバランスゲイン算出方法 | |
JP2015053578A (ja) | カラー撮像装置及びカラー撮像方法 | |
JP2006148931A (ja) | 補色カラーフィルタを採用したSoCカメラシステム | |
JP2005341470A (ja) | 撮像装置及び信号処理方法 | |
JP4859502B2 (ja) | 撮像装置 | |
JP3966866B2 (ja) | 撮像装置、カメラ、及び信号処理方法 | |
JP4201805B2 (ja) | 撮像方法 | |
JP4397724B2 (ja) | 撮像装置、カメラ、及び信号処理方法 | |
US8964071B2 (en) | Solid-state imaging device, camera module, and imaging method having first and second green pixel cells | |
US8243128B2 (en) | Electronic endoscope | |
JP3933649B2 (ja) | 撮像装置及び信号処理方法 |