[go: up one dir, main page]

CN102484722B - 图像捕获装置 - Google Patents

图像捕获装置 Download PDF

Info

Publication number
CN102484722B
CN102484722B CN201080037238.1A CN201080037238A CN102484722B CN 102484722 B CN102484722 B CN 102484722B CN 201080037238 A CN201080037238 A CN 201080037238A CN 102484722 B CN102484722 B CN 102484722B
Authority
CN
China
Prior art keywords
pixel
signal
value
wavelength band
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080037238.1A
Other languages
English (en)
Other versions
CN102484722A (zh
Inventor
广瀬信幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Panasonic Automotive Systems Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102484722A publication Critical patent/CN102484722A/zh
Application granted granted Critical
Publication of CN102484722B publication Critical patent/CN102484722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供了一种图像捕获装置,其能够通过消除对红外截止滤光单元的需要而增加入射在图像捕获单元上的光量来提高灵敏度,并且能够避免因为不使用红外截止滤光单元而导致的颜色再现性的恶化。图像捕获装置(100)包括:图像捕获单元(103),通过重复地配置用于整个波长带的像素(W)、用于R的W-R像素、用于G的W-G像素以及用于B的W-B像素而构成,并获取具有对应于每个像素中的接收光量的值的图像读取信号;滤光单元(102),配置在所述图像捕获单元(103)的前表面上,并使得对应于像素(W)的部分透射给定范围的波长带内的整个波长带、以及使得对应于W-R像素、W-G像素以及W-B像素的部分分别反射对应的颜色的波长带;反射量计算单元(113),通过从像素(W)的图像读取信号的值中减去W-R像素、W-G像素以及W-B像素的图像读取信号的值来计算R、G和B的信号值;色差成分生成单元(115),基于R、G和B的信号值生成色差信号;以及亮度信号生成单元(112),使用W像素的图像读取信号生成亮度信号。

Description

图像捕获装置
相关申请
本申请要求2010年5月12日提交的专利申请No.2010-109893的权益,并通过引用将该申请的内容合并到这里。
技术领域
本发明涉及一种使用图像捕获单元的图像捕获装置,并特别涉及使用该图像捕获单元对彩色图像进行图像捕获的图像捕获装置。
背景技术
近来,用于数码相机的图像捕获单元的像素数量增加,并且根据此,图像捕获单元的像素的最小化有了发展。当图像捕获单元的像素最小化时,每个像素的饱和电荷量变得更小,因此,S/N比的降低变得显著,并且图像质量恶化。
虽然设法通过对抗S/N比降低的信号处理来去除噪声,但不能通过这种信号处理完全分离噪声和信号,并且这通常导致图像质量的恶化。因此,为了甚至在由于像素的最小化而导致饱和电荷量下降时也保持优良的图像质量,期望光可以尽量多地入射在像素上。为此,考虑扩大入射在图像捕获单元的像素上的波长的带宽的方法。
在使用诸如电荷耦合器件(CCD)和互补金属氧化半导体(CMOS)的图像捕获单元的彩色图像捕获装置中,一般地,在图像捕获单元的前端配置用于使入射光中的红外成分截止的红外截止滤光单元,以便提高颜色再现性。
然而,当使用红外截止滤光单元时,入射在像素上的光量下降。因此,当想要获得足够量的光时,红外区中的光也被允许进入而不使用红外截止滤光单元,然而,在此情况中,红外成分包括在入射光中,并且颜色再现性显著恶化。
将参照附图说明当红外成分包括在入射光中时颜色再现性恶化的原因。一般地,用于一个像素的一个彩色滤光单元附接到图像捕获单元。图7示出了一般滤光单元配置。如图7所示,附接到图像捕获单元的滤光单元具有所谓的拜耳(Bayer)配置,其中使用红色(R)、绿色(G)和蓝色(B)三个基色。图8示出了基色滤光单元中的光谱特性。图9示出了当使用红外截止滤光单元时基色滤光单元中的光谱特性。相对于图8中所示的入射光,具有比红外截止频率更长的频率的部分被截止,如图9中所示。
在照相机的一般图像信号处理中,执行白平衡调整,使得当拍摄白色物体时R、G和B的值相同。如果在白平衡调整之前的RGB的值被设定为Rorg、Gorg和Borg,白平衡调整增益被设定为Rgain、Ggain和Bgain,并且白平衡调整之后的RGB的值被设定为Rwh、Gwh和Bwh,则获得以下等式。
Rwh=Rorg×Rgain
Gwh=Gorg×Ggain
Bwh=Borg×Bgain
在理想的白平衡调整增益的情况下,当拍摄白色物体时满足Rwh=Gwh=Bwh。图10(a)和(b)示出了在理想的白平衡时RGB的信号量的变化。
当不存在红外截止滤光单元时,取决于光源和对象,对于白色物体,红外成分的信号也积聚,如图11(a)中所示。红外成分的信号不具有正确的RGB平衡,从而通过乘上白平衡调整增益,如图11(b)中所示不满足Rwh=Gwh=Bwh,并发生着色(coloring)。对于除白色以外的彩色对象,R、G和B的平衡同样被红外成分和白平衡调整的影响所破坏。因为这些原因,当入射光中包括红外成分时,照相机的颜色再现性恶化。
提出了一些方法用于克服上述问题。专利文件1中公开的图像捕获装置具有图12中所示的结构。该图像捕获装置通过在具有充足照度的日间装上红外截止滤光单元,而在没有充足照度的夜间将红外截止滤光单元从图像捕获单元的前端去除并基于从图像捕获单元获得的视频信号的信号处理的结果选择要输出的黑白信号,实现了对于明亮对象的颜色再现性的改善以及对于暗对象的灵敏度的改善。
而且,专利文件2中公开的图像捕获装置具有RGB像素、以及可见光和红外光入射其上的IR像素,如图13所示,并且,在高照度时使用RGB像素生成图像而在低照度时使用IR像素生成图像,从而实现对于明亮对象的颜色再现性的改善以及对于暗对象的灵敏度的改善。
专利文件
专利文件1:日本专利国内公表公报特表(Laid-Open)(JP-A)No.2004-229034
专利文件2:JP-ANo.2005-6066
发明内容
本发明所要解决的问题
在专利文件1所公开的方法中,存在当输出近红外图像时图像总是黑白图像的问题。特别地,甚至在区域的一部分中存在彩色明亮对象的情况下,也仅获得黑白图像作为整个图像。而且,因为需要用于切换滤光单元的机构,所以在使图像捕获装置更小时存在困难,并且存在高成本的问题。
虽然专利文件2中公开的图像捕获装置具有图13中所示的滤光单元结构,但其在日间不使用数量占所有像素数量四分之一的用于红外光的IR像素,从而分辨率和所接收的光量较小。而且,在夜间,接收红外成分的像素的数量仅是所有像素数量的四分之一,而所有像素的四分之三未被使用,从而分辨率和所接收的光量较小。
一般的RGB滤光单元允许红外成分通过,从而通常在滤光单元的前端提供用于去除红外成分的红外截止滤光单元,以便去除红外成分,然而,因为在专利文件2中所公开的图像捕获装置中需要允许红外光入射在IR像素上以用于检测红外成分,所以不能在IR像素的前端提供红外截止滤光单元。因此,为了确保专利文件2的图像捕获装置中高的颜色再现性,需要RGB滤光单元具有去除红外成分的特性,从而存在大量实际问题,并且即使在可以实现时也存在显著增加了成本的问题。
为了解决上述问题而获得了本发明,并且本发明的目的在于提供一种图像捕获装置,其能够通过消除红外截止滤光单元的必要性而提高入射在图像捕获单元上的光量来改善灵敏度,并通过不使用红外截止滤光单元而避免颜色再现性的恶化。
解决问题的手段
为了解决上述传统问题,一种图像捕获装置具有如下结构,其包括:图像捕获单元,通过分别重复地配置用于整个波长带的像素、以及对应于三个特定颜色的三种类型的用于特定颜色的像素而获得,用于获得具有对应于每个像素的接收光的量的值的图像读取信号;滤光单元,配置在所述图像捕获单元的前端,并使得对应于用于整个波长带的像素的部分允许一定范围内的波长带的整个波长带通过、以及对应于三种类型的用于特定颜色的像素的部分分别反射对应的特定颜色的波长带;反射量计算单元,用于通过从用于整个波长带的像素的图像读取信号的值中减去用于特定颜色的像素的图像读取信号的值,来计算所述特定颜色的信号值;色差成分生成单元,用于基于所述特定颜色的信号值生成色差信号;以及亮度信号生成单元,用于使用用于整个波长带的像素的图像读取信号生成亮度信号。
在上述图像捕获装置中,所述三种类型的用于特定颜色的像素是W-R像素、W-G像素和W-B像素,所述滤光单元使得对应于所述W-R像素的部分反射红色波长带,对应于所述W-G像素的部分反射绿色波长带,以及对应于所述W-B像素的部分反射蓝色波长带,并且所述反射量计算单元通过从所述用于整个波长带的像素的图像读取信号的值中减去所述W-R像素的图像读取信号的值来计算红色成分的信号值,通过从所述用于整个波长带的像素的图像读取信号的值中减去所述W-G像素的图像读取信号的值来计算绿色成分的信号值,并通过从所述用于整个波长带的像素的图像读取信号的值中减去所述W-B像素的图像读取信号的值来计算蓝色成分的信号值。
在上述图像捕获装置中,所述一定范围内的波长带包括红外区,并且所述滤光单元使得红外光能够入射在所述用于特定颜色的像素以及所述用于整个波长带的像素上。
在上述图像捕获装置中,当由所述亮度信号生成单元生成的亮度信号的值是最大值时,所述色差成分生成单元将色差设定为0,而与所述反射量计算单元获得的红色成分的信号值、绿色成分的信号值、和蓝色成分的信号值无关。
本发明可以通过消除对红外截止滤光单元的必要性而提高灵敏度,并且避免了不使用红外截止滤光单元而发生的颜色再现性的恶化。
如下面所描述的,存在本发明的另一方面。因此,本发明的公开意在提供本发明的一部分,而不意在限制这里所说明和要求权利的本发明的范围。
附图说明
图1是本发明实施例的图像捕获装置的结构图;
图2是本发明实施例的滤光单元的结构图;
图3是本发明实施例的滤光单元的光谱特性图;
图4(a)是本发明实施例的滤光单元的光谱特性图(对应于W像素的部分);
图4(b)是本发明实施例的滤光单元的光谱特性图(对应于W-R像素的部分);
图4(c)是本发明实施例的滤光单元的光谱特性图(对应于W-G像素的部分);
图4(d)是本发明实施例的滤光单元的光谱特性图(对应于W-B像素的部分);
图5(a)是示出由本发明实施例的图像捕获单元获得的图像读取信号的视图;
图5(b)是示出由本发明实施例的图像捕获单元获得的亮度信号的视图;
图5(c)是示出本发明实施例的图像捕获单元的每个像素(RGB)的反射量的视图;
图5(d)是示出在对本发明实施例的图像捕获单元的每个像素(RGB)执行了白平衡调整后的反射量的视图;
图6是示出本发明实施例的用于提高高亮度部分附近的颜色再现性的函数的视图;
图7是示出传统基色滤光单元的配置的视图;
图8是传统基色滤光单元的光谱特性图;
图9(a)是传统基色滤光单元的光谱特性图(对应于W-B像素的部分);
图9(b)是传统基色滤光单元的光谱特性图(对应于W-G像素的部分);
图9(c)是传统基色滤光单元的光谱特性图(对应于W-R像素的部分);
图10(a)是示出传统图像捕获单元的每个像素(RGB)的像素值的视图(当红外成分被截止时);
图10(b)是示出在对传统图像捕获单元的每个像素(RGB)执行了白平衡调整之后的像素值的视图(当红外成分被截止时);
图11(a)是示出传统图像捕获单元的每个像素(RGB)的像素值的视图(当红外成分未被截止时);
图11(b)是示出在对传统图像捕获单元的每个像素(RGB)执行了白平衡调整之后的像素值的视图(当红外成分未被截止时);
图12是传统图像捕获装置的结构图;以及
图13是传统图像捕获单元的结构图。
具体实施方式
下面将详细说明本发明。下文描述的实施例仅是本发明的示例,并且可以将本发明修改为各种方式。因此,下文将要公开的具体结构和功能并不意欲限制权利要求的范围。
本发明实施例的图像捕获装置具有如下结构,包括:通过分别重复地配置用于整个波长带的像素和对应于三个特定颜色的三种类型的用于特定颜色的像素而获得的图像捕获单元,用于获得具有对应于每个像素的接收光量的值的图像读取信号;滤光单元,其被提供在图像捕获单元的前端,并使得对应于用于整个波长带的像素的部分允许一定范围内的波长带的整个波长带通过、以及对应于三种类型的用于特定颜色的像素的部分分别反射对应的特定颜色的波长带;反射量计算单元,用于通过将用于特定颜色的像素的图像读取信号的值从用于整个波长带的像素的图像读取信号的值中减去,来计算特定颜色的信号值;色差成分生成单元,用于基于特定颜色的信号值生成色差信号;以及亮度信号生成单元,用于使用用于整个波长带的像素的图像读取信号生成亮度信号。
通过此结构,不需要使用红外截止滤光单元,从而可以实现高灵敏度图像捕获装置,其中对象的光量不被红外截止滤光单元降低。一定范围内的波长带的整个波长带入射在用于整个波长带的像素上,从而亮度信号生成单元可以通过使用用于整个波长带的像素的图像读取信号生成亮度信号而获得高灵敏度亮度信号。虽然在用于整个波长带的像素的图像读取信号中和用于特定颜色的像素的图像读取信号中可能包括红外成分,但是,因为用于整个波长带的像素的图像读取信号中包括的红外成分的量与用于特定颜色的像素的图像读取信号中包括的红外成分的量是相同的,所以当从用于整个波长带的像素的图像读取信号的值中减去用于特定颜色的像素的图像读取信号的值时,它们之间的差中不包括红外成分,并且反射量计算单元可以获得不包括红外成分的特定颜色的信号值。因为色差成分生成单元基于不包括红外成分的特定颜色的信号值而生成色差信号,所以色差信号的颜色再现性不因不提供红外截止滤光单元而恶化。换言之,根据上述图像装置的结构,可以避免颜色再现性的恶化,并同时实现高灵敏度的图像捕获装置。
在上述图像捕获装置中,三种类型的用于特定颜色的像素是W-R像素、W-G像素和W-B像素,并且滤光单元使得对应于W-R像素的部分反射红色波长带、对应于W-G像素的部分反射绿色波长带、以及对应于W-B像素的部分反射蓝色波长带,并且,反射量计算单元通过从用于整个波长带的像素的图像读取信号的值中减去W-R像素的图像读取信号的值而计算红色成分的信号值,通过从用于整个波长带的像素的图像读取信号的值中减去W-G像素的图像读取信号的值而计算绿色成分的信号值,以及通过从用于整个波长带的像素的图像读取信号的值中减去W-B像素的图像读取信号的值而计算蓝色成分的信号值。
通过此结构,可以获得红色成分的信号值、绿色成分的信号值和蓝色成分的信号值,从而可以获得全色图像。而且,红色成分的信号值、绿色成分的信号值和蓝色成分的信号值中不包括红外成分,从而可以在白平衡调整中防止着色(coloration)的发生。
在上述图像捕获装置中,一定范围内的波长带中包括红外区,并且滤光单元使得红外光可以入射在用于特定颜色的像素和用于整个波长带的像素上。
通过此结构,包括红外光的足够量的光入射在每个像素上,从而可以生成具有高S/N比的亮度信号,并且,通过采用通过从对应于如上所述的整个波长带的入射光的量的图像读取信号的值中减去对应于除特定颜色的波长带以外的入射光的量的图像读取信号的值而获得该特定颜色的成分的方法,可以从像素值中消除红外成分,并且可以实现高颜色再现性。
在上述图像捕获装置中,当亮度信号生成单元生成的亮度信号的值是最大值时,色差成分生成单元将色差设定为0,而与反射量计算单元获得的红色成分的信号值、绿色成分的信号值、和蓝色成分的信号值无关。
在如上述采用通过从对应于整个波长带的入射光的量的图像读取信号的值中减去对应于除特定颜色的波长带之外的入射光的量的图像读取信号的值而获得该特定颜色的像素值的方法的情况中,当整个波长带的入射光的量饱和时,可以通过将色差设定为0来在亮度饱和时防止着色的发生。
下面,将参照附图说明用于实施本发明的实施例。图1是根据本发明的实施例的图像捕获装置的结构图。在图1中,图像捕获装置100配备有透镜101、滤光单元102、图像捕获单元103、和信号处理单元104。图像捕获装置100构成电子照相机。滤光单元102附接在图像捕获单元103的前端,即,在透镜101侧。穿过透镜101的光学像通过滤光单元102照射在图像捕获单元103上。一个W-R像素、一个W-G像素、一个W-B像素、和一个W像素形成一组,并且以二维的方式重复地配置此组合以构成图像捕获单元103。W-R像素、W-G像素、和W-B像素分别对应于本发明的用于特定颜色的像素,并且W像素对应于本发明的用于整个波长带的像素。
图2是滤光单元102的结构图。如图2所示,滤光单元102使得W-R像素对应部分、W-G像素对应部分、W-B像素对应部分和W像素对应部分分别位于W-R像素前方、W-G像素前方、W-B像素前方和W像素前方。
图3是示出滤光单元102的光谱特性的视图。图4(a)至图4(d)是分别示出滤光单元102的W像素对应部分、W-R像素对应部分、W-G像素对应部分和W-B像素对应部分的光谱特性的视图。如图4中所示,W像素对应部分允许一定范围内的波长带的整个波长带通过;虽然W-R像素对应部分允许在与W像素对应部分相同的范围内的波长带的光通过,但其反射对应于该一定范围内的波长带的红色(R)成分的波长带的光;虽然W-G像素对应部分允许在与W像素对应部分相同的范围内的波长带的光通过,但其反射对应于该一定范围内的波长带的绿色(G)成分的波长带的光;并且,虽然W-B像素对应部分允许在与W像素对应部分相同的范围内的波长带的光通过,但其反射对应于该一定范围内的波长带的蓝色(B)成分的波长带的光。
因为W像素对应部分允许一定范围内的波长带的整个波长带通过,所以该一定范围内的波长带的整个波长带的光入射在W像素上。而且,因为W-R像素对应部分允许上述一定范围内的波长带的除所反射的R成分以外的光通过,所以上述一定范围内的波长带的除R成分以外的光入射在W-R像素上。W-G像素对应部分和W-B像素对应部分也分别允许上述一定范围内的波长带的除G成分以外和除B成分以外的光通过,上述一定范围内的波长带的除G成分以外和除B成分以外的光分别入射在W-G像素和W-B像素上。
如上所述,在根据此实施例的图像捕获装置100中,一定范围内的波长带的整个波长带的光直接入射在W像素上,从而可以相对于来自对象的光量而增加W像素上的入射光量。而且,通过仅减去一定范围内的波长带的R或G或B成分而获得的光量分别入射在W-R像素、W-G像素和W-B像素上,从而可以相对于来自对象的光量而增加入射光量。此外,因为在根据此实施例的图像捕获装置100中未使用红外截止滤光单元,所以,当一定范围内的波长带中包括穿过滤光单元102的W像素对应部分、W-R像素对应部分、W-G像素对应部分和W-B像素对应部分的红外光时,入射光量进一步增加。换言之,在此实施例的图像捕获装置100中,相对于从对象到达图像捕获装置100的光量,入射在图像捕获单元103上的光量的比率较高,并且,实现了高灵敏度图像捕获装置。在参照图7说明的传统的一般R、G、B拜耳配置的情况中,仅允许从对象到达图像捕获装置的光的R、G和B成分的光通过,从而,与该情况相比,此实施例的图像捕获装置100的灵敏度也显著提高。
图像捕获单元103通过对每个像素的接收光执行光电转换而生成具有对应于接收光的量的值的图像读取信号,并将图像读取信号输入到信号处理单元104。信号处理单元104包括预处理单元110、亮度信号处理单元120、色差信号处理单元130、和输出单元140。图像捕获单元103所获得的图像读取信号被输入到信号处理单元104的预处理单元110。
预处理单元110包括OB减法处理单元111、亮度信号生成单元112、反射量计算单元113、白平衡调整单元114、和色差成分生成单元115。OB减法处理单元111执行OB减法处理(也称为暗电流补偿),以从所输入的图像读取信号中减去光学黑(OB)区中检测到的输出成分(暗电流)。经OB减法处理单元111补偿的图像读取信号被输入到亮度信号生成单元112和反射量计算单元113。
图5是示出从图像读取信号生成亮度信号和色差信号的流程的视图。下面,参照图5说明图1中的预处理单元110的OB减法处理单元111之后的结构。图5(a)是示出由W-R像素、W-G像素、W-B像素和W像素的一定组获得的图像读取信号(在OB减法之后,下同)的视图。如图5(a)中所示,W像素可以获得对应于一定范围内的波长带的整个波长带的光量的图像读取信号。W-B像素可以获得通过从W像素的图像读取信号的值中减去对应于所反射的B成分的光量的值而获得的图像读取信号。同样地,W-G像素和W-R像素可以分别获得通过从W像素的图像读取信号的值中减去对应于所反射的G成分或R成分的光量的值而获得的图像读取信号。
图5(b)是示出对于图5(a)中的像素的输入到亮度信号生成单元112的图像读取信号的视图。亮度信号生成单元112根据图像读取信号生成亮度信号。如上所述,来自对象的光中的一定范围内的波长带的整个波长带的光入射在W像素上,并且,因为不存在滤光单元对光的衰减,所以亮度信号生成单元112生成S/N比足够高的亮度信号。
亮度信号生成单元112使用W像素、W-B像素、W-G像素和W-R像素的图像读取信号生成亮度信号Y。具体地,通过从周围像素补偿缺少的颜色成分而生成每个像素,亮度信号生成单元112在获得整个波长成分(该整个波长成分的重心在该像素上)的信号值W、通过从整个波长成分中减去红色成分而获得的信号值W-R、通过从整个波长成分中减去绿色成分而获得的信号值W-G、以及通过从整个波长成分中减去蓝色成分而获得的信号值W-B之后,根据以下等式(1)获得亮度信号Y。
Y=(A*W+B(W-R)+C(W-G)+D(W-B))/(A+B+C+D)......(1)
这里,A、B、C和D是用于生成亮度的加权系数。同时,亮度信号生成单元112可以直接将W像素的图像读取信号设定为亮度信号。
图5(c)是示出由图5(a)中的像素获得的反射量的视图。反射量计算单元113为每个像素计算滤光单元102的W-R像素对应部分中R成分的反射量、W-G像素对应部分中G成分的反射量、以及W-B像素对应部分中B成分的反射量。
具体地,反射量计算单元113通过从W像素的图像读取信号的值中减去W-R像素的图像读取信号的值而获得R成分的信号值。同样地,反射量计算单元113通过从W像素的图像读取信号的值中减去W-G像素的图像读取信号的值而获得G成分的信号值,并通过从W像素的图像读取信号的值中减去W-B像素的图像读取信号的值而获得B成分的信号值。这些信号值表示对应于W-R像素的滤光单元部分所反射的R成分的量、对应于W-G像素的滤光单元部分所反射的G成分的量、以及对应于W-B像素的滤光单元部分所反射的B成分的量。
因为W像素的图像读取信号与W-R像素、W-G像素和W-B像素中的每个的图像读取信号中包括相同量的红外成分,所以在分别作为W像素的图像读取信号与W-R像素、W-G像素和W-B像素中的每个的图像读取信号之间的差而获得的R、G和B中的每个的反射量中,红外成分被设定为0。因此,作为反射量而获得的R成分的信号值、G成分的信号值、和B成分的信号值表示不包括红外成分的R成分、G成分和B成分的光量。
R成分的信号值、G成分的信号值、和B成分的信号值被输入到白平衡调整单元114。图5(d)是示出在对图5(c)中的每个像素执行了白平衡调整之后的像素值的视图。白平衡调整单元114通过对R成分的信号值、G成分的信号值和B成分的信号值乘上白平衡调整增益而执行白平衡调整。经白平衡调整进行调整的信号值被输入到色差成分生成单元115。
色差成分生成单元115基于在白平衡调整之后的R成分的信号值、G成分的信号值和B成分的信号值,生成色差信号U和V。具体地,色差成分生成单元115根据以下等式(2)和(3)生成色差信号U和V。
U=-0.169R-0.331G+0.500B  ......(2)
V=0.500R-0.419G-0.081B   ......(3)
这里,由上述反射量计算单元113分别通过从W像素的图像读取信号中减去W-R像素、W-G像素和W-B像素中的每个的图像读取信号来获得R成分的信号值、G成分的信号值、和B成分的信号值,并且,当W的信号饱和时,由用于W的像素的图像读取信号表示的值变得小于对应于实际的入射光量的值。结果,当从这样的W像素的图像读取信号中减去W-R像素、W-G像素和W-B像素的图像读取信号时,所获得的R成分的信号值、G成分的信号值和B成分的信号值可能小于入射光中的实际R成分、G成分和B成分。因此,当W像素的图像读取信号具有高亮度(诸如将饱和的)时,存在不正确地获得R成分的信号值、G成分的信号值和B成分的信号值的情况。
另一方面,当W像素的图像读取信号饱和时,这意味着亮度饱和,并且,在此情况中,不需要对该像素特别地着色,并且期望将该像素的色差设定为0。因此,色差成分生成单元115通过对如上述获得的色差信号U和V乘上通过将W像素的图像读取信号的值代入具有图6所示的特性的函数f(x)而获得值来获得经校正的色差信号U’和V’,并输出经校正的色差信号U’和V’。换言之,如图6中所示,当W像素的图像读取信号的值较小时,将U和V的值作为U’和V’直接输出,当W像素的图像读取信号的值变得大于预定阈值时,随着W像素的图像读取信号的值增大,使得U’和V’的值相对于U和V的值而更小,并且,在W像素的图像读取信号的最大值处将U’和V’设定为0。根据此,也可以消除高亮部分附近的颜色再现性的恶化,并且变得可以进一步改善高亮部分附近的颜色再现性。
同时,函数f(x)不限于根据图6中所示的高亮部分上的亮度而逐渐降低,而是可以是直到最大值为止都是f(x)=1而在最大值处是f(x)=0的函数。
亮度信号生成单元112所生成的亮度信号Y由亮度信号处理单元120处理,色差成分生成单元115所生成的色差信号U’和V’由色差信号处理单元130处理,并且输出单元140将它们与同步信号合成在一起,以将其作为视频信号输出到外部。
如上所述,根据此实施例的图像捕获装置,红外截止滤光单元不是必要的,从而在诸如夜晚的低照度时间不存在红外截止滤光单元对光的衰减,并且可以确保高S/N比,从而可以抑制图像质量的恶化。而且,可以通过不需要切换滤光单元的机构的不昂贵的结构获得上述效果。此外,因为一定范围内的波长带的整个波长带的光入射在W像素上,并且除对应颜色的波长带以外的成分的光入射在W-R像素、W-G像素和W-B像素上,从而入射在图像捕获单元的每个像素上的光量显著增加。特别地,当在一定范围内的波长带中包括红外带时,红外光也入射,从而入射光量进一步增加。此外,此实施例的图像捕获装置可以生成不包括红外成分的色差信号,以及获得包括红外光的大量入射光,从而可以实现具有高S/N比和高颜色再现性的电子照相机。
虽然上面描述了当前可想到的本发明的优选实施例,但可以对此实施例进行各种修改,并且所附权利要求意欲包括本发明的真实精神以及该范围内的所有修改。
工业实用性
如上所述,本发明能够通过消除红外截止滤光单元的必要性而提高灵敏度,并且避免不使用红外截止滤光单元而导致的颜色再现性的恶化,并且作为使用该图像捕获单元对彩色图像进行图像捕获的图像捕获装置等是有用的。
附图标记说明
100  图像捕获装置
101  透镜
102  滤光单元
103  图像捕获单元
104  信号处理单元
110  预处理单元
111  OB减法处理单元
112  亮度信号生成单元
113  反射量计算单元
114  白平衡调整单元
115  色差成分生成单元
120  亮度信号处理单元
130  色差信号处理单元
140  输出单元

Claims (2)

1.图像捕获装置,包括:
图像捕获单元,通过分别重复地配置用于整个波长带的像素以及对应于三个或更多个特定颜色的三种或更多种类型的用于特定颜色的像素而获得,并获得具有对应于每个像素的接收光量的值的图像读取信号;
滤光单元,配置在所述图像捕获单元的前端,并且使得对应于所述用于整个波长带的像素的部分允许一定范围内的波长带的整个波长带通过,所述一定范围内的波长带包括红外区,以及使得对应于所述三种或更多种类型的用于特定颜色的像素的部分分别反射对应的特定颜色的波长带,所述滤光单元使得红外光能够入射在所述用于特定颜色的像素以及所述用于整个波长带的像素上;
反射量计算单元,通过从所述用于整个波长带的像素的图像读取信号的值中减去所述用于特定颜色的像素中的每个的图像读取信号的值,来计算所述特定颜色中的每个的信号值;
色差成分生成单元,基于所述特定颜色的信号值生成色差信号,使得所生成的色差信号不包括红外成分;以及
亮度信号生成单元,使用所述用于整个波长带的像素的图像读取信号生成亮度信号,所述亮度信号包括红外成分,
其中,所述三种或更多种类型的用于特定颜色的像素是W-R像素、W-G像素和W-B像素,所述滤光单元使得对应于所述W-R像素的部分反射红色波长带、对应于所述W-G像素的部分反射绿色波长带、以及对应于所述W-B像素的部分反射蓝色波长带,并且
所述反射量计算单元通过从所述用于整个波长带的像素的图像读取信号的值中减去所述W-R像素的图像读取信号的值来计算红色成分的信号值,通过从所述用于整个波长带的像素的图像读取信号的值中减去所述W-G像素的图像读取信号的值来计算绿色成分的信号值,并通过从所述用于整个波长带的像素的图像读取信号的值中减去所述W-B像素的图像读取信号的值来计算蓝色成分的信号值。
2.如权利要求1所述的图像捕获装置,
当由所述亮度信号生成单元生成的亮度信号的值是最大值时,所述色差成分生成单元将色差设定为0,而与所述反射量计算单元获得的红色成分的信号值、绿色成分的信号值和蓝色成分的信号值无关。
CN201080037238.1A 2010-05-12 2010-10-29 图像捕获装置 Active CN102484722B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-109893 2010-05-12
JP2010109893A JP2011239252A (ja) 2010-05-12 2010-05-12 撮像装置
PCT/JP2010/006386 WO2011141975A1 (ja) 2010-05-12 2010-10-29 撮像装置

Publications (2)

Publication Number Publication Date
CN102484722A CN102484722A (zh) 2012-05-30
CN102484722B true CN102484722B (zh) 2015-02-04

Family

ID=44914044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080037238.1A Active CN102484722B (zh) 2010-05-12 2010-10-29 图像捕获装置

Country Status (5)

Country Link
US (1) US8508633B2 (zh)
EP (1) EP2434761A4 (zh)
JP (1) JP2011239252A (zh)
CN (1) CN102484722B (zh)
WO (1) WO2011141975A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103380623B (zh) * 2011-02-21 2016-09-14 富士胶片株式会社 彩色图像拾取元件
JP5697646B2 (ja) * 2012-11-05 2015-04-08 本田技研工業株式会社 車両周辺監視装置
CN104113744B (zh) * 2013-04-18 2018-01-19 深圳中兴力维技术有限公司 全天候彩色摄像机白平衡处理方法及装置
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9219896B1 (en) * 2014-06-12 2015-12-22 Himax Imaging Limited Method of color processing using a color and white filter array
US10582175B2 (en) * 2014-06-24 2020-03-03 Maxell, Ltd. Imaging sensor and imaging device
US9185377B1 (en) * 2014-06-26 2015-11-10 Himax Imaging Limited Color processing system and apparatus
US10151862B2 (en) * 2016-04-27 2018-12-11 Visera Technologies Company Limited Color filter array having low density of blue color
KR101848284B1 (ko) 2016-08-29 2018-04-12 (주) 지안 가시광선 칼라 및 근적외선 영상 촬영용 영상 센서
EP3301911A1 (en) * 2016-09-29 2018-04-04 Conti Temic microelectronic GmbH Device for white balance correction
CN106713878A (zh) * 2017-03-24 2017-05-24 陈兵 一种新型图像传感器
CN106911919A (zh) * 2017-03-24 2017-06-30 陈兵 彩色图像传感器及彩色图像成像方法
GB201908517D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd 3D digital imagenoise reduction system and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069519A (ja) * 1999-08-30 2001-03-16 Sony Corp 固体撮像装置
JP2002142228A (ja) * 2000-10-31 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像装置
JP2004229034A (ja) * 2003-01-24 2004-08-12 Takenaka Engineering Co Ltd 赤外線照明内蔵型デイナイトカメラ
JP2005006066A (ja) * 2003-06-12 2005-01-06 Acutelogic Corp 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
CN101222642A (zh) * 2007-01-05 2008-07-16 株式会社东芝 包括cmos型图像传感器的固体摄像装置
CN101742103A (zh) * 2008-11-14 2010-06-16 株式会社东芝 固体摄像器件

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
JP2006217441A (ja) * 2005-02-07 2006-08-17 Sanyo Electric Co Ltd 色信号処理方法
JP2006237737A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
US8111286B2 (en) * 2006-09-28 2012-02-07 Fujifilm Corporation Image processing apparatus, endoscope, and computer readable medium
US8363134B2 (en) * 2007-08-01 2013-01-29 Sharp Kabushiki Kaisha Color imaging device, imaging apparatus using the same, and filter

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069519A (ja) * 1999-08-30 2001-03-16 Sony Corp 固体撮像装置
JP2002142228A (ja) * 2000-10-31 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像装置
JP2004229034A (ja) * 2003-01-24 2004-08-12 Takenaka Engineering Co Ltd 赤外線照明内蔵型デイナイトカメラ
JP2005006066A (ja) * 2003-06-12 2005-01-06 Acutelogic Corp 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
CN101222642A (zh) * 2007-01-05 2008-07-16 株式会社东芝 包括cmos型图像传感器的固体摄像装置
CN101742103A (zh) * 2008-11-14 2010-06-16 株式会社东芝 固体摄像器件

Also Published As

Publication number Publication date
WO2011141975A1 (ja) 2011-11-17
US8508633B2 (en) 2013-08-13
EP2434761A4 (en) 2013-10-23
CN102484722A (zh) 2012-05-30
EP2434761A1 (en) 2012-03-28
US20120176513A1 (en) 2012-07-12
JP2011239252A (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
CN102484722B (zh) 图像捕获装置
US10893248B2 (en) Imaging sensor and imaging device
US8175378B2 (en) Method and system for noise management for spatial processing in digital image/video capture systems
US9860438B2 (en) Image sensor and electronic apparatus
US10630920B2 (en) Image processing apparatus
JP5206796B2 (ja) 画像入力装置
JP4407448B2 (ja) 撮像装置
US20190068929A1 (en) Imaging apparatus, imaging control method, and program
US7705308B2 (en) Image pickup apparatus including image pickup devices having sensitivity in infrared region
JP5397788B2 (ja) 画像入力装置
CN107534759B (zh) 摄像装置、摄像方法和计算机可读介质
JP2012005057A (ja) 撮像装置
JP4049257B2 (ja) 固体撮像装置及びデジタルカメラ
WO2008056531A1 (fr) Dispositif, procédé et programme de traitement d'image, dispositif d'imagerie à l'état solide et dispositif électronique
JP4993275B2 (ja) 画像処理装置
JP2006229425A (ja) 撮像装置および撮像装置を備えた携帯電話
WO2015008383A1 (ja) 撮像装置
JP2010252077A (ja) 撮像装置
JP4397724B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP5920144B2 (ja) 撮像装置および撮像方法
JP2003309857A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2004320269A (ja) 固体電子撮像素子のシェーディング補正装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address

Address after: Osaka, Japan

Patentee after: Panasonic Holding Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

Country or region before: Japan

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20240417

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: Panasonic Holding Co.,Ltd.

Country or region before: Japan

TR01 Transfer of patent right