CN101009760B - 曝光控制方法,曝光控制装置和图像拾取装置 - Google Patents

Abstract

本发明提供一种以最小限制广泛获取适当曝光同时精确地校正闪烁的技术。一种曝光控制方法包括：在不少于一个水平周期之上，对作为输入视频信号的、利用成像元件进行对象拍摄所获得的视频信号进行积分；对该积分步骤中所获得的积分值或相邻场或帧的积分值之间的差分值进行归一化；从经归一化的积分值或经归一化的差分值中提取闪烁光谱；基于所提取的闪烁光谱，确定在由该成像元件所获得的视频信号中是否包含有闪烁分量；以及当确定该视频信号中包含闪烁分量时，使用优先采用难以产生闪烁的快门速度的程序图来控制曝光值。

Description

曝光控制方法，曝光控制装置和图像拾取装置

技术领域

本发明涉及一种在图像拾取装置中使用的在荧光灯照明情况下的曝光控制方法和曝光控制装置，该图像拾取装置例如包括一种XY地址扫描型成像元件(成像器，摄像传感器)的摄像机或数字照相机，该成像元件一般为CMOS(互补金属氧化物半导体)成像元件，本发明还涉及一种图像拾取装置。

背景技术

当在来自商业上的交流电源激励的荧光灯的直射光下通过摄像机拾取对象的图像时，由于荧光灯的亮度变化(光量变化)频率(对应于商业上的交流电源频率的两倍)与相机的垂直同步频率之间的差别，在作为图像拾取操作结果的视频信号输出的亮度中出现时间上的波动，或所谓的闪烁。

例如，当在其中商业供电的交流电(AC)为50Hz的地域中，在非逆变器(non-inverter)型的荧光灯照明的情况下，由NTSC系统(其垂直同步频率为60Hz)的CCD相机拾取对象的图像时，如附图中图1所示，因为场周期为1/60秒而荧光灯的亮度变化周期为1/100秒并因此每个场的曝光时间相对于荧光灯的亮度变化而平移，所以伴随附图的每个像素的曝光值每个场改变。

这样，参考图1，当曝光时间为1/60秒时，即使曝光时间相同，周期a1、a2、a3也显示不同的曝光值。当曝光时间小于1/60秒时(但是由于以下将要描述的原因不等于1/100秒)，即使曝光时间相同，周期b1、b2、b3也显示不同的曝光值。

相对于荧光灯的亮度变化的曝光定时在每三个场就返回到原来的定时，因此由于闪烁而引起的亮度变化是周期性的，而且它以三个场的周期进行重复。换言之，每个场的亮度比(闪烁出现的方式)随着曝光周期而改变，但是闪烁周期并不改变。

然而，当垂直同步频率为30Hz时，对于诸如数字相机的步进(progressive)式相机在每三个帧中的亮度变化重复。

另外，为了发射白光，通常在荧光灯内使用多个荧光体，诸如红、绿和蓝磷光体。然而，这些不同的磷光体具有各自的余辉特性，而且它们在亮度变化周期内存在的在从放电结束到下一次放电开始的时间段内发射带有它们各自的余辉特性的削弱光。因此，在开始时为白色的光在该周期中削弱，逐渐改变色相(hue)。然后，如果曝光时间如上所述平移，则就不仅仅发生亮度变化，还发生色相变化。另外，由于荧光灯具有一种特殊的光谱特性，即在特定的波长存在显著的峰值，信号的波动分量随颜色而变化。

因此，由于这样的色相变化和随颜色波动分量的差别而出现所谓的彩色闪烁现象。

另一方面，如图1底部所示，如果将曝光时间定义为荧光灯亮度变化周期(1/100秒)的积分倍，则因为不管曝光时间而实现常量曝光值，所以不出现闪烁。

实际上，已经提出了一种适合于通过用户操作或相机的信号处理操作来检测从荧光灯发散的光的系统，而且如果检测到来自荧光灯的光，就将曝光时间设置成1/100秒的积分倍。利用这样的系统，可以通过简单的技术完全地避免出现闪烁。

然而，利用这样的系统不可能选择希望的曝光时间，从而在试图获得适当的曝光时，使用该相机的曝光条件单元的自由度受到限制。

因此，存在对不管选择的快门速度(曝光时间)如何而减低荧光灯的光闪烁的技术的需求。

当如在CCD图像拾取装置的情况下那样如此设计图像拾取装置以便在同一时间使图像的所有像素曝光时，因为亮度变化和彩色变化只出现在场之间而非每个场中，所以可以相对简单地实现这样的技术。

重新参考图1，如果曝光时间不是1/100秒的积分倍，则该闪烁以三个场为周期循环地和重复地改变，从而有可能通过从在当前场之前三个场的场的视频信号预测在亮度和彩色上的当前变化、并且根据该预测调整每个场的视频信号的增益以便获得各个场的视频信号的平均值而将闪烁抑制到实际不引起任何问题的水平。

然而，在XY地址(address)扫描型成像元件(其可能典型地是CMOS成像元件)的情况下，每个像素的曝光时间在水平方向上依时钟(像素时钟)周期从在前像素的曝光时间顺次平移，因此所有像素的曝光时间相互不同。换言之，通过上述技术不可能令人满意地抑制闪烁。

图2示意性地图示了该问题。虽然如以上所指出的，所有像素的曝光时间在水平方向上相互不同，但是一个水平周期相比于荧光灯的亮度变化周期十分短。因此，在此假设在一条水平线上所有像素的曝光时间是相同的，而且图2显示了在垂直方向布置的每一条线的曝光时间。这一假设在实际应用中并不产生任何问题。

参照图2，在XY地址扫描型成像元件诸如CMOS成像元件的情况下，每一条线的曝光时间与其他任何线的曝光时间不同(图2中的F1指示差别)，因此曝光时间随每条线而不同。然后，由于闪烁导致的亮度变化和彩色变化不仅出现在场之间还出现在每个场内，从而所获得的图像显示条纹(水平地流动并垂直地重复)。

图3图示了当对象为均匀的图案时图像中的闪烁。由于条纹的循环周期(波长)为1/100秒，在图像中产生1.666个循环周期的条纹图案。如果每个场读出的线条数为M，则每个循环周期读出的条纹图案的线条数为L＝M*60/100。注意，在此使用星号(*)作为乘法符号。

如图4所示，在三个相邻场(三个图像)中出现五个周期(波长的五倍)的条纹图案。如果连续观看这些场，该条纹将看起来仿佛它们在垂直流动。

虽然图3和4仅仅图示了由于闪烁导致的亮度变化，但是因为额外地出现了彩色变化，所以实际上图像质量将会显著降低。特别是，当快门速度提高时，彩色闪烁现象变得特别明显，而且该现象的影响在XY地址扫描型成像元件所拾取的图像中显现以致进一步降低图像质量。

如果可以将曝光时间设置成XY地址扫描型的荧光灯的亮度变化的循环周期(1/100秒)的积分倍，则曝光值被保持在恒定水平，以致于不管曝光定时如何没有荧光灯闪烁包括图像中的闪烁出现。

然而，如果对于CMOS成像元件使电子快门速度可变，则包括该CMOS成像元件的图像拾取装置将在结构上变得复杂。另外，如果不可能为了防止在具有操作电子快门的高自由度的图像拾取装置中出现闪烁的目的而将曝光时间设置成1/100秒的积分倍，则用于获得适当曝光的曝光值调节单元的操作自由度不可避免地降低。

因此，已经提出了特别针对诸如CMOS成像元件的XY地址扫描型成像元件的减低荧光灯闪烁的技术。

专利文件1(特开2000-350102号公报)和专利文件2(特开2000-23040公报)描述了这样的方法：通过利用光接收元件或光测定元件来测定荧光灯的光量来估计闪烁分量，根据估计的结果控制来自成像元件的视频信号的增益。

专利文件3(特开2001-16508号公报)描述了这样一种方法：在两种不同的情况下通过成像元件拾取两个不同类型的图像，这两种情况包括第一电子快门值的第一情况，其适于当前外部发光情况，以及第二电子快门值的第二情况，其具有一种与荧光灯的闪烁循环周期的确定关系；通过比较两个图像的信号来估计闪烁分量；并根据估计的结果控制来自成像元件的视频信号的增益。

专利文件4(特开平11-164192号公报)描述了这样一种方法：预先在存储器中存储关于在荧光灯照明的情况下亮度如何变化的信息作为校正系数，同时利用视频信号分量与闪烁分量之间的频率差来检测从成像元件获得的视频信号中闪烁分量的相位，根据检测结果利用存储器中存储的校正系数来校正视频信号。

专利文件5(特开2000-165752号公报)描述了这样一种方法：从以正好将相位反转180°的时间差执行的两次曝光所获得的两个视频信号中计算地确定校正系数，并且利用该计算地确定的校正系数来校正来自成像元件的视频信号。

然而，专利文件1和2中所述的利用光接收元件或光测定元件测定荧光灯的光量来估计闪烁分量的方法由于必须向图像拾取装置添加光接收元件或光测定元件而增加了图像拾取装置的系统大小和成本。

专利文件3中所述的在两种不同的快门情况下拾取两个不同类型的图像并估计闪烁分量的方法也存在使图像成像装置的系统变得复杂的缺陷。另外，该方法存在不适于拾取移动图像的缺陷。

专利文件4中所述的使用存储器中存储的预备系数作为校正信号的方法存在这样的缺陷，即由于不可能为所有类型的荧光灯预备校正系数，所以不可能可靠地根据荧光灯类型检测并减小闪烁分量。另外，关于专利文件4的利用视频信号分量与闪烁分量之间的频率差从视频信号中提取闪烁分量的方法，在图像当中闪烁分量非常小的黑色背景部分和低亮度部分中，将闪烁分量与视频信号分量区别，检测闪烁分量很困难，而且当一个或多个移动对象存在于图像中时，检测闪烁分量的性能显著地降低。

最后，如专利文件3中所述的方法那样，专利文件5中所述的在不同时间拾取两种不同类型的图像来估计闪烁分量的方法使图像拾取装置的系统复杂化并不适于拾取移动图像。

如专利文件6(特开2004-222228公报)中所述，该专利申请的申请人提出了一种方法：无需使用光接收元件，利用简单的信号处理操作，来与对象、视频信号级别和荧光灯类型无关地、高度精确地检测特别由诸如CMOS成像元件的XY地址扫描型成像元件观察到的荧光灯的闪烁，以可靠地并令人满意地减小闪烁。

利用以上引用文件的闪烁减小方法，利用归一化的积分值或归一化的差分值将除闪烁分量以外的信号分量除去，从而与对象无关地可能获得一个信号，利用该信号可以高度精确地估计闪烁分量，甚至是在其中闪烁分量非常小的黑色背景部分和低亮度部分中也可以高度精确地估计闪烁分量。然后可以通过达到归一化的积分值或归一化的差分值的适当程度提取光谱来高度精确地估计闪烁分量而不管显示了荧光灯亮度变化的类型和波形如何。因此，可以通过计算地操作所估计的闪烁分量和输入的视频信号来可靠地和令人满意地从输入视频信号中减低闪烁分量。

发明内容

同时，在XY地址扫描型图像拾取装置中产生的水平条纹方式的荧光灯闪烁取决于电源频率与广播系统的场或帧频率之间的关系显示了不同的特性。例如，通过比较图像内出现的条纹的特性将会发现，条纹关于频率、波长、波形、振幅随图像变化。通过比较场之间的多个图像还发现条纹的周期性也变化。图5A到图5D图示了条纹的周期性如何变化。当在商业供电的交流电频率为50Hz的地理区域中在荧光灯照明的情况下通过NTSC系统进行图像拾取操作时，由于成像循环周期和电源循环周期每三个场中重新得到初始的相位关系，所以闪烁条纹显示如图5A中所示三个场的周期性。然后，当连续地观看所拾取的图像时，水平条纹显示成仿佛它们在垂直地流动。当在商业供电的交流电频率为50Hz的地理区域中在荧光灯照明的情况下通过PAL系统进行图像拾取操作时，出现类似的现象。在此情况下，如图5B所示，闪烁条纹显示成仿佛它们在以5个场的周期垂直地流动。在专利文件6(日本特开2004-222228)中提出的技术利用出现在场之间的闪烁条纹的周期性来分离图像分量和闪烁分量，并从其频率光谱中提取闪烁分量以通过使用该提取的闪烁分量来校正增益。这项技术对于显示了这种“场间(inter-field)周期性”的荧光灯闪烁问题非常有效。

另一方面，当在商业供电的交流电频率为60Hz的地理区域中，在荧光灯照明的情况下通过NTSC系统进行图像拾取操作时，或者当在商业供电的交流电频率为50Hz的地理区域中，在荧光灯照明的情况下通过PAL系统进行图像拾取操作时，不出现闪烁条纹。当利用以上所列广播系统和电源频率组合中的任何一个以高速操作快门时，闪烁的水平条纹基于同样的标志产生。然而，利用以上所列组合中的任何一个，如图5C和5D所示，成像循环周期与电源循环周期之间相对关系在单个场中是确定的，从而在连续地观看所拾取的图像时，水平条纹并不显示成仿佛它们在垂直地流动。换言之，利用以上所列组合中的任何一个而出现的闪烁条纹明显不同于利用之前段落中所描述的组合而出现的闪烁条纹，这是因为它们恒定地出现在相同位置上。因此，利用专利文件6(日本特开2004-222228)中所述的利用了“场间循环性”的算法，就不再有可能从任何一种组合的对象中分辨闪烁。从而，不再有可能利用该技术消除或减轻闪烁。至今为止提出的许多闪烁校正技术使用了“场间循环性”，但是它们存在相同的问题，即减少它们算法对于那些组合降为完全无效。

可以通过巧妙地选择快门速度来避免该问题。当不管曝光时间而选择在图5A或5C的情况下的n/100秒(其中n是自然数)或在图5B或5D的情况下的n/120秒作为快门速度时，不出现闪烁条纹。在图6中概括列出了快门速度与电源频率之间的关系。

然而，因为将快门速度固定为n/100或n/120，所以上述布置降低了用于实现适当曝光的曝光调节单元的自由度。仅为了避免闪烁问题而抛弃曝光调节的自由度将是不允许的。出现了额外的问题，即用于估计电源频率的某单元是必要的。例如，电源频率可以从闪烁条纹的循环周期与帧速率之间的关系来确定。然而，当闪烁条纹不移动时，就不可能确定出现在视频信号中的条纹是由闪烁产生的还是属于该对象的。虽然可以通过外部传感器来避免该问题，但是使用这样的传感器伴随有成本与尺寸的问题。另外，由于“场间周期性”是根据来自图像拾取装置的信息来确定的，所以当关于视角的信息由于成帧(framing)或其他原因而改变时，可能出现后检测问题。那么，最可靠的用于避免闪烁条纹的技术也许是将快门速度固定到n/100秒或n/120秒而非专利文件6(日本特开2004-222228)中的技术。

考虑到以上确定的情况，希望提供如下技术，其通过对专利文件6(日本特开2004-222228)技术中的快门加以适当的限制来获取适当曝光的宽范围，同时精确地校正闪烁，而不管广播系统(NTSC/PAL)和地理区域(电源频率为50Hz/60Hz)的组合如何。

从下文中提供的关于优选实施例的描述，本发明的其他目的和具体优点将变得更为明显。

根据本发明的实施例，提供一种包括XY地址扫描型成像元件的图像拾取装置的曝光控制方法，该方法包括以下步骤：在不少于一个水平周期之上，对作为输入视频信号的、利用成像元件进行对象拍摄所获得的视频信号进行积分；对该积分步骤中所获得的积分值或相邻场或帧的积分值之间的差分值进行归一化；从经归一化的积分值或经归一化的差分值中提取闪烁光谱；基于所提取的闪烁光谱，确定在由该成像元件所获得的视频信号中是否包含有闪烁分量；以及当确定该视频信号中包含闪烁分量时，使用优先采用难以产生闪烁的快门速度的程序图来控制曝光值。

根据本发明的实施例，还提供一种包括XY地址扫描型成像元件的图像拾取装置的曝光控制装置，该装置包括：闪烁确定装置，用于在不少于一个水平周期之上对作为输入视频信号的、利用成像元件进行对象拍摄所获得的视频信号进行积分；对由积分该视频信号所获得的积分值或相邻场或帧的积分值之间的差分值进行归一化；从经归一化的积分值或经归一化的差分值中提取闪烁光谱；基于所提取的闪烁光谱，确定在由该成像元件所获得的视频信号中是否包含有闪烁分量；以及曝光值控制装置，用于当该闪烁确定装置确定该视频信号中包含闪烁分量时，使用优先采用难以产生闪烁的快门速度的程序图来控制曝光值。

根据本发明的实施例，还提供一种图像拾取装置，包括：XY地址扫描型成像元件；闪烁确定装置，用于在不少于1个水平周期之上对作为输入视频信号的、利用成像元件进行对象拍摄所获得的视频信号进行积分；对由积分该视频信号所获得的积分值或相邻场或帧的积分值之间的差分值进行归一化；从经归一化的积分值或经归一化的差分值中提取闪烁光谱；以及基于所提取的闪烁光谱，确定在由该成像元件所获得的视频信号中是否包含有闪烁分量；以及曝光值控制装置，用于当该闪烁确定装置确定该视频信号中包含闪烁分量时，使用优先采用难以产生闪烁的快门速度的程序图来控制曝光值。

因此，根据本发明，可以通过以下操作在几乎不产生任何闪烁的状态中控制曝光值：在不少于一个水平周期之上，对作为输入视频信号的、利用XY地址扫描型成像元件进行对象拍摄所获得的视频信号进行积分；对该积分步骤中所获得的积分值或相邻场或帧的积分值之间的差分值进行归一化；从经归一化的积分值或经归一化的差分值中提取闪烁光谱；基于所提取的闪烁光谱，确定在由该成像元件所获得的视频信号中是否包含有闪烁分量；以及当确定该视频信号中包含闪烁分量时，使用优先采用难以产生闪烁的快门速度的程序图来控制曝光值。

附图说明

图1是在使用CCD成像元件来拾取图像时可能出现的荧光灯闪烁的示意图；

图2是在使用XY地址扫描型成像元件来拾取图像时可能出现的荧光灯闪烁的示意图；

图3是在XY地址扫描型成像元件所拾取的图像中可能出现的条纹图案的示意图；

图4是在XY地址扫描型成像元件所拾取的三个连续图像中可能出现的条纹图案的示意图；

图5A～5D是多个图像当中的荧光灯闪烁的“场间周期性”差别的示意图；

图6是在多个图像当中的荧光灯闪烁的“场间周期性”关系的示意图；

图7是根据本发明实施例的图像拾取装置的示意性方框图，显示了其系统结构；

图8是原色系统的示范性数字信号处理部分的示意性方框图；

图9是补色系统的示范性数字信号处理部分的示意性方框图；

图10是第一示范性闪烁减小部分的示意性方框图；

图11是在考虑到饱和区时的示范性运算块的示意性方框图；

图12是第二示范性闪烁减小部分的示意性方框图；

图13是第三示范性闪烁减小部分的示意性方框图；

图14是在考虑到非荧光灯照明时的示范性闪烁减小部分的示意性方框图；

图15是在考虑到非荧光灯照明时的另一个示范性闪烁减小部分的示意性方框图；

图16是在由利用该装置进行对象拍摄的人员的操作或动作较大程度地改变该对象的情况下可以实现的一种示范性图像拾取装置的示意性方框图；

图17是当考虑到由于成像情况无需进行闪烁减小处理的场合时可以实现的一种示范性图像拾取装置的示意性方框图；

图18是当考虑到由于成像情况无需进行闪烁减小处理的场合时可以实现的另一种示范性图像拾取装置的示意性方框图；

图19是当调节所估计的闪烁分量时示范性闪烁减小部分的示意性方框图，图示了其中的基本配置；

图20是当调节所估计的闪烁分量时第一示范性系统控制器的示意性方框图；

图21是当调节所估计的闪烁分量时第二示范性系统控制器的示意性方框图；

图22是用来解释以上图20和21的示例的图表；

图23是用来解释以上示例的公式的表格；

图24是用来解释以上示例的公式的另一表格；

图25仍是用来解释以上示例的公式的另一表格；

图26仍是用来解释以上示例的公式的另一表格；

图27仍是用来解释以上示例的公式的另一表格；

图28A～28B是用来解释图14和15的示例的图表；

图29是用于测试的对象的示意图；

图30是图29的对象的积分值图；

图31是图29的对象的差分值图；

图32是在图29的对象归一化之后的差分值图；

图33是图29的对象的所估计的闪烁系数图；

图34是由系统控制器执行的控制处理的流程图；

图35是由系统控制器执行的确定闪烁分量是否存在的处理的流程图；

图36A～36C是在不同快门速度的帧当中的闪烁相位差的示意图；以及

图37A和37B是优先使用n/100秒的程序(program)图和优先使用n/120秒的程序(program)图。

具体实施方式

现在，将参考附图更详细地描述本发明的实施例。应当理解本发明并不局限于以下实施例，可以在不脱离本发明精神和范围的情况下进行各种不同修改。

图7是通过应用本发明的实施例所实现的摄像机100的示意性方框图，并图示了其配置。

换言之，图7是根据本发明实施例的图像拾取装置的示意性方框图，并显示了其中配置，其是使用CMOS成像元件12作为XY地址扫描型成像元件的摄像机100。

利用摄像机100，来自对象的光线通过成像光学系统11进入CMOS成像元件12，并在CMOS成像元件12中经历光电转换，以便从CMOS成像元件12中获得模拟视频信号。

CMOS成像元件12是通过连同垂直扫描电路、水平扫描电路和视频信号输出电路一起在CMOS基底上二维布置多个像素来形成，这些像素包括光电二极管(光电门)、传输门(快门晶体管)、开关晶体管(地址晶体管)、放大晶体管和复位晶体管(复位门)。

这一点将在下文中进行更详细地描述，CMOS成像元件12也许是原色系统或补色系统，而从CMOS成像元件12中获得的模拟视频信号也许是RGB原色信号或补色系统的彩色信号。

模拟信号处理部分13在通过A/D转换将来自CMOS成像元件12的模拟视频信号转换成数字信号之前，对每一种颜色进行取样保存处理，其中以IC(集成电路)方式实现模拟信号处理部分13，并通过AGC(自动增益控制)对其进行增益控制。

通过以IC方式实现的数字信号处理部分20来处理来自模拟信号处理部分13的数字信号，这一点将在下文中进行更详细地描述，在最终将该信号转换成亮度信号Y和色差信号R-Y、B-Y并从数字信号处理部分20中输出之前，通过数字信号处理部分20中的闪烁减小部分25减小每个信号的闪烁分量。

一般以微型计算机的方式来实现系统控制器14，以便控制相机的组件。

更具体地说，从系统控制器14提供镜头驱动控制信号到以IC方式实现的镜头驱动器15，并通过镜头驱动器15来驱动成像光学系统11的镜头。

类似地，从系统控制器14提供定时控制信号到定时发生器16，并从定时发生器16提供各种定时信号到CMOS成像元件12，以驱动CMOS成像元件12。

另外，从数字信号处理部分20将各种信号分量的检测信号带入系统控制器14，以便如上所述由模拟信号处理部分13根据来自系统控制器14的AGC信号来对不同颜色的彩色信号进行增益控制，还由系统控制器14控制数字信号处理部分20的信号处理操作。

相机抖动(shake)传感器17连接到系统控制器14，以便在通过拍摄对象人员的动作较大程度地改变该对象时，由系统控制器14根据相机抖动传感器17的输出来检测这样的较大的改变，以便相应地控制闪烁减小部分25。

另外，系统控制器14经由一般作为微型计算机实现的接口19连接到作为用户接口18操作的操作部分18a和显示部分18b，以便由系统控制器14检测在操作部分18a上的设置操作和选择操作，并通过系统控制器14在显示部分18b上显示相机的设置状态和控制状态。

因此，当因进行对象拍摄的人员操作该相机来进行缩放等在短时期内较大程度地改变对象时，由系统控制器14检测这一较大的改变，并相应地控制闪烁减小部分25，如将在下文中进行更详细地描述的那样。

如将在下文中进行更详细地描述的那样，当不必进行闪烁减小处理时，由系统控制器14检测该不必进行闪烁减小处理的情况，并相应地控制闪烁减小部分25，如将在下文中进行更详细地描述的那样。

图8是原色系统的示范性数字信号处理部分20的示意性方框图。

原色系统包括分解光学系统，利用该分解光学系统图7的成像光学系统11将来自对象的光线划分成RGB彩色光线并分离它们。它可以是一种包括RGB的CMOS成像元件的三板(three-plate)系统，其共同地称为CMOS成像元件12，或者是一种包括CMOS成像元件的单板系统，其中连续并重复地在光线接收表面的各个水平像素上设置RGB彩色滤光片，它也称为CMOS成像元件12。然后，从CMOS成像元件12中并行地读出RGB原色信号。

在图8的数字信号处理部分20的情况下，利用箝位(clamping)电路21将输入RGB原色信号的黑色电平箝位到预定电平，并在箝位处理之后，利用增益调节电路22根据曝光值对RGB原色信号进行增益调节。然后，在该增益调节处理之后，利用根据本发明实施例所述的方法由闪烁减小部分25R、25G、25B减少RGB原色信号的闪烁分量。

另外，在图8的数字信号处理部分20中，在闪烁减小处理之后，由白色平衡调节电路27调节RGB原色信号的白色平衡，并在白色平衡调节处理之后，利用伽马(Gamma)校正电路28来转换RGB原色信号的色调(tone)。然后，在伽马校正处理之后，利用合成矩阵电路29从RGB原色信号中产生将要输出的亮度信号Y和色差信号R-Y、B-Y。

利用原色系统，由于在图8图示的所有用来处理RGB原色信号的处理都结束后产生亮度信号Y，所以可以通过在图8所示用来处理RGB原色信号的处理中减小RGB原色信号的闪烁分量来减小原色分量和亮度分量的闪烁分量。

虽然优选地按照图8图示的方式来设置闪烁减小部分25R、25G、25B，但是不必将闪烁减小部分的布置限定为图示的布置。

图9是补色系统的示范性数字信号处理部分20的示意性方框图。

补色系统是包括CMOS成像元件的单板系统，其中在光线接收表面上设置补色系统的单色滤光片，其也被称为图7的CMOS成像元件12。如图9所示，作为彩色滤光片1，连续并重复地在光线接收表面内每隔一个的水平线Lo上的每一个像素设置绿色滤光片部分1G和绛红色滤光片部分IMg，连续并重复地在光线接收表面内每隔一个的水平线Le上的每一个像素设置青色滤光片部分1Cy和黄色滤光片部分IYe。

然后，合成地合并位置邻近的两个水平线的视频信号，并从图7的CMOS成像元件12中读出该信号。因此，根据图9的布置，每个像素时钟交替地获得绿色信号和青色信号的合成信号和绛红色信号和黄色信号的合成信号。

在图9的数字信号处理部分20的情况下，利用箝位电路21将补色信号的黑色电平箝位到预定电平，并在箝位处理之后，利用增益调节电路22根据曝光值对补色信号进行增益调节。然后，在该增益调节处理之后，利用亮度合成电路23从补色信号中产生亮度信号Y，并利用原色分离电路24从补色信号中产生RGB原色信号。

在图9的数字信号处理部分20的情况下，利用根据本发明实施例所述的方法减小来自亮度合成电路23的亮度信号Y中的闪烁分量，同时利用根据本发明实施例的方法由闪烁减小部分25R、25G、25B减小来自原色分离电路24的RGB原色信号中的闪烁分量。

另外，在图9的数字信号处理部分20中，在闪烁减小处理之后，利用伽马校正电路26调节亮度信号的色调来获得将要输出的亮度信号Y，以及在闪烁减小处理之后，利用白色平衡调节电路27来调节RGB原色信号的白色平衡。然后，在白色平衡调节处理之后，利用伽马校正电路28来转换RGB原色信号的色调，并在伽马校正处理之后，利用合成矩阵电路29来从RGB原色信号中产生将要输出的色差信号R-Y、B-Y。

利用补色系统，在图9所示数字信号处理部分20中的相对上游位置产生亮度信号和RGB原色信号。这是因为可以利用简单的加法处理轻易地从合成信号中产生亮度信号，而且如果利用减法处理来从合成信号中产生RGB原色信号然后从RGB原色信号中产生亮度信号，则使亮度信号的信噪比S/N劣化。

然而，在对亮度信号和彩色信号使用不同的处理系统时，仅仅通过减小每个彩色分量的闪烁分量是不足以减小亮度分量的闪烁分量的。换言之，只有如图9所示通过分别地和独立地减小亮度分量的闪烁分量才可能令人满意地减小每一个彩色分量的闪烁分量和亮度分量的闪烁分量。

虽然优选地按照图9图示的方式来设置闪烁减小部分25Y和25R、25G、25B，但是不必将闪烁减小部分的布置限定为图示的布置。

图8的每一个闪烁减小部分25R、25G、25B和图9的每一个闪烁减小部分25Y、25R、25G、25B具有以下所述的配置。在以下描述中，闪烁减小部分25Y、25R、25G、25B的任一个一般都不加区分地称为闪烁减小部分25。

在以下描述中，输入视频信号是在进行闪烁减小处理之前输入到闪烁减小部分25的RGB原色信号和亮度信号的任一个，输出视频信号是在经过闪烁减小处理之后从闪烁减小部分25输出的RGB原色信号和亮度信号的任一个。

在以下描述中，假设由NTSC系统(垂直合成频率为60Hz)的CMOS相机在荧光灯照明的情况下拍摄对象，因此，如果不减小荧光灯的闪烁，那么由于图2至4所示的闪烁，不但会在多个场之间而且在每个场内出现亮度变化和彩色变化，使得在图像平面中，在三个场(三倍的图像画面)内出现五个循环周期(五倍波长)的条纹图案。

不仅在非反相器(non-inverter)类型的荧光灯时出现闪烁，而且在反相器类型的荧光灯和对电流整流不令人满意时也出现闪烁。因此，闪烁问题并不局限于非反相器类型的荧光灯。

图10是第一示范性闪烁减小部分25的示意性方框图。

虽然图3和4图示了当对象均匀时的闪烁影响，但闪烁分量一般与对象的信号强度成正比。

这样，如果对象的输入视频信号(进行闪烁减小处理之前的亮度信号或RGB原色信号)在任意选定场n内的任意选定像素(x，y)处为In’(x，y)，In’(x，y)是不包含闪烁分量的信号分量和与信号分量成正比的闪烁分量的总和，如图23中公式(1)所表示的。

在图23中，In(x，y)是信号分量，Γn(y)*In(x，y)是闪烁分量，其中Γn(y)是闪烁系数。相对于荧光灯的发光周期(1/100秒)水平周期是如此短，以致可以假设闪烁系数在同一场中对于同一直线是恒定的。因而闪烁系数以Γn(y)表示。

为了泛化(generalize)Γn(y)，将把它展开成如图23中(2)所示的傅里叶级数。然后，有可能以综合地包含作为荧光灯类型的函数而改变的不同的发光特性和余辉特性的方式表示闪烁系数。

关于公式(2)，λo是图3所示的图像内闪烁的波长。如果每个场读出的直线数量为M，其对应于L(＝M*60/100)个直线。在公式(2)中，ωo是由λo归一化的标准角频率。

在公式(2)中，γm是每一级(degree)(m＝1，2，3，...)闪烁分量的振幅，Φmn表示每一级闪烁分量的初相位，其被确定为荧光灯的发光周期(1/100秒)与曝光时间的函数。然而注意，Φmn在每三个场中取相同值，因此用图23中的公式(3)来表示在一个场和之前紧接着的一个场之间的Φmn差。

在图10的示例中，首先如图23中公式(4)所表示的，通过积分块31在图像中沿着水平方向上的直线求输入视频信号In’(x，y)的积分来确定积分值Fn(y)，以便减小图像图案对闪烁检测的影响。在公式(4)中，αn(y)是如图23中公式(5)所表示的信号分量In(x，y)中的直线积分值。

将该计算确定的积分值Fn(y)存储并保留在积分值保留块32中以供在随后的场中的闪烁检测之用。将积分值保留块32设计成能够保留至少两个场的积分值。

如果对象是均匀的，信号分量In(x，y)的积分值αn(y)是恒定值，因此易于从输入视频信号In’(x，y)的积分值Fn(y)中提取闪烁分量αn(y)*Γn(y)。

然而，对象通常在αn(y)中包含m*ωo分量，因此就不可能从对象自身的信号分量的亮度分量和彩色分量中隔离闪烁分量的亮度分量和彩色分量。简言之，不可能纯粹地仅提取出闪烁分量。另外，由于公式(4)中第二项的闪烁分量相对于第一项的信号分量非常小，所以闪烁分量实际上淹没于信号分量之中。

作为参考，图30显示了图29所示的对象(实际上是彩色图像)的三个连续场的积分值Fn(y)。图30的积分值Fn(y)是关于红色信号的。在图30中，场：N+0(实线)、场：N+1(虚线)和场：N+2(点线)分别表示三个连续场的第一、第二、第三场。从图30中可见，不可能直接从积分值Fn(y)中提取闪烁分量。

因此，在图10的示例中，利用三个连续场的积分值来从积分值Fn(y)中消除αn(y)的影响。

更具体地说，在图示的示例中，当计算确定直线的积分值Fn(y)时，从积分值保留块32中读出在其之前紧接着的场中同一直线的积分值Fn_1(y)和在其之前两个场的场中同一直线的积分值Fn_2(y)，平均值计算块33计算这三个积分值Fn(y)、Fn_1(y)和Fn_2(y)的平均值AVE[Fn(y)]。

如果可以认为该对象在三个连续场的期间内是实质上相同的，就可以认为αn(y)值对于三个连续场是相同的。如果对象在三个场中的移动足够小，以上假设几乎不会产生任何问题。另外，当计算这三个连续场的积分值的平均值时，如公式(3)所示添加其中闪烁分量的相位连续平移(-2π/3)*m的信号，从而因此消除了该闪烁分量。因此，利用图24中的公式(6)来表示平均值AVE[Fn(y)]。

注意，在以上描述中基于图24中公式(7)的近似保持正确的假设计算确定这三个连续场的积分值的平均值。然而，当对象的移动较大时，公式(7)的近似并不保持正确。

接着，为对象移动较大的情况而提供的闪烁减小部分25在积分值保留块32中保留至少三个场的积分值，并计算确定包括当前场的积分值Fn(y)的四个或多于四个场的积分值的平均值。利用该布置，可以减小由于时间上低通滤波器的作用引起的对象移动的影响。

然而，由于相同的闪烁重复地出现在每三个场中，为了消除闪烁分量有必要计算确定j(3的整数倍，该整数不小于2，即6，9...)个连续场的积分值的平均值。因此，必须将积分值保留块32设计成保留至少(j-1)个场的积分值。

图10的示例是基于图24中公式(7)的近似保持正确的假设的。在该示例中，差分计算块34计算确定从积分块31中获得的当前场的积分值Fn(y)和从积分值保留块32中获得的之前紧接着的场的积分值Fn_1(y)的差分，即如图24中公式(8)所示的差分值Fn(y)-Fn_1(y)。公式(8)也是基于公式(7)的近似保持正确的假设的。

图31显示了图29所示对象的三个连续场的差分值Fn(y)-Fn_1(y)。从图31中可见，由于利用差分值Fn(y)-Fn_1(y)满意地消除了对象的影响，所以闪烁分量(闪烁系数)相比于在图30所示积分值Fn(y)中变得更加清楚可见。

在图10的示例中，归一化块35在把来自差分计算模块34的差分值Fn(y)-Fn_1(y)除以来自平均值计算模块33的平均值AVE[Fn(y)]时对差分值Fn(y)-Fn_1(y)进行归一化，以计算确定归一化的差分值gn(y)。

借助于图24的公式(6)和(8)以及三角函数的加法/乘法公式来将归一化的差分值gn(y)展开成图25所示的公式(9)，以便在图23中公式(3)的关系的基础上用图25的公式(10)来表示该归一化的差分值gn(y)。注意，分别用公式(11a)和(11b)来表示公式(10)中的|Am|和θm。

由于对象的信号强度的影响保留在差分值Fn(y)-Fn_1(y)上，所以由于闪烁而导致的亮度变化的级别和彩色变化的级别可以依赖于图像中的区域而改变。然而，作为上述归一化的结果可以使在图像所有区域上的亮度变化的级别和彩色变化的级别同一化。

图32显示了图29所示对象的三个连续场的归一化的差分值gn(y)。

注意，分别由图25的公式(11a)和(11b)表示的|Am|和θm是归一化的差分值gn(y)的每一级光谱的振幅和初相位。这样，可以藉由归一化的差分值gn(y)的傅里叶变换和对每一级光谱的振幅|Am|和初相位θm的检测，借助于图26的公式(12a)和(12b)来确定图23的公式(2)中显示的每一级闪烁分量的振幅γm和初相位Φmn。

在图10的示例中，DFT块51执行数据的离散傅里叶变换，其对应于从归一化块35中获得的归一化的差分值gn(y)中的闪烁的波长(关于L条直线)。

如果DFT运算是DFT[gn(y)]而且m级DFT的结果是Gn(m)，就用图26中的公式(13)来表示DFT运算。用公式(14)来表示公式(13)中的W。通过定义DFT，用图26的公式(15a)和(15b)来表示公式(13)和公式(11a)和(11b)之间的关系。

因此，根据公式(12a)、(12b)、(15a)和(15b)，可以借助于图26的公式(16a)和(16b)来确定每一级闪烁分量的振幅γm和初相位Φmn。

使DFT运算的数据长度等于闪烁的波长(关于L条直线)，这是因为通过这样做，使得可以直接获得一组ωo的整数倍的离散光谱。

一般地，FFT(快速傅里叶变换)在处理数字信号时使用作傅里叶变换。然而，虽然如此，在本发明的实施例中使用DFT。其原因在于因为傅里叶变换的数据长度不等于2的幂，所以DFT比FFT更方便。然而，也可以通过处理输入/输出数据来使用FFT。

由于在荧光灯照明的情况下，即使m级的范围小于第十级，实际上也可以令人满意地近似闪烁分量，所以不必输出所有的DFT运算数据。因此，如果就操作效率与使用FFT相比较，使用DFT对于用于本发明的目的并非不利。

DFT块51首先通过公式(13)所定义的DFT运算来提取光谱，接着借助于使用公式(16a)和(16b)的运算来估计每一级闪烁分量的振幅γm和初相位Φmn。

在图10的示例中，闪烁生成块53根据从DFT块51中获得的对γm和Φmn的估计而计算地确定图23中的公式(2)所表示的闪烁系数Γn(y)。

然而，如以上所指出的，实际上即使m级的范围小于第十级时也可以令人满意地近似闪烁分量。因此，当借助于公式(2)计算确定闪烁系数Γn(y)时，可以将总和的级限定为预定的序数，例如限定为第二级以免得成为无穷大。

图33是图29的对象的三个连续场的所估计的闪烁系数Γn(y)的图。

利用上述的技术，即使在闪烁分量微小以及当简单地使用积分值Fn(y)时闪烁分量完全淹没在信号分量中的诸如黑色背景区域和低亮度区域那样的区域中，也可以通过计算确定差分值Fn(y)-Fn_1(y)和利用平均值AVE[Fn(y)]对其进行归一化来检测闪烁分量。

从不超过适当序数级的光谱的闪烁分量的估计是闪烁分量的近似而不用完全再现该归一化的差分值gn(y)。然而，即使归一化的差分值gn(y)由于对象的情况而产生不连续的部分，也可以借助于这样的估计来准确地估计该部分的闪烁分量。

根据图23的公式(1)，由图26的公式(17)来表示不包含任何闪烁分量的信号分量In(x，y)。

在图10的示例中，运算操作块40将1加到从闪烁生成块53中获得的闪烁分量Γn(y)中，并用输入视频信号In’(x，y)除以该总和[1+Γn(y)]。

然后，作为结果，基本上完全消除了输入视频信号In’(x，y)中所包含的闪烁分量，从运算操作块40中获得了实质上不包括任何闪烁分量的信号分量In(x，y)作为输出视频信号(减低闪烁后的RGB原色信号或亮度信号)。

如果由于系统运算能力的限制而导致没有在一个场的时间段内完成上述处理操作，则可以为运算操作块40配备保留三个场的闪烁系数Γn(y)的功能，从而可以通过利用每三个场闪烁重复出现的特性而针对三个场后的输入视频信号In’(x，y)对保留的闪烁系数Γn(y)进行运算操作。

在图10的示例中，如果输入视频信号In’(x，y)的级别在饱和区内，并且运算操作块40执行公式(17)的运算操作，则可能改变信号分量(彩色分量或亮度分量)。因此，希望运算操作块40具有如图11所示的配置。

具有图11所示配置的运算操作块40包括：加法电路41，用于将1加到来自闪烁生成块53的闪烁分量Γn(y)；除法电路42，用于把输入视频信号In’(x，y)除以该总和[1+Γn(y)]；输入侧开关43；输出侧开关44；饱和级别确定电路45，该饱和级别确定电路45针对每个像素判断输入视频信号In’(x，y)的级别是否在饱和区的阈值级别以上。

如果对于像素输入视频信号In’(x，y)的级别没有达到饱和区的阈值级别，则通过饱和级别确定电路45将开关43和44转向除法电路42的那一侧，并对于像素如上所述从运算操作块40输出公式(17)的运算操作结果作为输出视频信号。

另一方面，如果对于像素输入视频信号In’(x，y)的级别不低于饱和区的阈值级别，通过饱和级别确定电路45将开关43和44转向另一侧，并直接从运算操作块40输出该输入视频信号In’(x，y)作为输出视频信号。

因此，当输入视频信号In’(x，y)的级别在饱和区内时，不改变信号分量(彩色分量或亮度分量)以使得可能获得高图像质量的输出视频信号。

因此，可以通过借助于图10的示例中的平均值AVE[Fn(y)]对差分值Fn(y)-Fn_1(y)进行归一化来有效地确保有限(finite)计算的精确度。然而，当达到必需的计算精确度时，可以借助于平均值AVE[Fn(y)]直接对积分值Fn(y)进行归一化。

图12图示了这样的示例。参考图12，归一化块35通过把来自积分块31的积分值Fn(y)除以来自平均值计算块33的平均值AVE[Fn(y)]来对该积分值Fn(y)进行归一化，以计算确定归一化的差分值gn(y)。

然而，然后利用图27的公式(18)来表示在归一化之后的归一化差分值gn(y)。因此，如图27的公式(19)所示，减法电路36从公式(18)所表示的归一化差分值gn(y)中减去1，并将结果发送到DFT块51，以便使下游处理操作与图10中的示例相同。

然后，由于|Am|＝γm和θm＝Φmn，所以可以分别在图26的公式(15a)和(15b)的基础上借助于图27的公式(20a)和(20b)来确定γm和Φmn。

这样，虽然在图10的示例中DFT块51通过公式(13)所定义的DFT运算来提取光谱，接着通过公式(16a)和(16b)的运算操作估计每一级闪烁分量的振幅γm和初相位Φmn，不过在图12的示例中DFT块51通过公式(13)所定义的DFT运算来提取光谱，接着通过公式(20a)和(20b)的运算操作估计每一级闪烁分量的振幅γm和初相位Φmn。图12的示例中的后续处理操作与图10的示例中的相同。

在图12的示例中，差分计算块34不是必需的，而且可以如此简化闪烁减小部分25。

同样在该示例中，希望运算操作块40具有图11所示的结构。

由于当图24中公式(7)的近似保持正确时，如公式(6)所示用于图10的示例中归一化目的的平均值AVE[Fn(y)]等于αn(y)，图23中公式(4)的第二项αn(y)*Γn(y)令人满意地小于第一项的αn(y)，所以第二项对归一化的影响非常小。

因此，如果积分值Fn(y)代替平均值AVE[Fn(y)]用于归一化目的，实际上不会产生问题，而且如使用平均值AVE[Fn(y)]的情况那样，使用积分值Fn(y)可能有效地检测闪烁分量。

因此，在图13的示例中，归一化块35在它把来自差分计算块34的差分值Fn(y)-Fn_1(y)除以来自积分块31的积分值Fn(y)时对该差分值Fn(y)-Fn_1(y)进行归一化。所有的后续处理操作都和图10的示例中的相同。

由于在图13的示例中，积分值保留块32保留仅仅一个场的积分值就足够，而且平均值计算块33不是必需的，所以可以简化闪烁减小部分25的配置。

同样在该示例中，希望运算操作块40具有图11所示的配置。

当在非荧光灯照明的情况下(在其中不使用荧光灯的照明坏境下)拾取图像时，如果执行上述闪烁减小处理，不会产生特别的问题。不过，但是，不必要执行的处理可能对图像质量产生不利影响，即使闪烁分量足够小也如此。

换言之，希望以这样一种方式配置闪烁减小部分25，即当在非荧光灯照明的情况下拾取图像时，不执行闪烁减小处理，而且直接从闪烁减小部分25输出输入视频信号In’(x，y)作为输出视频信号。

图14是在考虑到非荧光灯照明时可以使用的示范性闪烁减小部分25的示意性方框图。参考图14，归一化的积分值确定块30具有图10、12或13中示例的结构。虽然在图10和13的示例中没有对积分值Fn(y)而是对差分值Fn(y)-Fn_1(y)进行归一化，但是为了便利起见负责其的块30也被称作归一化的积分值确定块。

在图14的示例中，在DFT块51和闪烁生成块53之间布置了荧光灯照明判断块52。

如图28A所示，在荧光灯照明的情况下发现，由DFT块51估计和计算确定的每一级分量的级别(振幅)γm在m＝1时充分地在阈值Th之上，但是在m增加时迅速下跌。另一方面，如图28B所示，在非荧光灯照明的情况下发现，任何一级分量的级别都低于阈值Th。

在非荧光灯照明的情况下，理想的是光谱等于零。然而实际上，因为对象移动，所以从多个连续场的信号中产生的归一化的差分值gn(y)或积分值gn(y)-1不可避免地包括较小程度的频率分量。

因而，荧光灯照明判断块52判断例如m＝1时的分量级别是否超出阈值Th，如果它超出阈值Th，块52判断该照明为荧光灯照明，并把从DFT块51中获得的估计值γm和Φmn直接输出到闪烁生成块53。因此，在此情况下，执行上述闪烁减小处理。

另一方面，如果发现在m＝1时的分量级别不高于阈值Th，荧光灯照明判断块52判断该照明为非荧光灯照明，并对于所有级别m将γm的估计值减小为零。因而，在此情况下，闪烁系数Γn(y)也变为等于零，并直接从运算操作块40中输出输入视频信号In’(x，y)作为输出视频信号。

图15是在考虑到非荧光灯照明时可以使用的另一个示范性闪烁减小部分的示意性方框图。在该示例中，荧光灯照明判断块52如图14中的示例中的那样判断该照明是否为荧光灯照明。不过，如果判断该照明为非荧光灯照明，则为了直接从运算操作块40中输出输入视频信号In’(x，y)作为输出视频信号，则将检测标记COMP_OFF置位上，并停止在闪烁生成块53和运算操作块40上的处理。如果荧光灯照明判断块52判断该照明为荧光灯照明，就复位该检测标记COMP_OFF，以便按照上述方式来执行闪烁减小处理。

在图15的示例中，当在非荧光灯照明的情况下拾取一个图像时，可以不仅消除了对图像质量的不利影响，而且还降低了功率损耗。

当进行对象拍摄的人员操作相机来进行缩放、全景拍摄和/或倾斜时或作为相机抖动即操作相机的手的移动的结果时，该对象可能经常在短时期内较大程度地改变。从而，图24的公式(7)假设不保持正确，因此会降低闪烁检测精确度。

通过考虑到其中由于进行对象拍摄的人员操作或动作而导致对象在短时期内较大程度地改变的情况，使图像拾取装置具有图16所示的配置。

在图16的示例中，在图10、12和13所示的闪烁减小部分25的任何布置的闪烁生成块53和运算操作块40之间设置开关55、56和闪烁保留块57，并向开关55和56提供从系统控制器14输出的检测标记DET_OFF作为开关信号，在下文中将对该检测标记DET_OFF进行更详细地描述。

闪烁保留块57适合于保存三个场的闪烁系数Γn(y)，并在每次处理场的操作结束时存储场的闪烁系数Γn(y)用于下一场。同时，闪烁保留块57还适于在每三个场中重复地切换所读出的输出。

由系统控制器14检测由于进行对象拍摄的人员操作或动作而导致对象在短时期内较大程度地改变的情况。

例如，当进行对象拍摄的人员压下操作部分18a的缩放键时，系统控制器14经过接口19检测该键压下动作。然后，系统控制器14响应人员的缩放操作来控制对于特写图、广角图或一些其他效果的镜头驱动操作。另一方面，由相机抖动传感器17来检测人员的手的移动，并向系统控制器14发送相机抖动信息。然后，系统控制器14根据相机抖动信息来控制相机抖动校正操作。类似地，系统控制器14还检测全景拍摄(pan)操作和/或倾斜操作，从而其典型地在全景拍摄操作过程中降低相机抖动校正效果。这些检测/控制操作与普通相机的检测/控制操作并没有特别的区别。

另外，在图16的示例中，当系统控制器14检测在短时期内较大程度地改变对象的进行对象拍摄的人员部分的操作或动作时，它将检测标记DET_OFF置位。当系统控制器14没有检测到这样的操作或动作时，它复位该检测标记DET_OFF。

在其中对象并没有在短时期内较大程度地改变的普通情况下，复位该检测标记DET_OFF并将闪烁减小部分25的开关55转向闪烁生成块53的那一侧，以便这时向运算操作块40提供闪烁系数Γn(y)和执行闪烁减小处理，同时这时导通开关56以在闪烁保留块57中存储闪烁系数Γn(y)。

另一方面，在其中对象在短时期内较大程度地改变的情况下，把检测标记DET_OFF置位，并将闪烁减小部分25的开关55转向闪烁保留块57的那一侧。因此，代替从闪烁生成块53提供的显示较劣检测精确度的闪烁系数Γn(y)，从闪烁保留块57读出的显示优良检测精确度的闪烁系数Γn(y)被提供给运算操作块40。这是因为该精确的闪烁系数Γn(y)是在进行对象拍摄的人员部分上的操作或动作发生以及对象在短时期内进行较大程度的改变之前立即获得的。然后，在断开开关56以防止在闪烁保留块57中存储显示较劣检测精确度的闪烁系数Γn(y)的同时，执行闪烁减小处理。

因此，在该示例中，将闪烁检测精确度保持在较高的级别，因此，即使在其中由于进行对象拍摄的人员操作或动作而导致对象在短时期内较大程度地改变的情况下也可靠地和令人满意地减小闪烁。

另外，在该示例中，还把检测标记DET_OFF发送到归一化的积分值确定块30、DFT块51、闪烁生成块53。当由于进行对象拍摄的人员操作或动作而导致对象在短时期内较大程度地改变时，把检测标记DET_OFF置位，并暂停归一化的积分值确定块30、DFT块51、闪烁生成块53中的处理操作。这样，该示例还可以降低功率损耗。

虽然上述示例适于将当前闪烁系数Γn(y)切换到之前紧接着的信号的闪烁系数Γn(y)，可替代地还可以如此设置该示例以将上游信号例如积分值Fn(y)切换到之前紧接着的信号。

如将在下文中更详细描述的，依赖于对象拍摄的情况，闪烁减小处理可能是不必要的。在这一情况下，考虑到对图像质量的不利影响，如在非荧光灯照明的情况下拍摄对象的情况下那样，希望不执行闪烁减小处理。

首先，其中该闪烁减小处理是不必要的拍摄情况包括其中通过摄像机或能够拾取动态图像和静止图像的数字照相机来获得静止图像的那些情况。

在这样的情况下，当相机具有诸如CMOS成像元件的XY地址扫描型成像元件时，可以使图像的所有像素的曝光定时(关于开始曝光的定时和结束曝光的定时)为同时的。因此，可以防止荧光灯的闪烁出现在图像上。在其中关闭机械快门并完全阻挡入射光的情况下，可以缓慢地进行从成像元件读取数据的操作，这是因为与其中拾取动态图像的情况不同，这里对帧速率没有限制。

在图7所示实施例的情况下，根据操作部分18a中的相机操作，系统控制器14可以检测相机是否处在其中使图像的所有像素的曝光定时为同时的以获得静止图像的情况下。

其次，其中该闪烁减小处理是不必要的拍摄情况包括在户外阳光下拾取图像的那些情况，以及典型地通过调节曝光值可以使曝光时间(电子快门操作时间)等于荧光灯的亮度变化周期(1/100秒)的整数倍的那些情况。

如以上参考图14和15的示例所描述的，可以从由DFT块51提取的光谱级别来检测其中在荧光灯照明的情况下拾取图像的情况。虽然在户外阳光下拾取图像的情况可以属于非荧光灯照明的归类，但是可以由系统控制器14根据发散在对象上的光量来直接检测这一情况。

如以上所指出的，即使由使用XY地址扫描型成像元件的相机拍摄，在其中可以使曝光时间等于荧光灯的亮度变化周期(1/100秒)的整数倍的情况下，也不出现诸如图像内闪烁的荧光灯闪烁。系统控制器14可以直接检测是否通过调节曝光值使得曝光时间等于荧光灯的亮度变化周期的整数倍。

这样，如此配置该系统以便在系统控制器14判断对于该拍摄情况闪烁减小处理是不必要的时，不执行闪烁减小处理，并直接从闪烁减小部分25输出输入视频信号In’(x，y)作为输出视频信号。

图17是当考虑到由于成像情况导致闪烁减小处理是不必要的场合时可以实现的示范性图像拾取装置的示意性方框图。在图示的示例中，在闪烁减小部分25中的DFT块51与闪烁生成块53之间设置无效(nullification)块59，其由来自系统控制器14的闪烁减小开/关(ON/OFF)控制信号控制。

当系统控制器14判断必须执行闪烁减小处理时，将闪烁减小开/关控制信号置于开(ON)的状态，而且无效化块59直接向闪烁生成块53输出来自DFT块51的估计值γm和Φmn。然后，在此情况下，执行上述闪烁减小处理。

另一方面，当系统控制器14判断不必执行闪烁减小处理时，将闪烁减小开/关控制信号置于关(OFF)的状态，而且无效化块59对于所有m个级别把估计值γm减小到零。因此，在此情况下，闪烁系数Γn(y)也被减小到零，并从运算操作块40中直接输出输入视频信号In’(x，y)作为输出视频信号。

图18是当考虑到由于成像情况导致闪烁减小处理是不必要的场合时可以实现的另一示范性图像拾取装置的示意性方框图。在该示例中，形成闪烁减小部分25的运算操作块40使其包括如图11所示的加法电路41、除法电路42和开关43、44但不包括饱和级别确定电路45，而且根据来自系统控制器14的闪烁减小开/关控制信号来切换开关43和44。

当系统控制器14判断必须执行闪烁减小处理时，将开关43和44转向除法电路42的那一侧。然后，如以上所指出的，从运算操作块40输出公式(17)的运算操作结果作为输出视频信号。

另一方面，当系统控制器14判断不必执行闪烁减小处理时，将开关43和44转向另一侧，并直接从运算操作块40输出输入视频信号In’(x，y)作为输出视频信号。

另外，在图18的示例中，还向归一化的积分值确定块30、DFT块51和闪烁生成块53发送该闪烁减小开/关控制信号，以便当系统控制器14判断不必执行闪烁减小处理时，暂停归一化的积分值确定块30、DFT块51和闪烁生成块53的处理操作。这样，该示例还降低了功率损耗。

根据上述每一个示例，可以在其中有定常并稳定地产生荧光灯闪烁的状态下可靠地并有效地从输入视频信号中减小闪烁分量。

然而，根据上述每一个示例，由于计算确定多个场的平均值或差分来检测闪烁分量，所以不可能精确地检测在瞬态不稳定状态中的闪烁分量，该瞬态不稳定状态出现在荧光灯开关导通或断开时或者当对象进入或从保持在荧光灯照明的情况下的房间中出来时。因此，当基于在任何这样的情况下所获得的闪烁分量来执行闪烁减小处理时，可能按照一种并非希望的方式来校正输入视频信号。

另外，根据上述每一个实施例，虽然可以可靠和稳定地减小关于水平视角内的变化的闪烁，其中对象的水平移动、像全景拍摄和/或倾斜那样的相机操作或由进行对象拍摄的人员所导致的相机抖动可能产生该水平视角内的变化，但是关于垂直视角内的变化的闪烁减小性能略有降低，其中对象的垂直移动、像倾斜和/或缩放那样的相机操作或由进行对象拍摄的人员所导致的相机抖动会产生该垂直视角内的变化。

可以通过图16中图示的方法来消除该问题。然而，根据该方法，在一种其中对象不在短时期内进行较大程度改变的普通稳定状态与一种其中由于进行对象拍摄的人员操作或动作而导致对象在短时期内进行较大程度改变的状态之间切换闪烁系数Γn(y)，这给观察者带来不适的感觉。

另外，虽然在普通稳定状态中无法抑制外部紊乱，但是图16中图示的方法提供一种快速追随能力，因此直接对外部紊乱反应，从而在减小闪烁中产生误差。

为了减小外部紊乱的影响，可以用长的时间常量，在闪烁分量估计处理中利用LPF(低通滤波器)来进行滤波操作，以便延迟估计闪烁分量的追随能力。

然而，当以这种方式延迟追随能力时，其在转移状态中也延迟了。然后，产生这样一个问题，当在荧光灯打开或者对象进入在荧光灯照明的情况下的房间时必须执行闪烁减小处理的时候，没有快速执行该处理，或者会产生这样一个问题，当在荧光灯关掉或者对象离开在荧光灯照明的情况下的房间时不必再执行闪烁减小处理的时候，继续执行该处理。

此外，可以通过下述操作在各种情况下更灵活恰当地执行闪烁减小操作：视必要调节所检测出的闪烁分量的振幅和相位，并对于输入视频信号关于经调节的闪烁分量执行运算操作，而不是简单地对输入视频信号关于所检测出的闪烁分量执行运算操作。

在以下描述的示例中，调节估计的闪烁分量的振幅和相位，它们是与减小闪烁有关的参数。

图19图示了该示例的闪烁减小部分的基本配置。在该示例中，把从上述闪烁减小部分25的DFT块51中获得的估计的闪烁分量的振幅γm和初相位Φmn的数据带入系统控制器14，由系统控制器14中的参数控制部分14a以下述方式调节该数据，并把作为调节结果所获得的振幅γm’和初相位Φmn’的数据输入闪烁减小部分25的闪烁生成块53。

闪烁生成块53根据作为调节结果所获得的振幅γm’和初相位Φmn’来计算确定由图23中公式(2)所表达的闪烁系数Γn(y)，而不是根据从DFT块51中获得的振幅γm和初相位Φmn来计算确定该闪烁系数Γn(y)。换言之，在该示例中，用γm’和Φmn’代替图23的公式(2)中的γm和Φmn。

虽然图19中的闪烁减小部分25的归一化的积分值确定块30具有如图10所示的配置，但是该归一化的积分值确定块30另外还可以具有如图12或图13中所示的配置。

图20图示了这一布置的第一特定示例。

虽然用作参数控制部分14a的输入信号的、振幅γm和初相位Φmn的数据每个场包括总共m个集合，但是它们被概括地显示为一个集合。关于用作参数控制部分14a的输出信号的、振幅γm’和初相位Φmn’的数据也是如此。

在该示例中，把来自DFT块51的振幅γm和初相位Φmn的数据分别提供到数字LPF(低通滤波器)61和62。然后，把数字LPF 61的输出数据提供到增益调节电路(乘法电路)63，并且把增益调节电路63的输出数据作为经调节的振幅γm’的数据提供给闪烁生成块53，而把数字LPF 62的输出数据作为经调节的初相位Φmn’的数据提供给闪烁生成块53。

由时间常数定义块65定义数字LPF 61的时间常量Ta和数字LPF 62的时间常量Tp，并由增益定义块66定义增益调节电路63的增益(乘法系数)Ka。

希望该时间常量可以针对数字LPF 61和62的预定范围内任意地和连续地改变。然而，如果无法将时间常量定义成所希望的值，将其定义成接近于所希望的值就足够了。如果单个LPF无法连续地改变时间常量，可以在内部准备具有单独的时间常量Ta、Tp的多个LPF，并对这些LPF提供控制码，以便可以选择该多个LPF中的一个。

初相位Φmn在闪烁出现时周期性地波动。例如，当商业供电的交流电频率为50Hz时，相机的垂直同步频率为60Hz，初相位Φmn每三个场取相同的值，而且在一个场与之前紧接着的场之间产生如图23中公式(3)所表示的差别。

由于这个原因，就数字LPF 62而言，考虑到初相位Φmn的波动，必须为相位相同的数据提供一个LPF。如果正如上述示例中的该初相位Φmn的波动周期是三个场，则必须提供三个LPF作为数字LPF 62，而且必须把关于初相位Φmn的数据分配给这三个LPF。

另外，把振幅γm和初相位Φmn的数据以及在系统控制器14中获得的AE(自动曝光)控制信息和AWB(自动白色平衡)控制信息输入到状态检测块68。AE控制信息是关于图像亮度的信息，AWB控制信息是指示颜色温度以及照明是否为荧光灯照明的信息。

然后，从该输入信息，状态检测块68检测影响荧光灯闪烁的发生的、其中进行图像拾取操作的环境。这些环境包括其中当前成像环境在荧光灯照明下的状态，以及其中发生从在非荧光灯照明下到在荧光灯照明下的转移或反之亦然的状态，例如，其中导通或断开荧光灯开关的状态，并且根据检测结果选择控制模式。

然后，通过控制模式指示信号向时间常数定义块65和增益定义块66指示所选择的控制模式。基于接收该指示，时间常数定义块65定义数字LPF 61和62的时间常量Ta和Tb，增益定义块66定义在增益调节电路63处的增益Ka。

图22是图示状态检测块68进行状态检测时用于判断状态检测的标准。首先，当在荧光灯照明的情况下有定常并稳定地产生闪烁，估计的闪烁分量的振幅γm实质上取常量值，该估计的闪烁分量的初相位Φmn在每预定的循环周期内(当商业供电的交流电频率为50Hz和相机的垂直同步频率为60Hz时，其为3个场)取相同的值。

因此，根据这些信息片断，可以令人满意地判断闪烁是在荧光灯照明的情况下定常并稳定地产生的。

另外，由于在荧光灯照明的情况下，图像亮度以基本上恒定的循环周期进行波动，因此可以根据AE控制的亮度信息来令人满意地判断当前情况是在荧光灯照明的情况下，当该信息如此表明时。

另外，对于AWB控制，一般根据检测的颜色信息来估计光源，并判断该光源是否是荧光灯。因此，还可以根据AWB控制的光源估计信息来令人满意地判断当前情况是在荧光灯照明的情况下。

在该示例中，通过综合地在判断在过去的多个场上的信息来提高检测的精确度。

然后，如果状态检测块68判断闪烁在荧光灯照明的情况下定常并稳定地发生，则选择模式A作为控制模式，如下文中将更详细描述的。

另一方面，如果状态检测块68判断闪烁在非荧光灯照明的情况下不稳定地发生，这意味着估计的闪烁分量的振幅γm仅仅是噪声分量，其随机地在零的附近波动，而且初相位Φmn也由于噪声而随机地波动。

因此，根据这些信息片断，可以令人满意地确定在非荧光灯照明的情况下不必执行闪烁减小处理。

另外，由于在非荧光灯照明的情况下，图像亮度并不进行周期性的波动，所以根据AE控制的亮度信息可以令人满意地判断当前情况是在非荧光灯照明的情况下，当该信息如此表明时。还可以根据上述AWB控制的光源估计信息来令人满意地判断当前情况是在非荧光灯照明的情况下。

在该示例中，通过综合地判断在过去的多个场上的信息来提高检测的精确度。

然后，如果状态检测块68判断闪烁在非荧光灯照明的情况下不稳定地发生(并因此不必执行闪烁减小处理)，就选择模式B作为控制模式，如在下文中将更详细描述的。

时间常数定义块65和增益定义块66响应于状态检测块68所选择的控制模式，以下述方式选择数字LPF 61、62的时间常量Ta、Tp和增益调节电路63的增益Ka，该方式取决于系统配置和该系统应满足的要求。

首先，就数字LPF 61的时间常量Ta而言，估计的闪烁分量的振幅γm显示了基本上在模式A(在荧光灯照明的情况下有定常并稳定地出现闪烁的状态中)和模式B(在非荧光灯照明的情况下不稳定地出现闪烁的状态中)中都为常量的值，尽管它可以根据在或不在零的附近进行变化。如果它没有显示常量值，则存在外部紊乱。

因此，为了使系统对外部紊乱顽强和鲁棒，希望为数字LPF 61定义长时间常量Ta。然而，从处理从模式A到模式B或相反的控制模式转移的视点来说，希望一种快速追随能力并因而优选的是为数字LPF 61定义相对短的时间常量Ta。

简言之，就振幅γm而言，必须满足两个权衡(tradeoff)要求。然而，如图10、12或13所示，根据本发明实施例的方法基本上基于顽强对抗外部紊乱的算法。

因此，实际上，定义相对较短的时间常量Ta来强调该追随能力。最优选的是能够动态地控制时间常量Ta，以便可以使其在诸如模式A或模式B的稳定状态中相对长，以及在从模式A到模式B或相反的转移状态中相对短。

另一方面，就数字LPF 62的时间常量值Tp而言，初相位Φmn由于在模式A中(在荧光灯照明的情况下定常并稳定地出现闪烁的状态中)闪烁发生的原理而周期性地取相同的值。因此，优选的是为Tp设置足够长的时间常量，以便使该系统顽强地对抗外部紊乱。

相反，由于初相位Φmn在模式B中(在非荧光灯照明的情况下不稳定地发生闪烁的状态中)保持取随机变化的值，所以如果定义长时间常量Tp，则这样的时间常量Tp没有特别地提供任何特殊优势。具体地说，由于增益调节效应，可以在模式B中为时间常量值Tp任意地选择值，这一点在下文中将进行更详细的描述。

因此，可以如此布置使得能够在模式A和模式B之间切换时间常量值Ta或Tp。

就增益调节电路63上的增益Ka而言，由于在模式A中(在荧光灯照明的情况下定常并稳定地出现闪烁的状态中)如图22所示振幅γm实质上保持为常量值，所以基本上可以适当地将该增益Ka定义为等于1。

然而希望注意，增益Ka确定振幅γm的校正因子(从而当选择Ka＝1时，100％地输出该输入以使校正因子等于零)，而且可以通过改变增益Ka来直接控制振幅γm的校正因子。

在实际成像环境中，可能存在其中希望故意提高或降低振幅的场合。因此，可以如此设置该系统使得增益Ka并不限于1，而是可以选择大于或小于1的值。

另一方面，由于模式B中(在非荧光灯照明的情况下没有稳定地出现闪烁的状态中)的噪声振幅γm随机地取接近于零的值。因为本质上不必要在模式B中执行闪烁减小处理，所以将增益Ka保持为零，从而可以不在模式B中执行任何不必要的处理。

以上描述适用于模式A和模式B的稳定状态(其中在荧光灯照明的情况下定常并稳定地发生闪烁的状态，以及其中在非荧光灯照明的情况下不稳定地发生闪烁的状态)。在状态检测块68所检测的模式从模式A切换到模式B时，极有可能成像环境从在荧光灯照明的情况下切换到在非荧光灯照明的情况下，反之，在状态检测块68所检测的模式从模式B切换到模式A时，极有可能成像环境从在非荧光灯照明的情况下切换到在荧光灯照明的情况下。

根据图10、12或13所示根据本发明实施例的基本方法，通过确定多个场的平均值或差分值的运算操作来提取闪烁分量。因此，在上述转移状态中，被用于确定平均值或差分值的运算操作的信号串的一部分包括闪烁分量而某些其他部分不包括任何闪烁分量。

然后，作为结果，在通过确定平均值或差分值的运算操作获得的闪烁分量上产生误差，从而引起所检测的振幅γm和初相位Φmn中的误差。当根据包含误差的振幅γm和初相位Φmn来计算确定闪烁系数Γn(y)时，输出视频信号当然受到该误差的不利影响。

为了减轻该问题，增益定义块66检测控制模式的转移状态，如果有的话，并根据检测的转移状态控制增益Ka的值。

更具体地，当控制模式从模式A转移到模式B时，振幅γm和初相位Φmn的可靠性在该转移开始的时候就已经降级。因此，在该转移之后立即将增益Ka从1切换到0以停止闪烁生成块53和运算操作块40处的闪烁减小处理，或者可替代地，逐渐减小增益Ka来平滑地停止闪烁生成块53和运算操作块40处的闪烁减小处理。

相反，当控制模式从模式B转移到模式A时，振幅γm和初相位Φmn的可靠性在该转移开始的时候仍为低。因此，系统行等候直至振幅γm和初相位Φmn变得足够高，然后将增益Ka从0切换到1以执行闪烁生成块53和运算操作块40处的闪烁减小处理，或者可替代地，逐渐增加增益Ka来平滑地执行闪烁生成块53和运算操作块40处的闪烁减小处理。

图21图示了第二特定示例。

在该实施例中，在图20的结构中加入存储器部分71至74、开关75至78和状态检测块69。

在该示例中，存储器部分71存储关于振幅γm的数据，存储器部分72存储关于初相位Φmn的数据，而存储器部分73存储增益调节电路63的输出数据，存储器部分74存储数字LPF 62的输出数据。开关75至78分别根据状态检测块69的检测结果选择存储器部分71至74的输入数据或输出数据。将开关75的输出数据提供到数字LPF 61，将开关76的输出数据提供到数字LPF 62，而将开关77的输出数据输入到闪烁生成块53作为关于振幅γm’的数据，并将开关78的输出数据输入到闪烁生成块53作为关于初相位Φmn’的数据。

状态检测块69接收缩放信息和相机抖动信息作为输入。状态检测块69根据缩放信息判断是否通过缩放而在视角上发生了巨大变化，并根据相机抖动信息判断是否通过全景拍摄、倾斜和/或较大振幅的相机抖动而在视角上发生了巨大变化。

然后，状态检测块69判断没有在视角上发生了任何巨大变化，它将开关75至78分别转向与存储器部分71至74相对的那一侧。然后，一般地如图20中示例所示地执行闪烁减小处理。

另一方面，如果状态检测块69判断在视角上发生了巨大变化，它将开关75至78分别转向存储器部分71至74的那一侧。

更具体地，由于在其中在视角上发生了巨大变化的状态中，振幅γm和初相位Φmn的可靠性已经降低，所以将过去所获得并分别在存储器部分73和74中存储的振幅数据和初相位数据输入到闪烁生成块53作为振幅γm’和初相位Φmn’。

从图22中可见，由于在模式A中(在荧光灯照明的情况下定常地发生闪烁的状态中)的振幅γm和初相位Φmn是稳定的，所以使用过去的值不会发生问题。确切地，优选地积极地使用过去的值。

然而，如果在视角改变时连续地向LPF 61和62输入低可靠性的数据，在开关77和78分别转向与存储器部分73和74相对的那一侧之后，振幅γm’和初相位Φmn’将立即包含误差。

为了避免这种问题的出现，当视角上出现巨大变化时，状态检测块69不仅仅将开关77和78分别转向存储器部分73和74的那一侧，还将开关75和76分别转向存储器部分71和72的那一侧，以此避免将低可靠性的数据输入数字LPF 61和62，以便可以在控制之下将视角发生巨大改变之前所获得的高可靠性的数据输入到数字LPF 61和62。

可替代地还可以如此设置使得不依赖于缩放信息和相机抖动信息地判断振幅γm和初相位Φmn的可靠性，并把判断出的可靠性用作状态检测块69的输入信息。然后，如果该可靠性级别信息表示振幅γm和初相位Φmn的可靠性为低，则以上述方式当将开关75至78分别转向存储器部分71至74的那一侧时，使用过去所获得的高可靠性的数据。

根据上述任何示例，可以实现一种处理，该处理在荧光灯照明或非荧光灯照明情况下的稳定状态中几乎不受外部紊乱的影响，而且显示了在转移时期内优越的响应性和良好的追随能力。然后，当成像条件转移时，当视角改变时或者当闪烁检测参数的可靠性为低时，可以平滑地和恰当地执行该处理而不会带来任何不适感。

因此，通过使用在场之间出现的闪烁条纹的循环性来分离图像分量和闪烁分量、从它的频率光谱提取闪烁分量、并利用所提取的闪烁分量来校正增益可以有效地减小显示“场间周期性”的荧光灯闪烁。

在该实施例的摄像机100中，系统控制器14具有判断是否存在闪烁以及选择快门速度的功能性特征。因此，可以通过以下操作有效地避免闪烁问题：计算确定闪烁相位、从所确定的相位判断是否存在闪烁、并且选择适当快门速度，从而综合性地处理广播系统和关于所提供的交流电源频率的地理区域的组合，而不限制快门。

更具体地，摄像机100的系统控制器14根据图34所示流程图的顺序执行其控制操作。

对于初始状态，选择在快门中具有优先权的程序(program)图，其用于检测如图5A和5B所示在图像间流动的闪烁。以这样一种方式选择该优先使用的程序图，即对于60fps和30fps快门速度是n/120秒，对于50fps快门速度是n/100秒(n是整数)。

在步骤S1，控制器14利用上述方法计算确定初始状态中的闪烁相位，以提取闪烁分量。

如果检测到显示周期性的闪烁(如图5A和5B所示)，则可以在正对其进行检测操作的部分中计算确定闪烁分量。然后，在图像内任意选择的线上提取相位信息。并且控制器14进行到下一个步骤或步骤S2。

在步骤S2，控制器14判断是否存在闪烁，后面紧随着图35的流程图中所示的操作顺序。在判断是否存在闪烁的操作中，控制器14首先确定快门速度是否等于n/100秒(步骤S20)。注意，对于60fps和30fps快门速度是n/100秒，对于50fps快门速度是n/120秒(n是积分)。

如果对步骤S20中问题的回答为否，因此快门速度不等于n/100秒，则控制器14计算步骤S1中所获得的相位与在其之前一个图像周期的图像内的闪烁相位之间的差分，并判断该相位差是否等于α(步骤S21)。

如果对步骤S21中问题的回答为是，因此相位差等于α，则控制器14判断存在闪烁，并且在其结束对是否存在闪烁的判断处理之前保持关于在闪烁光源照明下的光源的判断结果(步骤S22)。

如果对步骤S20中问题的回答为是，因此快门速度等于n/100秒，则控制器14就在结束对是否存在闪烁的判断处理之前保持之前关于光源的判断结果(步骤S23)。

另外，如果对步骤S21中问题的回答为否，因此计算的相位差不等于α，控制器14就简单地结束对是否存在闪烁的判断处理。

注意，可以利用公式：电源频率/图像周期*2π(0≤α＜2π)来确定相位差α。图36显示了示例(a)、(b)和(c)，可以如下所列地进行总结：

(a)60fps(NTSC系统)：电源频率50Hz→4/3π

(b)50fps(PAL系统)：电源频率60Hz→12/5π

(c)30fps(DSC等)：电源频率50Hz→2/3π

由于视角上的变化等所以允许一些相位误差。

然后，在下一个步骤，或者步骤S3，控制器14根据步骤S2中对是否存在闪烁的判断处理的结果来判断当前环境是否在闪烁光源照明的情况下。

如果对步骤S3中问题的回答为是，因此当前环境是在闪烁光源照明的情况下，控制器14就进行到下一个步骤，或步骤S4，在其中选择用于使用不会引起任何在图像间流动的闪烁的快门速度的程序图，或者优先使用n/100的快门速度。因此，该图对于60fps和30fps快门速度是n/100秒，对于50fps快门速度是n/120秒(n是整数)。

图37A和37B分别图示了分别优先使用n/100秒的快门速度和n/120秒的快门速度的程序图。

在下一个步骤中，或步骤S5，控制器14判断由n/100秒的快门速度是否获得适当的曝光。

如果对步骤S5的回答为是，因此可以由该快门速度获得不会引起任何闪烁的适当的曝光，该处理会因为没有发生闪烁而就在这里结束。因为闪烁的影响可以忽略，所以快门速度中的n可以选择任何值。

另一方面，如果对步骤S5中问题的回答为否，因此由该快门速度不可能获得对于任何n值不引起任何闪烁的适当的曝光，控制器14进行到下一个步骤，或步骤S6。

在步骤S6中，控制器14判断是否可以以高于用于消除闪烁的边界快门速度的高快门速度获得适当曝光。

如果对步骤S6中问题的回答为是，因此可以以高快门速度获得适当曝光，则通过上述技术校正闪烁来减小闪烁。

如果对步骤S3中问题的回答为否，因此当前情况不在闪烁光源照明的情况下，控制器14进行到下一个步骤，或步骤S8。

在步骤S8，控制器14选择该优先使用产生图像间流动的闪烁以便易于检测闪烁的快门速度(n/120秒)的图表，并结束该处理。

如果对步骤S6中问题的回答为否(NO)，因此不可能以高快门速度获得适当曝光，则控制器14简单地结束该处理。

根据上述控制操作，选择对于60fps和30fps优先使用n/120秒和对于50fps优先使用n/100秒的图表。

根据上述控制操作，提高了不限制快门获得适当曝光的自由度，从而减轻了通过专利文件5(日本特开2004-222228)的技术来适当地消除/减轻闪烁的负担，同时保持该文档关于循环性闪烁的组合的技术特性，以及对于非循环闪烁在快门追随能力的范围内可以消除由于闪烁导致的水平条纹。

因此，如上所述，根据本发明的实施例，提供一种曝光控制方法，其使用通过XY地址扫描型成像元件进行对象拍摄所获得的视频信号作为输入视频信号；在不少于一个水平周期之上对输入视频信号进行积分；对积分步骤中所获得的积分值或在相邻场或帧的积分值之间的差分值进行归一化；从归一化的积分值或归一化的差分值中提取闪烁光谱；根据所提取的闪烁光谱判断在由成像元件所获得的视频信号中是否包含有闪烁分量；以及当判断该视频信号中包含闪烁分量时，使用用于优选地采用更不倾向于产生闪烁的快门速度的程序图来控制爆光值。

可以针对产生垂直流动闪烁的广播系统和电源频率的任何组合确定是否存在闪烁。

还可以根据是否存在闪烁的信息，在可以实现适当曝光的条件下，通过优先使用n/100秒或n/120秒的快门速度而避免产生闪烁。

即使不顾垂直流动的闪烁如何为了实现适当的曝光，快门速度被变化偏离n/100秒或n/120秒，也可以通过下述操作来减小闪烁：从所提取的闪烁光谱估计闪烁分量，并在所估计的闪烁分量和输入视频信号上进行运算操作以便消除所估计的闪烁分量。

如果以n/100秒或n/120秒的快门速度无法实现适当曝光，可以通过不管视角如何初始化程序图来在不关闭电源的情况下重新检测该闪烁。

当利用专利文件5(日本专利申请公开文本，公开号2004-222228)中所述技术检测和校正闪烁时，如果该闪烁在检测闪烁后没有显示任何循环性，那么该校正可能是错误的校正。然而，可以通过抑制校正系数来抑制错误校正的可能性。

如果通过判断是否出现垂直流动的分量而发现不必计算闪烁校正系数，则可以省略该计算。

本发明的实施例还适用于任何包括除了CMOS成像元件之外的XY地址扫描型成像元件的图像拾取装置。

希望本领域技术人员理解，可以在所附的权利要求或其等同的范围内根据设计需要进行各种修改、组合、次组合和改变。

本发明包含与2005年8月26日向日本专利局提交的申请号为JP2005-246746的日本专利申请相关的主题，其全文通过引用合并于此。

Claims (13)

1.一种用于包括XY地址扫描型成像元件的图像拾取装置中的曝光控制方法，该方法包括以下步骤：

在不少于一个水平周期之上，对作为输入视频信号的、利用成像元件拍摄对象所获得的视频信号进行积分；

对该积分步骤中所获得的积分值或相邻场或帧的积分值之间的差分值进行归一化；

从经归一化的积分值或经归一化的差分值中提取闪烁光谱；

基于所提取的闪烁光谱，确定在由该成像元件所获得的视频信号中是否包含有闪烁分量；以及

当确定该视频信号中包含闪烁分量时，判断当前环境是否在闪烁光源照明下，且在确定当前环境是在闪烁光源照明下时：

使用n/100秒的快门速度；

判断由n/100秒的快门速度是否获得适当的曝光；

如果由n/100秒的快门速度不能获得适当的曝光，则判断是否可以以高于用于消除闪烁的边界快门速度的快门速度获得适当曝光，如果是，则使用该高于用于消除闪烁的边界快门速度的快门速度并校正闪烁。

2.按照权利要求1所述的方法，其中，从当前所获得的闪烁光谱和一个帧以前所获得的闪烁光谱来计算在该视频信号的图像平面内的任意选择的线的闪烁相位，以及如果闪烁分量由于广播系统的场或帧频率与电源频率之间的关系导致的相位差而发生，则判断存在闪烁。

3.按照权利要求1所述的方法，其中，只要能够实现适当的曝光，就根据该图像拾取装置的帧速率初始地设置程序图，该程序图适合于优选使用对于60fps为n/120秒、对于50fps为n/100秒、对于30fps为n/120秒的快门速度，其中n是正整数。

4.按照权利要求1所述的方法，其中，只要能够实现适当的曝光，就在确定所述视频信号包含任何闪烁分量时设置如下程序图以便产生无闪烁的状态，该程序图适合于优先使用对于60fps为n/100秒、对于50fps为n/120秒、对于30fps为n/100秒的快门速度。

5.一种包括XY地址扫描型成像元件的图像拾取装置中的曝光控制装置，该装置包括：

闪烁确定装置，用于在不少于一个水平周期之上对作为输入视频信号的、利用成像元件拍摄对象所获得的视频信号进行积分；对由积分该视频所获得的积分值或相邻场或帧的积分值之间的差分值进行归一化；从经归一化的积分值或经归一化的差分值中提取闪烁光谱；以及基于所提取的闪烁光谱，确定在由该成像元件所获得的视频信号中是否包含有闪烁分量；以及

曝光值控制装置，用于当该闪烁确定装置确定该视频信号中包含闪烁分量时，判断当前环境是否在闪烁光源照明下，且在确定当前环境是在闪烁光源照明下时：

使用n/100秒的快门速度；

判断由n/100秒的快门速度是否获得适当的曝光；

如果由n/100秒的快门速度不能获得适当的曝光，则判断是否可以以高于用于消除闪烁的边界快门速度的快门速度获得适当曝光，如果是，则使用该高于用于消除闪烁的边界快门速度的快门速度并校正闪烁。

6.按照权利要求5所述的装置，其中，所述闪烁确定装置从当前所获得的闪烁光谱和一个帧以前所获得的闪烁光谱来计算在该视频信号的图像平面内的任意选择的线的闪烁相位，以及如果闪烁分量由于广播系统的场或帧频率与电源频率之间的关系导致的相位差而发生，则确定存在闪烁。

7.按照权利要求5所述的装置，其中，只要能够实现适当的曝光，所述曝光值控制装置就根据该图像拾取装置的帧速率初始地设置程序图，该程序图适合于优选使用对于60fps为n/120秒、对于50fps为n/100秒、对于30fps为n/120秒的快门速度，其中，n是正整数。

8.按照权利要求5所述的装置，其中，只要能够实现适当的曝光，当所述闪烁确定装置确定所述视频信号包含任何闪烁分量时，所述曝光值控制装置就设置如下程序图以便产生无闪烁的状态，该程序图适合于优先使用对于60fps为n/100秒、对于50fps为n/120秒、对于30fps为n/100秒的快门速度。

9.一种图像拾取装置，包括：

XY地址扫描型成像元件；

闪烁确定装置，用于在不少于1个水平周期之上对作为输入视频信号的、利用成像元件拍摄对象所获得的视频信号进行积分；对由积分该视频所获得的积分值或相邻场或帧的积分值之间的差分值进行归一化；从经归一化的积分值或经归一化的差分值中提取闪烁光谱；以及基于所提取的闪烁光谱，确定在由该成像元件所获得的视频信号中是否包含有闪烁分量；以及

曝光值控制装置，用于当该闪烁确定装置确定该视频信号中包含闪烁分量时，判断当前环境是否在闪烁光源照明下，且在确定当前环境是在闪烁光源照明下时：

使用n/100秒的快门速度；

判断由n/100秒的快门速度是否获得适当的曝光；

如果由n/100秒的快门速度不能获得适当的曝光，则判断是否可以以高于用于消除闪烁的边界快门速度的快门速度获得适当曝光，如果是，则使用该高于用于消除闪烁的边界快门速度的快门速度并校正闪烁。

10.按照权利要求9所述的装置，其中，所述闪烁确定装置从当前所获得的闪烁光谱和一个帧以前所获得的闪烁光谱来计算在该视频信号的图像平面内的任意选择的线的闪烁相位，以及如果闪烁分量由于广播系统的场或帧频率与电源频率之间的关系导致的相位差而发生，则确定存在闪烁。

11.按照权利要求9所述的装置，其中，只要能够实现适当的曝光，所述曝光值控制装置就根据待传送的视频信号的帧速率初始地设置程序图，该程序图适合于优选使用对于60fps为n/120秒、对于50fps为n/100秒、对于30fps为n/120秒的快门速度，其中n是正整数。

12.按照权利要求9所述的装置，其中，只要能够实现适当的曝光，当所述闪烁确定装置确定所述视频信号包含任何闪烁分量时，所述曝光值控制装置就设置如下程序图以便产生无闪烁的状态，该程序图适合于优先使用对于60fps为n/100秒、对于50fps为n/120秒、对于30fps为n/100秒的快门速度。

13.按照权利要求9所述的装置，还包括：

运算操作装置，用于当所述闪烁确定装置判断该视频信号包含任何闪烁分量而且所述曝光值控制装置为了实现适当曝光的目的而无法设置快门速度以便产生无闪烁的状态时，从该闪烁确定装置所提取的闪烁光谱估计闪烁分量，以及对所估计的闪烁分量和该输入视频信号执行运算操作，以便消除所估计的闪烁分量。

Images