CN104541499B - 摄像装置、集成电路以及闪烁减少方法 - Google Patents

Abstract

本发明的摄像装置(100)具备：摄像元件(102)；积分计算部(210)，其按照每帧，计算出与帧中所包含的多条水平线的每一条水平线相关的亮度值的线积分值；存储器(220)；平均计算部(230)，其在存储器(220)内的最新的帧以及与最新相比以前的多个帧间，对相同水平线的线积分值进行平均来计算出线平均值；波形数据生成部(240)，其生成波形数据，该波形数据由将存储器(220)内的线积分值基于线积分值以及线平均值进行了标准化的值构成；和闪烁提取部(250)，其基于波形数据来提取与闪烁的相位以及频率相关的信息。

Description

摄像装置、集成电路以及闪烁减少方法

技术领域

本申请涉及一种从拍摄图像的图像信号中减少因照明的忽明忽灭而在拍摄图像中呈明暗的闪烁的技术。

背景技术

在通过荧光灯(非逆变器的荧光灯)照射的环境下进行视频拍摄的情况下，由于因荧光灯的交流电源频率(50Hz、60Hz)而引起亮度信号发生变化，因此在拍摄图像中会产生明暗。该现象一般被称为闪烁。在减少闪烁的技术领域中，已知的有专利文献1以及2。

专利文献1公开了一种技术，将对帧内的每一条水平线的像素值进行积分而得到的线积分值在存储器中保存与闪烁周期和帧周期的最大公约数相当的帧数，在多个帧间，基于所对应的水平线的线积分值的平均值对线积分值进行标准化，根据标准化后的线积分值来解析闪烁。

专利文献2公开了一种技术，基于表示闪烁的相位差为180度的2个图像的相同区域的积分值的差分的波形来提取与闪烁的相位以及振幅相关的信息。

在先技术文献

专利文献

专利文献1：JP特开2004-222228号公报

专利文献2：JP特开2007-180741号公报

发明内容

发明要解决的课题

但是，对于上述的现有技术而言，已谋求更进一步提高闪烁的检测精度。此外，已谋求更进一步减少存储器使用量。

在本申请中，非限定性的例示性的实施方式提供一种能够提高闪烁的检测精度、并且能够减少存储器使用量的摄像装置。

用于解决课题的手段

为了解决上述课题，本发明的一方式包含一种摄像装置，其是从图像信号中减少在所述图像信号中包含的因照明而引起的闪烁的摄像装置，所述摄像装置包含：摄像元件，其对被摄体进行摄像而生成所述图像信号；积分计算部，其按照每帧，基于与帧中所包含的多条水平线的每一条水平线相关的图像信号来计算出与所述多条水平线的每一条水平线相关的亮度值的线积分值；存储器，其对与多个帧相关的所述线积分值进行保存；平均计算部，其在所述存储器内的最新的帧以及与最新相比以前取得的多个帧间，对相同水平线的所述线积分值进行平均来计算出线平均值；波形数据生成部，其执行将所述存储器内的所述线积分值除以相同水平线的所述线平均值后减去1的标准化处理，并生成由标准化后的值构成的波形数据；和闪烁提取部，其对从所述波形数据生成部取得的所述波形数据的值大致为零的所述多个帧内的水平线的位置进行确定，提取与所述闪烁的相位以及频率相关的信息。

上述的一般的并且特定的方式能够使用系统、方法以及计算机程序来安装，或者使用系统、方法以及计算机程序的组合来实现。

发明效果

根据本发明的一方式所涉及的摄像装置，能够实现闪烁的检测精度的提高，并且减少存储器使用量。

附图说明

图1是例示性的实施方式1的摄像装置100的方框构成图。

图2是例示性的实施方式1的闪烁减少部200的方框构成图。

图3是表示闪烁减少部200的动作的流程图。

图4是对1帧图像的线积分值处理的示意图。

图5是表示写入到存储器220中的N帧的线积分值的曲线图。

图6是说明波形数据的生成的图。

图7是说明基于波形数据提取零点的处理的图。

图8是说明基于线性近似的内分点的计算方法的图。

图9是说明基于线性回归的与闪烁的相位以及频率相关的信息的提取图。

具体实施方式

以下，说明本申请发明者所研究的问题。然后，参照附图来说明本发明的例示性的实施方式所涉及的摄像装置。

作为本发明的基础的见解如下所示。

对于现有技术而言，在闪烁的减少处理中需要闪烁和帧速率的相位吻合的帧数。该帧数是基于成为闪烁的频率和帧速率的最大公约数的频率的数。例如，在闪烁的频率是100Hz、帧速率是60fps的情况下，成为最大公约数的频率为20Hz，帧数为3(60/20)。

但是，若考虑基于高帧速率的拍摄，则例如在闪烁频率是100Hz、帧速率是240fps的情况下，成为最大公约数的频率为20Hz，但若换算成帧数则变大至12(240/20)帧。若帧速率从60fps增高至240fps，则需要4倍的帧数。

这样，在高帧速率的拍摄中，依赖于该帧速率，需要将与许多帧相关的信息保存到存储器中，存在存储器容量增大的问题。

此外，在现有技术中，基于表示闪烁的相位差为180度的2个图像的相同区域的积分值的差分的波形，来提取出与闪烁的相位以及振幅相关的信息。

但是，由于在进行动态图像拍摄的被摄体的活动、照相机主体的抖动，尤其是在被摄体沿图像的垂直方向移动的情况下，图像的亮度变化与闪烁分量重叠，难以只确定闪烁分量。尤其是仅在2个图像区域检测闪烁分量的情况下，容易导致闪烁分量的误检测。

本申请发明者们关于上述的问题点，完成了本申请发明。

本发明的一方式的概要如下所述。

作为本发明的一方式的摄像装置是从图像信号中减少在所述图像信号中包含的因照明而引起的闪烁的摄像装置，所述摄像装置具备：摄像元件，其对被摄体进行摄像而生成所述图像信号；积分计算部，其按照每帧，基于与帧中所包含的多条水平线的每一条水平线相关的图像信号来计算出与所述多条水平线的每一条水平线相关的亮度值的线积分值；存储器，其对与多个帧相关的所述线积分值进行保存；平均计算部，其在所述存储器内的最新的帧以及与最新相比以前取得的多个帧间，对相同水平线的所述线积分值进行平均来计算出线平均值；波形数据生成部，其执行将所述存储器内的所述线积分值除以相同水平线的所述线平均值后减去1的标准化处理，并生成由标准化后的值构成的波形数据；和闪烁提取部，其对从所述波形数据生成部取得的所述波形数据的值大致为零的所述多个帧内的水平线的位置进行确定，提取与所述闪烁的相位以及频率相关的信息。

在某方式中，所述闪烁提取部包含每次所述位置得以确定时进行向上计数(countup)的计数器，所述闪烁提取部确定至少3个以上的所述位置，并基于与所述计数器的值以及所述位置相关的信息，通过线性回归来提取与所述闪烁的相位以及频率相关的信息。

在某方式中，所述帧包含与所述摄像元件相关的有效像素区域的图像以及垂直消隐期间的无效像素区域的图像，每次在所述有效像素区域以及所述无效像素区域中确定所述位置时所述计数器进行向上计数。

在某方式中，在所述存储器中保存的帧数以及所述平均计算部从所述存储器中读出的帧数的至少1者根据所述摄像元件的帧速率来决定。

在某方式中，闪烁提取部通过将所述标准化后的值的标准偏差值乘以根号2倍来计算出所述闪烁的振幅。

在某方式中，所述闪烁提取部对所述波形数据执行低通滤波器处理。

在某方式中，所述闪烁提取部根据所述标准化后的值的符号的变化，基于所述符号变化前的所述标准化后的值以及所述符号变化后的所述标准化后的值来确定所述波形数据的值大致为零的所述多个帧内的水平线的位置。

作为本发明的一方式的集成电路用于从由摄像元件摄像到的图像信号中减少在所述图像信号中包含的因照明而引起的闪烁，所述集成电路构成为：按照每帧，基于与帧中所包含的多条水平线的每一条水平线相关的图像信号来计算出与所述多条水平线的每一条水平线相关的亮度值的线积分值，在最新的帧以及与最新相比以前取得的多个帧间，对相同水平线的所述线积分值进行平均来计算出线平均值，执行将所述线积分值除以相同水平线的所述线平均值后减去1的标准化处理，并生成由标准化后的值构成的波形数据，对从所述波形数据生成部取得的所述波形数据的值大致为零的所述多个帧内的水平线的位置进行确定，提取与所述闪烁的相位以及频率相关的信息。

在某方式中，所述集成电路还具备存储器，

所述存储器对与多个帧相关的所述线积分值进行保存。

作为本发明的一方式的闪烁减少方法从由摄像元件摄像到的图像信号中减少在所述图像信号中包含的因照明而引起的闪烁，所述闪烁减少方法包括：按照每帧，基于与帧中所包含的多条水平线的每一条水平线相关的图像信号来计算出与所述多条水平线的每一条水平线相关的亮度值的线积分值的工序；在最新的帧以及与最新相比以前取得的多个帧间，对相同水平线的所述线积分值进行平均来计算出线平均值的工序；执行将所述线积分值除以相同水平线的所述线平均值后减去1的标准化处理，并生成由标准化后的值构成的波形数据的工序；和对从所述波形数据生成部取得的所述波形数据的值大致为零的所述多个帧内的水平线的位置进行确定，提取与所述闪烁的相位以及频率相关的信息的工序。

(实施方式1)

以下，说明本发明的实施方式1。

[摄像装置100的构成]

图1是本实施方式的摄像装置100的方框构成图。摄像装置100对被摄体进行拍摄，对拍摄到的图像进行处理并记录到记录介质等中。例如，摄像装置100是数字摄像机或数字静态照相机。

摄像装置100具备光学系统101、摄像元件102、控制器103、AFE(模拟前端)部104、光学系统驱动器105、摄像元件(IS)控制部106、数字信号处理部107和存储器110。

在此，参照图1对各构成要素的详细情况进行说明。

光学系统101具有包含光圈、手抖动校正透镜以及变焦透镜或聚焦透镜的多个透镜组。通过使变焦透镜沿着光轴进行移动，能够进行被摄体像的放大、缩小。此外，通过使聚焦透镜沿着光轴进行移动，能够调整被摄体像的合焦位置。另外，构成光学系统101的透镜数根据所需要的功能适当决定。

摄像元件102例如是CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器。摄像元件102将由光学系统101在摄像面上成像的光变换成电信号而生成模拟图像信号。摄像元件102将所生成的模拟图像信号输出到AFE部104。摄像元件102进行例如线曝光、转送的各种动作。线曝光也被称为滚动快门(rolling shutter)。

控制器103由半导体元件等构成。控制器103既可以仅由硬件构成，也可以通过将硬件和软件进行组合来予以实现。控制器103能够通过微型计算机等来实现。控制器103对摄像装置100整体进行控制。

AFE部104接受控制器104的控制，对从摄像元件102输出的模拟图像信号，实施例如基于CDS(Correllated Double Sampling)的噪声去除这样的模拟信号处理，并将处理后的模拟图像信号变换成数字图像信号。

光学系统驱动器105接受控制器103的指示，对包含在光学系统101中的光圈、变焦透镜以及聚焦透镜进行驱动。

摄像元件控制部(IS控制部)106接受控制器103的指示，对摄像元件102进行控制。

数字信号处理部107能够通过例如数字信号处理器(DSP)来实现。数字信号处理部107包含闪烁减少部200、信号处理部108和压缩编码部109。

数字信号处理部107对从AFE部104输出的数字图像信号实施数字信号处理，来生成摄像装置100的输出图像文件。

在通过荧光灯照射的环境下进行拍摄时，闪烁减少部200减少因照明的忽明忽灭而在拍摄图像中呈明暗地产生的、包含在从AFE部104输出的数字图像信号中的闪烁分量。闪烁减少部200的构成的详细情况在后面叙述。

信号处理部108对从闪烁减少部200输出的数字图像信号，实施例如伽玛校正、白平衡校正、缺陷校正、按照输出图像形式的图像格式的变换的各种处理。

压缩符号部109，对从信号处理部108输出的数字图像信号，通过例如遵循H.264标准或MPEG2标准的压缩形式进行压缩。

存储器110由闪存、强电介质存储器等构成。存储器110能够保存由数字信号处理部107生成的图像文件等数据。

[闪烁减少部200的构成]

参照图2来说明闪烁减少部200的方框构成。

图2是本实施方式的闪烁减少部200的方框构成。

闪烁减少部200包含积分计算部210、内部存储器220、平均计算部230、波形数据生成部240、闪烁提取部250、闪烁系数推算部260和校正部270。

积分计算部210包含抽样部211以及线积分计算部212。闪烁提取部250包含滤波器处理部251、零点提取部252、线性近似推算部253以及振幅推算部254。

上述的各构成要素可以作为硬件来安装。例如，在闪烁减少部200是为了摄像装置100设计、制造的专用的集成电路芯片的情况下，上述的各构成要素能作为闪烁减少部200内的独立的集成电路来安装。

或者，闪烁减少部200也可以作为发挥各构成要素的功能的通用的处理器来实现。例如，也可以在处理器内部的存储器中，安装发挥各构成要素的功能的计算机程序，通过处理器依次执行计算机程序，来实现各构成要素的功能。

或者，闪烁减少部200也可以通过硬件与软件的组合来实现。

[摄像装置100的动作]

首先，在说明了摄像装置100的动作的概要之后，说明安装于摄像装置100的闪烁减少部200的动作。

摄像元件102将由光学系统101在摄像面上成像的光变换成电信号，生成模拟图像信号。

接着，AFE部104对从摄像元件102输出的模拟图像信号实施模拟信号处理，并将处理后的模拟图像信号变换成数字图像信号。

接着，数字信号处理部107的闪烁减少部200减少包含在从AFE部104输出的数字图像信号中的闪烁分量。

接着，数字信号处理部107的信号处理部108对从闪烁减少部200输出的数字图像信号，实施伽玛校正、白平衡校正、缺陷校正、按照输出图像形式的图像格式的变换的各种处理。

接着，数字信号处理部107的压缩符号部109，对从信号处理部108输出的数字图像信号，通过例如遵循H.264标准或MPEG2标准的压缩形式进行压缩，形成压缩图像文件。控制器103将压缩图像文件写入到存储器110中。

接着，参照图3～9来说明闪烁减少部200的动作。

图3是表示闪烁减少部200的动作的流程图。

抽样部211提取构成输入图像的1帧的多条水平线的一部分。以后，有时将抽样部211的线提取的动作称为“抽取”(间隔提取)。

抽样部211将与提取后的水平线相关的数字图像信号输出到线积分计算部212(步骤S101)。例如，抽样部211将与每8条线的水平线相关的数字图像信号输出到线积分计算部212。

接着，线积分计算部212基于与提取出的水平线相关的数字图像信号来计算出该水平线的像素值(亮度值)的线积分值(步骤S102)。线积分计算部212将所计算出的线积分值写入到存储器220中。线积分值是对在水平线中存在的各像素的亮度值进行累计而得到的值。

图4是对1帧图像的线积分值处理的示意图。如图4所示，1帧图像包含有效像素区域以及无效像素区域。无效像素区域一般被称为垂直消隐(blanking)期间。线积分计算部212依次计算出1帧的与所提取出的水平线相关的亮度值的线积分值。此时，线积分计算部212不计算位于垂直消隐期间内的水平线的像素值的线积分值。

接着，线积分计算部212，将所计算出的水平线的像素值的线积分值写入到存储器220中(步骤S103)。线积分计算部212若将与最初帧(图4的帧1)相关的水平线的像素值的线积分值写入到存储器220中，则将与下一帧相关的水平线的像素值的线积分值写入到存储器220中。

图5是表示写入到存储器220中的N帧的线积分值的曲线图。纵轴表示线积分值Iy，横轴表示存在于帧1到N中的连续的水平线的编号。

在此，参照图5(a)来说明存在于帧1到N中的连续的水平线的编号。图5(a)表示有效像素区域的水平线数为720的、第1帧的输入图像帧1和第2帧的输入图像帧2。将位于输入图像帧1的开头的水平线设为第0条水平线。由于通过抽样部211按照每8条线来提取水平线，因此接下来保存到存储器220中的水平线成为第7条水平线。以后，按照每8条线来分配编号。

接着，对位于输入图像帧2的开头的水平线分配第720号。输入图像帧3以后也同样地分配水平线的编号。位于输入图像帧N的开头的水平线被分配第720×(N-1)条。

由于通过抽样部211来抽取水平线，因此如图5(b)所示，各线积分值被绘制于离散的水平线编号的位置。

线积分计算部212将给定帧数N的水平线的像素值的线积分值写入到存储器220中(步骤S104)。所说的给定帧数N例如为10。线积分计算部212直到到达给定帧数N为止，反复步骤S101到S103的处理。

这样，无需取得与构成帧的所有的水平线相关的像素值的线累计值，存储器220只要具有能够保存由抽样部211提取出的一部分水平线的像素值的线累计值的容量即可。结果，能够减小存储器大小。

接着，平均计算部230在存储器220内的最新的帧(帧N)以及与最新相比以前取得的多个帧(帧1到N-1)之间，将相同水平线的线积分值进行平均，来计算出线平均值(步骤S105)。

如图4所示，平均计算部230对帧1到N间的同一水平线的线积分值进行累计，将累计出的线积分值除以帧数N来计算出线平均值。平均计算部230计算出全部与存在于存储器220上的水平线相关的线平均值，并将所计算出的线平均值发送到波形数据生成部240。

接着，波形数据生成部240执行将存储器220内的线积分值除以相同水平线的线平均值后减去1的标准化(normalize)处理，生成由标准化后的值构成的波形数据(步骤S106)。

波形数据生成部240通过下述的数式1对存储器220内的线积分值进行标准化。

[数式1]

在此，Imy(i)表示1帧内的第i个线平均值，Iy(i，j)表示J帧内的第i条水平线的线累计值。V(i，j)是将Iy(i，j)进行了标准化的值。J的值与保存在存储器220内部的帧数相对应为1～N的值。i的值与1帧内的水平线数相对应，例如，若有效像素区域的线数为720，则i的值为0至719的值。但是，由于通过抽样部211来抽取水平线，因此i的值为0至719间的离散值。

图6是说明波形数据的生成的图。在此，首先，参照图6(a)来说明基于数式1的线积分值的标准化。如图6(a)所示，典型而言，可以想到闪烁的亮度信号与帧整体的亮度平均值Iave重叠。因此，通过将闪烁的亮度信号所重叠的各像素值的亮度值I除以亮度平均值Iave，并减去1，能够再现具有与闪烁波形相同频率以及初始相位的波形。

图6(b)的纵轴表示线积分值Iy(i，j)，横轴表示存在于帧1到N中的连续的水平线的编号。图6(b)分别表示线积分值Iy(0，1)、线积分值Iy(0，2)、线积分值Iy(0，3)的点。这3点示出了保存在存储器220内部的、与1帧、2帧、3帧间的第0条水平线相关的像素值的线积分值。

波形数据生成部240，利用数式1对保存在存储器220内部的、与存在于帧1到N中的水平线相关的线累计值Iy(i，j)进行标准化。图6(c)的纵轴表示标准化后的线积分值V(i，j)，横轴表示存在于帧1到N中的连续的水平线的编号。图6(c)表示利用数式1分别对线积分值Iy(0，1)、线积分值Iy(0，2)、线积分值Iy(0，3)进行了标准化的值即V(0，1)、V(0，2)、V(0，3)。

若绘制标准化后的值V(i，j)的所有的点，并用线将点进行连接，则得到图6(c)所示那样的周期性的波形。图6(c)所示的波形表示了因照明的忽明忽灭而产生的闪烁波形。如上所述，由于抽样部211按照每8条线来提取水平线，因此波形数据生成部240在帧1到N间，通过8条线的抽样间隔，从而再现具有与闪烁波形相同频率以及初始相位的波形。

波形数据生成部240将所得到的波形数据输出到后级的闪烁提取部250。

接着，闪烁提取部250确定从波形数据生成部240取得的波形数据的值大致为零的多个帧内的水平线的位置(编号)，提取与闪烁的相位以及频率相关的信息(步骤S107至S108)。

在波形数据生成部240再现具有与闪烁波形相同频率以及初始相位的波形时，有时被摄体的活动等会产生影响。这是由于与闪烁同样地，被摄体的活动也作为亮度值的明暗的变化而被摄像元件102抽样的缘故。

闪烁提取部250内的滤波器处理部251，对从波形数据生成部240取得的波形数据执行低通滤波器处理。低通滤波器可设计为能够去掉因被摄体的活动而产生的亮度值的明暗的变化(频率)。由此，在再现具有与闪烁波形相同频率以及初始相位的波形时，能够减少被摄体的活动等的影响。

零点提取部252，基于低通滤波器处理后的波形数据，来确定波形数据值V大致为零的、帧1到N间的水平线的位置(步骤S107)。

图7是说明基于波形数据来提取零点的处理的图。图7的波形的横轴表示存在于帧1到N中的连续的水平线的坐标Y。水平线的坐标Y相当于已经说明过的水平线的编号。如图7所示，零点提取部252，在低通滤波器处理后的波形中，对波形数据值V大致为零的次数进行计数，并且计算出波形数据值V为零的坐标Y。

由于抽样部211提取水平线，因而波形数据生成部240所输出的波形数据不一定包含低通滤波器处理后的波形中波形数据值V大致为零的坐标Y的数据。因此，零点提取部252根据标准化后的值的符号的变化，基于符号变化前的标准化后的值以及符号变化后的标准化后的值，来确定波形数据的值大致为零的多个帧内的水平线的位置(内分点)。

图8是说明通过线性近似来计算出波形数据值V大致为零的水平线的坐标Y的计算方法的图。零点提取部252，监视波形数据值V的符号的变化。零点提取部252若检测到符号的变化，则使用符号变化前后的相邻的2个波形数据值(Y0，V0)以及(Y1，V1)，由数式2通过线性近似来计算出波形数据值V大致为零的内分点的坐标Y。

[数式2]

V0、V1分别表示相邻的2个波形数据值V，Y0、Y1表示坐标Y。

再次参照图7。在图7所示的波形例中，零点提取部252确定20、371、720、1419、1771、2120作为波形数据值V大致为零的坐标Y。

如上所述，线积分计算部212不计算位于垂直消隐期间的水平线的像素值的线积分值。因此，无效像素区域中的坐标Y以及波形数据值V不存在。此外，垂直消隐期间较长时，无效像素区域也较宽，所以有时使用了数式2的线性近似中实际上不能得到波形数据值V大致为零的坐标。因此，零点提取部252，不确定无效像素区域中的波形数据值V大致为零的坐标Y。

在本实施方式中，零点提取部252在内部包含计数器255，计数器255对波形数据值V为零的次数进行计数。此外，零点提取部252包含无效像素区域在内将波形数据值V大致为零的情况通知给计数器255。另外，包含无效像素区域的理由在后面叙述。

在图7所示的示例中，在低通滤波器处理后的波形中，波形数据值V为零的次数是8次。计数器255响应于来自零点提取部252的通知将无效像素区域也包含在内进行向上计数。计数器的初始值为“0”。零点提取部252若确定坐标Y20，则将波形数据值V大致为零的情况通知给计数器255，响应于此，计数器255使计数器值变为“1”。以后，计数器值变为“2”、“3”。计数器255接到在无效像素区域中波形数据值V大致为零的通知，使计数器值向上计数为“4”。

零点提取部252将波形数据值V大致为零的坐标Y、与除了关于无效像素区域的计数器值以外的计数器值(除了图7的计数器值“4”和“8”以外)建立了关联的信息，输出到后级的线性近似推算部253。

接着，线性近似推算部253基于从零点提取部252输出的信息，通过线性回归来提取与闪烁的相位以及频率相关的信息(步骤S108)。

图9是说明基于线性回归提取与闪烁的相位以及频率相关的信息的图。图9的横轴表示坐标Y，纵轴(m轴)表示计数器255的计数器值。线性近似推算部253，基于从零点提取部252输出的信息中包含的至少3个坐标Y以及计数器值的组，通过线性回归来计算出直线的倾斜度以及m轴的截距的值。

如图9所示，在1周期的波形中包含的水平线数相当于波形的周期T。直线的倾斜度成为波形的周期T的倒数。因此，直线的倾斜度表示闪烁的频率f。此外，m轴的截距的值表示帧的初始相位。这样，线性近似推算部253通过计算出直线的倾斜度以及m轴的截距的值，从而能够提取与闪烁的相位以及频率相关的信息。

有时因被摄体的活动、照相机主体的抖动而引起的亮度值的明暗的变化会对闪烁波形造成影响。在以特定频率进行振动的闪烁波形中，振幅为零的点周期性地产生。若将振幅为零的位置及其次数绘制在坐标上则具有在直线上排列这样的性质。

在此，说明计数器255包含无效像素区域在内进行向上计数动作的理由。倘若计数器255不包含无效像素区域而进行向上计数动作，则例如，图7所示的坐标Y为1419的点的计数值会成为“4”。在该情况下，周期性崩溃，即使绘制坐标Y为1419、计数器值为“4”的点也不会在直线上排列。以后的点(坐标Y为1771、2120的点)也会从直线上偏离。计数器255包含无效像素区域在内进行向上计数动作的理由是为了避免这样的偏离(周期性的崩溃)。

在由波形数据生成部240再现的波形中，振幅为零的点也周期性地产生。波形数据值V大致为零的坐标Y存在，若将坐标Y与计数器值的组在坐标上进行绘制则在直线上排列。对通过坐标Y以及计数器值来确定的各坐标点进行线性近似，由此即使在波形数据的各个点受到被摄体的活动、照相机主体的抖动的影响而散乱的情况下，作为波形数据整体也能够提取闪烁的信息。结果，即使在从输入图像帧抽取了水平线的情况下，也能够使闪烁的检测精度得到提高。

而且，在本实施方式中，闪烁提取部250内的滤波器处理部251，对从波形数据生成部240取得的波形数据执行低通滤波器处理。结果，能够减少波形数据值V大致为零的坐标Y附近的零点的产生，使闪烁的检测精度进一步得到提高。

振幅推算部254，计算波形数据值V的标准偏差σ。振幅推算部254通过数式3来计算出闪烁的振幅A(步骤S108)。

[数式3]

在此，σ是波形数据值V的标准偏差。

接着，闪烁系数推算部260基于来自闪烁提取部250的闪烁的信息(频率、相位、振幅)，来求取输入到闪烁减少部210的当前的输入图像I所对应的闪烁系数(步骤S109)。

接着，校正部270基于来自闪烁系数推算部260的闪烁系数，对当前的输入图像I进行闪烁减少处理(步骤S110)。更具体来说，校正部270通过将输入图像I除以对闪烁系数加1而得到值，来进行从输入图像I中减少闪烁的处理。校正部270将处理后的图像数据输出到后级的信号处理部108。

对闪烁减少部210所进行的闪烁系数的更新的定时的示例进行说明。

闪烁系数在给定定时进行更新。所谓的给定定时例如是每12帧。闪烁减少部210基于构成动态图像流的连续帧之间的一部分的帧、即最初的1到12帧来计算出闪烁系数A。在13帧到24帧之间，校正部270使用闪烁系数A来进行从输入图像I中减少闪烁的处理。在接下来的25到36帧之间，校正部270使用基于13到24帧的闪烁系数B来进行从输入图像I中减少闪烁的处理。

根据本发明的一方式，在减少闪烁时，减少被摄体的活动、照相机主体的抖动的影响，因而能够增加解析中使用的帧数而使闪烁的检测精度得到提高，并且能够减少存储器使用量。

(其他的变形例)

在上述实施方式1中，示出了具有闪烁减少部210的设备是摄像装置的示例。但是，本发明的一方式并不限定于此，例如具有闪烁减少部210的设备也可以是录像机。

在实施方式1中，示出了线积分计算部212计算出水平线的像素值的线积分值的示例。但是，本发明的一方式并不限定于此，线积分计算部212也可以通过计算出水平线的像素值的线积分值，并用线积分值除以水平线的像素数来计算出线积分值的平均值。

在实施方式1中，线积分值是将存在于水平线中的各像素的亮度值进行累计而得到的值。但是，本发明的一方式并不限定于此。例如，线积分计算部212即可以仅对与1水平线内的满足给定条件的像素相关的亮度值进行积分来计算出线积分值，也可以用该线积分值除以满足给定条件的像素数来进行标准化。若以12比特来表示亮度值，则所谓的给定条件指的是例如像素的亮度值处于从下限值204到上限值3481的范围内。通过设为下限值以上，能够去掉SN比(signal t0Noise，信噪比)不好的像素，而通过设为上限值以下，能够去掉有可能饱和的像素。因此，能够期待与闪烁的频率、相位、振幅相关的信息的检测精度得到提高。

在实施方式1中，也可以在闪烁提取部210所提取出的闪烁的振幅为给定值以下的值的情况下，校正部270不执行闪烁的减少处理。结果，能够减少校正部270中的功率消耗。

在实施方式1中，摄像元件120是CMOS传感器，但本发明的一方式并不限定于此。例如，也可以是CCD(Charge Coupled Device，电荷耦合设备)传感器。CCD传感器是全局快门式的图像传感器，能够减少因全局快门而引起的帧间产生的闪烁。

在实施方式1中，闪烁减少部210的输入图像是从AFE部104输出的数字图像信号。该数字图像信号是RAW数据，例如是12比特宽的信号。但是，本发明的一方式并不限定于此，闪烁减少部210的输入图像也可以是例如遵循H.264标准进行了压缩的压缩图像数据。压缩图像数据例如是8比特宽的信号。压缩图像数据的比特宽与RAW数据的比特宽相比较小，因此闪烁的检测精度会降低一些，但还是能够从压缩图像数据中减少闪烁。

这样，在闪烁减少部210处理压缩图像数据的情况下，本发明的一方式也能够应用于安装在云端服务器上的存储器内的计算机程序。

云端服务器的利用者将压缩图像数据(运动图像数据)上传到云端服务器上。云端服务器的计算机执行安装在存储器中的计算机程序，从包含闪烁分量的运动图像数据中去除闪烁分量。利用者通过下载处理后的运动图像数据，从而能够得到去除了闪烁分量的运动图像数据。

本发明的一方式也能够用于对实施方式1的闪烁的减少处理进行规定的软件(计算机程序)。这样的计算机程序中规定的动作例如如图3所示。这样的计算机程序除了能够记录在可移动式记录介质中来提供，也能够通过电信线路来提供。通过内置于计算机的处理器执行这样的计算机程序，从而能够实现在实施方式1中说明的各种动作。

工业实用性

作为本发明的一方式所涉及的摄像装置，当从拍摄图像的图像信号中减少因照明的忽明忽灭而在拍摄图像中呈明暗地产生的闪烁时很有用。

符号说明

100 摄像装置

101 光学系统

102 摄像元件

103 控制器

104 AFE部

105 光学系统驱动器

106 IS控制部

107 数字信号处理部

108 信号处理部

109 压缩编码部

110 存储器

200 闪烁减少部

210 积分计算部

211 抽样部

212 线积分计算部

220 存储器

230 平均计算部

240 波形数据生成部

250 闪烁提取部

251 滤波器处理部

252 零点提取部

253 线性近似部

254 振幅推算部

255 计数器

260 闪烁系数推算部

270 校正部

Claims (10)

1.一种摄像装置，其是从图像信号中减少在所述图像信号中包含的因照明而引起的闪烁的摄像装置，

所述摄像装置具备：

摄像元件，其对被摄体进行摄像而生成所述图像信号；

积分计算部，其按照每帧，基于与帧中所包含的多条水平线的每一条水平线相关的图像信号来计算出与所述多条水平线的每一条水平线相关的亮度值的线积分值；

存储器，其对与多个帧相关的所述线积分值进行保存；

平均计算部，其在所述存储器内的最新的帧以及与最新相比以前取得的多个帧间，对相同水平线的所述线积分值进行平均来计算出线平均值；

波形数据生成部，其执行将所述存储器内的所述线积分值除以相同水平线的所述线平均值后减去1的标准化处理，并生成由标准化后的值构成的波形数据；和

闪烁提取部，其对从所述波形数据生成部取得的所述波形数据的值大致为零的所述多个帧内的水平线的位置进行确定，提取与所述闪烁的相位以及频率相关的信息。

2.根据权利要求1所述的摄像装置，其中，

所述闪烁提取部包含每当所述位置被确定时进行向上计数的计数器，

所述闪烁提取部确定至少3个以上的所述位置，并基于与所述计数器的值以及所述位置相关的信息，通过线性回归来提取与所述闪烁的相位以及频率相关的信息。

3.根据权利要求2所述的摄像装置，其中，

所述帧包含与所述摄像元件相关的有效像素区域的图像以及垂直消隐期间的无效像素区域的图像，

每当在所述有效像素区域以及所述无效像素区域中所述位置被确定时，所述计数器进行向上计数。

4.根据权利要求1～3中任一项所述的摄像装置，其中，

在所述存储器中保存的帧数以及所述平均计算部从所述存储器中读出的帧数的至少1者，根据所述摄像元件的帧速率来决定。

5.根据权利要求1～3中任一项所述的摄像装置，其中，

闪烁提取部通过将所述标准化后的值的标准偏差值乘以根号2倍来计算出所述闪烁的振幅。

6.根据权利要求1～3中任一项所述的摄像装置，其中，

所述闪烁提取部对所述波形数据执行低通滤波器处理。

7.根据权利要求1所述的摄像装置，其中，

所述闪烁提取部根据所述标准化后的值的符号的变化，基于所述符号变化前的所述标准化后的值以及所述符号变化后的所述标准化后的值来确定所述波形数据的值大致为零的所述多个帧内的水平线的位置。

8.一种集成电路，其用于从由摄像元件摄像到的图像信号中减少在所述图像信号中包含的因照明而引起的闪烁，

所述集成电路构成为：

按照每帧，基于与帧中所包含的多条水平线的每一条水平线相关的图像信号来计算出与所述多条水平线的每一条水平线相关的亮度值的线积分值，

在最新的帧以及与最新相比以前取得的多个帧间，对相同水平线的所述线积分值进行平均来计算出线平均值，

执行将所述线积分值除以相同水平线的所述线平均值后减去1的标准化处理，并生成由标准化后的值构成的波形数据，

对所生成的所述波形数据的值大致为零的所述多个帧内的水平线的位置进行确定，提取与所述闪烁的相位以及频率相关的信息。

9.根据权利要求8所述的集成电路，其中，

所述集成电路还具备存储器，

所述存储器对与多个帧相关的所述线积分值进行保存。

10.一种闪烁减少方法，其从由摄像元件摄像到的图像信号中减少在所述图像信号中包含的因照明而引起的闪烁，

所述闪烁减少方法包括：

按照每帧，基于与帧中所包含的多条水平线的每一条水平线相关的图像信号来计算出与所述多条水平线的每一条水平线相关的亮度值的线积分值的工序；

在最新的帧以及与最新相比以前取得的多个帧间，对相同水平线的所述线积分值进行平均来计算出线平均值的工序；

执行将所述线积分值除以相同水平线的所述线平均值后减去1的标准化处理，并生成由标准化后的值构成的波形数据的工序；和

对所生成的所述波形数据的值大致为零的所述多个帧内的水平线的位置进行确定，提取与所述闪烁的相位以及频率相关的信息的工序。