CN102595028A - 图像处理装置、图像捕获装置、图像处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理装置、图像捕获装置、图像处理方法和程序。一种图像处理装置包括：检测单元，该检测单元检测第一图像数据和在时间轴上与第一图像数据连续的第二图像数据之间的像的移动量，第一图像数据构成由图像捕获元件产生的图像数据，该图像捕获元件被设置有产生用于产生图像的像素值的多个图像产生像素和产生用于通过相差检测执行聚焦确定的像素值的多对相差检测像素，其中，所述像的移动量是当缺陷像素是一对相差检测像素中的一个相差检测像素时该对相差检测像素的像的移动量；以及校正单元，该校正单元基于检测到的移动量和对应于缺陷像素的第一图像数据中的一个相差检测像素的像素值来校正第二图像数据中的缺陷像素的像素值。

Description

图像处理装置、图像捕获装置、图像处理方法和程序

技术领域

本公开涉及图像处理装置，更具体地涉及校正像素值的图像处理装置、图像处理方法和用于使计算机执行该方法的程序。

背景技术

近年来，使用图像捕获元件捕获诸如人的被摄体的图像、产生捕获的图像并存储产生的捕获图像的诸如数字静止照相机的图像捕获装置得到了广泛的使用。作为图像捕获元件，这样一种元件已经得到了普及：其中，滤色器按照Bayer布置设置在置于光接收面上的像素上。

近年来，根据图像捕获装置的多功能和高图像质量，已经研究了设置有除了设置在图像捕获元件中的用于产生图像的像素以外的像素的图像捕获元件，或者设置有被设有除了使用Bayer布置的滤色器(R、G和B)以外的滤色器的像素的图像捕获元件。例如，研究这样一种图像捕获元件：其中，现有技术的用于产生图像的像素(图像产生像素)和用于多功能的新像素被设置在同一图像捕获元件中。

例如，作为被设有这样的图像捕获元件的图像捕获装置，已经提出一种图像捕获装置：其中，对穿过图像捕获透镜的光执行光瞳分割的像素(相差检测像素)被设置在图像捕获元件中(例如，参见日本未审专利申请公开No.2009-145401)。图像捕获装置通过为图像捕获元件提供相差检测像素来形成一对图像，所述相差检测像素阻挡由光接收元件接收的被摄体的光的一半以执行光瞳分割，并且图像捕获装置测量形成的这一对图像之间的距离以计算焦点的偏离量。图像捕获装置基于计算出的焦点的偏离计算图像捕获透镜的移动量，并基于计算出的移动量调整图像捕获透镜的位置以执行聚焦控制。

发明内容

在上述的现有技术中，由于相差检测像素和图像产生像素的两种像素被设置在一个图像捕获元件中，因此不必为图像捕获装置分别提供用于焦点检测的图像捕获元件和用于图像捕获的图像捕获元件的两种图像捕获元件。

在上述的现有技术中，当在相差检测像素中存在缺陷像素时，从靠近缺陷像素的相差检测像素(相差检测像素接收在与缺陷像素的方向相同的方向上经过光瞳分割的光)的像素值的平均值校正该缺陷像素的像素值。但是，可以假设，在高频图像中的边缘的位置处存在缺陷像素，或者存在缺陷像素密集地填满的区域。在这种情况下，由于高频成分或缺陷像素导致的影响而难以适当地执行校正，并且校正的精度会降低。即使在这种情况下，适当地校正相差检测像素的缺陷像素也是重要的。

希望提高校正相差检测像素中的缺陷像素的像素值的精度。

根据本公开的第一实施例，提供一种图像处理装置及其图像处理方法和用于使计算机执行该方法的程序，该图像处理装置包括：检测单元，该检测单元检测第一图像数据和在时间轴上与第一图像数据连续的第二图像数据之间的像的移动量，第一图像数据构成由图像捕获元件产生的图像数据，该图像捕获元件被设置有产生用于产生图像的像素值的多个图像产生像素和产生用于通过相差检测执行聚焦确定的像素值的多对相差检测像素，其中，所述像的移动量是当缺陷像素是一对相差检测像素中的一个相差检测像素时该对相差检测像素的像的移动量；以及校正单元，该校正单元基于检测到的移动量和对应于缺陷像素的第一图像数据中的一个相差检测像素的像素值来校正第二图像数据中的缺陷像素的像素值。使用这样的配置，当该对相差检测像素包括缺陷像素并且该缺陷像素是该对相差检测像素中的一个相差检测像素时，基于第一图像数据和第二图像数据之间的一个相差检测像素的像的移动量和第一图像数据中的一个相差检测像素的像素值来校正第二图像数据中的该缺陷像素的像素值。

在第一实施例中，第二图像数据可以是在时间轴上在第一图像数据后产生的图像数据。使用这样的配置，第二图像数据作为在第一图像数据之后捕获的图像数据被捕获。

在这种情况下，图像处理装置还可以包括计算单元，其基于相差检测像素的像素值通过相差检测计算散焦量，并且检测单元可以基于从第一图像数据中的相差检测像素的像素值计算出的散焦量来检测移动量。使用这样的配置，基于从第一图像数据中的相差检测像素的像素值计算出的散焦量来检测一个相差检测像素的像的移动量。

在这种情况下，检测单元可以基于第一图像数据中的另一相差检测像素的图像和第二图像数据中的另一相差检测像素的图像之间的距离来计算另一相差检测像素的像的移动量，并且可以基于计算出的另一相差检测像素的像的移动量来检测一个相差检测像素的像的移动量。使用这样的配置，基于第一图像数据中的另一相差检测像素的图像和第二图像数据中的另一相差检测像素的图像之间的距离来计算另一相差检测像素的像的移动量，并且可以基于计算出的另一相差检测像素的像的移动量来检测一个相差检测像素的像的移动量。

在这种情况下，图像处理装置还可以包括计算单元，其基于相差检测像素的像素值通过相差检测计算散焦量，其中，检测单元可以基于第一图像数据中的另一相差检测像素的图像和第二图像数据中的另一相差检测像素的图像之间的距离来计算另一相差检测像素的像的移动量，并且可以基于另一相差检测像素的像的移动量和从第一图像数据中的相差检测像素的像素值计算出的散焦量来检测一个相差检测像素的像的移动量。使用这样的配置，基于另一相差检测像素的像的移动量和从第一图像数据中的相差检测像素的像素值计算出的散焦量来检测一个相差检测像素的像的移动量。

在这种情况下，计算单元可以基于另一相差检测像素的像的移动量和散焦量计算与第一图像数据和第二图像数据之间的缺陷像素的位置对应的关于包含在第二图像数据中的物体的位置的偏离量，并且可以基于计算出的偏离量和散焦量检测一个相差检测像素的像的移动量。使用这样的配置，计算关于由第一图像数据和第二图像数据之间的缺陷像素捕获的物体的位置的偏离量，并且，基于计算出的偏离量和散焦量检测与一个相差检测像素的像的移动。

在这种情况下，图像处理装置还可以包括计算单元，其基于相差检测像素的像素值通过相差检测计算散焦量，其中，检测单元可以基于第一图像数据中的图像产生像素的像和第二图像数据中的图像产生像素的像之间的距离来计算图像产生像素的像的移动量，并可以基于计算出的图像产生像素的像的移动量和从第一图像数据中的相差检测像素的像素值计算出的散焦量来检测一个相差检测像素的像的移动量。使用这样的配置，基于图像产生像素的像的移动量和从第一图像数据中的相差检测像素的像素值计算出的散焦量来检测一个相差检测像素的像的移动量。

在这种情况下，图像产生像素可以包括：被阻挡除了表示红色的波长区域以外的光的红色滤波器覆盖的红色像素；被阻挡除了表示蓝色的波长区域以外的光的蓝色滤波器覆盖的蓝色像素；和被阻挡除了表示绿色的波长区域以外的光的绿色滤波器覆盖的绿色像素，并且图像产生像素的像的移动量是绿色像素的像的移动量。使用这样的配置，基于绿色像素的像的移动量和从第一图像数据中的相差检测像素的像素值计算出的散焦量来检测一个相差检测像素的像的移动量。

根据本公开的第二实施例，提供一种图像捕获装置，该图像捕获装置包括：图像捕获元件，该图像捕获元件包括产生用于产生图像的像素值的多个图像产生像素、以及产生用于通过相差检测执行聚焦确定的像素值的多对相差检测像素；检测单元，该检测单元检测构成由图像捕获元件产生的图像数据的第一图像数据和在时间轴上与第一图像数据连续的第二图像数据之间的像的移动量，其中，所述像的移动量是当缺陷像素是一对相差检测像素中的一个相差检测像素时该对相差检测像素的像的移动量；校正单元，该校正单元基于检测到的移动量以及对应于缺陷像素的第一图像数据中的一个相差检测像素的像素值来校正第二图像数据中的缺陷像素的像素值；确定单元，该确定单元基于相差检测像素的校正的像素值确定是否聚焦到聚焦目标物体上；以及控制单元，该控制单元基于确定单元的确定结果控制透镜的驱动。使用这样的配置，基于其中缺陷像素的像素值被校正的像素值来执行聚焦确定。

根据本公开，对提高校正相差检测像素的缺陷像素的像素值的精度有优异的效果。

附图说明

图1是示出在本公开的第一实施例中的图像捕获装置的功能配置的例子的框图。

图2是示出本公开实施例中的图像捕获元件中设置的像素的设置的例子的示意图。

图3A到图3D是示出在本公开的第一实施例中通过缺陷校正单元校正缺陷相差检测像素的像素值的例子的示意图。

图4A到图4C是示出本公开第一实施例中的基于通过校正缺陷相差检测像素获得的数据的相差检测的例子、以及现有技术的图像捕获装置中的基于缺陷相差检测像素的校正的相差检测的例子的示意图。

图5是示出当通过本公开第一实施例中的图像捕获装置对缺陷相差检测像素执行校正时的图像捕获处理的序列的例子的流程图。

图6是示出在本公开第一实施例的图像捕获处理操作中的缺陷校正处理(步骤S910)的处理的序列的例子的流程图。

图7是示出在本公开的第二实施例中的图像捕获装置的功能配置的例子的框图。

图8A到图8D是示出在本公开第二实施例中通过缺陷校正单元校正缺陷相差检测像素的像素值的例子的示图。

图9是示出在本公开第二实施例的图像捕获处理操作中的缺陷校正处理(步骤S930)的处理的序列的例子的流程图。

图10A和图10B是示出包含在图像捕获范围中的被摄体的转变的例子的示意图。

图11是示出本公开第三实施例的图像捕获装置的功能配置的例子的框图。

图12A到图12D是示出在本公开的第三实施例中通过缺陷校正单元校正缺陷相差检测像素的像素值的例子的示图。

图13是示出在本公开第三实施例的图像捕获处理操作中的缺陷校正处理(步骤S940)的处理的序列的例子的流程图。

具体实施方式

在下文中将描述实现本公开的实施例(在下文中称为实施例)。按照下面的顺序执行描述。

1.第一实施例(图像捕获控制：使用散焦量进行校正的例子)

2.第二实施例(图像捕获控制：使用像的移动量进行校正的例子)

3.第三实施例(图像捕获控制：使用散焦量和像的移动量进行校正的例子)

1.第一实施例

图像捕获装置的功能配置的例子

图1是示出在本公开的第一实施例中的图像捕获装置100的功能配置的例子的框图。图像捕获装置100捕获被摄体的图像、产生图像数据(捕获的图像)并将产生的图像数据记录为图像内容(静止图像内容或电影内容)。在下文中，将主要描述将静止图像内容(静止图像文件)记录为图像内容(图像文件)的例子。

图像捕获装置100包括透镜单元110、操作接收单元120、控制单元130、图像捕获元件200、信号处理单元140、图像产生单元150、显示单元151和存储单元152。图像捕获装置100包括缺陷像素信息存储单元310、缺陷侧像素值存储单元320、缺陷校正单元330、相差检测单元160和驱动单元170。

透镜单元110收集来自被摄体的光(被摄体光)。透镜单元110包括变焦透镜111、光阑112和聚焦透镜113。

变焦透镜111通过驱动单元170的驱动在光轴方向上移动以改变焦距，并调整包含在捕获的图像中的被摄体的放大率。

光阑112是遮蔽物体，其通过驱动单元170的驱动改变开口度，以调整进入图像捕获元件200的被摄体光的光量。

聚焦透镜113通过驱动单元170的驱动在光轴方向上移动以调整聚焦。

操作接收单元120接收来自用户的操作。例如，当快门按钮(未示出)被按下时，操作接收单元120将与按下相关的信号作为操作信号供应给控制单元130。

控制单元130控制图像捕获装置100中的各单元的操作。在图1中，仅示出了主信号线，其它的信号线未示出。例如，当快门按钮被按下并接收到开始静止图像的记录的操作信号时，控制单元130将与执行静止图像的记录相关的信号供应给信号处理单元140。

图像捕获元件200是将接收到的被摄体光光电转换为电信号的图像传感器。图像捕获元件200通过例如CMOS(互补金属氧化物半导体)传感器或CCD(电荷耦合器件)传感器实现。图像捕获元件200被设有产生用于基于接收到的被摄体光产生捕获图像的信号的像素(图像产生像素)和产生用于执行相差检测的信号的像素(相差检测像素)。相差检测是一种焦点检测方法，其对穿过图像捕获透镜的光执行光瞳分割，形成一对图像，并测量(检测相差)形成的图像之间的距离(图像间的偏离量)以检测聚焦的程度。

图像捕获元件200被设有作为图像产生像素的通过允许红色(R)光穿过的滤色器接收红色光的像素(R像素)和通过允许绿色(G)光穿过的滤色器接收绿色光的像素(G像素)。另外，除了R像素和G像素以外，图像捕获元件200还被设有作为图像产生像素的通过允许蓝色(B)光穿过的滤色器接收蓝色光的像素(B像素)。将参照图2描述图像捕获元件200。图像捕获元件200将通过光电转换产生的电信号(图像信号)以图像的单位(图像数据)供应给信号处理单元140。

信号处理单元140对从图像捕获元件200供应的电信号执行预定的信号处理以校正图像信号。例如，信号处理单元140将从图像捕获元件200供应的电信号转换为数字电信号(像素值)，然后执行黑电平校正、缺陷校正、阴影校正、混合颜色校正等。在由信号处理单元140执行的缺陷校正中，从缺陷图像产生像素的邻近像素的像素值估计和校正图像产生像素中的不正常运行的像素(缺陷图像产生像素)的像素值。同时，相差检测像素中的不正常运行的像素(缺陷相差检测像素)不是由信号处理单元140校正，而是由缺陷校正单元330校正。信号处理单元140将经过这样的校正处理的像素值中的由相差检测像素产生的像素值供应给缺陷校正单元330。信号处理单元140将经过这样的校正处理的像素值中的由图像产生像素产生的像素值供应给图像产生单元150。

图像产生单元150对从信号处理单元140供应的由图像产生像素产生的图像数据执行预定的信号处理，并产生要显示在显示单元151上的图像数据或要存储在存储单元152中的图像数据。例如，图像产生单元150对图像数据执行白平衡校正、γ校正、去马赛克处理、图像压缩处理等。图像产生单元150将要显示在显示单元151上的图像数据供应给显示单元151，并在显示单元151上显示图像数据。图像产生单元150将要存储在存储单元152中的图像数据供应给存储单元152，并在存储单元152中存储图像数据。

显示单元151基于从图像产生单元150供应的图像数据显示图像。显示单元151由例如彩色液晶面板实现。

存储单元152将从图像产生单元150供应的图像数据作为图像内容(图像文件)记录。例如，作为存储单元152，可以使用诸如DVD(数字多功能盘)的盘，或者诸如半导体存储器(例如，存储器卡)的可移动记录介质。这样的记录介质可以置于图像捕获装置100中，并且可以附接到图像捕获装置100并从图像捕获装置100拆卸下来。

缺陷像素信息存储单元310存储与图像捕获元件200中的不正常运行的相差检测像素(缺陷相差检测像素)的位置有关的信息(缺陷像素信息)。例如，缺陷像素信息存储单元310将在制造图像捕获装置100的过程中的对图像捕获元件200的功能检查过程中检测到的缺陷相差检测像素的位置作为缺陷像素信息存储。缺陷像素信息存储单元310将缺陷像素信息供应给缺陷校正单元330。

缺陷侧像素值存储单元320存储针对从由缺陷校正单元330校正的像素值的图像捕获起的时间序列(时间轴)中的前一图像捕获而产生的像素值中的相差检测像素的像素值(缺陷侧像素值)，在该相差检测像素中与缺陷相差检测像素相同的一侧是敞开的。也就是说，当在前一图像捕获中通过聚焦确定驱动聚焦透镜113之前，缺陷侧像素值存储单元320存储缺陷侧像素值(驱动前缺陷侧像素值)。当缺陷相差检测像素的像素值被缺陷校正单元330校正时，通过被视为校正目标的图像数据的缺陷侧像素值来更新由缺陷侧像素值存储单元320存储的驱动前缺陷侧像素值。缺陷侧像素值存储单元320将存储的驱动前缺陷侧像素值供应给缺陷校正单元330。

缺陷校正单元330校正缺陷相差检测像素的像素值。缺陷校正单元330基于从缺陷像素信息存储单元310供应的缺陷像素信息，检测在比较范围中是否存在缺陷相差检测像素并检测缺陷相差检测像素的位置。缺陷校正单元330基于从相差检测单元160供应的聚焦确定结果(散焦量)，通过对聚焦透镜的驱动计算缺陷侧像素值的像的移动量。随后，缺陷校正单元330基于计算出的像的移动量和从缺陷侧像素值存储单元320供应的驱动前缺陷侧像素值来校正从信号处理单元140供应的相差检测像素的像素值中的缺陷相差检测像素的像素值。缺陷校正单元330将通过校正缺陷相差检测像素的像素值获得的相差检测像素的像素值供应给相差检测单元160。当缺陷相差检测像素的像素值的校正完成时，缺陷校正单元330通过从信号处理单元140供应的相差检测像素的像素的缺陷侧像素值更新驱动前缺陷侧像素值。将参照图3A到图3D描述由缺陷校正单元330执行的校正。缺陷校正单元330是在权利要求书中描述的检测单元和校正单元的例子。

相差检测单元160基于从缺陷校正单元330供应的相差检测像素的像素值通过相差检测确定焦点是否与聚焦的目标的物体(聚焦目标物体)匹配。在本公开实施例中，为了便于描述，相差检测单元160基于一个比较范围的相差检测像素的像素值执行确定。相差检测单元160从比较范围中的相差检测像素的像素值形成一对图像，并从形成的图像之间的距离执行聚焦确定。也就是说，相差检测单元160根据从比较范围中的相差检测像素的像素值产生的一对图像确定焦点是否与聚焦区域中的物体(聚焦目标物体)匹配。当焦点匹配时，相差检测单元160将表示聚焦的信息(聚焦确定结果信息)通过信号线161供应给驱动单元170和缺陷校正单元330。当焦点没有与聚焦目标物体匹配时，焦点的偏离量(散焦量)被计算，并且将表示计算出的散焦量的信息(例如，表示偏离的像素的数目的值)作为聚焦确定结果信息供应给驱动单元170和缺陷校正单元330。相差检测单元160是在权利要求书中描述的计算单元和确定单元的例子。

驱动单元170驱动变焦透镜111、光阑112和聚焦透镜113。例如，驱动单元170基于从相差检测单元160输出的聚焦确定结果信息计算聚焦透镜113的驱动量，并根据计算出的驱动量移动聚焦透镜113。当焦点匹配时，驱动单元170保持聚焦透镜113的当前位置。当焦点偏离时，驱动单元170基于表示散焦量的聚焦确定结果信息和聚焦透镜113的位置信息计算驱动量(移动距离)，并根据驱动量移动聚焦透镜113。驱动单元170是在权利要求书中描述的控制单元的例子。

图像传感器的像素的设置的例子

图2是示出本公开实施例中的图像捕获元件200中设置的像素的设置的例子的示意图。

在图2中，假设和描述了XY轴，其中，左右方向是X轴，上下方向是Y轴。在图2中，左下边缘是XY轴的原点，从下侧向上侧的方向是Y轴的正侧，从左向右的方向是X轴的正侧。在图像捕获元件200中的信号的读取方向是X轴方向(以行的单位读取)。

在图2中，为了便于描述，使用构成图像捕获元件200的像素中的部分像素(18行×18列的像素)的区域(区域210)执行描述。在其中针对区域210指示的像素设置是一个单位的图像捕获元件200中的像素的设置中，对应于该单位的像素设置(对应于区域210的像素设置)在X轴方向和Y轴方向上重复。

在图2中，一个像素是一个正方形。在图像产生像素中，表示设置的滤色器的符号(R、G和B)由其中示出的正方形指示。也就是说，图像产生像素的R像素由图2中的R像素211表示，图像产生像素的B像素由图2中的B像素214表示。对于G像素，在包括R像素(R像素211)的行(线)中的G像素由Gr像素(Gr像素212)表示，在包括B像素(B像素214)的行(线)中的G像素由Gb像素(Gb像素213)表示。

相差检测像素由施加了白色矩形的灰色正方形表示。相差检测像素中的白色矩形表示入射光没有被遮光层遮蔽而是由光接收元件接收的一侧(在遮光层中存在开口部分的一侧)。将描述在图2中示出的相差检测像素(右开口相差检测像素215和左开口相差检测像素216)。

右开口相差检测像素215是这样的相差检测像素：其中，遮光层这样形成，使得光接收元件的右半部分是敞开的，光接收元件的左半部分是遮蔽的。也就是说，右开口相差检测像素215遮蔽进入右开口相差检测像素215的微透镜的被摄体光中的穿过出射光瞳的右半部分(X轴方向的正侧)的被摄体光。右开口相差检测像素215通过光接收元件接收进入右开口相差检测像素215的微透镜的被摄体光中的穿过出射光瞳的左半部分(X轴方向的负侧)的被摄体光。

左开口相差检测像素216是这样的相差检测像素：其中，遮光层这样形成，使得光接收元件的左半部分是敞开的，光接收元件的右半部分是遮蔽的。也就是说，左开口相差检测像素216遮蔽进入左开口相差检测像素216的微透镜的被摄体光中的穿过出射光瞳的左半部分(X轴方向的负侧)的被摄体光。左开口相差检测像素216通过光接收元件接收进入左开口相差检测像素216的微透镜的被摄体光中的穿过出射光瞳的右半部分(X轴方向的正侧)的被摄体光。左开口相差检测像素216与右开口相差检测像素215成对使用以形成一对图像。

在下文中，将描述在图像捕获元件200中的像素的设置。

在图像捕获元件200中，在平行于读取方向的方向(在本公开实施例中的列方向)上交替地设置其中设置有图像产生像素的多行(线)和其中设置有相差检测像素的一行(线)。图2示出其中连续的图像产生像素的行的数目为5行的例子。在连续的图像产生像素的行中，图像产生像素按照Bayer布置定位。图2示出这样的例子，其中，与相差检测像素的行相邻的图像产生像素的行是其中设置有R像素和Gr像素的行。

在缺陷校正单元中的缺陷相差检测像素的像素值的校正的例子

图3A到图3D是示出本公开第一实施例中的通过缺陷校正单元330校正缺陷相差检测像素的像素值的例子的示意图。

图3A示意性地示出相差检测单元160的相差检测的例子，以描述由相差检测单元160供应给缺陷校正单元330的聚焦确定结果信息。

在图3A中示出的曲线图示意性地示出相差检测单元160的相差检测，其中，垂直轴是每个像素的像素值的强度(输出等级)，水平轴是每一个像素的位置(像素位置)。图3A以粗实线示出由左开口相差检测像素的像素值产生的分布数据(分布数据410)、以及由右开口相差检测像素的像素值产生的分布数据(分布数据420)。在分布数据410和分布数据420中的高的一个输出等级的位置(粗实线突出的位置)表示每一个分布数据的边缘。

在分布数据410和分布数据420中，在分布数据410中的像(边缘)和分布数据420中的像(边缘)在聚焦时重叠的位置由每一个曲线图中的虚线的边缘表示。在分布数据410中的像和分布数据420中的像之间的距离由距离A1表示，由聚焦确定结果信息指定并由分布数据420的移动量指示的散焦量由箭头430表示。

将描述由相差检测单元160供应给缺陷校正单元330的聚焦确定结果信息。相差检测单元160检测距离A1，并检测通过将该对像移动多少来使焦点匹配。在分布数据410和分布数据420中，由于两个图片重叠的位置是距离A1的中心，因此，这些像以距离A1的一半的值(像素数)彼此靠近，从而两个像重叠。相差检测单元160将距离A1的一半的移动量和移动方向(例如，在图3A中的箭头430)作为散焦量(聚焦确定结果信息)供应给驱动单元170和缺陷校正单元330。

图3B示出示意性地示出包括一个缺陷相差检测像素的比较范围的区域(像素区域440)。在像素区域440中，示出在一行中设置的十四个相差检测像素。在像素区域440中，示出从相差检测像素的行的左侧算起第七个右开口相差检测像素(右开口相差检测像素460)是缺陷相差检测像素(缺陷像素450)。在图3B中，假定在左开口相差检测像素(左开口相差检测像素470)中没缺陷相差检测像素。

在图3C中，使用与校正目标图像捕获数据(第n个)相关的分布数据(分布数据462)和与校正目标图像捕获数据的前一图像捕获数据(第(n-1)个)相关的分布数据(分布数据461)来示意性地示出缺陷像素450的像素值的校正。在图3C中，在图3B中示出的散焦量(箭头430)由从分布数据461的边缘的中心延伸到缺陷像素450的箭头430表示。

在下文中，将描述由缺陷校正单元330执行的对缺陷相差检测像素(缺陷像素450)的像素值的校正。散焦量(箭头430)是用于从移动像的量计算聚焦透镜的驱动量的信息，并表示由聚焦透镜的驱动量估计的分布数据461的移动量(绝对值和移动方向)。也就是说，散焦量(箭头430)表示图像捕获数据(第(n-1)个)和图像捕获数据(第n个)之间的边缘(像)的移动量。缺陷校正单元330根据基于聚焦确定结果信息(散焦量)的移动前的缺陷侧像素值(驱动前缺陷侧像素值)、移动后的缺陷侧像素值、缺陷像素信息和聚焦确定结果信息校正移动后的像。

具体地说，缺陷校正单元330基于聚焦确定结果信息将基于存储在缺陷侧像素值存储单元320中的缺陷侧像素值的分布数据视为移动前的像，并将从信号处理单元140供应的像素值的缺陷侧像素值的分布数据视为移动后的像。缺陷校正单元330基于聚焦确定结果信息从在将像移动由聚焦确定结果信息指示的散焦量之前的像中的像素值校正移动后的像中的缺陷相差检测像素的像素值。也就是说，基于散焦量(箭头430)从移动前(图像捕获数据(第(n-1)个))的像(分布数据461)检测对应于缺陷相差检测像素的像素值的像素值，并将检测的像素值视为缺陷相差检测像素的像素值。

图3D示出分布数据，其中在图3C中示出的分布数据462中的缺陷像素450的像素值被校正。图3D示出校正的缺陷像素450的像素值，如图3C中的框463中的粗实线所示。

如上所述，根据缺陷校正单元330，可以基于驱动前缺陷侧像素值、从信号处理单元140供应的校正目标缺陷侧像素值、缺陷像素信息和聚焦确定结果信息来校正缺陷相差检测像素的像素值。

在图3A到图3D中，在没有考虑到当焦点进一步偏离时像会变得极度模糊的情况下进行描述。实际上，由于随着焦点极度偏离，像(边缘)变得极度模糊(像素值减小)，所以边缘的像素值根据散焦量的大小而被减小。将用于校正像素值的减小的系数(在制造图像捕获装置100的步骤中事先确定的)存储在缺陷校正单元330中，将要成为缺陷相差检测像素的像素值的像素值与该系数相乘以校正像素值，因此可以进一步提高校正精度。

相差检测的例子

图4A到图4C是示出本公开第一实施例中的基于通过校正缺陷相差检测像素的像素值获得的数据的相差检测的例子、以及现有技术的图像捕获装置中的基于对缺陷相差检测像素的像素值的校正的相差检测的例子的示意图。

在图4A到图4C中，假定在缺陷相差检测像素的位置中有边缘。

在图4A到图4B中，示意性地示出现有技术的图像捕获装置中的基于缺陷相差检测像素的像素值的校正的相差检测的例子。在图4A中，用像素设置示意性地示出现有技术的图像捕获装置中的缺陷相差检测像素的像素值的校正。在图4A中示出的像素区域570、右开口相差检测像素580、左开口相差检测像素590和缺陷像素571分别对应于图3B中示出的像素区域440、右开口相差检测像素460等，因此，其描述不再重复。

在图4A中，参考用于缺陷相差检测像素的像素值的校正的像素值的相差检测像素通过由粗线圆指示的相差检测像素(右开口相差检测像素572和573)示出。图4A通过箭头574和箭头575示意性地示出基于右开口相差检测像素572和573的像素值校正缺陷像素571的像素值。

如图4A所示，在现有技术的图像捕获装置中的缺陷相差检测像素的像素值的校正中，例如，使用相同的相邻相差检测像素(右开口相差检测像素572和573)的像素值的平均值来校正缺陷相差检测像素的像素值。

图4B示出通过在图4A中示出的缺陷相差检测像素的像素值的校正而产生的分布数据(分布数据591和分布数据581)。分布数据591是基于左开口相差检测像素590的像素值产生的分布数据，分布数据581是基于右开口相差检测像素580的像素值产生的分布数据。图4B用框583中的粗实线示出通过图4A中所示的右开口相差检测像素572和573的像素值的平均值校正的缺陷像素571的像素值。

在根据现有技术的校正缺陷相差检测像素的像素值的方法的对缺陷像素571的像素值的校正中，右开口相差检测像素572和573的像素值(输出等级)的平均值是缺陷像素571的像素值，如图4A所示。也就是说，当右开口相差检测像素572和573的输出等级是“0”时，缺陷像素571的像素值是“0”。当在缺陷像素571中存在边缘的情况中执行校正时，缺陷像素571的像素值没有被精确地校正。因此，没有检测到用于测量相差检测中的距离的两个边缘(参见图4B中的距离A11)，并且存在相差检测没有被精确地执行的问题。

图4C示意性地示出在本公开第一实施例中通过缺陷校正单元330校正缺陷相差检测像素的像素值后的相差检测的例子。

图4C示出基于左开口相差检测像素(参见图3B中的左开口相差检测像素470)的像素值产生的分布数据(分布数据521)。图4C示出基于右开口相差检测像素(参见图3B中的右开口相差检测像素460)的像素值产生的分布数据(分布数据511)。

图4C示出分布数据521的边缘和分布数据511的边缘之间的距离(距离A12)。图4C用框516中的粗实线示出如图3C中所示的校正的缺陷相差检测像素的像素值。

如距离A12所示，根据本公开第一实施例的校正，当缺陷相差检测像素的位置是边缘时，使用该对相差检测像素的像素值校正缺陷相差检测像素的像素值，因此可以适当地执行相差检测。

图像捕获装置的操作的例子

接下来，将参照附图描述本公开第一实施例中的图像捕获装置100的操作。

图5是示出在本公开第一实施例中当通过图像捕获装置100对缺陷相差检测像素执行校正时的图像捕获处理的序列的例子的流程图。

首先，控制单元130确定用户是否指示开始用于捕获图像的图像捕获操作(步骤S901)。当确定用户没有指示开始用于捕获图像的图像捕获操作(步骤S901)时，图像捕获处理序列结束。

同时，当确定用户指示开始用于捕获图像的图像捕获操作(步骤S901)时，由相差检测单元160设置用于计算用于聚焦目标物体的散焦量的比较范围(步骤S902)。捕获被摄体的图像，并且由图像捕获元件200获取该捕获的图像(步骤S903)。

随后，由缺陷校正单元330执行校正比较范围中的缺陷相差检测像素的缺陷校正处理(步骤S910)。将参照图6描述缺陷校正处理(步骤S910)。步骤S910是在权利要求书中描述的检测序列和校正序列的例子。

随后，由相差检测单元160执行基于相差检测计算散焦量(聚焦确定结果信息)的相差检测处理(步骤S904)。聚焦透镜113由驱动单元170驱动，并且执行在聚焦目标物体上的聚焦的聚焦处理(步骤S905)。

然后，控制单元130确定操作接收单元120中的快门按钮是否被按下(步骤S906)。当确定快门按钮没有被按下(步骤S906)时，处理前进到步骤S909。

同时，当确定快门按钮被按下(步骤S906)时，随后，由图像捕获元件200捕获静止图像(步骤S907)。将经过图像产生单元150的信号处理的静止图像存储在存储单元152中(步骤S908)。

然后，控制单元130确定用户是否指示结束用于捕获静止图像的图像捕获操作(步骤S909)。当确定用户没有指示结束用于捕获静止图像的图像捕获操作(步骤S909)时，处理返回步骤S902。

同时，当确定用户指示结束用于捕获静止图像的图像捕获操作(步骤S909)时，图像捕获处理序列结束。

图6是示出在本公开第一实施例的图像捕获处理的操作中的缺陷校正处理(步骤S910)的序列的例子的流程图。

首先，缺陷校正单元330使用从缺陷像素信息存储单元310供应的缺陷像素信息，确定在检测相差的范围(比较范围)中的相差检测像素中是否存在缺陷相差检测像素(步骤S921)。当确定在比较范围中没有缺陷相差检测像素(步骤S911)时，缺陷校正处理序列结束。

同时，当确定在比较范围中存在缺陷相差检测像素(步骤S911)时，由缺陷校正单元330获取关于紧接在与校正目标像素值相关的图像捕获之前的透镜的驱动的散焦量(聚焦确定结果信息)(步骤S912)。

然后，从缺陷侧像素值存储单元320获取驱动前缺陷侧像素值，该驱动前缺陷侧像素值是校正目标像素值的时间序列中的前一图像捕获中的像素值(驱动前像素值)，并且是其中与缺陷相差检测像素相同的一侧是敞开的相差检测像素的每一个像素值(步骤S913)。基于散焦量和驱动前缺陷侧像素值来校正缺陷相差检测像素的像素值(步骤S914)。

随后，通过校正目标像素值的缺陷侧像素值更新存储在缺陷侧像素值存储单元320中的驱动前缺陷侧像素值(步骤S915)，并且缺陷校正处理序列结束。

如上所述，根据本公开第一实施例，从散焦量和校正目标图像数据的前一图像捕获的图像数据(前一帧的图像数据)中的相差检测像素的像素值执行校正，因此可以提高校正精度。由于在计算处于自动聚焦中的聚焦透镜的驱动量时计算出的散焦量被用作散焦量，因此不必新计算散焦量，从而可以快速地执行校正。

当根据参照图3A到图3D描述的散焦量的大小的像素值的减小被校正时，作为缺陷相差检测像素的像素值检测的像素值在步骤S914中通过校正系数被校正，并且校正的像素值是缺陷相差检测像素的像素值。

2.第二实施例

在本公开第一实施例中，已经描述了这样的例子：其中，从使用图像捕获数据(第(n-1)个)计算出的聚焦确定结果信息(散焦量)计算像的移动量，并且使用计算出的移动量校正在图像捕获数据(第n个)中的缺陷相差检测像素的像素值。由于在聚焦确定时已经事先计算了散焦量，因此不必在校正时新计算散焦量。由于这个原因，在本公开第一实施例中，可以快速地执行校正。

但是，散焦量不包括关于从图像捕获数据(第(n-1)个)的图像捕获到图像捕获数据(第n个)的图像捕获产生的事件的信息，因此校正精度会劣化。因此，需要通过考虑从图像捕获数据(第(n-1)个)的图像捕获到图像捕获数据(第n个)的图像捕获产生的事件执行校正来提高校正精度。

在本公开第二实施例中，将参照图7到图9描述使用相差检测像素的每一个像素值(相对侧像素值)来计算像的移动量的例子，在所述相差检测像素中与缺陷相差检测像素相对的一侧是敞开的。

图像捕获装置的功能配置的例子

图7是示出本公开第二实施例中的图像捕获装置600的功能配置的例子的框图。图像捕获装置600是图1中示出的图像捕获装置100的变型例，其包括缺陷校正单元620而不是图像捕获装置100的缺陷校正单元330，并且还包括相对侧像素值存储单元610。由于除了缺陷校正单元620和相对侧像素值存储单元610以外的其它配置与图1中示出的配置相同，因此给予相同的附图标记，并且在这里不重复描述。

相对侧像素值存储单元610存储在时间序列中比由缺陷校正单元330校正的像素值的图像捕获早的图像捕获中产生的像素值中的相差检测像素的像素值(相对侧像素值)，在该相差检测像素中与缺陷相差检测像素相对的一侧是敞开的。也就是说，相对侧像素值存储单元610存储与存储在缺陷侧像素值存储单元320中的驱动前缺陷侧像素值形成一对的像素值(驱动前相对侧像素值)。通过被视为当由缺陷校正单元330校正缺陷相差检测像素的像素值时的校正目标的图像数据的相对侧像素值来更新在相对侧像素值存储单元610中存储的驱动前相对侧像素值。相对侧像素值存储单元610将存储的驱动前相对侧像素值供应给缺陷校正单元620。

缺陷校正单元620以与参照图1描述的缺陷校正单元330相同的方式校正缺陷相差检测像素的像素值。缺陷校正单元620基于存储在相对侧像素值存储单元610中的驱动前相对侧像素值和从信号处理单元140供应的相对侧像素值，计算用于校正缺陷相差检测像素的移动量。缺陷校正单元620基于计算出的移动量和驱动前缺陷侧像素值校正缺陷相差检测像素的像素值。当缺陷相差检测像素的像素值的校正完成时，缺陷校正单元620更新存储在缺陷侧像素值存储单元320中的驱动前缺陷侧像素值和存储在相对侧像素值存储单元610中的驱动前相对侧像素值。将参照图8A到图8D描述由缺陷校正单元620执行的校正。

在缺陷校正单元中的缺陷相差检测像素的像素值的校正的例子

图8A到图8D是示出在本公开的第二实施例中由缺陷校正单元620校正缺陷相差检测像素的像素值的例子的示意图。

在图8A到图8D中，假定在缺陷相差检测像素的位置中有边缘。

图8A示出包括一个缺陷相差检测像素的比较范围(比较范围630)。图8B到图8D示出在比较范围630中的相差检测像素的像素值的分布数据。在图8A中示出的比较区域630、右开口相差检测像素640、左开口相差检测像素650和缺陷像素631分别对应于图3B中示出的像素区域440、右开口相差检测像素460等，因此，其描述不再重复。

图8B示出与校正目标图像捕获数据(第n个)的比较范围630中的左开口相差检测像素650的像素值相关的分布数据(分布数据652)。图8B示出与校正目标图像捕获数据(第n个)的前一图像捕获数据(第(n-1)个)的比较范围630中的左开口相差检测像素650的像素值相关的分布数据(分布数据651)。图8B通过从分布数据651的边缘的中心延伸到分布数据652的边缘的中心的箭头653示出分布数据651和分布数据652之间的像的移动量。

在下文中，将描述在通过缺陷校正单元620校正缺陷相差检测像素中的像的移动量的计算。

基于校正目标图像捕获数据(第n个)中的相对侧像素值的分布数据和前一图像捕获数据(第(n-1)个)中的相对侧像素值(驱动前相对侧像素值)的分布数据之间的像的移动量，缺陷校正单元620计算用于校正缺陷相差检测像素的移动量。也就是说，使用相对侧像素值的分布数据来计算对应于本公开第一实施例中的散焦量的信息。因此，以与本公开第一实施例的缺陷校正单元330相同的方式，可以从驱动聚焦透镜前的缺陷侧像素值校正驱动聚焦透镜后的缺陷相差检测像素的像素值。

图8C示出与校正目标图像捕获数据(第n个)的比较范围630中的右开口相差检测像素640的像素值相关的分布数据(分布数据642)。图8C示出与图像捕获数据(第(n-1)个)的比较范围630中的右开口相差检测像素640的像素值相关的分布数据(分布数据641)。图8C通过从分布数据641的边缘的中心延伸到分布数据642的缺陷相差检测像素的区域(没有分布数据642的粗实线的部分)的中心的箭头643示出像的移动。

在下文中，将描述由缺陷校正单元620执行的缺陷相差检测像素的像素值的校正。

如图8B所示，缺陷校正单元620从缺陷相差检测像素的一对相差检测像素(左开口相差检测像素650)的分布数据计算像的移动量(在图8B中的箭头653)。

在相差检测中，包括缺陷相差检测像素的右开口相差检测像素640的分布数据中的像的移动方向是左开口相差检测像素650的像的移动方向的相对侧。在相差检测中，在右开口相差检测像素640的分布数据中的像的移动量的绝对值和在左开口相差检测像素650的分布数据中的像的移动量的绝对值是相同的。也就是说，在右开口相差检测像素640的分布数据中的像的移动量(箭头643)是通过反转从右开口相差检测像素640的分布数据获取的像的移动量(箭头653)的移动方向计算出的。

缺陷校正单元620使用来自图像捕获数据(第(n-1)个)的分布数据641的移动量(箭头643)检测对应于缺陷相差检测像素的像素值的像素值，并基于检测的像素值校正缺陷相差检测像素的像素值。

图8D示出其中在图8C中示出的分布数据642中的缺陷像素631的像素值被校正的分布数据。图8D用框644中的粗实线示出如图8C中所示的校正的缺陷像素631的像素值。

图像捕获装置的操作的例子

接下来，将参照附图描述本公开第二实施例中的图像捕获装置600的操作。

在通过图像捕获装置600执行缺陷相差检测像素的像素值的校正时的图像捕获处理的序列的例子与在图5中示出的图像捕获装置100的例子相同，因此在这里不重复描述。

图9是示出在本公开第二实施例的图像捕获处理的操作中的缺陷校正处理(步骤S930)的序列的例子的流程图。缺陷校正处理(步骤S930)是在图6中示出的本公开第一实施例的缺陷校正处理(步骤S910)的变型例。对于与缺陷校正处理(步骤S910)的处理相同的处理给予相同的附图标记，并且部分描述不重复。

当确定在比较范围中存在缺陷相差检测像素(步骤S911)时，从相对侧像素值存储单元610获取驱动前相对侧像素值(步骤S931)。基于驱动前相对侧像素值的分布数据和驱动后相对侧像素值的分布数据计算相对侧的像的移动量(步骤S932)，并且处理前进到步骤S913。

当获取驱动前缺陷侧像素值(步骤S913)时，基于计算出的移动量和驱动前缺陷侧像素值的分布数据校正缺陷相差检测像素的像素值(步骤S933)。

当更新驱动前缺陷侧像素值(步骤S915)时，驱动前相对侧像素值被更新(步骤S934)，并且缺陷校正处理的序列完成。步骤S915和步骤S934中的任何一个都可以是在先者。

如上所述，根据本公开第二实施例，基于聚焦透镜的驱动前相对侧像素值和驱动后相对侧像素值计算与缺陷侧像素值相关的像的移动量，并且可以使用计算出的移动量执行校正。因此，可以通过考虑从图像捕获数据(第(n-1)个)的图像捕获到图像捕获数据(第n个)的图像捕获的拍摄系统的改变来执行校正，因此可以提高校正精度。

3.第三实施例

在本公开的第一和第二实施例中，考虑到当被摄体是移动物体时，缺陷相差检测像素的校正精度降低。也就是说，需要在被摄体移动时提高缺陷相差检测像素的校正精度。

在本公开第三实施例中，将参照图10A到图13描述使用透镜的驱动量和像的移动量执行校正的例子。

包含在图像捕获范围中的被摄体的转变的例子

图10A和图10B是图示包含在图像捕获范围中的被摄体的例子的示意图。

图10A示意性地示出与校正目标图像数据(第n个)的前一图像捕获数据(第(n-1)个)相关的图像(图像710)，图10B示意性地示出与图像捕获数据(第n个)相关的图像(图像720)。

在图像710和图像720中，人715和人725作为聚焦目标物体示出。在图像720中，人的移动是通过下述方式来表示的：用虚线表示图像710的人715的位置，并用箭头(箭头730)表示由虚线表示的人715的位置和人725的位置之间的距离。

如上所述，当聚焦目标物体移动时，在本公开的第一和第二实施例中描述的校正方法中被认为降低了精度。

图像捕获装置的功能配置的例子

图11是示出在本公开的第三实施例中的图像捕获装置800的功能配置的例子的框图。图像捕获装置800是图1中示出的图像捕获装置100和图7中示出的图像捕获装置600的变型例，包括缺陷校正单元810而不是图像捕获装置100的缺陷校正单元330，并且还包括相对侧像素值存储单元610。由于除了缺陷校正单元810以外的配置与图1和图7中示出的配置相同，因此给予相同的附图标记并且在这里不重复描述。

缺陷校正单元810以与在图1中示出的缺陷校正单元330和在图7中示出的缺陷校正单元620相同的方式校正缺陷相差检测像素的像素值。缺陷校正单元620以与缺陷校正单元330相同的方式基于从相差检测单元160供应的聚焦确定结果信息(散焦量)通过聚焦透镜的驱动计算像的移动量。缺陷校正单元810以与缺陷校正单元620相同的方式基于从信号处理单元140供应的像素值的相对侧像素值和驱动前相对侧像素值计算相对侧像素值的像的移动量。缺陷校正单元810基于从散焦量计算出的相对侧像素值的像的移动量和从相对侧像素值计算出的像的移动量，计算缺陷相差检测像素的被摄体的偏离量。

其后，缺陷校正单元810基于计算出的被摄体的偏离量和从相对侧像素值计算出的像的移动量校正缺陷相差检测像素的像素值。当完成缺陷相差检测像素的像素值的校正时，缺陷校正单元810以与缺陷校正单元620相同的方式更新驱动前缺陷侧像素值和驱动前相对侧像素值。将参照图12A到图12D描述由缺陷校正单元810执行的校正。

在缺陷校正单元中的缺陷相差检测像素的像素值的校正的例子

图12A到图12D示出在本公开第三实施例中通过缺陷校正单元810(校正)缺陷相差检测像素的像素值的例子。

在图12A到图12D中，假定在缺陷相差检测像素的位置中有边缘。

图12A示出产生在图12B到图12D中示出的分布数据的像素值的相差检测像素的区域，并且示出包括一个缺陷相差检测像素的比较范围(比较范围830)。由于比较范围830对应于在图3B和图8A中示出的比较范围，因此在这里不重复描述。在图12A中，如在比较范围830中所示，假定从左侧算起第十一个相差检测像素(右开口相差检测像素)是缺陷像素(缺陷像素831)。

图12B示出与校正目标图像捕获数据(第n个)的比较范围830中的左开口相差检测像素850的像素值相关的分布数据(分布数据852)。图12B示出与校正目标图像捕获数据(第n个)的前一图像捕获数据(第(n-1)个)的比较范围830中的左开口相差检测像素850的像素值相关的分布数据(分布数据851)。

图12B示出表示与图像捕获数据(第(n-1)个)和图像捕获数据(第n个)之间的透镜的驱动量相关的散焦量的箭头(箭头860)。也就是说，箭头860是由相差检测单元160基于图像捕获数据(第(n-1)个)的相差检测像素的像素值计算出的散焦量(聚焦确定结果信息)。箭头860表示从透镜的驱动量估计的左开口相差检测像素850的像(边缘)的移动量，并且图12B示出透镜被驱动为将边缘向左移位了两个像素。

此外，图12B用从分布数据851的边缘的中心延伸到分布数据852的边缘的中心的箭头853示出从分布数据851和分布数据852之间的比较计算出的像的移动量。箭头853表示左开口相差检测像素850的像在图像捕获数据(第(n-1)个)和图像捕获数据(第n个)之间向左移位了一个像素。

图12C示出与校正目标图像捕获数据(第n个)的比较范围830中的右开口相差检测像素840的像素值相关的分布数据(分布数据842)。另外，图12C示出与图像捕获数据(第n个)的前一图像捕获数据(第(n-1)个)的比较范围830中的右开口相差检测像素840的像素值相关的分布数据(分布数据841)。此外，图12C用从分布数据841的边缘的中心延伸到表示分布数据482的缺陷相差检测像素的像素值的区域(没有分布数据842的粗实线的部分)的中心的箭头843示出缺陷相差检测像素的像的移动量。

在这里，将参照图12B和图12C描述由缺陷校正单元810校正缺陷相差检测像素的像素值。

首先，缺陷校正单元810基于从相差检测单元160供应的聚焦确定信息计算与左开口相差检测像素850的图像相关的散焦量(箭头860)。缺陷校正单元810基于来自相对侧像素值存储单元610的驱动前相对侧像素值和来自信号处理单元140的左开口相差检测像素850计算左开口相差检测像素850的像的移动量(箭头853)。

缺陷校正单元810根据从散焦量(箭头860)计算出的像的移动量和从左开口相差检测像素850的像素值计算出的移动量(箭头853)之间的差，计算缺陷相差检测像素的被摄体的偏离量。也就是说，如图12B所示，当从透镜的驱动量估计的移动量向左移位两个像素并且从像素值估计的像的移动量向左移位一个像素时，缺陷校正单元810计算出被摄体向右移位一个像素。

其后，缺陷校正单元810基于缺陷相差检测像素的被摄体的偏离量和从左开口相差检测像素850的像素值计算出的移动量，计算缺陷相差检测像素侧的像的移动量。当被摄体向右移位一个像素并且与右开口相差检测像素相关的透镜的驱动量向右移位两个像素(方向被反转到左开口相差检测像素的方向)时，右开口相差检测像素的图像向右移位三个像素。也就是说，如图12C所示，使用在从缺陷像素831的位置向左移位三个像素的位置处的像素值，校正缺陷像素831的像素值。

图12D示出其中在图12C中示出的分布数据842中的缺陷像素831的像素值被校正的分布数据。图12D用框844中示出的粗实线示出如图12C中所示的校正的缺陷像素831的像素值。

图像捕获装置的操作的例子

接下来，将参照附图描述本公开第三实施例中的图像捕获装置800的操作。

在通过图像捕获装置800执行缺陷相差检测像素的像素值的校正时的图像捕获处理的序列的例子与在图5中示出的图像捕获装置100的例子相同，因此在这里不重复描述。

图13是示出在本公开第三实施例的图像捕获处理的操作中的缺陷校正处理(步骤S940)的序列的例子的流程图。缺陷校正处理(步骤S940)是在图9中示出的本发明第二实施例的缺陷校正处理(步骤S930)的变型例。对于与缺陷校正处理(步骤S930)的处理相同的处理给予相同的附图标记，并且部分描述不被重复。

当基于驱动前相对侧像素值的分布数据和驱动后相对侧像素值的分布数据计算相对侧的像的移动量(步骤S932)时，由缺陷校正单元810获取紧接在与校正目标像素值相关的图像捕获之前的与透镜的驱动相关的散焦量(聚焦确定结果信息)(步骤S941)。随后，基于相对侧的像的移动量和散焦量计算缺陷相差检测像素的图像捕获物体的偏离量(比较范围)(步骤S942)。

基于缺陷相差检测像素的图像捕获物体的偏离量和相对侧的像的移动量计算缺陷相差检测像素侧的像的移动量(步骤S943)。

如上所述，根据本公开第三实施例，计算被摄体的移动量，使用计算出的移动量校正缺陷相差检测像素的像素值，因此可以提高校正精度。

在图11到图13中，已经描述了使用缺陷相差检测像素的一侧的相对侧相差检测像素的像素值的情况，但是实施例并不限于此。例如，可以想到的是，使用图像产生像素的像素值计算缺陷相差检测像素的图像捕获物体的偏离量。

在本例中，图像捕获装置800被设有存储图像捕获数据(第(n-1)个)的图像产生像素的像素值的单元，而不是相对侧像素值存储单元610。缺陷校正单元810从与比较范围相邻的G像素的像素值产生图像捕获数据(第n个)和图像捕获数据(第(n-1)个)的分布数据，并从在这样的分布数据中的边缘的位置的偏离计算图像捕获物体的偏离量。

缺陷校正单元810根据基于从散焦量计算出的聚焦透镜的移动的缺陷相差检测像素侧的像的移动量和从G像素的分布数据计算出的图像捕获物体的偏离量，计算缺陷相差检测像素侧的像的移动量。具体地说，如图12A到图12D所示，当G像素的像素值中的偏离量是向右移位一个像素时，缺陷校正单元810计算出被摄体向右移位一个像素。当基于聚焦透镜的驱动量的缺陷相差检测像素侧的像的移动量是向右移位两个像素时，缺陷校正单元810计算出缺陷相差检测像素侧的像向右移位三个像素。

在本例中，已经描述了G像素，但是即使使用R像素和B像素也实现相同的效果。可以使用根据G像素、R像素和B像素产生的亮度信号(Y信号)。可以使用现有的被摄体识别算法计算图像捕获物体的偏离量。

如上所述，根据本公开实施例，从通过校正目标图像数据的前一图像捕获的图像数据(前一帧的图像数据)中的相差检测像素的像素值校正缺陷相差检测像素的像素值，因此可以提高校正精度。在使用相邻相差检测像素的像素值执行校正的现有技术的图像捕获装置中，当缺陷相差检测像素是边缘时，不会适当地执行校正。根据本公开实施例，由于即使当缺陷相差检测像素是边缘时也可以适当地执行校正，因此当捕获高频被摄体或高对比度被摄体的像时，提高了与相差检测相关的边缘的检测精度。也就是说，可以提高相差自动聚焦的性能。

在现有技术的图像捕获装置中，由于使用相邻相差检测像素的像素值执行校正，因此当存在收集了多个缺陷像素的区域时，参考缺陷像素的像素值执行校正，因此难以适当地执行校正。在本公开实施例中，当像的移动量大时，使用从缺陷像素的位置离开的位置的像素值执行校正，因此即使当存在收集了多个缺陷像素的区域时，也可以以高精度执行校正。也就是说，根据本公开实施例，可以提高制造图像捕获元件的步骤中的生产率。

在本公开实施例中，假定像的移动量是整数，但是可以想到的是，像的移动量不是整数(例如，向右移位1.5个像素)。在这种情况下，在向左1.5个像素的位置处的像素值是从在移动前向左一个像素的位置的像素值和在移动前向左两个像素的位置的像素值通过线性内插产生的，并且可以使用产生的像素值执行校正。

在本公开实施例中，假定在一对相差检测像素的一侧上只有一个缺陷相差检测像素，但是本公开并不限于此。即使当在一对相差检测像素的两侧存在缺陷相差检测像素时，另一个相差检测像素中的每一个的亮度值可以是相对侧像素值并且被计算，从而以与本公开实施例相同的方式实现这种情况。

在本公开实施例中，假定在图像产生像素中设置的滤色器是3原色(RGB)的滤色器，但是本公开并不限于此。例如，即使当图像产生像素被设有互补滤色器时，也应用与本公开实施例相同的方式。即使当在一个像素区域中检测可见光线的波长的所有光的像素(例如，图像捕获元件，其中，蓝色像素、绿色像素和红色像素再次设置在光轴方向上)是图像产生像素，也可以应用与本公开实施例相同的方式。

在本公开实施例中，假定相差检测像素接收经过分割为2的光瞳分割的光之一，但是本公开并不限于此。例如，即使当设置被设有两个光接收元件并通过光接收元件接收经过光瞳分割的光的相差检测像素时，也可以应用本公开实施例。

在本公开实施例中，只假定了在相差检测像素中执行向左和向右的光瞳分割的相差检测像素，但是本公开并不限于此，可以对上、下和倾斜的相差检测像素执行相同的过程。在图2中示出的像素设置的图案不限于此，并且，在可以执行相差检测的设置图案的情况中执行相同的过程。

本公开实施例表示用于实现本公开的例子；如本公开实施例所述，在本公开实施例中的项目和在权利要求书中的具体项目具有对应关系。类似地，在权利要求书中的具体项目和给予相同名称的本公开实施例中的项目具有对应关系。然而，本公开并不限于这些实施例，而且，可以通过在不偏离本公开的构思的范围内以各种方式修改所述实施例来实现本公开。

在本公开实施例中描述的处理序列可以被理解为具有一系列序列的方法，并且可以被理解为用于使计算机执行这一系列序列的程序或者存储该程序的记录介质。作为记录介质，例如，可以使用CD(压缩盘)、MD(迷你盘)、DVD(数字多功能盘)、存储器卡和蓝光盘(Blu-ray Disc，注册商标)。

本公开包含与在2011年1月11提交在日本专利局中的日本在先专利申请JP 2011-002667中公开的主题相关的主题，该专利申请的全部内容以引用的方式并入本文中。

本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围即可。

Claims (11)

1.一种图像处理装置，包括：

检测单元，该检测单元检测第一图像数据和在时间轴上与第一图像数据连续的第二图像数据之间的像的移动量，第一图像数据构成由图像捕获元件产生的图像数据，该图像捕获元件被设置有产生用于产生图像的像素值的多个图像产生像素和产生用于通过相差检测执行聚焦确定的像素值的多对相差检测像素，其中，所述像的移动量是当缺陷像素是一对相差检测像素中的一个相差检测像素时该对相差检测像素的像的移动量；以及

校正单元，该校正单元基于检测到的移动量和对应于缺陷像素的第一图像数据中的一个相差检测像素的像素值来校正第二图像数据中的缺陷像素的像素值。

2.根据权利要求1所述的图像处理装置，其中，第二图像数据是在时间轴上在第一图像数据之后产生的图像数据。

3.根据权利要求2所述的图像处理装置，还包括计算单元，该计算单元基于相差检测像素的像素值通过相差检测计算散焦量，

其中，检测单元基于从第一图像数据中的相差检测像素的像素值计算出的散焦量来检测移动量。

4.根据权利要求2所述的图像处理装置，其中，检测单元基于第一图像数据中的另一相差检测像素的图像和第二图像数据中的另一相差检测像素的图像之间的距离来计算另一相差检测像素的像的移动量，并且基于计算出的另一相差检测像素的像的移动量来检测一个相差检测像素的像的移动量。

5.根据权利要求2所述的图像处理装置，还包括计算单元，该计算单元基于相差检测像素的像素值通过相差检测计算散焦量，

其中，检测单元基于第一图像数据中的另一相差检测像素的图像和第二图像数据中的另一相差检测像素的图像之间的距离来计算另一相差检测像素的像的移动量，并且基于计算出的另一相差检测像素的像的移动量和从第一图像数据中的相差检测像素的像素值计算出的散焦量来检测一个相差检测像素的像的移动量。

6.根据权利要求5所述的图像处理装置，其中，计算单元基于另一相差检测像素的像的移动量和散焦量计算与第一图像数据和第二图像数据之间的缺陷像素的位置对应的关于包含在第二图像数据中的物体的位置的偏离量，并且基于计算出的偏离量和散焦量来检测一个相差检测像素的像的移动量。

7.根据权利要求2所述的图像处理装置，还包括计算单元，该计算单元基于相差检测像素的像素值通过相差检测计算散焦量，

其中，检测单元基于第一图像数据中的图像产生像素的像和第二图像数据中的图像产生像素的像之间的距离来计算图像产生像素的像的移动量，并基于计算出的图像产生像素的像的移动量和从第一图像数据中的相差检测像素的像素值计算出的散焦量检测一个相差检测像素的像的移动量。

8.根据权利要求7所述的图像处理装置，其中，图像产生像素包括：被阻挡除了表示红色的波长区域以外的光的红色滤波器覆盖的红色像素；被阻挡除了表示蓝色的波长区域以外的光的蓝色滤波器覆盖的蓝色像素；和被阻挡除了表示绿色的波长区域以外的光的绿色滤波器覆盖的绿色像素，并且

其中，图像产生像素的像的移动量是绿色像素的像的移动量。

9.一种图像捕获装置，包括：

图像捕获元件，该图像捕获元件包括：产生用于产生图像的像素值的多个图像产生像素、以及产生用于通过相差检测执行聚焦确定的像素值的多对相差检测像素；

检测单元，该检测单元检测构成由图像捕获元件产生的图像数据的第一图像数据和在时间轴上与第一图像数据连续的第二图像数据之间的像的移动量，其中，所述像的移动量是当缺陷像素是一对相差检测像素中的一个相差检测像素时该对相差检测像素的像的移动量；

校正单元，该校正单元基于检测到的移动量以及对应于缺陷像素的第一图像数据中的一个相差检测像素的像素值来校正第二图像数据中的缺陷像素的像素值；

确定单元，该确定单元基于相差检测像素的校正的像素值确定是否聚焦到聚焦目标物体上；以及

控制单元，该控制单元基于确定单元的确定结果控制透镜的驱动。

10.一种图像处理方法，包括：

检测第一图像数据和在时间轴上与第一图像数据连续的第二图像数据之间的像的移动量，第一图像数据构成由图像捕获元件产生的图像数据，该图像捕获元件被设置有产生用于产生图像的像素值的多个图像产生像素和产生用于通过相差检测执行聚焦确定的像素值的多对相差检测像素，其中，所述像的移动量是当缺陷像素是一对相差检测像素中的一个相差检测像素时该对相差检测像素的像的移动量；以及

基于检测到的移动量和对应于缺陷像素的第一图像数据中的一个相差检测像素的像素值来校正第二图像数据中的缺陷像素的像素值。

11.一种使计算机执行下述操作的程序：

检测第一图像数据和在时间轴上与第一图像数据连续的第二图像数据之间的像的移动量，第一图像数据构成由图像捕获元件产生的图像数据，该图像捕获元件被设置有产生用于产生图像的像素值的多个图像产生像素和产生用于通过相差检测执行聚焦确定的像素值的多对相差检测像素，其中，所述像的移动量是当缺陷像素是一对相差检测像素中的一个相差检测像素时该对相差检测像素的像的移动量；以及

基于检测到的移动量和对应于缺陷像素的第一图像数据中的一个相差检测像素的像素值来校正第二图像数据中的缺陷像素的像素值。

Images