CN103379294B - 图像处理设备、具有该设备的摄像设备和图像处理方法 - Google Patents

Abstract

本发明涉及一种图像处理设备、具有该设备的摄像设备和图像处理方法。该图像处理设备用于对从与微透镜相对应地排列多个光电转换单元的摄像元件所获得的图像信号进行处理，其中，该图像处理设备检测来自与一个微透镜相对应的各光电转换单元的图像信号是否达到饱和等级，并且对来自包括所述光电转换单元的多个光电转换单元的图像信号的相关度是否用于相关度运算单元所进行的图像偏移量的运算进行控制。

Description

图像处理设备、具有该设备的摄像设备和图像处理方法

技术领域

本发明涉及一种图像处理设备，尤其涉及一种用于使用所获得的两个光瞳分割图像之间的相位差来进行焦点检测的图像处理设备。

背景技术

在现有技术中，已知有这样一种技术：通过多个光电转换单元对应于一个微透镜的摄像元件来获得光瞳分割图像，并且获得所获得的两个光瞳分割图像之间的相位差，以进行焦点检测。

例如，日本特开2001-83407公开了如下技术：从光瞳分割图像中获得相位差以进行焦点检测，并且同时，将与同一微透镜相对应的光电转换单元的所有信号相加在一起并输出作为一个像素的信号。日本特开2001-83407公开了如下技术：通过以与后面的技术所述的方式相同的方式对图像信号进行处理，使这些图像信号与利用现有技术的摄像像素的阵列所获得的图像信号大致相同，并且通过传统的图像处理技术来形成观赏用图像。

在分割得到的光电转换单元其中任一达到了饱和的情况下，即使在对与同一微透镜相对应的所有光电转换单元的输出进行相加时，相加得到的输出也由于饱和的影响而无法表现出线性特性，由此导致图片质量劣化。

然而，根据上述专利文献所公开的现有技术，尽管最终获得的图像的容许饱和等级得以改善并且图片质量得以提高，但相加之前的光瞳分离图像的饱和等级并没有改善。除此以外，由于吸收了从饱和像素泄露的电荷的像素的影响而导致图像形状劣化，并且获得相位差时的图像的相关度劣化。

也就是说，在焦点检测时发生不利影响，并且焦点检测精度劣化或者设备进入无法进行焦点检测的状态。

由于可能导致在已获得良好图像的情况下无法进行焦点检测，因此出现了无法区别能够进行焦点检测的状态和无法进行焦点检测的状态这一情形，并且这可能使用户感到困惑。

发明内容

本发明的一方面提供了即使在由于光瞳分割图像中所发生的饱和而导致图像形状劣化的情况下、也能够正确地获得图像偏移量的图像处理设备和图像处理方法。

为了实现本发明的上述方面，本发明的一种图像处理设备，用于对从摄像元件所获得的图像信号进行处理，所述图像处理设备包括：相关度运算单元，用于对从所述摄像元件所获得的两个图像的图像信号的相关度进行运算，并且基于所述相关度来运算光电转换单元所拍摄的图像之间的图像偏移量；饱和检测单元，用于检测所述图像信号是否达到饱和等级；以及控制器，用于控制所述相关度运算单元，其中，所述控制器对来自包括所述光电转换单元的多个光电转换单元的图像信号的相关度是否用于所述相关度运算单元所进行的图像偏移量的运算进行控制，以及所述控制器所进行的控制是根据所述饱和检测单元所进行的光电转换单元的饱和检测的结果而进行的。

为了实现本发明的上述方面，本发明的一种摄像设备，包括：摄像元件，其中在所述摄像元件中，与微透镜相对应地排列多个光电转换单元；以及上述的图像处理设备。

为了实现本发明的上述方面，本发明的一种图像处理方法，用于对从摄像元件所获得的图像信号进行处理，所述图像处理方法包括以下步骤：相关度运算步骤，用于对从所述摄像元件所获得的两个图像的图像信号的相关度进行运算，并且基于所述相关度来运算光电转换单元所拍摄的图像之间的图像偏移量；饱和检测步骤，用于检测所述图像信号是否达到饱和等级；以及控制步骤，用于控制所述相关度运算步骤，其中，在所述控制步骤中，对来自包括所述光电转换单元的多个光电转换单元的图像信号的相关度是否用于所述相关度运算步骤中所进行的图像偏移量的运算进行控制，以及所述控制步骤中所进行的控制是根据所述饱和检测步骤中所进行的光电转换单元的饱和检测的结果而进行的。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明实施例的摄像元件的像素结构的图。

图2A和2B是示出图1的像素中的入射光量-输出等级特性的图。

图3是示出根据本发明实施例的摄像元件的像素的摄像输出的波形的图。

图4是示出从图3所示的摄像输出波形所获得的相关度图像的图。

图5是根据本发明第一实施例的摄像设备的框图。

图6是根据本发明第一实施例的像素差值的绝对值累加电路的结构图。

图7是示出根据本发明实施例的摄像元件的像素阵列的图。

图8A和8B是示出从图7所示的像素阵列的摄像元件的输出信号所获得的相关度图像和排除计数值图像的图。

图9是示意性示出入射到图像高度较高的像素的入射光的图。

图10是根据本发明第二实施例的相关度计算操作的流程图。

图11是图10所示的相关度计算操作中的相关度图像标准化的流程图。

具体实施方式

以下将参考附图来详细说明本发明的典型实施例。

首先，将说明根据本发明实施例的摄像设备的结构。

图1是示出根据本发明实施例的摄像元件的像素的结构的图。

在该图中，设置了用于使光聚光在像素上的微透镜101，并且滤色器102是通常以将诸如RGB等的多个颜色的各个滤色器按预定周期排列的方式所构造的滤波器。

设置了半导体的配线层103以及用于进行光电转换的光电二极管104和105。

尽管在通常的摄像元件中将光电二极管104和105设置为一个光电转换单元，但在用作本发明前提的像素结构中，通过对该光电转换单元进行分割来获得光瞳分割图像。也就是说，在该像素结构中，两个光电转换单元对应于一个微透镜。

在由仅来自光电转换单元104的光电转换信号(图像信号)所形成的图像(A图像)和由仅来自光电转换单元105的图像信号所形成的图像(B图像)中，由于光瞳被进行了分割，因此在这些图像中均发生视差(parallax)。具有视差的图像可以用于进行焦点检测以及获得立体图像等的领域。

由于与一般像素的光瞳形状相同的光瞳形状是通过将光电转换单元105(B图像像素)的图像信号和光电转换单元104(A图像像素)的图像信号相加所重新形成的，因而在对相加得到的图像信号执行一般信号处理的情况下，可以获得与传统的摄像元件所得到的图像相同的图像。

现在将参考图2A和2B来说明光电转换单元的饱和的问题。

图2A和2B是示出对光电转换单元进行分割的一个像素中的入射光和输出之间的关系的图。横轴表示入射到微透镜的光量，并且纵轴表示从光电转换单元所输出的图像信号的值。

图2A示出图1的像素的入射光和输出之间的关系。折线201表示没有分割光电转换单元的情况下的特性，并且保持线性直到输出达到饱和等级为止。在入射到微透镜的光均匀地照射至分割得到的光电转换单元的情况下，通过将光电转换单元的图像信号相加所获得的图像信号表示如该图所示的特性201。

然而，除非像素位于图像高度的中心并且处于聚焦状态，否则照射至该像素的光在该像素的感光面内并不均匀。

图9示出光照射至图像高度较高的位置处的像素(即，显示画面的周边像素)的状态。在显示画面的周边像素中，由于光从倾斜方向入射，因而光电转换单元104难以接收到光，并且光电转换单元105接收到大部分光。因此，光电转换单元105首先达到饱和。

图2A中的折线203表示光电转换单元105的特性，并且折线204表示光电转换单元104的特性。由于特性203首先达到饱和等级，因而通过将光电转换单元105和104的图像信号相加所获得的信号表示折线202，并且饱和的影响比特性201出现得早。

作为用于避免这种影响的对策，存在使用以下像素结构的方法。

也就是说，像素被构造成：在光电转换单元105达到了饱和的情况下，光电转换单元105中所生成的电荷泄露至光电转换单元104。因此，通过将光电转换单元105和104的图像信号相加所获得的信号表现出如图2B的折线201所示的特性。在这种情况下，像素104表现出如图2B的折线205所示的特性。

根据曲线205，由于光电转换单元105(特性203)达到饱和并且其内所生成的电荷流入光电转换单元104，因而相对于入射光的输出的倾斜度在折线205中抬高。

此外，由于根据散焦量在A图像和B图像之间存在视差，因而A图像和B图像的等级在模糊(散焦)图像中极大不同。然而，由于饱和电荷泄露，因而A图像和B图像这两者在高亮部分变得饱和。

图3示出散焦的A图像和B图像各自的一部分中发生了饱和的情况下的图像信号的示例。在该图中，实线301示出B图像的波形，并且虚线302示出A图像的波形。

可以通过将A图像和B图像之间的图像偏移量乘以由基线长度所确定的常数来计算散焦量。由于在A图像和B图像之间存在图像偏移，因而将会获得散焦量。然而，图像在发生饱和的部分中没有偏移。由于这种情况下的影响度较大，因而在A图像和B图像之间没有发生图像偏移的上述位置处，一致度最高。

也就是说，由于作为相关度运算的结果判断为A图像和B图像之间没有发生图像偏移，因而误判断为像素处于聚焦状态。

图4示出通过对A图像的图像信号302和B图像的图像信号301进行相关度运算所获得的相关度图像。

相关度图像是A图像和B图像之间逐渐偏移的图像，并且将根据偏移量所获得的相关量设置为图像。作为相关度图像，通常使用差的绝对值的总和(所谓的SAD(绝对差总和))或者差的绝对值的平方的总和(所谓的SSD(平方差总和))等作为指标。

图4的横轴的刻度0的位置是偏移量0的部分，并且相关量最小。相关量最小的位置是相关度较高的部分。在图4的示例中，偏移量0的部分的图像的一致度最高。

如上所述，在发生由于饱和所引起的电荷泄漏的情况下，会发生如下现象：相关量与实际散焦量无关地受到由于电荷泄漏所引起的散焦量0的极大影响。

第一实施例

以下将参考图5来说明如下情况：将根据本发明第一实施例的图像处理设备应用于具有由图1所示的像素所构造的摄像元件的摄像设备。

图5是根据本发明第一实施例的摄像设备的框图。

在该图中，设置了镜头501、摄像元件502、A/D转换器503、A图像B图像相加电路504、A图像B图像分离电路505、信号处理电路506、相关度运算单元507和散焦量计算单元508。这些组成元件由用于控制整个系统的微计算机509来控制。

摄像元件502的像素具有通过参考图1所述的结构。针对一个微透镜设置两个光电转换单元。图7是示出摄像元件的表面上的像素阵列的图。示出了绿色的A图像像素703和绿色的B图像像素704。同样，示出了红色的B图像像素701和蓝色的A图像像素702。

如上所述，通过组合A图像像素和B图像像素形成一个像素，来获得RGB的拜尔(Bayer)阵列。

由于从A/D转换器503顺次输出A图像数据和B图像数据，因而在通过A图像B图像相加电路504对同一颜色的相邻像素数据进行相加的情况下，像素恢复至Bayer阵列。

信号处理电路506根据Bayer阵列形成颜色图像信号。

A图像数据和B图像数据由A图像B图像分离电路505分离并传送至相关度运算单元507。

相关度运算单元507将A图像和B图像之间的偏移量计算作为相关度图像，并且将该偏移量输出至散焦量计算单元508。

在散焦量计算单元508中，通过分析相关度图像来获得图像偏移量，并且通过将图像偏移量乘以由A图像和B图像的基线长度所确定的常数来获得散焦量。控制微计算机509根据散焦量来控制镜头501以获得聚焦状态。

图6是构成相关度运算单元507的绝对值累加单元的电路图。

饱和阈值等级601是所赋予的利用控制微计算机509可改变的设置值。将作为传感器的特性而开始饱和的等级指定为阈值。

设置了A图像数据输入602和B图像数据输入603。将相关度运算单元前段的缓冲器所存储的A图像数据和B图像数据在逐一改变偏移量的同时重复地输入至输入端子602和603。在差绝对值运算单元605中计算A图像数据和B图像数据之间的差的绝对值。通过累加单元608来获得这些差的绝对值的总和。

在针对一个偏移量完成了A图像数据和B图像数据的输入602和603的时刻，在后段获取SAD输出(累加输出)610，并且复位累加单元608。改变该偏移量，并且从开始起输入A图像数据和B图像数据。在完成图像的输入之后，获取到SAD输出610。通过之后使与上述操作相同的操作重复多次，获得了相关度图像。在饱和检测单元604中，通过与阈值601进行比较来检测A图像像素和B图像像素中的哪一个达到了饱和。

在饱和检测单元604检测到饱和的情况下，使开关606断开。在检测饱和的处理周期内，并未将差绝对值送入至累加单元608内。因此，可以从相关量输出610中排除饱和的影响。也就是说，可以根据饱和检测单元604的饱和检测的结果来对图像信号的相关度是否用于图像偏移量的运算进行控制。

在计数电路607中，使计数值在饱和检测单元604的输出等于1的一个周期内增加1。因此，通过计数电路607来对饱和所造成的排除(饱和排除)的次数(饱和次数)进行计数。可以通过在用于获取SAD 610的相关量的输出的周期内获取饱和排除计数值609，来获得饱和排除图像。

图8A示出相关度运算单元507基于图6中的绝对值累加单元的输出所获得的相关度图像。

在该图中，曲线801表示与图6的绝对值累加单元累加得到的相关量相对应的相关度图像。

图8B示出与相关度图像相对应的饱和排除计数值图像。在偏移量等于0的情况下，A图像的饱和区域和B图像的饱和区域彼此相对，并且示出了最小饱和计数值。点线802表示通过利用饱和排除计数值图像803对相关度图像801进行标准化所获得的标准化后的相关度图像。具体来说，可以通过以下等式来进行标准化。

标准化后的相关量＝相关量*视野像素数/(视野像素数-饱和排除计数值)

通过由于饱和而排除差绝对值的相加的量来校正权重。

散焦量计算单元508根据相关度图像和饱和排除计数值图像来进行标准化，由此获得如点线802所示的标准化后的相关度图像。

之后，在散焦量计算单元508中，通过被称为抛物线拟合(parabola fitting)的方法来进行子像素匹配。

在抛物线拟合中，由于通过使用相关量的最小值前后的图像的倾斜来计算子像素匹配位置(例如，最小值前后的不同偏移量的4个点处的值)，因而通过标准化提高了子像素匹配的精度。

在饱和像素所占的比率较大的情况下，除非进行标准化，否则最小值自身将会混乱并且无法正确地计算出偏移量。因此，相关度图像确定地通过标准化来使用。

第二实施例

随后，将参考图10和11来说明根据本发明第二实施例的图像处理设备。

尽管相关度运算单元507由根据第一实施例的图像处理设备的图6所示的差绝对值累加单元的运算单元等所构成，但在第二实施例中，相关度运算单元507的功能是通过微计算机所进行的处理来实现的。尽管这种情况下微计算机所进行的处理可以由控制微计算机509来进行，但专用微计算机也可以分担该处理的一部分。通过如下方法来实现该处理：微计算机加载并执行存储在存储器(未示出)中的计算机程序。由于除相关度运算单元507以外的结构与图5所示的结构基本相同，因此这里将省略对其的说明。

图10是用于实现第二实施例的相关度运算单元507的功能的微计算机的处理的流程图。

首先，在步骤S1001中开始相关度运算的情况下，在步骤S1002中，针对偏移量(假定为-100～+100)开始相关量累加运算的重复。

在步骤S1003中，开始次数为A图像的视野的像素数(视野长度)的重复。

在步骤S1004中，分别获取相对于A图像像素位置偏移了偏移量的B图像像素位置处的像素。

在步骤S1005中，判断A图像像素或B图像像素是否饱和。在饱和的情况下，处理例程进入步骤S1008，并且使排除次数计数器的计数值增加1，然后进入步骤S1010。

在步骤S1005中A图像像素和B图像像素各自均未饱和的情况下，进入步骤S1007。将A图像像素和B图像像素之间的差的绝对值累加作为SAD值，然后进入步骤S1010。

在步骤S1010中，A图像和B图像的像素位置增加1(+1)(偏移了一个像素的距离)，并且处理例程返回至步骤S1003。

在针对视野长度重复了步骤S1003～S1010之后(步骤S1003中为否)，进入步骤S1006，并且将SAD值和排除计数值存储在与阵列的偏移量相对应的位置中。

在步骤S1009中，使偏移量增加1(+1)(偏移了一个像素的距离)，并且处理例程返回至步骤S1002。

通过针对偏移量重复了步骤S1002～S1009，形成了针对各偏移量的相关度图像和排除计数值的表(步骤S1002中为否)，然后进入步骤S1011。

在步骤S1011中执行标准化运算，并且在步骤S1012中该处理例程结束。

图11示出图10的步骤S1011的标准化运算的详细流程图。

在步骤S1101中开始标准化。

在步骤S1102中开始相关度图像长度(0～200)的重复。

在步骤S1103中，从所形成的表中获取相关量和排除计数值。

在步骤S1104中，通过将相关量乘以(视野长度÷(视野长度-排除计数值))来进行标准化。

在步骤S1105中，将标准化运算的结果存储在表内且使指示器增加1，并且处理例程返回至步骤S1102。

在针对视野长度重复了步骤S1102～S1105之后(步骤S1102中为否)，进入步骤S1106，并且处理例程返回至图10的处理例程。

如上所述，在第二实施例中也可以实现与第一实施例相同的技术效果。在第二实施例中，图10和11所示的处理的功能通过如下方法来实现：控制微计算机509等从存储器(未示出)读出用于实现如上所述的处理的功能的程序，并且执行该程序。

然而，本发明并不局限于前述结构，图10和11所示的处理的功能的全部或一部分也可以通过专用硬件来实现。前述存储器可以由计算机可读写存储介质来构成。例如，作为存储介质，可以使用磁光盘设备、诸如闪速存储器等的非易失性存储器、诸如CD-ROM等的只读存储介质、除RAM以外的易失性存储器、或者它们的组合。

前述处理可以通过如下方法来执行：将用于实现图10和11所示的处理的功能的程序记录在计算机可读存储介质中，并且将记录在存储介质中的程序读出并实现到计算机系统内并执行该程序。假定这里所述的“计算机系统”包含OS以及诸如外围装置等的硬件。具体来说，包含如下情况：将从存储介质所读出的程序写入到插入计算机内的功能扩展板或与计算机连接的功能扩展单元所设置的存储器内。在这种情况下，在写入了该程序之后，功能扩展板或功能扩展单元所设置的CPU等基于程序的指令来执行实际处理的一部分或全部，并且通过这些处理来实现上述实施例的各功能。

“计算机可读存储介质”表示如下的存储装置：软盘、磁光盘、诸如ROM和CD-ROM等的便携式介质、或者计算机系统内置的硬盘等。此外，假定“计算机可读存储介质”还包含经由诸如因特网等的网络或电话线等的通信线路发送了程序的情况下的用作服务器或客户端的计算机系统内的易失性存储器(RAM)。如上所述，将程序保持了预定时间的存储器也包含在“计算机可读存储介质”中。

可以经由传输介质或者利用传输介质内的传输波来将程序从已将该程序存储在存储装置等的计算机系统传输至其它计算机系统。用于传输程序的“传输介质”表示像诸如因特网等的网络(通信网络)或者诸如电话线等的通信线路(通信线)那样的具有用于传输信息的功能的介质。

前述程序可以是用于实现上述功能的一部分的程序。此外，该程序可以是被称为能够通过与已记录在计算机系统内的程序的组合来实现前述功能的差分文件(差分程序)。

诸如计算机可读存储介质等的已记录有前述程序的程序产品也可以适用于本发明的实施例。前述的程序、存储介质、传输介质和程序产品也包含在本发明的范畴内。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (9)

1.一种图像处理设备，用于对从摄像元件所获得的图像信号进行处理，所述图像处理设备包括：

相关度运算单元，用于对从所述摄像元件所获得的由光电转换单元所拍摄的两个图像的图像信号的相关度进行运算，并且基于所述相关度来运算散焦量；

饱和检测单元，用于检测所述图像信号是否达到饱和等级；以及

控制器，用于控制所述相关度运算单元，

其特征在于，所述控制器对来自包括所述光电转换单元的多个光电转换单元的图像信号的相关度是否用于所述相关度运算单元所进行的散焦量的运算进行控制，

所述控制器所进行的控制是根据所述饱和检测单元所进行的光电转换单元的饱和检测的结果而进行的，以及

所述控制器以如下方式进行控制：在两个图像相对地偏移以运算所述相关度时，在检测到饱和信号的情况下，所述相关度运算单元不使用所述饱和信号进行所述散焦量的运算。

2.根据权利要求1所述的图像处理设备，其中，所述摄像元件被构造成：与微透镜相对应地排列多个光电转换单元。

3.根据权利要求1所述的图像处理设备，其中，所述相关度运算单元基于所述控制器对所述相关度是否用于所述散焦量的运算所进行的控制的结果来对相关度结果进行标准化。

4.根据权利要求1所述的图像处理设备，其中，所述相关度运算单元根据所述控制器基于所述饱和检测单元所进行的光电转换单元的饱和检测的结果所进行的控制，来对所述图像信号的相关度没有用于所述散焦量的运算而导致排除的排除次数进行累加，并且基于累加得到的排除次数来对用于所述散焦量的运算的相关度进行标准化。

5.根据权利要求4所述的图像处理设备，其中，所述相关度运算单元根据用于所述散焦量的运算的相关度以及所述排除次数来形成相关度图像和与所述相关度图像相对应的排除图像，并且基于所述排除图像来对所述相关度图像进行标准化。

6.根据权利要求1所述的图像处理设备，其中，所述饱和检测单元基于所述图像信号的等级和预设的阈值之间的比较的结果来检测所述光电转换单元的饱和，并且所述控制器设置所述阈值。

7.一种摄像设备，包括：

摄像元件，其中在所述摄像元件中，与微透镜相对应地排列多个光电转换单元；以及

根据权利要求1所述的图像处理设备。

8.根据权利要求7所述的摄像设备，其中，还包括：

相加单元，用于将来自所述多个光电转换单元的图像信号进行相加；以及

信号处理单元，用于对相加得到的信号进行处理。

9.一种图像处理方法，用于对从摄像元件所获得的图像信号进行处理，所述图像处理方法包括以下步骤：

相关度运算步骤，用于对从所述摄像元件所获得的由光电转换单元所拍摄的两个图像的图像信号的相关度进行运算，并且基于所述相关度来运算散焦量；

饱和检测步骤，用于检测所述图像信号是否达到饱和等级；以及

控制步骤，用于控制所述相关度运算步骤，

其特征在于，在所述控制步骤中，对来自包括所述光电转换单元的多个光电转换单元的图像信号的相关度是否用于所述相关度运算步骤中所进行的散焦量的运算进行控制，

所述控制步骤中所进行的控制是根据所述饱和检测步骤中所进行的光电转换单元的饱和检测的结果而进行的，以及

在所述控制步骤中以如下方式进行控制：在两个图像相对地偏移以运算所述相关度时，在检测到饱和信号的情况下，在所述相关度运算步骤中不使用所述饱和信号进行所述散焦量的运算。