CN103248796A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备和图像处理方法，所述图像处理设备通过执行添加处理生成添加有附加有效像素的图像，其中，所述添加处理用于通过使用输入图像数据在扫描方向上的终端部处的像素来在所述扫描方向上延长所述输入图像数据，从而添加附加有效像素。所述图像处理设备生成通过对所生成的添加有所述附加有效像素的图像进行滤波来缩小所述输入图像数据而得到的第二层图像数据，并且通过对所述第二层图像数据进行滤波生成第三层图像数据。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及一种调整图像数据大小中使用的图像处理设备和图像处理方法。

背景技术

大多数图像传感器包括大量的有效像素和设置在这些大量的有效像素周围的大量的无效像素。有效像素的信号值作为图像数据使用，无效像素的信号值用于获取校正从所述有效数据中所得到的图像数据所需的校正数据。

为了调整从这样一种图像传感器中获取的图像数据的大小，通常利用FIR数字滤波法。在应用FIR滤波法时，通过对感兴趣的像素的信号值和该像素周围的预定数量的像素的信号值进行卷积来执行图像处理。当感兴趣的像素位于有效像素的端部时，滤波参考范围包括无效像素。为此，在应用缩小处理的滤波时，将作为位于端部的有效像素的复制的附加有效像素添加至该有效像素的外侧，然后进行滤波。

日本特开平11-154227A（以后称为专利文献1）描述了一种通过生成多个缩小图像来输出图像金字塔的结构。在专利文献1中，通过重复进行用来执行附加有效像素生成处理以及对具有附加有效像素的图像应用滤波和下采样的缩小处理来生成多层缩小图像，该附加有效像素生成处理用于将附加有效像素添加至无效像素和有效像素之间的边界。这种处理需要用于判断各层图像数据中的有效像素和无效像素之间的边界、并且将附加有效像素添加至所述边界的处理。

通常，在调整图像数据大小的图像处理中，需要判断滤波参考范围是否包括有效像素和无效像素之间的边界，如果包括边界，则需要将附加有效像素添加至位于端部的有效像素的外侧。在各层的缩小处理中使用视频有效期间(video effectiveperiod)的图像数据执行附加有效像素的生成处理的情况下，例如在进行视频拍摄时不使用DRAM的即时处理中，发生性能下降。

发明内容

考虑到上述问题而作出本发明。本发明的一个实施例提供了一种图像处理设备和方法，通过简单的配置，能够在抑制图像数据记录的性能下降的同时获得多层的调整大小后的图像。

根据本发明的一个方面，提供了一种图像处理设备，包括：附加有效像素添加单元，用于通过执行添加处理生成添加有附加有效像素的图像，其中，所述添加处理用于使用第一层图像数据在扫描方向上的端部处的像素来添加在所述扫描方向上延长所述第一层图像数据所需的附加有效像素；第一生成单元，用于通过对由所述附加有效像素添加单元所生成的添加有所述附加有效像素的图像进行滤波，生成通过缩小所述第一层图像数据而得到的第二层图像数据；以及第二生成单元，用于通过对所述第二层图像数据进行滤波，生成通过缩小所述第二层图像数据而得到的第三层图像数据。

根据本发明的另一个方面，提供了一种用于根据输入图像生成多层缩小图像的图像处理设备的图像处理方法，所述图像处理方法包括：附加有效像素添加步骤，用于通过执行添加处理生成添加有附加有效像素的图像，其中，所述添加处理用于使用第一层图像数据在扫描方向上的端部处的像素来添加在所述扫描方向上延长所述第一层图像数据所需的附加有效像素；第一生成步骤，用于通过对在所述附加有效像素添加步骤中所生成的添加有所述附加有效像素的图像进行滤波，生成通过缩小所述第一层图像数据而得到的第二层图像数据；以及第二生成步骤，用于通过对所述第二层图像数据进行滤波，生成通过缩小所述第二层图像数据而得到的第三层图像数据。

通过参考附图对示例性实施例的下列描述，本发明进一步的特征将变得明显。

附图说明

图1是示出根据一个实施例的图像处理设备的结构的示例的框图；

图2是用于说明由根据该实施例的图像处理设备所执行的缩小处理的流程图；

图3是用于说明根据该实施例的缩小处理和附加有效像素的添加的示意图；

图4是根据本实施例的与附加有效像素的添加有关的时序图；

图5是用于说明包括OB区域的一般的缩小处理的示意图；

图6是用于说明在附加有效像素被添加到扫描方向左侧的情况下的缩小处理的示意图；

图7是与图6所示的缩小处理中的附加有效像素的添加有关的时序图。

具体实施方式

以下将参照附图描述本发明的优选实施例。

图1是示出根据本实施例的图像处理设备的结构示例的框图。本实施例的图像处理设备100例如内置于数字摄像机中，并且将由缩小处理生成的多个多层图像（例如图像金字塔）记录在记录介质200中。通过A/D转换器101将输入给图像处理设备100的视频信号（模拟视频信号）转换为数字视频信号。A/D转换器101以与从摄像单元（未示出）输入的像素时钟同步的方式输出数字像素数据。包括在视频信号中的水平同步信号表示在水平方向上一行像素数据的开始，包括在视频信号中的垂直同步信号表示一帧像素数据的开始。

附加有效像素添加单元102接收作为输入图像的来自A/D转换器101的输出，执行用于复制各个水平扫描线的水平扫描方向的端部（本实施例的终端部）处的像素以在水平扫描方向延长水平扫描线的第一添加处理，由此在水平方向上添加附加有效像素。附加有效像素添加单元102执行用于复制输入图像的垂直方向上的端部（本实施例的终端部）处的水平线以在垂直扫描方向延长输入图像的第二添加处理，由此进行附加有效像素的添加。基于在输出各层图像所需的滤波处理中所参考的像素的数量来设置要被添加的附加有效像素的宽度（在下文中进行说明）。这些附加有效像素的添加处理是生成图像金字塔所需的边界处理，下文中将进行详细说明。

第一层输出单元103输出维持输入图像大小的图像，也就是说，将缩小处理前的图像作为第一层图像。第一层输出单元103可以输出附加有效像素添加单元102的附加有效像素添加处理之前的数据。第二层输出单元104对由附加有效像素添加单元102添加了附加有效像素的图像应用滤波处理来输出缩小图像并将其作为第二层图像。例如，第二层输出单元104通过应用使用了3x3像素的缩小滤波器的滤波处理来生成并输出缩小图像。第三层输出单元105输出通过对从第二层输出单元104输出的缩小图像应用滤波处理所得到的缩小图像，并将其作为第三层图像。随后的各层的输出单元通过对紧挨着该层的上一层输出单元所得到的缩小图像应用滤波处理来生成并输出另一缩小图像。然后，第N层输出单元106利用来自第（N-1)层输出单元的输出生成缩小图像，并将该图像作为第N层图像输出。

压缩处理单元107对从第一层输出单元103到第N层输出单元106输出的图像数据进行压缩处理，并且在记录介质200中记录压缩后的图像数据。下面将说明生成图像金字塔所需的缩小处理、以及利用附加有效像素添加单元102的位于帧端部的有效像素和无效像素之间的边界处理。

图2是本实施例的图像处理设备100执行的缩小处理的流程图。图2中“S”表示步骤。在步骤S200开始缩小处理的情况下，附加有效像素添加单元102在步骤S201中接收图像，并在步骤S202中根据输出层的数量、缩小率、缩小滤波器系数（各个滤波器参考的像素组的大小）等添加附加有效像素。注意，下述方法也是可行的，该方法将多个有效像素中的位于端部的有效像素定义为辅助有效像素，并且仅使用该辅助有效像素的信号值以与附加有效像素添加单元102所添加的附加有效像素相同的方式进行滤波处理。在存在足够数量的这种辅助有效像素的情况下，可以跳过附加有效像素添加处理，或者可以减少要添加的附加有效像素的数量。

第一层图像是输入图像，并且第二层和随后层的图像是缩小图像。步骤S203和S204（以下将要说明）示出用于生成第二层和随后层的图像的处理。第二层输出单元104通过对由附加有效像素添加单元102所生成的、添加有附加有效像素的图像应用滤波来生成缩小图像并将其作为第二层图像。在生成该缩小图像之后，第三层输出单元105和随后的第n层输出单元中的各个输出单元通过对第（n-1)层输出单元所输出的缩小图像应用滤波来生成第n层（n是等于或大于2的整数）缩小图像。根据这种方式方式，生成多层缩小图像。

在步骤S203，第二层输出单元104通过对在步骤S202中由附加有效像素添加单元102添加了附加有效像素的图像应用滤波处理来生成缩小图像并将其作为第二层图像。当第二层输出单元104在水平方向执行缩小处理时，该第二层输出单元应用通过执行间隔剔除处理的下采样，使得缩小处理前的图像数据中所包括的、位于水平方向右端的有效像素的重心与缩小处理后的图像数据中所包括的、位于水平方向右端的有效像素的重心一致。结果，如图3所示，例如，第一层的像素P8的重心、第二层的像素P15(第一层中的图像的缩小图像)的重心、以及第三层的像素P18(第二层中的图像的缩小图像)的重心一致。另一方面，当第二层输出单元104在垂直方向上执行缩小处理时，该第二层输出单元应用通过执行间隔剔除处理的下采样，使得缩小处理前的图像数据中所包括的、位于垂直方向下端的有效像素的重心与缩小处理后的图像数据中所包括的、位于垂直方向下端的有效像素的重心一致。注意这是在从上端的行起依次按照从左到右的顺序读取像素信号的情况下进行间隔剔除处理的示例。当各层的输出单元在水平方向执行缩小处理时，该层的输出单元可执行下采样，以使得位于水平扫描方向的终端部的有效像素的重心在执行缩小处理的前后一致。同样，当各层的输出单元在垂直方向执行缩小处理时，该层的输出单元可执行下采样，以使得位于垂直扫描方向的终端部的有效像素的重心在执行缩小处理的前后一致。

然后，如果要输出下一层的缩小图像（步骤S204的“是”），处理返回到步骤S203；如果不存在要输出的下一层的缩小图像（步骤S204的“否”），在步骤S205中结束缩小处理。

如果处理从步骤S204返回到步骤S203，进行缩小处理的对象是紧接着的前一个步骤S203的处理所获取的缩小图像。例如，第三层输出单元105通过对步骤203中第二层输出单元104输出的缩小图像进行滤波处理来获取另一缩小图像。注意，当针对各个层设置层输出单元时，如图1所示，缩小处理中使用的滤波器能够针对各个层而改变。如果各个层使用相同的滤波器，可以将作为第二层输出单元104的输出的第二层图像用作输入到该第二层输出单元104的输入以生成第三层图像。

图3是示出缩小处理的配置的示例的示意图。假设第一层图像数据是第一图像，第二层图像数据是通过将第一层图像数据缩小至1/2而得到的缩小图像数据，第三层图像数据是通过将第二层图像数据缩小至1/2而得到的缩小图像数据。

假设在视频有效期间的第一层图像数据301包括像素P1至P8。为了生成第二层图像数据，对第一层图像数据的各个像素进行数字滤波处理，从而对像素进行间隔剔除。由于要使得位于右端的像素的重心在缩小处理的前后一致，因此在间隔剔除处理之后，保留在两个相邻像素形成一对的情况下位于右侧位置的像素（例如，像素P2、P4、P6和P8）。

通过下面的计算生成像素P12：

P12=(P1+P2×2+P3)/4

同样的，分别通过下面的计算生成像素P13和P14：

P13=(P3+P4×2+P5)/4

P14=(P5+P6×2+P7)/4

为了生成像素P15，需要像素P9。然而，在视频有效期间的第一层图像数据301不包括任何对应于像素P9的有效像素。为此，需要执行使用第一层图像数据的有效像素的用于添加附加有效像素的处理。S302是用于添加附加有效像素的处理的时间段。在时间段S302，保留视频有效期间存在的像素P8以生成P9=P8，P10=P8以及P11=P8，由此添加附加有效像素。注意生成作为附加有效像素的像素P11的原因是为了生成第三层图像数据。由此，通过下式计算第二层的像素P15的值：

P15=(P7+P8×2+P9)/4

并且，为了生成第三层图像数据，通过下式计算像素P16的值：

P16=(P9+P10×2+P11)/4

此外，为了生成第三层图像数据，对第二层图像的各个像素进行数字滤波处理，从而间隔剔除像素。通过下面的计算生成像素P17：

P17=(P12+P13×2+P14)/4

并且，使用第二层的像素P14至P16并通过下面的计算生成像素P18：

P18=(P14+P15×2+P16)/4

如上所述，通过使用诸如像素P2、P4、P6以及P8等的位于右侧的像素来进行位置的间隔剔除处理，可以在有效像素的右侧聚集数字滤波处理所需要的附加有效像素。也就是说，不需要将附加有效像素添加到扫描方向上的开始端部。

为了生成多个缩小图像，在水平消隐间隔期间，仅使用第一层图像数据来执行使用视频有效期间的有效像素的附加有效像素添加处理。在本实施例中，由于滤波处理所需的像素仅是位于水平扫描方向上的作为终端部的右侧的像素，因此可在水平消隐间隔期间，通过保留少量的延迟元件(即，仅保留像素P8)来添加附加有效像素。

使用图3说明了水平方向的缩小处理。水平方向的间隔剔除处理之后要保留的位置是位于右侧的位置，同时，在垂直方向上，间隔剔除处理之后要保留的位置是位于下侧的位置。为此，对于垂直方向的缩小处理来说，由于滤波处理所需的像素仅是下侧的像素，因此能够在垂直消隐间隔期间使用少量的行存储器来添加附加有效像素。

图4是根据本实施例的附加有效像素添加单元102的时序图。时间段S401表示视频有效期间的数据，时间段S402表示消隐间隔期间的数据。在时间段S401期间(输入图像的VALID信号表示有效)，以与像素时钟同步地从像素P1到P8输入第一层图像数据。在添加追加有效像素所需的信号在时间段S402期间成为高电平的情况下，延迟单元DL1保持像素P8。使用由延迟单元DL1所保持的数据P8，添加附加有效像素P9=P8、P10=P8以及P11=P8。

下面将说明一般的多层缩小图像获取处理和附加有效像素添加处理，由此解释本实施例的优点。图5说明在各层的有效像素和无效像素之间的边界处的处理的一般示例。在像素P1至P4是OB区域的无效像素、并且像素P5至P12是有效像素的情况下，第一层图像数据中的附加有效像素的添加位置是像素P5的位置。为了生成第二层图像数据的像素P15，需要像素P4，但是由于像素P4是无效的，因此使得P4=P5。

第二层图像数据中的附加有效像素的添加位置是像素P15的位置。为了生成第三层图像数据的像素P20，需要像素P14，但是由于像素P14是无效的，因此P14=P15。如上所述，当生成多层缩小图像时，在每次生成各层的缩小图像时，需要设置要添加附加有效像素的像素。

相反，在本实施例，生成所有随后层的缩小图像所需的宽度的附加有效像素被仅仅添加到第一层图像数据的有效像素的右侧和下侧。然后，在进行缩小处理时，执行间隔剔除处理使得位于右端和下端的有效像素的重心的位置在缩小处理的前后一致。通过这个处理，无需执行用于对第二层以下的各层的缩小图像添加附加有效像素的处理。也就是说，根据本实施例，能够在不对第二层以下的各层的图像数据的有效像素和无效像素之间的边界进行判断并且不添加附加有效像素的情况下，生成良好的多层缩小图像。

以下将参考图6来说明在将足够宽度的附加有效像素添加到输入图像由此省去各层的边界处理（附加有效像素添加处理）的情况下，当将附加有效像素添加到有效像素的左侧或上侧时出现的问题。

当进行使得位于左端的有效像素的重心在对各层的缩小图像进行间隔剔除处理的前后一致的间隔剔除处理时，需要第一层的像素P9来输出第二层的像素P12。另外，需要第二层的像素P16输出第三层的像素P17。然而，为了输出第二层的像素P16，需要第一层的像素P11、P10和P9。为此，需要添加附加有效像素P9=P1、P10=P1和P12=P1的处理。由于像素P1处于视频有效期间S601内，当将像素P9、P10和P11作为附加有效像素输出时，需要用于在视频有效期间内保持数据P1、P2和P3的存储器。

图7是在执行图6所示的附加有效像素添加处理、并且间隔剔除处理之后所保留的位置是在水平缩小处理中左侧的位置以及在垂直缩小处理中上侧的位置的情况下的时序图。从图7可看出，在第一层中添加附加有效像素所需的信号的高电平期间，为了输出第一层的像素P1，需要用于保持像素P1、P2和P3的值的延迟元件DL1、DL2和DL3。

因此，在生成缩小图像的所需的层数增加、并且水平缩小处理的间隔剔除处理之后所保留的位置是左侧的位置的情况下，需要大量的图像数据延迟元件。同样地，在垂直缩小处理的间隔剔除处理之后所保留的位置是上侧的位置时，需要大量的图像数据行存储器。

相反，在本实施例中，将附加有效像素添加到输入图像的右侧和下侧，并且在各个缩小处理的间隔剔除处理之后所保留的位置是右侧和下侧的位置。为此，用于保持位于水平扫描方向上的终端部的一个像素的值的存储器，能够满足在水平扫描方向执行附加有效像素的添加处理的要求。同时，用于保持位于垂直扫描方向上的终端部的一个水平线的像素的值的存储器，能够满足在垂直扫描方向上执行附加有效像素的添加处理的要求。

此外，根据本实施例，将附加有效像素添加时间段设置为不同于视频有效期间的时间段，例如在水平消隐间隔或垂直消隐间隔期间。因此，即使在诸如视频等的即时处理中，也能够使用少量的与第一层图像数据有关的延迟单元或行存储器来添加所需的附加有效像素。这是因为在水平消隐间隔或垂直消隐间隔期间，不输入视频有效期间的图像数据，并且不需要用于在视频有效期间保持图像数据的多个存储器。

如上所述，根据本实施例的图像处理设备，将生成所有层的缩小图像所需的宽度的附加有效像素添加到第一层图像数据的扫描方向的终端部。此外，根据本实施例的图像处理设备，为了生成各层的缩小图像，将间隔剔除处理的位置设置为使得保留位于扫描方向上的终端部的像素。通过这种配置，可以简化与所需的延迟存储器等有关的结构，并且在无需在第二层以下的各层中添加任何附加有效像素的情况下，就能够生成良好的缩小图像。

此外，根据本实施例，由于在不是用于输入图像的视频有效期间的消隐间隔期间添加附加有效像素，不必包括添加附加有效像素所需的多个延迟单元和行存储器。同时，根据本实施例，在无需在各个缩小处理中执行附加有效像素的添加处理的情况下就能生成缩小图像，并且可以提高在诸如拍摄视频中不使用DRAM处理数据的即时处理的处理效率。

注意，不必说，还可以通过软件来实现上述图像处理设备100的一些单元。例如，可利用执行预定软件的CPU来实现附加有效像素添加单元102、第一至第N层输出单元103至106以及压缩处理单元107。

上述实施例举例说明了将紧接着当前层的上一层的图像数据缩小至1/2来生成缩小图像数据的例子。然而，不必说，这个倍数可以是任意的倍数。即使在使用除了1/2之外的其它倍数的情况下，仅需要采用进行保留位于扫描方向上的终端部的像素的下采样的结构。

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考示例性实施例说明了本发明，但是应该理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (10)

1.一种图像处理设备，包括：

附加有效像素添加单元，用于通过执行添加处理生成添加有附加有效像素的图像，其中，所述添加处理用于使用第一层图像数据在扫描方向上的端部处的像素来添加在所述扫描方向上延长所述第一层图像数据所需的附加有效像素；

第一生成单元，用于通过对由所述附加有效像素添加单元所生成的添加有所述附加有效像素的图像进行滤波，生成通过缩小所述第一层图像数据而得到的第二层图像数据；以及

第二生成单元，用于通过对所述第二层图像数据进行滤波，生成通过缩小所述第二层图像数据而得到的第三层图像数据。

2.根据权利要求1所述的图像处理设备，其中，所述第一生成单元对所述第一层图像数据进行滤波，以使得所述第一层图像数据在所述扫描方向上的终端部处的像素的重心与所述第二层图像数据在所述扫描方向上的终端部处的像素的重心一致，以及

所述第二生成单元对所述第二层图像数据进行滤波，以使得所述第二层图像数据在所述扫描方向上的终端部处的像素的重心与所述第三层图像数据在所述扫描方向上的终端部处的像素的重心一致。

3.根据权利要求1所述的图像处理设备，其中，根据视频信号生成所述第一层图像数据，以及

在所述视频信号的水平消隐间隔期间，所述附加有效像素添加单元使用所述第一层图像数据的各个水平线在水平扫描方向上的端部处的像素，在所述水平扫描方向上延长各个水平线。

4.根据权利要求1所述的图像处理设备，其中，根据视频信号生成所述第一层图像数据，以及

在所述视频信号的垂直消隐间隔期间，所述附加有效像素添加单元使用所述第一层图像数据在垂直扫描方向上的端部处的水平线，在所述垂直扫描方向上延长所述第一层图像数据。

5.根据权利要求3所述的图像处理设备，其中，所述附加有效像素添加单元使用所述第一层图像数据的各个水平线的与所述滤波的处理的方向有关的终端部处的像素，在所述水平扫描方向上延长各个水平线。

6.根据权利要求4所述的图像处理设备，其中，所述附加有效像素添加单元使用所述第一层图像数据的与所述滤波的处理的方向有关的终端部处的水平线，在所述垂直扫描方向上延长所述第一层图像数据。

7.根据权利要求1所述的图像处理设备，其中，所述附加有效像素添加单元将所述第一生成单元和所述第二生成单元生成缩小图像所需的宽度的附加有效像素添加到所述第一层图像数据。

8.根据权利要求7所述的图像处理设备，其中，所述附加有效像素添加单元基于所述第一生成单元和所述第二生成单元生成的缩小图像的缩小比率以及所述滤波所参考的像素的区域的大小，来设置所述附加有效像素的宽度。

9.一种用于根据输入图像生成多层缩小图像的图像处理设备的图像处理方法，所述图像处理方法包括：

附加有效像素添加步骤，用于通过执行添加处理生成添加有附加有效像素的图像，其中，所述添加处理用于使用第一层图像数据在扫描方向上的端部处的像素来添加在所述扫描方向上延长所述第一层图像数据所需的附加有效像素；

第一生成步骤，用于通过对在所述附加有效像素添加步骤中所生成的添加有所述附加有效像素的图像进行滤波，生成通过缩小所述第一层图像数据而得到的第二层图像数据；以及

第二生成步骤，用于通过对所述第二层图像数据进行滤波，生成通过缩小所述第二层图像数据而得到的第三层图像数据。

10.根据权利要求9所述的图像处理方法，其中，所述第一生成步骤对所述第一层图像数据进行滤波，以使得所述第一层图像数据在所述扫描方向上的终端部处的像素的重心与所述第二层图像数据在所述扫描方向上的终端部处的像素的重心一致；以及

所述第二生成步骤对所述第二层图像数据进行滤波，以使得所述第二层图像数据在所述扫描方向上的终端部处的像素的重心与所述第三层图像数据在所述扫描方向上的终端部处的像素的重心一致。

Images