CN1628465A

CN1628465A - 运动矢量检测装置和运动矢量检测方法

Info

Publication number: CN1628465A
Application number: CNA038032112A
Authority: CN
Inventors: 相原祐一郎; 大谷昭彦; 渡部彰启
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-07-29
Filing date: 2003-07-25
Publication date: 2005-06-15
Anticipated expiration: 2023-07-25
Also published as: WO2004012460A1; CN100553341C; US20040247032A1; JPWO2004012460A1

Abstract

运算单元基于奇数或者偶数场的象素数据和现图像块奇数或者偶数场的象素数据，顺次算出对各个候补矢量的预测误差，场比较器检测出在所算出预测误差中获得最小预测误差的场运动矢量。AE存储装置存储通过运算单元在规定组合之中的一个组合上所算出的多个预测误差。加法器将通过运算单元算出的预测误差和AE存储装置存储的多个预测误差中所对应的一个预测误差相加而算出帧单位下的预测误差。然后，帧比较器检测出在所算出帧单位下的预测误差中获得最小预测误差的帧运动矢量。

Description

运动矢量检测装置和运动矢量检测方法

技术领域

本发明涉及在运动图像编码装置中求得运动矢量的运动矢量检测装置和运动矢量检测方法。

背景技术

作为实现运动图像的图像压缩的方法，具有通过使用表示之前一个画面中的某一部分在现在画面上移动到哪个位置上的信息(运动矢量)来减少冗长时间之类的方法。

作为用于提取该运动矢量的技术，周知有块匹配(block matching)方法。该块匹配方法就是首先将编码对象图像帧(以后称为现图像帧)分割成多个块(现图像块)，从过去或者未来帧(以后称为参考图像帧)内的多个块(参考图像块)中提取与现图像块相关性最高的参考图像块，且将提取的参考图像块和现图像块的相对位移作为运动矢量。

一般地，在提取相关性最高的块中，通过在现图像块和参考图像块上进行所有象素之间的减法，求出其绝对值的和(或者2乘和)，以及检测出其值成为最小的参考图像块而提取相关性最高的块。

但是，在国际标准ITU-T的H.261和ISO/IEC11172-2中只处理逐行扫描方式的图像编码，而在国际标准ISO/IEC13818-2中还处理隔行扫描方式的图像编码。

相对于对每一行顺次进行垂直扫描的逐行扫描方式，隔行扫描方式是由与规定扫描行行数对应的扫描次数而构成帧的方式。例如，2∶1的隔行扫描方式，由奇数扫描行构成的场(field)和由偶数扫描行构成的场这两个场构成一帧，首先扫描其中一场之后再进行另一场的扫描。该隔行扫描方式由于节省了信号的频带宽度，所以实质上不减少扫描行数，且整个画面的扫描次数变多而使图像的闪烁减少。

在隔行扫描方式的图像中，提供了将帧作为编码单位的帧结构和将场作为编码单位的场结构。在帧结构情况下，以将隔行扫描的两个场合成后的帧画面单位进行运动补偿和DCT编码。与此相反，在场结构情况下，以隔行扫描的两个场的每个场画面单位进行编码。而且，在预测方式上有帧预测方式和场预测方式。

下面，说明帧结构的运动补偿。

这里，现图像帧通过由奇数扫描行构成的奇数场和由偶数扫描行构成的偶数场构成，参考图像帧通过由奇数扫描行构成的奇数场和由偶数扫描行构成的偶数场构成，从参考图像帧预测现图像帧。

帧结构的帧运动补偿预测，通过将隔行扫描的两个场合成的帧作为单位，且根据参考图像帧作为运动矢量MV表示现图像帧，而进行运动补偿预测。

帧结构的场运动补偿预测是对每场进行运动补偿。就是说，通过运动矢量MV1来从参考图像帧的奇数场或者偶数场中预测现图像帧的奇数场，以及通过运动矢量MV2来从参考图像帧的奇数场或者偶数场中预测现图像帧的偶数场。通过合成奇数和偶数两个场而从参考图像帧预测现图像帧。

根据上述，在帧结构情况下，得到场运动补偿预测的两个运动矢量MV1和MV2以及帧运动补偿预测的一个运动矢量MV之共计三个运动矢量。

但是，帧运动矢量MV能够在求得构成该帧的奇数场的场运动矢量MV1和偶数场的场运动矢量MV2时通过在作为预测误差而算出的多个误差之差分绝对值或者2乘和(以后称为AE)之中将分别对应的那些同类加在一起的结果而求得。

但是，在现有技术运动矢量检测装置中，当分别求得现图像之奇数场的场运动矢量MV1、现图像之偶数场的场运动矢量MV2和现图像之帧运动矢量MV时，必需单独构成用于算出与现图像之奇数场的现图像块对应的AE的运算装置和用于算出与现图像之偶数场的现图像块对应的AE的运算装置这两个电路。而且，根据与时序一致而进行并行动作，通过将由各个运算装置算出的奇数场的AE和偶数场的AE加在一起，算出与帧对应的AE。而且，在根据算出的AE求得各个运动矢量时，由于算出的AE从各个运算装置中被并行输出，因此比较各个候补点中的AE值且从中选择最小值的比较器也分别单独成为三个，使电路规模变大。

而且，一般为了提高选出高相关性块的可能性，必需扩大参考图像中的搜索区域和增加作为候补的参考图像块的数目。因此，伴随搜索范围的扩大，硬件量将会大大增加。

发明内容

鉴于上述，本发明的目的在于提供一种能够减小电路规模的运动矢量检测装置和运动矢量检测方法。

为达到上述目的，本发明的第一运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于包括：参考图像奇数场存储装置，用于存储和输出构成参考图像帧之奇数场的象素数据；参考图像偶数场存储装置，用于存储和输出构成参考图像帧之偶数场的象素数据；现图像存储装置，用于存储和输出现图像块的象素数据；运算单元，其根据来自参考图像奇数场存储装置的奇数场的象素数据或者来自参考图像偶数场存储装置的偶数场的象素数据、以及来自现图像存储装置的现图像块的奇数或者偶数场的象素数据，顺次算出现图像块的对各个候补矢量的预测误差；场比较器，保存由运算单元算出的预测误差，在将由运算单元新算出的预测误差和已经保存的预测误差进行比较后，保存小的预测误差，并基于成为最小的预测误差来检测场运动矢量；AE存储装置，其存储由运算单元针对参考图像帧的奇数或者偶数场和现图像块的奇数或者偶数场之间的组合之中的一个组合所算出的多个预测误差；加法器，其将由运算单元针对与一个组合对应的组合所算出的预测误差、和在AE存储装置存储的多个预测误差之中所对应的一个预测误差进行相加，计算出帧单位下的预测误差；和帧比较器，保存由加法器算出的帧单位下的预测误差，在将由加法器新算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据成为最小的预测误差来检测出帧运动矢量。

根据第一运动矢量检测装置，由于根据在运算单元中顺次算出的原图像块的对各个候补矢量的预测误差按时分割算出场运动矢量，没有必要象以往例子那样构成2个独立的计算所必要的电路，可以大幅度缩小用于计算预测误差的必要硬件规模，同时，能够大幅度缩小在求得场单位下的最小预测误差时所需要的场比较器的硬件规模。

在第一运动矢量检测装置中，优选：运算单元是进行如下运算的装置：第一运算，用于算出在参考图像帧的奇数场和现图像块的奇数场之间的预测误差；第二运算，用于算出在参考图像帧的偶数场和现图像块的偶数场之间的预测误差；第三运算，用于算出在参考图像帧的奇数场和现图像块的偶数场之间的预测误差；第四运算，用于算出在参考图像帧的偶数场和现图像块的奇数场之间的预测误差；在第一运算和第二运算之前或者之后，进行第三运算和第四运算；场比较器是按照如下方式检测出第一场运动矢量和第二场运动矢量的装置：根据通过运算单元的第一运算所算出的预测误差之中的最小预测误差、和通过运算单元的第四运算所算出的预测误差之中的最小预测误差来检测出第一场运动矢量，而根据通过运算单元的第二运算所算出的预测误差之中的最小预测误差、和通过运算单元的第三运算所算出的预测误差之中的最小预测误差来检测出第二场运动矢量；AE存储装置存储通过运算单元的第一运算～第四运算的任何一个所算出的预测误差；加法器是进行第一加法运算和第二加法运算的装置，第一加法运算将通过第一运算所算出的预测误差和通过第二运算所算出的预测误差相加；而第二加法运算将通过第三运算所算出的预测误差和通过第四运算所算出的预测误差相加；帧比较器根据加法器的第一加法运算结果和加法器的第二加法运算结果来检测出帧运动矢量。

本发明第二运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：参考图像奇数场存储装置，用于存储和输出构成参考图像帧之奇数场的象素数据；参考图像偶数场存储装置，用于存储和输出构成参考图像帧之偶数场的象素数据；现图像存储装置，用于存储和输出现图像块的象素数据；和运算单元，其根据来自参考图像奇数场存储装置的奇数场的象素数据或者来自参考图像偶数场存储装置的偶数场的象素数据、以及来自现图像存储装置的现图像块的奇数或者偶数场的象素数据，顺次算出现图像块的对各个候补矢量的预测误差；现图像存储装置通过改写现图像块的象素数据，还存储通过运算单元针对参考图像帧的奇数或者偶数场和现图像块的奇数或者偶数场之间的组合之中的一个组合所算出的多个预测误差；进一步包括：场比较器，保存由运算单元所算出的预测误差，在将由运算单元新算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据成为最小的预测误差来检测出场运动矢量；加法器，其将由运算单元针对与一个组合对应的组合所算出的预测误差、和在现图像存储装置存储的多个预测误差之中所对应的一个预测误差进行相加，并算出帧单位下的预测误差；和帧比较器，保存由加法器算出的帧单位下的预测误差，在将由加法器新算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据成为最小的预测误差来检测出帧运动矢量。

根据第二运动矢量检测装置，由于根据在运算单元中顺次算出的原图像块的对各个候补矢量的预测误差按时分割算出场运动矢量，没有必要象以往例子那样构成2个独立的计算所必要的电路，可以大幅度缩小用于计算预测误差的必要硬件规模，同时，能够大幅度缩小在求得场单位下的最小预测误差时所需要的场比较器的硬件规模。而且，作为临时存储场单位下算出的预测误差的单元，通过再次利用现图像块存储装置，由于不必要另外设置存储装置，因此能够削减硬件规模。因此，能够容易地通过电路构成来提供运动矢量检测装置。

在第二运动矢量检测装置中，优选：运算单元是进行如下运算的装置：第一运算，用于算出在参考图像帧的奇数场和现图像块的奇数场之间的预测误差；第二运算，用于算出在参考图像帧的偶数场和现图像块的偶数场之间的预测误差；第三运算，用于算出在参考图像帧的奇数场和现图像块的偶数场之间的预测误差；第四运算，用于算出在参考图像帧的偶数场和现图像块的奇数场之间的预测误差；在第一运算和第二运算之前或者之后，进行第三运算和第四运算；场比较器是按照如下方式检测出第一场运动矢量和第二场运动矢量的装置：根据通过运算单元的第一运算所算出的预测误差之中的最小预测误差、和通过运算单元的第四运算所算出的预测误差之中的最小预测误差来检测出第一场运动矢量，而根据通过运算单元的第二运算所算出的预测误差之中的最小预测误差、和通过运算单元的第三运算所算出的预测误差之中的最小预测误差来检测出第二场运动矢量；现图像存储装置通过改写现图像块的象素数据，存储通过运算单元的第一运算～第四运算的任何一个所算出的预测误差；加法器是进行第一加法运算和第二加法运算的装置，第一加法运算将通过第一运算所算出的预测误差和通过第二运算所算出的预测误差相加；而第二加法运算将通过第三运算所算出的预测误差和通过第四运算所算出的预测误差相加；帧比较器根据加法器的第一加法运算结果、和加法器的第二加法运算结果来检测出帧运动矢量。

本发明第三运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：参考图像奇数场存储装置，用于存储和输出构成参考图像帧之奇数场的象素数据；参考图像偶数场存储装置，用于存储和输出构成参考图像帧之偶数场的象素数据；现图像存储装置，用于存储和输出现图像块的象素数据；运算单元，其根据来自参考图像奇数场存储装置的奇数场的象素数据或者来自参考图像偶数场存储装置的偶数场的象素数据、以及来自现图像存储装置的现图像块的奇数或者偶数场的象素数据，顺次算出现图像块的对各个候补矢量的预测误差；场比较器，保存由运算单元算出的预测误差，在将由运算单元新算出的预测误差和已经保存的预测误差进行比较后，保存小的预测误差，并基于成为最小的预测误差来检测场运动矢量；寄存器，其存储由运算单元针对参考图像帧的奇数或者偶数场和现图像块的奇数或者偶数场之间的组合之中的一个组合所算出的对一个候补矢量的预测误差；加法器，其将由运算单元针对与一个组合对应的组合所算出的预测误差和寄存器存储的预测误差进行相加，并算出帧单位下的预测误差；帧比较器，保存由加法器算出的帧单位下的预测误差，在将由加法器新算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据最小的预测误差来检测出帧运动矢量。

根据第三运动矢量检测装置，由于根据在运算单元中顺次算出的原图像块的对各个候补矢量的预测误差按时分割算出场运动矢量，没有必要象以往例子那样构成2个独立的计算所必要的电路，可以大幅度缩小用于计算预测误差的必要硬件规模，同时，能够大幅度缩小在求得场单位下的最小预测误差时所需要的场比较器的硬件规模。而且，作为帧运动矢量计算时需要的存储单元，由于只有能够存储对一个候补矢量的预测误差的寄存器就足够了，因此能够削减硬件规模。

在第三运动矢量检测装置中，优选：运算单元是进行第一阶段和第二阶段的装置，第一阶段交替进行第一运算和第二运算，第二阶段交替进行第三运算和第四运算，第一运算用于算出在参考图像帧的奇数场和现图像块的奇数场之间的预测误差，第二运算用于算出在参考图像帧的偶数场和现图像块的偶数场之间的预测误差，第三运算用于算出在参考图像帧的奇数场和现图像块的偶数场之间的预测误差，第四运算用于算出在参考图像帧的偶数场和现图像块的奇数场之间的预测误差，在第一阶段之前或者之后进行第二阶段；场比较器是按照如下方式检测出第一场运动矢量和第二场运动矢量的装置：根据通过运算单元的第一运算所算出的预测误差之中的最小预测误差、和通过运算单元的第四运算所算出的预测误差之中的最小预测误差来检测出第一场运动矢量，而根据通过运算单元的第二运算所算出的预测误差之中的最小预测误差、和通过运算单元的第三运算所算出的预测误差之中的最小预测误差来检测出第二场运动矢量；寄存器存储通过运算单元的第一运算～第四运算的任何一个所算出的对一个候补矢量的预测误差；加法器是进行第一加法运算和第二加法运算的装置，第一加法运算将通过第一运算所算出的预测误差和通过第二运算所算出的预测误差相加；而第二加法运算将通过第三运算所算出的预测误差和通过第四运算所算出的预测误差相加；帧比较器根据加法器的第一加法运算结果、和加法器的第二加法运算结果来检测出帧运动矢量。

本发明第四运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：n个参考图像存储装置，用于分别存储和输出构成参考图像帧的场在每隔n列或者每隔n行进行相间取出的部分图像的象素数据；现图像存储装置，用于存储和输出现图像块的象素数据；运算单元，其根据来自n个参考图像存储装置的各个部分图像的象素数据、和来自现图像存储装置的对现图像块按每隔n列或者每隔n行进行相间取出的部分图像的象素数据，算出现图像块部分图像的对各个候补矢量的预测误差；寄存器，其存储由运算单元针对构成参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像、和现图像块按每隔n列或者每隔n行进行相间取出的部分图像之间的组合之中的一个组合所算出的对一个候补矢量的预测误差，寄存器数目与组合对应；加法器，其将由运算单元针对与一个组合对应的组合所算出的预测误差和寄存器存储的对一个候补矢量的预测误差进行相加，并算出场单位下的预测误差；和场比较器，保存由加法器算出的场单位下的预测误差，在将通过加法器新算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据最小的预测误差来检测出场运动矢量；其中以上的n是2或者2以上的自然数。

根据第四运动矢量检测装置，由于基于通过使用构成参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像和现图像块按每隔n列或者每隔n行进行相间取出的部分图像被顺次算出的对部分图像各个候补矢量的预测误差按时分割算出场运动矢量，因此没有必要象以往例子那样构成n个独立的计算所必要的电路，可以大幅度缩小用于计算预测误差的必要硬件规模。

在第四运动矢量检测装置中，优选：n个参考图像存储装置为：参考图像偶数列象素存储装置，用于存储和输出构成参考图像帧之场的偶数列的象素数据；参考图像奇数列象素存储装置，用于存储和输出构成参考图像帧之场的奇数列的象素数据；运算单元是进行第一阶段和第二阶段的装置，第一阶段交替进行第一运算和第二运算，第二阶段交替进行第三运算和第四运算，第一运算用于算出在构成参考图像帧的场的奇数列和现图像块的奇数列之间的预测误差，第二运算用于算出在构成参考图像帧的场的偶数列和现图像块的偶数列之间的预测误差，第三运算用于算出在构成参考图像帧的场的奇数列和现图像块的偶数场之间的预测误差，第四运算用于算出在构成参考图像帧的偶数列和现图像块的奇数列之间的预测误差，在第一阶段之前或者之后进行第二阶段；与组合数对应的寄存器是一个寄存器，其用于存储通过运算单元的第一运算～第四运算的任何一个所算出的对一个候补矢量的预测误差；加法器是进行第一加法运算和第二加法运算的装置，第一加法运算将通过第一运算所算出的预测误差和通过第二运算所算出的预测误差相加；而第二加法运算将通过第三运算所算出的预测误差和通过第四运算所算出的预测误差相加；帧比较器根据加法器的第一加法运算结果、和加法器的第二加法运算结果来检测出帧运动矢量。

本发明第五运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：n个参考图像存储装置，用于分别存储和输出构成参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像的象素数据；

现图像存储装置，用于存储和输出构成现图像块的场按每隔n列或者每隔n行进行相间取出的部分图像的象素数据；运算单元，其根据来自n个参考图像存储装置的各个部分图像的象素数据、和来自现图像存储装置的部分图像的象素数据，算出现图像块部分图像的对各个候补矢量的预测误差；和场比较器，在将由运算单元算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据最小的预测误差来检测出场运动矢量；其中以上的n是2或者2以上的自然数。

根据第五运动矢量检测装置，由于通过使用构成参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像，通过顺次算出在现图像块每隔n列或者每隔n行的部分图像之中对任何一个部分图像的对各个候补矢量的预测误差，按时分割算出场运动矢量，因此没有必要象以往例子那样构成n个独立的计算所必要的电路，可以大幅度缩小用于计算预测误差的必要硬件规模。因此，与第一到第四运动矢量检测装置相比，尽管与进行运算的组合数被大幅削减，还能实现保持高的运算效率，所以不改变运动矢量位置精度就能够实现被简化后的运动矢量检测。通过这，能够将运动矢量检测所必需的处理时间减少二分之一。

在第五运动矢量检测装置中，优选：n个参考图像存储装置为：参考图像偶数列象素存储装置，用于存储和输出构成参考图像帧之场的偶数列的象素数据；参考图像奇数列象素存储装置，用于存储和输出构成参考图像帧之场的奇数列的象素数据；运算单元是交替进行第一运算和第二运算的装置，第一运算用于算出在构成参考图像帧的场的奇数列和现图像块的奇数列之间的预测误差，第二运算用于算出在构成参考图像帧的场的偶数列和现图像块的奇数列之间的预测误差；场比较器根据运算单元的第一运算结果和运算单元的第二运算结果来检测出场运动矢量。

在第五运动矢量检测装置中，优选：n个参考图像存储装置为：参考图像偶数列象素存储装置，用于存储和输出构成参考图像帧之场的偶数列的象素数据；参考图像奇数列象素存储装置，用于存储和输出构成参考图像帧之场的奇数列的象素数据；运算单元是交替进行第一运算和第二运算的装置，第一运算用于算出在构成参考图像帧的场的奇数列和现图像块的偶数列之间的预测误差，第二运算用于算出在构成参考图像帧的场的偶数列和现图像块的偶数列之间的预测误差；场比较器根据运算单元的第一运算结果和运算单元的第二运算结果来检测出场运动矢量。

本发明第一运动矢量检测方法，对于现图像帧内的现图像块，将使对其参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：根据构成参考图像帧的奇数或者偶数场的象素数据和现图像块的奇数或者偶数场的象素数据，针对参考图像帧的奇数或者偶数场和现图像块的奇数或者偶数场之间的各个组合，顺次算出现图像块的对各个候补矢量的预测误差的步骤；通过算出在从顺次算出的预测误差之中成为最小的预测误差而算出场运动矢量的步骤；保存针对在各个组合中的一个组合所算出的场单位下的多个预测误差，并且根据针对与一个组合对应的组合所算出的预测误差和在保存的多个预测误差之中的对应的一个预测误差，来算出帧运动矢量的步骤。

根据第一运动矢量检测方法，由于根据顺次算出的原图像块的对各个候补矢量的预测误差按时分割算出场运动矢量，没有必要象以往例子那样构成2个独立的计算所必要的电路，可以大幅度缩小用于计算预测误差的必要硬件规模，同时，能够大幅度缩小在求得场单位下的最小预测误差时所需要的场比较器的硬件规模。

在第一运动矢量检测方法中，优选：算出帧运动矢量的步骤包含：通过改写保存有参考图像帧的象素数据或者现图像块的象素数据的区域，而保存针对在各个组合中的一个组合所算出的多个预测误差的步骤。

这样，作为临时存储场单位下算出的预测误差的单元，由于通过再次利用用于存储现图像块的象素数据或者参考图像帧的象素数据的区域而不必要另外设置存储装置，因此能够消减硬件规模。

第二运动矢量检测方法，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：根据构成参考图像帧的奇数或者偶数场的象素数据和现图像块的奇数或者偶数场的象素数据，针对参考图像帧的奇数或者偶数场和现图像块的奇数或者偶数场之间的各个组合，顺次算出现图像块的对各个候补矢量的预测误差的步骤；通过算出在从顺次算出的预测误差之中成为最小的预测误差而算出场运动矢量的步骤；保存针对在各个组合中的一个组合所算出的对一个候补矢量的预测误差，并且根据针对与一个组合对应的组合所算出的预测误差和所保存的对一个候补矢量的预测误差，来算出帧运动矢量的步骤。

根据第二运动矢量检测方法，由于根据顺次算出的原图像块的对各个候补矢量的预测误差按时分割算出场运动矢量，没有必要象以往例子那样构成2个独立的计算所必要的电路，可以大幅度缩小用于计算预测误差的必要硬件规模，同时，能够大幅度缩小在求得场单位下的最小预测误差时所需要的场比较器的硬件规模。而且，由于在帧运动矢量计算时如果保存对一个候补矢量的预测误差就够了，因此能够削减硬件规模。

第三运动矢量检测方法，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：根据构成参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像的象素数据和现图像块按每隔n列或者每隔n行进行相间取出的部分图像的象素数据，针对参考图像帧的按每隔n列或者每隔n行进行相间取出的部分图像的象素数据和现图像块的按每隔n列或者每隔n行进行相间取出的部分图像的象素数据之间的各个组合，顺次算出现图像块部分图像的对各个候补矢量的预测误差的步骤；保存针对在各个组合中的一个组合所算出的对一个候补矢量的预测误差，并且根据针对与一个组合对应的组合所算出的预测误差和所保存的对一个候补矢量的预测误差，来算出场运动矢量的步骤；其中以上的n为2或者2以上的自然数。

根据第三运动矢量检测方法，由于基于通过使用构成参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像和现图像块按每隔n列或者每隔n行进行相间取出的部分图像被顺次算出的对部分图像各个候补矢量的预测误差，按时分割算出场运动矢量，因此没有必要象以往例子那样构成2个独立的计算所必要的电路，可以大幅度缩小用于计算预测误差的必要硬件规模，同时，能够大幅度缩小在求得场单位下的最小预测误差时所需要的场比较器的硬件规模。因此，可以简单适用相间取出的运算且不改变搜索范围和运动矢量位置精度就能够实现被简化后的运动矢量检测。

第四运动矢量检测方法，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：根据构成参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像的象素数据和现图像块按每隔n列或者每隔n行进行相间取出的部分图像的象素数据，顺次算出现图像块部分图像的对各个候补矢量的预测误差的步骤；根据顺次算出的预测误差而算出场运动矢量的步骤；其中以上的n为2或者2以上的自然数。

根据第四运动矢量检测方法，由于通过使用构成参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像，通过顺次算出在现图像块每隔n列或者每隔n行的部分图像之中对任何一个部分图像的对各个候补矢量的预测误差，按时分割算出场运动矢量，因此没有必要象以往例子那样构成2个独立的计算所必要的电路，可以大幅度缩小用于计算预测误差的必要硬件规模。因此，与第一到第三运动矢量检测方法相比，尽管与进行运算的组合数被大幅削减，还能实现保持高的运算效率，所以不改变运动矢量位置精度就能够实现被简化后的运动矢量检测。通过这，能够将运动矢量检测所必需的处理时间减少二分之一。

附图说明

图1是表示有关本发明第一实施方式之运动矢量检测装置的结构例子示意图；

图2是表示有关第一实施方式之运算装置的内部结构例子示意图；

图3是表示有关第一实施方式之处理器构件的结构例子示意图；

图4是表示有关第一实施方式的现图像帧块和参考图像帧的搜索范围之间关系的示意图；

图5是表示现图像帧块和参考图像帧之间关系的示意图；

图6(a)～(c)是表示有关第一实施方式的候补矢量区域的分割方法的说明图；

图7是表示有关第一实施方式的各构成要素在每个时段的数据的示意图。

图8是表示由有关第一实施方式之运算装置实现的流水线处理的示意图。

图9是表示有关本发明第二实施方式之运动矢量检测装置的结构例子示意图；

图10是表示有关第二实施方式之运算装置的内部结构例子示意图；

图11是表示有关第二实施方式之处理器构件的结构例子示意图；

图12是表示有关本发明第三实施方式之运动矢量检测装置的结构例子示意图；

图13是表示有关第三实施方式之运算装置的内部结构例子示意图；

图14(a)～(c)是表示有关第三实施方式的候补矢量区域的分割方法的说明图；

图15是表示有关第一实施方式的构成要素在每个时段的数据的示意图。

图16A是表示由有关第三实施方式之运算装置实现的流水线处理的示意图。

图16B是表示由有关第三实施方式之运算装置实现的流水线处理的示意图。

图17是表示在有关第四实施方式中的现图像奇数场和参考图像奇数场之间的关系的示意图。

图18是表示有关本发明第四实施方式之运动矢量检测装置的结构例子示意图；

图19(a)～(c)是表示有关第四实施方式的候补矢量区域的分割方法的说明图；

图20是表示有关第四实施方式的构成要素在每个时段的数据的示意图。

图21A是表示由有关第四实施方式之运算装置实现的流水线处理的示意图。

图21B是表示由有关第四实施方式之运算装置实现的流水线处理的示意图。

图22是表示有关第四实施方式的构成要素在每个时段的数据的示意图。

图23是表示有关本发明第五实施方式之运动矢量检测装置的结构例子示意图；

图24(a)～(c)是表示有关第五实施方式的候补矢量区域的分割方法的说明图；

图25是表示有关第五实施方式的构成要素在每个时段的数据的示意图。

图26是表示由第五实施方式之运算装置实现的流水线处理的示意图。

具体实施方式

下面，参考附图说明本发明的各实施方式。

在各实施方式中所参考的各个附图相互之间，相同或者相当的部分给出了相同的标记，其说明是相同的。

第一实施方式

图1是表示有关本发明第一实施方式之运动矢量检测装置100的结构例子示意图。

图1所示运动矢量检测装置100具有：参考图像奇数场存储装置101；参考图像偶数场存储装置102；现图像存储装置103；参考图像奇偶选择单元104和105(包含在运算单元中)；运算装置106(包含在运算单元中)；图像数据控制装置107；场比较器108；AE存储装置109；加法器110和帧比较器111。

图2是表示图1所示运算装置106的内部结构例子示意图。

图2所示运算装置106具有：处理器构件PE0～PE8；参考图像控制装置201；现图像控制装置202；现图像数据输入203；参考图像数据输入204和205；参考图像数据选择单元206a～206i；启动信号输入207和AE输出208。

图3是表示图2所示各处理器构件PE0～PE8的内部结构例子示意图。

图3所示处理器构件PE0～PE8的一个例子具有：现图像寄存器301；绝对值差分运算装置302；加法器303；AE寄存器304；现图像输入选择单元305；现图像数据输入306；参考图像数据输入307；现图像控制信号输入308；累计绝对值差分和输入309；和AE输出310。

下面，如图4所示，作为例子，对帧结构中现图像帧块4a的大小为3×6个象素、参考图像帧中的搜索范围4b为8×10个象素的情况进行说明。而且，在图中，将候补矢量区域表示在搜索范围4b内。如果以场单位观察，则变为如图5所示。就是说，图4所示现图像帧块4a是用现图像奇数场块5a和现图像偶数场块5b表达的。图4所示参考图像帧块4b是用参考图像奇数场块5c和参考图像偶数场块5d表达的。

如图1所示，在第一实施方式的运动矢量检测装置100中，在参考图像奇数场存储装置101中作为参考图像数据保存在参考图像帧中包含搜索范围4b的奇数场的象素数据(以后称为奇数场象素数据)。在参考图像偶数场存储装置102中作为参考图像数据保存在参考图像帧中包含搜索范围4b的偶数场的象素数据(以后称为偶数场象素数据)。在现图像存储装置103中作为现图像数据保存现图像块的象素数据。

通过来自图像数据控制装置107的奇偶控制信号控制的参考图像奇偶选择单元104和105确定在参考图像奇数场存储装置101存储的奇数场象素数据和在参考图像偶数场存储装置102存储的偶数场象素数据的哪一个数据应该提供给运算装置106。就是说，图像数据控制装置107通过奇偶控制信号控制参考图像奇数场存储装置101和参考图像偶数场存储装置102。而且，图像数据控制装置107通过控制信号控制从现图像存储装置103输出的数据，并产生对于图2所示运算装置106内的参考图像控制装置201和现图像控制装置202的启动信号，以及通过控制信号再控制AE存储装置109。

运算装置106以输入的参考图像数据和现图像数据为基础，通过使用流水线(pipeline)处理，顺次算出在场单位下与各个候补矢量相关的AE。

如图2所示，运算装置106包括与一场之量的现图像块之象素数相等数目的处理器构件PE0～PE8。参考图像控制装置201控制被提供给各处理器构件PE0～PE8的参考图像数据。现图像控制装置202控制在图3所示各处理器构件PE0～PE8内输入的现图像数据。

如图3所示，构成运算装置106的各处理器构件PE0～PE8将现图像块的一场之量的数据按一个象素保存到寄存器301中，接着在每个时钟周期上接收参考图像的象素数据。然后，差分绝对值运算装置302算出一个象素的绝对值差分和。加法器303将前级处理器构件的输出加到差分绝对值运算装置302的绝对值差分和上，一旦在AE寄存器304上存储之后，其结果在一个周期之后被输出到后级处理器构件上。即，各处理器构件PE0～PE8保持所谓级联连接的结构。

由运算装置106顺次输出的AE在场比较器108中被选择出成为最小值的AE。由运算装置106顺次输出的AE被暂时存储在AE存储装置109中，对于暂时存储的AE，其对应于候补矢量之不同场的AE与在后面从运算装置106输出的时序同步而从AE存储装置109输出，并在加法器110中相加。通过这，顺次算出帧单位的各候补矢量的AE，并在帧比较器111中选择帧单位的最小AE。

AE存储装置109具有能够存储对一场之量的全部候补矢量的AE的容量。通过这，运算装置106能够采取这种结构，即运算只在场单位上的一系列AE。

在这里，将现图像场块与参考图像场奇偶之一的组合中的运算分成两个步骤。

图6是表示在将奇数场作为例子的搜索范围中各候补块的搜索次序的示意图。在图6(b)和(c)中，将各个候补块中左上角的象素作为其候补块的代表点，通过表示代表点移动的箭头标记来表示候补块的搜索顺序。在后面，将左上角作为代表点的候补矢量(0，0)用坐标(A0，0)表示，将水平方向的向右方向和垂直方向的向下方向分别作为正方向来表示候补矢量的坐标。

首先，如图6(a)所示，将候补矢量区域分割成多个区域，其具有现图像帧块之全部水平方向象素数之量(即3个象素)的宽度。

首先，对于左侧区域a1，从左上候补块开始，在水平方向顺次处理3个候补块。接着，在垂直方向往下一层从左端在水平方向处理3个候补块。将这种处理按图6(b)所示，通过三次重复而处理九个候补块(步骤1)。

接着，在右侧区域a2中，从位于左上的(A3，0)作为代表点的候补块开始，按图6(c)所示的顺序处理剩余九个候补块(步骤2)。

对于现图像和参考图像的全部奇数场和偶数场之间的组合，按同样顺序进行搜索。

下面，说明本发明第一实施方式的运动矢量检测装置100的动作。

图7是表示有关本发明的运动矢量检测装置100包含的构成要素在每个阶段的数据奇偶性的示意图。

对于运动矢量检测装置100的动作，根据现图像块的场和参考图像的场之间的奇偶组合而分成如图7所示的四个阶段来说明。

阶段1

在阶段1中，如图7所示，进行有关现图像奇数场块5a和参考图像奇数场5c之间组合的运算(对应于第一运算)。

首先，将现图像存储装置103所存储的现图像奇数场块5a的奇数场象素数据提供给运算装置106。

如图2所示，从现图像输入203所输入的现图像数据被输入到所有处理器构件PE0～PE8，通过由现图像控制装置202控制的每个处理器构件PE0～PE8内的各现图像输入选择单元305来选择是将所输入的现图像数据存储到寄存器301中还是继续保持寄存器的值。

作为现图像数据，图5右侧中层所示现图像奇数场块5a的各个象素数据X0，0、X1，0、X2，0、X0，1、X1，1、…、X1，2、X2，2分别存储到处理器构件PE0、PE1、PE2、…、PE8的寄存器301中，其在阶段1的所有搜索点的AE计算结束之前一直保存着。

图1所示参考图像奇偶选择单元104和105按照如下进行动作：通过来自图像数据控制装置107的奇偶控制信号将来自参考图像奇数场存储装置101的参考图像奇数场5c的两个奇数场象素数据分别提供给运算装置106的参考图像输入204和205。

如图2所示，由参考图像控制装置201控制的各个参考图像数据选择单元206a～206i在从参考图像输入204和205提供的两个参考图像数据中选择在各处理器构件PE0～PE8上所使用的数据。

下面，参考图8具体说明求出一系列AE的动作。

图8是表示在运算装置106中实现的流水线处理的说明图，表示出在各个周期各处理器构件PE0～PE8所要求的参考图像数据。

首先，在第一周期(C0)中，从参考图像奇数场存储装置101输出(A0，0)的象素数据，通过参考图像输入204输入到运算装置106。在运算装置106中，处理器构件PE0所连接的参考图像数据选择单元206a选择参考图像输入204。除此之外的处理器构件PE1～PE8由于其运算结果成为无效，因此即使选择了参考图像输入204和205的哪一个也没关系。

同样，在第二周期(C1)中，(A1，0)的象素数据被输入到处理器构件PE0和PE1，在第三周期(C2)中，(A2，0)的象素数据被输入到处理器构件PE0，PE1和PE2。

在第四周期(C3)中，从参考图像奇数场存储装置101输出(A0，1)和(A3，0)两个象素数据，其分别从参考图像输入204，205输入到运算装置106。在运算装置106中，处理器构件PE0，PE3上分别连接的参考图像数据选择单元206a，206d分别选择参考图像输入204。处理器构件PE1，PE2上分别连接的参考图像数据选择单元206b，206c分别选择参考图像输入205。

这样，通过两系统设置到运算装置106的输入，能够与两个数据同时成为必需的情况相对应。而且，通过根据图6所示搜索顺序而提供参考图像数据，不用中断流水线处理，运算装置106能够将同时成为必需的数据数目控制在最大两个。

在此以后的时间中，如图7所示，通过将必要的象素数据顺次提供给处理器构件PE0～PE8，累计候补块的绝对值差分和。结果，对于从第10周期(C9)到第18周期(C17)，运算装置106连续输出与步骤1中各个候补矢量(0，0)～(2，2)的每一个对应的候补块的AE。其间，通过适当选择被输入到各处理器构件PE0～PE8的两个数据，能够进行连续运算。

步骤1的运算结束之后，接着，如图8所示，将必要的象素数据提供给各处理器构件PE0～PE8并进行步骤2的运算。通过这，完成在现图像奇数场块和参考图像奇数场之组合中的全部搜索点上的AE计算。

顺次算出的现图像奇数场块5a和参考图像奇数场5c的AE被输入到场比较器108，并选出用于求得场运动矢量MV1的最小AE。而且，根据来自图像数据控制装置107的控制信号，AE存储装置109存储全部的AE。

阶段2(对应于第二阶段)

在阶段2中，如图7所示，进行有关现图像偶数场块5b和参考图像偶数场5d之组合的运算(对应于第二运算)。

首先，将现图像存储装置103所存储的现图像偶数场块5b的偶数场象素数据提供给运算装置106。

作为现图像数据，图5右侧下层所示现图像偶数场块5b的各个象素数据Y0，0、Y1，0、Y2，0、Y0，1、Y1，1、…、Y1，2、Y2，2分别存储到处理器构件PE0、PE1、PE2、…、PE8的寄存器301中，其在阶段2的所有搜索点的AE计算结束之前一直保存着。

接着，运算装置106提供参考图像偶数场5d的参考图像数据并进行运算。此时，图1所示参考图像奇偶选择单元104和105动作，使得从参考图像偶数场存储装置102输出的参考图像偶数场5d中的偶数场象素数据被提供给运算装置106。通过这，参考图像偶数场5d中的偶数场象素数据被输入到运算装置106，与阶段1相同求得所有搜索点中的AE。

顺次算出的现图像偶数场块5b和参考图像偶数场5d之组合中的AE被输入到场比较器108，并选出用于求得场运动矢量MV2的最小AE。而且，全部的AE被输入到加法器110中。

在阶段1在AE存储装置109存储的现图像奇数场块5a和参考图像奇数场5c之组合中的AE基于来自图像数据控制装置107的控制信号，通过使时序与运算装置106顺次输出的AE同步而从AE存储装置109输出，并输入到加法器110。

在加法器110中，通过相加输入的两个AE而顺次算出帧单位下的AE。这些AE成为与帧之纵向偶数行对应的候补矢量的AE。

然后，帧比较器111输入算出的AE，并且为了求得帧运动矢量MV，选择保存其最小值。

阶段3

在阶段3，如图7所示，将运算装置106内的现图像数据保持现图像偶数场块5b的数据的情况下，与阶段1相同，通过将提供的参考图像数据再次变换成参考图像奇数场5c的数据而进行一系列的运算(与第三运算对应)。然后，算出现图像偶数场块5b和参考图像奇数场5c之间的AE。与阶段1相同，将算出的AE输入到场比较器108，并且通过添加所保存的阶段2的结果而求得场运动矢量MV2。而且，算出的AE被存储到AE存储装置109。

阶段4

在阶段4，如图7所示，通过将现图像奇数场块5a的象素数据再次提供给运算装置106和作为参考图像再次使用参考图像偶数场5d的象素数据，进行有关现图像奇数场块5a和参考图像偶数场5d之间组合的运算(与第四运算对应)。与阶段2相同，同样算出的AE被输入到场比较器108，并且通过添加阶段1的结果而求得场运动矢量MV1。而且，算出的AE在加法器110中被加到从AE存储装置109同步读出的作为在阶段3的运算结果即所对应之现图像偶数场块5b和参考图像奇数场5c之间的AE上，并算出帧单位的AE。该AE成为与帧之纵向奇数行对应的候补矢量的AE。

然后，该帧单位的AE被输入到帧比较器111，并且通过添加所保存的阶段2的结果而求得帧运动矢量MV。

如上述，根据本实施方式，通过时分处理现图像和参考图像的偶数场和奇数场之间的全部组合，求得了帧运动矢量MV、场运动矢量MV1和场运动矢量MV2合计三个矢量。这样，就能够提供电路规模被减小的运动矢量检测装置。而且，由于使用流水线处理，还能够进行高效率的运算。

在上述第一实施方式中，尽管运算开始前预先将现图像数据提供给运算装置106，但是本实施方式不以此为限制。就是说，例如，通过在所提供的象素数据是现图像奇数场块5a的时做到以X0，0、X1，0、X2，0、X0，1、X1，1、…、X1，2、X2，2的顺序，或者在所提供的象素数据是现图像偶数场块5b的时做到以Y0，0、Y1，0、Y2，0、Y0，1、Y1，1、…、Y1，2、Y2，2的顺序提供给运算装置106以及使现图像数据和参考图像数据提供给运算装置106的时序同步，就能够同时进行现图像之象素数据的供给和运算，并能够缩短处理时间。

第二实施方式

图9是表示有关本发明第二实施方式之运动矢量检测装置200的结构例子示意图。

下面，与第一实施方式相同，以上述图4和图5所示现图像帧块和参考图像帧作为例子进行说明。

图9所示运动矢量检测装置200具有：现图像存储装置112；图像数据控制装置113；运算装置114(对应于运算单元)，其它构成要素与第一实施方式的相同。

图10是表示图9所示运算装置114的内部结构例子示意图。

图10所示运算装置114具有：与一场之量的候补块的象素数相等数目的处理器构件PE0～PE8；现图像控制装置209；现图像奇偶控制信号输入210。其它构成要素与第一实施方式的相同。

图11是表示图10所示各处理器构件PE0～PE8的内部结构例子示意图。

图11所示处理器构件PE具有：第二个现图像寄存器311；第二个现图像输入选择单元312；现图像奇偶选择装置313；第二个现图像控制信号输入314；现图像奇偶控制输入315。其它构成要素与第一实施方式的相同。

与第一实施方式相同，在图9所示现图像存储装置112上存储了现图像帧块的象素数据。来自图像数据控制装置113的奇偶控制信号也被输入到运算装置114。

运算装置114以输入的参考图像数据和保存的现图像数据为基础，通过使用流水线处理，顺次算出在场单位下与各个候补矢量相关的AE。

图11所示各处理器构件PE0～PE8的一个例子被构成为：在两个现图像寄存器301和311中保存现图像数据的一个场和另一个场这两方的图像数据，并在运算时能够选择使用某一个。该动作通过在数据保存时来自现图像控制装置209的控制信号或者通过在数据运算时来自图像数据控制装置113的控制信号进行控制。各处理器构件PE0～PE8采取级联连接的结构，并且通过差分绝对值运算装置302算出在通过现图像奇偶选择装置313选择的现图像数据和在每个时钟周期所接收的参考图像象素数据之间的绝对值差分和。然后，在加法器303中，将其与通过累计绝对值差分和输入309而输入的来自前级处理器构件PE的绝对值差分和相加，并将其结果在一个周期之后输出到后级处理器构件PE。

由运算装置114顺次输出的AE在场比较器108中被选择出成为最小值的AE。由运算装置114顺次输出的AE通过改写所存储的现图像数据的形式被暂时存储在现图像存储装置112中。

现图像存储装置112存储的AE通过使所对应候补矢量之不同场中的AE与从运算装置114输出的时序同步而在接收来自图像数据控制装置113的控制信号后从现图像存储装置112输出，并在加法器110中相加。通过这，顺次算出与帧单位的各个候补矢量相关的AE，并在帧比较器111中选择帧单位中的最小AE。

这里，现图像存储装置112至少具有足以能够存储在现图像块的所有象素数据和对于一场之量的全部候补块的AE中为大的一方的容量。

这样，作为临时存储用于求得帧运动矢量MV而以场单位算出的AE的单元，再次利用存储现图像数据的现图像存储装置112。通过这，不必要设置新的存储装置，能更好地实现硬件规模的减小和容易实现电路。作为临时存储用于求得帧运动矢量MV而以场单位算出的AE的单元，通过再次利用参考图像奇数场存储装置101或者参考图像偶数场存储装置102，能够实现硬件规模的减小。

下面，说明本发明第二实施方式的动作。

候补块的搜索顺序与第一实施方式的相同，是与上述图6所示的搜索次序相同。

首先，将现图像存储装置112所存储的现图像块的象素数据提供给运算装置114。

如图10所示，从现图像输入203所输入的现图像数据被输入到所有处理器构件PE0～PE8，通过由现图像控制装置209控制的每个处理器构件PE0～PE8内的各个现图像输入选择单元305和312来选择是否将所输入的现图像的象素数据存储到寄存器301或者311中。

作为现图像数据，图5右侧中层所示现图像奇数场块5a的各个象素数据X0，0、X1，0、X2，0、X0，1、X1，1、…、X1，2、X2，2分别存储到处理器构件PE0、PE1、PE2、…、PE8的现图像寄存器301中，或者现图像偶数场块5b的各个象素数据Y0，0、Y1，0、Y2，0、Y0，1、Y1，1、…、Y1，2、Y2，2分别存储到处理器构件PE0、PE1、PE2、…、PE8的现图像寄存器311中，其在全部结束AE计算之前一直被保存着。因此，现图像存储装置112不必要连续保存运算装置114中保存的数据。

下面，说明将参考图像数据提供给运算装置114和求得一系列AE的动作。该动作的流程是与上述图7所示第一实施方式的相同。下面，通过分成各个阶段说明。

阶段1

首先，通过图像数据控制装置113根据现图像奇偶控制信号来控制现图像奇偶选择装置313，运算装置114内的全部处理器构件PE0～PE8使用现图像寄存器301中存储的现图像奇数场块5a的数据作为现图像数据。然后，与第一实施方式中图8的情况相同，通过将参考图像奇数场5c的奇数场象素数据提供给运算装置114，进行阶段1的运算(对应于第一运算)。

顺次算出的现图像奇数场块5a和参考图像奇数场5c的AE被输入到场比较器108。场比较器108选择用于求得场运动矢量MV1的最小AE并且保存它。而且，顺次算出的全部AE根据来自图像数据控制装置113的控制信号，在现图像存储装置112中以在已经存储向运算装置114提供的现图像数据的区域上改写的形式将它们全部临时存储。

阶段2

接着，通过图像数据控制装置113根据现图像奇偶控制信号来控制现图像奇偶选择装置313，运算装置114内的全部处理器构件PE0～PE8使用现图像寄存器301中存储的现图像偶数场块5b的数据作为现图像数据。然后，与第一实施方式中图8的情况相同，通过将参考图像偶数场5d的偶数场象素数据提供给运算装置114，进行阶段2的运算(对应于第二运算)。

顺次算出的现图像偶数场块5b和参考图像偶数场5d之组合中的AE被输入到场比较器108。场比较器108选出并保存用于求得场运动矢量MV2的最小AE。而且，上述顺次算出的全部AE被输入到加法器110中。

现图像存储装置112通过接收来自图像数据控制装置113的控制信号，将在阶段1存储的现图像奇数场块5a和参考图像奇数场5c的AE与从运算装置114顺次输出的AE同步地输出，并输入到加法器110。

加法器110通过相加所输入的两个AE，顺次算出帧单位下的AE。这些AE变成与帧之纵向方向偶数行对应的候补矢量的AE。

然后，帧比较器111输入在加法器110算出的AE，并且为了求得帧运动矢量MV而选择和保存其最小值。

阶段3

作为继续使用的现图像数据，在保持为现图像偶数场块5b的象素数据的情况下，与阶段1相同，通过将提供的参考图像数据再次变换成参考图像奇数场5c的象素数据而进行阶段3的运算(与第三运算对应)。算出的AE与阶段1相同被输入到场比较器108，并且场比较器108通过添加所保存的阶段2的结果而求得场运动矢量MV2。而且，算出的AE被存储到现图像存储装置112。

阶段4

与阶段1相同，通过切换到现图像奇数场块5a的象素数据作为使用的现图像数据，以及作为参考图像数据再次使用参考图像偶数场5d的象素数据，进行阶段4的运算(与第四运算对应)。算出的AE与阶段2相同被输入到场比较器108。场比较器108通过添加阶段1的结果而求得场运动矢量MV1。而且，加法器110相加通过与时序同步而从现图像存储装置112读出的在阶段3算出的AE，并算出帧单位的AE。该AE成为与帧之纵向奇数行对应的候补矢量的AE。然后，所算出的帧单位的AE被输入到帧比较器111，并且在帧比较器111中，通过添加所保存的阶段2的结果而求得帧运动矢量MV。

如上述，根据本实施方式，通过时分处理现图像和参考图像的偶数场和奇数场之间的全部组合，求得了帧运动矢量MV、场运动矢量MV1和场运动矢量MV2合计三个矢量。作为临时存储用于求得帧运动矢量MV的以场单位算出的AE的单元，再次利用存储现图像数据的现图像存储装置112。通过这，不必要设置新的存储装置，能更好地实现硬件规模的减小和容易实现电路。

在本实施方式中，尽管说明了再次利用现图像存储装置112作为临时存储用于求得帧运动矢量MV的以场单位算出的AE的单元，但是通过再次利用参考图像奇数场存储装置101或者参考图像偶数场存储装置102也能够实现硬件规模的减小。

在本实施方式中，尽管没有特别指定现图像数据给运算装置114的提供顺序，但是其能够按下述进行。就是说，将现图像数据与参考图像数据提供给运算装置114的时序同步，在为现图像奇数场块5a时在阶段1中以X0，0、X1，0、X2，0、X0，1、X1，1、…、X1，2、X2，2的顺序提供给处理器构件PE内的寄存器且进行运算。然后，将其结果存储到现图像存储装置112上，使得不改写现图像偶数场块5b的象素数据。在为现图像偶数场块5b时在阶段2中以Y0，0、Y1，0、Y2，0、Y0，1、Y1，1、…、Y1，2、Y2，2的顺序提供给运算装置114且进行运算。通过这样做，能够同时进行现图像之象素数据的供给和运算，并能够缩短整个处理时间。

在上述第一和第二实施方式中，对于参考图像和现图像的场之间的组合，尽管以(奇数-奇数)、(偶数-偶数)、(奇数-偶数)、(偶数-奇数)的顺序进行，但并不一定需要遵循该顺序。即，在相同奇偶场组合中的阶段和在不同奇偶场组合中的阶段只要处理使得其分别变为连续就行。

第三实施方式

图12是表示有关本发明第三实施方式之运动矢量检测装置300的结构例子示意图。

图12所示运动矢量检测装置300具有：图像数据控制装置115；运算装置116(对应于运算单元)；能够存储一个搜索点的AE(对一个候补矢量的预测误差)的寄存器117。其它构成要素与第一实施方式的相同。

图13是表示图12所示运算装置116的内部结构例子示意图，具有与候补块的一场之量的象素数相等数目的处理器构件PE。各处理器构件PE0～PE8是与第二实施方式中使用的图11所示的相同。图13所示运算装置116具有：参考图像控制装置211；现图像控制装置212；参考图像奇数场数据输入213a和213b；参考图像偶数场数据输入214a和214b；参考图像数据选择单元215a～215i。其它构成要素与第二实施方式的相同。

在本实施方式中，参考图像奇数场存储装置101和参考图像偶数场存储装置102将参考图像奇数场的象素数据和参考图像偶数场的象素数据按原样分别各两个提供给运算装置116。

运算装置116以输入的参考图像数据和保存的现图像数据为基础，通过使用流水线处理，顺次算出在场单位下与各个候补矢量相关的AE。

在运算装置116中，根据来自图像数据控制装置215和参考图像控制装置211的控制信号，按照偶数序号的处理器构件PE和奇数序号的处理器构件PE使得分别交替进行对于不同奇偶性的运算那样动作。由于各处理器构件PE0～PE8采用级联连接的结构，通过这种动作，运算装置116在每一个周期都交替输出不同奇偶组合中的AE。

从运算装置116输出的AE被输入到场比较器108。场比较器108选择成为最小值的AE。从运算装置116输出的AE被暂时存储在寄存器117中。

寄存器117中暂时存储的AE在下一个时钟周期中从寄存器117输出，并输入到加法器110。加法器110通过相加从运算装置116输出的对应不同奇偶组合中的AE而算出帧单位的AE，并输入到帧比较器111。然后，帧比较器111确定在帧单位下的最小AE。

这样，通过在每一个时钟周期分开使用各处理器构件PE0～PE8和从运算装置116交替输出针对不同奇偶场的AE，不使用多余的存储装置而只补充一个寄存器，就能够求得帧运动矢量MV，并且在消减硬件规模的同时使电路构成容易。

这里，参考图14说明各个候补块的搜索顺序。

图14表示将图5所示参考图像奇数场5c作为例子的搜索范围内的各个候补块的搜索次序。在后面，将左上角作为代表点的候补矢量(0，0)用坐标(A0，0)表示，将水平方向的向右方向和垂直方向的向下方向分别作为正方向来表示候补矢量的坐标。

如图14(a)所示，将候补矢量区域分割成多个区域，其具有现图像帧块之全部水平方向象素数(即3个象素)的宽度。

首先，如图14(b)所示，在左侧区域a1中，当从左上候补块开始一边下降一行一边在水平方向顺次增加号码时，在奇数号码中以小号码顺序依次处理候补块(步骤1)。

接着，同样，如图14(c)所示，在左侧区域a1中，在偶数号码中以小号码顺序依次处理候补块(步骤2)。

在右侧区域a2中，也同样以奇数号码(步骤3)、偶数号码(步骤4)的顺序进行处理。

下面，说明本发明第三实施方式的运动矢量检测装置300的动作。

首先，与第二实施方式相同，将现图像存储装置103所存储的现图像帧块的象素数据提供给运算装置116。

接着，说明求得一系列AE的动作。

图15是表示本实施方式的运动矢量检测装置300所包含的各个构成要素在每个时段的数据之奇偶性的示意图。

求得一系列AE的动作是通过分成现图像场块和参考图像场的相同奇偶性与现图像场块和参考图像场的不同奇偶性的两个阶段完成的。下面，分开说明各个阶段。

阶段1(对应于第一阶段)

在阶段1，如图15所示，对于现图像场块和参考图像场，为了交替输出关于奇数场组合(构成第一运算对象的组合)和偶数场组合(构成第二运算对象的组合)的各自的AE，在整个搜索点中进行运算。

这里，参考图16A和图16B具体说明求得一系列AE的动作。

图16A是用于说明通过运算装置116实现的在步骤1和2的流水线处理的示意图，其表示出在各个周期中各处理器构件PE0～PE8使用的数据。图16A的上段表示在阶段1的动作，图16A的下段表示在阶段2的动作。

首先，通过图像数据控制装置115控制图11所示现图像奇偶选择装置313，在第一个周期(C0)，运算装置116内偶数号码的处理器构件PE，作为现图像数据采用现图像寄存器301中存储的现图像奇数场块(参考图5，下同)的象素数据，或者奇数号码的处理器构件PE采用现图像寄存器311中存储的现图像偶数场块(参考图5，下同)的象素数据。以后，在每个时钟周期，交替变换所使用象素数据的奇偶性。

下面，说明参考图像数据向运算装置116的供给。

首先，在第一周期(C0)中，来自参考图像奇数场存储装置101的参考图像奇数场(参考图5，下同)之(A0，0)的参考象素数据，由图12所示运算装置116的输入213a提供。在运算装置116中，通过参考图像控制装置211控制的参考图像数据选择单元215a，(A0，0)的象素数据被提供给处理器构件PE0。而且，在其它处理器构件PE中，由于其运算结果成为无效，因此即使选择了哪一个输入也没关系。

接着，在第二周期(C1)中，来自参考图像奇数场存储装置101的参考图像奇数场之(A1，0)的参考象素数据被提供到处理器构件PE1。来自参考图像偶数场存储装置102的参考图像偶数场(参考图5，下同)之(B0，0)的象素数据被提供到处理器构件PE0。

而且，在第三周期(C2)中，来自参考图像奇数场存储装置101的参考图像奇数场之(A2，0)的象素数据被提供到处理器构件PE0和PE2。来自参考图像偶数场存储装置102的参考图像偶数场之(B1，0)的象素数据被提供到处理器构件PE1。

接着，在第四周期(C3)中，来自参考图像奇数场存储装置101两个输出的参考图像奇数场之(A0，1)和(A3，0)的象素数据被分别输出，并且通过运算装置116的输入213a和213b被分别提供给处理器构件PE3，PE1。与此同时，来自参考图像偶数场存储装置102的参考图像偶数场之(B2，0)被输出，并且通过运算装置116的输入214a被提供给处理器构件PE2和PE0。

这样，通过对各个场设置两个系统而可以适应需要分别同时提供两个数据的情况。如果按图14所示而提供参考图像数据，不用中断流水线处理，运算装置116能够将同时成为必需的数据数目在每个奇偶性上控制在最大两个。

在此以后的周期中，通过将必要的象素数据如图16A所示顺次提供给处理器构件PE0～PE8来累计候补块的绝对值差分和。由此，通过在各处理器构件PE0～PE8中交替进行不同场的运算，对于奇数场之间的组合和偶数场之间的组合，能够从运算装置116交替获得各自对应的AE。

然后，在第十个周期(C9)中，从运算装置116输出与在参考图像和现图像的奇数场组合中的候补矢量(0，0)对应的候补块的AE。这里，在图16A中，假设奇数场为“O”和偶数场为“E”，表示出所算出AE的奇偶性。该AE被输入到场比较器108，并且在被使用用来求得场运动矢量MV1的同时还被存储在寄存器117上。

在第十一个周期(C10)中，从运算装置116输出与在参考图像和现图像的偶数场组合中的候补矢量(0，0)对应的候补块的AE。该AE被输入到场比较器108，并且在求得场运动矢量MV2中被使用。与此同时，该AE在加法器110中与从寄存器117输出的奇数场组合下的AE相加，构成与纵向方向偶数行对应的帧单位下的AE。然后，在帧比较器111中，所输入的帧单位下的AE在求得帧运动矢量MV中被使用。

以后，通过继续按照图16A进行运算，结束步骤1的动作。通过按原样继续而进行从上述步骤2到4的运算，结束在现图像场块和参考图像场相同奇偶之间的组合下的整个搜索点AE的计算。

阶段2(对应于阶段2)

在阶段2，如图15所示，按照由与阶段1相同的四个步骤构成的搜索顺序，对于现图像场块和参考图像场，根据图16B进行关于不同奇偶场之间的组合即现图像场块是偶数场而参考图像场是奇数场的组合(对应于第三运算的组合)和现图像场块是奇数场而参考图像场是偶数场的组合(对应于第四运算的组合)的全部搜索点中的运算。

但是，当在现图像场块和参考图像场为不同奇偶之间组合的情况下而求得帧单位的AE时，有必要在垂直方向错开一个象素后进行相加。因此，在帧单位下的AE计算中不使用与参考图像奇数场中的上端行和参考图像偶数场中的下端行相关的候补矢量。因此，如图16B所示，存在只在单方场进行运算的期间。

在阶段2中，根据与上述相同进行运算，通过阶段1和阶段2中的运算，能够求得帧运动矢量MV、场运动矢量MV1和场运动矢量MV2共计3个矢量。

如上述，根据本实施方式，由于按时分割算出基于对顺次算出的原图像块各个候补矢量之预测误差的场运动矢量，没有必要如过去例子为了计算而独立构成两个必要电路，能够大幅度缩小用于计算预测误差的必要硬件规模，同时，能够大幅度缩小在求得场单位下最小预测误差时所需要的场比较器的硬件规模。而且，由于在帧运动矢量计算时如果保存对一个候补矢量的预测误差就足够了，因此能够削减硬件规模。

而且，在本实施方式中，在阶段1，运算现图像场块和参考图像场之相同奇偶之间的组合使得(奇数-奇数)组合成为先，然后在阶段2，运算不同奇偶的组合使得(偶数-奇数)的组合成为先，但是，以这个顺序进行未必是必要的。

在上述第一～第三实施方式中，在帧结构中通过场运动补偿预测求得了两个运动矢量MV1和MV2，通过帧运动补偿预测求得了一个运动矢量MV，共计求得三个运动矢量。但是，通过将所使用数据成为场结构数据，也有可能通过16×8个运动补偿预测求得两个运动矢量MV1和MV2，通过场运动补偿预测求得一个运动矢量MV，共计求得三个运动矢量。

而且，在上述第一～第三实施方式中，尽管在帧结构中将现图像块大小假设为3×6个象素、参考图像假设为8×10个象素来说明的，但是现图像块大小和参考图像的范围不特别限定于此。

第四实施方式

在以下的第四实施方式中，为了使说明简单，如图17最上段所示，只考虑现图像帧块和参考图像帧两者是奇数场的组合，但是不限于这个组合。如图17所示，在场单位下，假设现图像奇数场块17b的块大小为4×3个象素(17b)、搜索范围为8×5个象素的参考图像奇数场17a，说明将各自分割处理为在不同相位的两列周期中相间取出之形式的偶数列(例如17c和17e)和奇数列(例如17d和17f)的两个部分图像的情况(即相当于在所对应权利要求中n为2的情况)。

图18是表示本发明第四实施方式之运动矢量检测装置400的结构例子的框图。

图18所示运动矢量检测装置400具有：参考图像偶数列象素存储装置118(对应于参考图像存储装置)；参考图像奇数列象素存储装置119(对应于参考图像存储装置)；运算装置120(对应于运算单元)；图像数据控制装置121。其它的构成要素是与第三实施方式的相同。

在第四实施方式的例子中，如前述，由于进行分割成两个部分图像的处理，存储参考图像数据的装置的数目变为两个，寄存器的数目变为一个。运算装置120具有与6个象素相等数目的处理器构件PE0～PE5，该6个象素就是现图像奇数场块17b相间取出的部分图像的象素数。运算装置120的内部构成和各处理器构件PE0～PE5可以分别采用与上述图11和图13相同的构成来实现。

从参考图像偶数列象素存储装置118和参考图像奇数列象素存储装置119分别输出的各两个数据，被原样提供给运算装置120。来自图像数据控制装置121的控制信号被输入到运算装置120。

运算装置120以输入的参考图像数据和保存的现图像数据为基础，通过使用流水线处理，顺次算出候补块的偶数或者奇数行的各个候补矢量相关部分的AE。

在运算装置120中，偶数序号的处理器构件PE和奇数序号的处理器构件PE，按照分别对不同列之部分图像交替进行运算那样动作。由于各处理器构件PE0～PE5采用级联连接的结构，通过这样动作，运算装置120在每一个周期都交替输出不同列之部分图像组合中的AE(以后称为部分AE)。输出的部分AE按原样被临时保存在寄存器117中。

寄存器117中存储的部分AE在下一个时钟周期中输出。在加法器110中，通过相加从运算装置120输出的相同块内其它部分图像之组合下的部分AE而算出场单位的AE。所算出的场单位下的AE被输入到场比较器108，并且确定在场单位下的最小AE。

这样，通过将一个场运算以列单位相间取出，按照依次输出运算结果那样，对相间取出的每个区域进行运算，求得场单位的AE。通过这，大幅度减少了必要的处理器构件PE的数目，并导致硬件的减少。

在这里，对相间取出的图像的一个组合的运算分成四个步骤进行。将现图像奇数场块和参考图像奇数场的奇数列图像之间以及现图像奇数场块和参考图像奇数场的偶数列图像之间的组合用作为一对。

图19(a)～(c)是用于说明在将图17所示参考图像奇数场17a的偶数列17e作为例子的搜索范围内各个候补块的搜索次序的示意图。在后面，将左上角作为代表点的候补矢量(0，0)用坐标(A0，0)表示，将水平方向的向右方向和垂直方向的向下方向分别作为正方向来表示候补矢量的坐标。

如图19(a)所示，将搜索范围分割成多个区域，其具有现图像奇数场块17b之部分图像(例如参考17c，17d)的水平方向象素数的2个象素的宽度。

首先，在左侧区域b1中，当从左上候补块开始一边下降一行一边在水平方向顺次增加号码时，在奇数号码中以小号码顺序顺次处理候补块(步骤1)。

接着，同样，在左侧区域b1中，在偶数号码中以小号码顺序顺次处理候补块(步骤2)。

而且，在右侧区域b2中，也同样以奇数号码(步骤3)、偶数号码(步骤4)的顺序进行处理。

当步骤3和4中的处理区域变为搜索范围之外时，在该块中的处理成为无效。

在本实施方式中，为了在两个部分图像上相间取出进行处理，通过分成另外的步骤来处理奇数序号和偶数序号的2个种类。

下面，说明本发明第四实施方式的运动矢量检测装置400的动作。

首先，将现图像存储装置103所存储的现图像场块17b的象素数据提供给运算装置120。

对于现图像数据，其现图像奇数场块17b偶数列17c的象素数据X0，0、X2，0、X0，1、X2，1、X0，2、X2，2分别存储到处理器构件PE0～PE5的现图像寄存器301中，或者奇数列的象素数据X1，0、X3，0、X1，1、X3，1、X1，2、X3，2分别存储到PE0～PE5的现图像寄存器311中，其在一系列的AE计算结束之前一直保存着。

下面，参考图20说明一系列的运算。

图20是表示本实施方式的运动矢量检测装置400所包含的各个构成要素在每个时段的数据的示意图。下面，分成两个阶段说明其运算。

阶段1(对应于第一阶段)

首先，如图17所示，对于现图像奇数场块和参考图像奇数场之偶数列图像之间(17c，17e)的组合(构成第二运算对象的组合)和奇数列图像之间(17d，17f)的组合(构成第一运算对象的组合)，为了交替输出各自的部分AE，在整个搜索点中进行运算。

这里，参考图21A和图21B具体说明求得一系列AE的动作。

图21A和图21B是表示通过运算装置120实现的流水线处理的示意图，其表示出在各个周期中各处理器构件PE0～PE5使用的数据。

首先，通过图像数据控制装置121控制选择单元311，在第一个周期(C0)，运算装置120内偶数号码的处理器构件PE，作为现图像数据采用寄存器301中存储的现图像奇数场块17b偶数列17c的象素数据。奇数号码的处理器构件PE，作为现图像数据采用寄存器311中存储的现图像奇数场块17b奇数列17d的象素数据。以后，在每个时钟周期，交替变换所使用象素数据。

接着，说明参考图像数据向运算装置120的供给。

首先，在第一周期(C0)中，来自参考图像偶数列象素存储装置118的(A0，0)的象素数据通过输入213a被提供给运算装置120的处理器构件PE0。在其它处理器构件PE中，由于其运算结果成为无效，因此即使选择了哪一个输入也没关系。

接着，在第二周期(C1)中，来自参考图像偶数列象素存储装置118的(A2，0)的象素数据被提供到处理器构件PE1。来自参考图像奇数列象素存储装置119的(A1，0)的象素数据被提供到处理器构件PE0。

而且，在第三周期(C2)中，来自参考图像偶数列象素存储装置118的(A0，1)的象素数据被提供到处理器构件PE0和PE2。来自参考图像奇数列象素存储装置119的(A3，0)的象素数据被提供到处理器构件PE1。

在此以后的周期中，通过将必要的象素数据如图21A所示顺次提供给处理器构件PE0～PE5来累计相间取出之候补块的绝对值差分和(部分AE)。

这样，通过在各处理器构件PE0～PE5中交替进行不同分割区域的运算，对于上述偶数列之间和奇数列之间的组合，能够从运算装置120交替获得各自的部分AE。

运算结果，在第七个周期(C6)中，从运算装置120输出与候补矢量(0，0)对应的候补块偶数列中的部分AE。该部分AE被存储到寄存器117中。而且，在图21A中，将现图像奇数场块17b偶数列17c的部分AE表示为“E”，将现图像奇数场块17b奇数列17d的部分AE表示为“O”。

在第八个周期(C7)中，从运算装置120输出在奇数列之间的组合中与候补矢量(0，0)对应的候补块的部分AE。该部分AE与从寄存器117输出的偶数列中的AE相加，构成场单位下的AE，并按原样输入到场比较器108中，以用来求得场运动矢量。

这样，在偶数列和奇数列的组合上，算出了与一个候补矢量对应的AE。而且，图21A中用粗线围起来的部分21a表示与候补矢量(0，0)相关的AE计算。

以后，同样，通过按照图21A而进行运算，结束步骤1的动作。通过按原样继续进行步骤2的运算，结束在现图像场块17b和参考图像场17a的相同奇偶列之间组合下的整个搜索点中的AE计算。

阶段2(对应于第二阶段)

接着，通过与阶段1相同的搜索顺序，如图20所示，根据图21B，通过与上述相同进行关于现图像奇数场块17b和参考图像奇数场17a的奇数列-偶数列图像的组合(对应于第四运算对象的组合)和偶数列-奇数列图像的组合(对应于第三运算对象的组合)的运算而结束在全部搜索范围内的运算，并能够求得场运动矢量。

如上述，根据本实施方式的运动矢量检测装置，由于使用参考图像奇数场17a偶数列17e和奇数列17f的部分图像以及顺次算出对于现图像奇数场17b偶数列17c和奇数列17d的部分图像对于各个候补矢量的预测误差而按时分割算出场运动矢量，所以与过去例子相比，用于计算的必要电路变成二分之一，在能够大幅度缩小用于计算预测误差的必要硬件规模的同时，还能够大幅度缩小在求得场单位下最小预测误差时所需要的场比较器的硬件规模。

在本实施方式上述阶段1的在现图像奇数场块17b和参考图像奇数场的偶数列之间组合中的一系列运算由于与在水平方向上相隔1个象素取出的运算相当，因此不需要特别大的电路改变就能够与这种相间取出的运算对应。

在本实施方式中，尽管对现图像奇数场块17b和参考图像奇数场17a进行了在偶数列和奇数列两个部分图像上相间取出的处理，但是，在行单位上相间取出也是可以的，而且不必要将给部分图像相间取出方式限定为两个。这种情况下，可以设置与相间取出方式对应数目的寄存器。

而且，在本实施方式中，在阶段1，对于现图像奇数场块17b和参考图像奇数场17a的相同奇偶列之间的组合，(偶数-偶数)组合成为先，接着在阶段2，对于不同奇偶组合，(偶数-奇数)的组合成为先，但是，以这个顺序进行未必是必要的。

在上述第一～第四实施方式中，尽管将帧结构作为例子说明，但其也可是与场结构对应。

在上述第一～第四实施方式中，为了减少无效的流水线处理，用于存储参考图像数据的两个存储装置分别包括两个输出，随此，在上述第一和第二实施方式中所采用的结构为用于选择参考图像数据奇偶性的选择单元也包括两个，但是，如果处理时间有富余，即使存储装置的输出和选择单元是一个也没关系。

在上述第一～第四实施方式中，作为相关性评价指标，将参考图像帧块和现图像帧块之间的象素数据的差分绝对值和用作为AE，但是即使将差分二乘和作为AE也没关系。

第五实施方式

在以下的第五实施方式中，为了使说明简单，如图22最上段所示，只考虑现图像帧块和参考图像帧两者是奇数场的组合，但是不限于这个组合。如图22所示，在场单位下，假设现图像奇数场块22b的块大小为4×3个象素(22b)、搜索范围为8×5个象素的参考图像奇数场22a，说明将各自分割处理为在不同相位的两列周期中相间取出之形式的偶数列(例如22c和22e)和奇数列(例如22d和22f)的两个部分图像的情况(即相当于在所对应权利要求中n为2的情况)。而且，在下面，尽管说明在现图像奇数场块22b的部分图像中只使用偶数列22c的象素数据的情况，但并不被下面的实施例所限定。

图23是表示本发明第五实施方式之运动矢量检测装置500的结构例子的框图。

图23所示运动矢量检测装置500具有：图像数据控制装置122；现图像存储装置123；运算装置106a(对应于运算单元)；参考图像偶数列象素存储装置118(对应于参考图像存储装置)；参考图像奇数列象素存储装置119(对应于参考图像存储装置)；以及场比较器108。现图像存储装置123只存储现图像奇数场块22b偶数列22c的象素数据。参考图像偶数列象素存储装置118(对应于参考图像存储装置)、参考图像奇数列象素存储装置119(对应于参考图像存储装置)、以及场比较器108与第四实施方式相同。

在第五实施方式的例子中，如前述，由于进行分割成两个部分图像的处理，存储参考图像数据的装置的数目变为两个，寄存器的数目变为一个。运算装置106a具有与第一实施方式的相同结构，还具有与6个象素相等数目的处理器构件PE0～PE5，该6个象素就是现图像奇数场块22b被相间取出的部分图像的象素数。运算装置106a的内部构成和各处理器构件PE0～PE5能够分别由与上述图2和图3相同构成来实现。

参考图像控制装置201(参考图2)控制向各处理器构件PE0～PE5提供的参考图像数据。现图像控制装置202(参考图2)控制输入到各处理器构件PE0～PE5的现图像数据。

从参考图像偶数列象素存储装置118和参考图像奇数列象素存储装置119分别输出的平均两个数据被原样提供给运算装置106a。来自图像数据控制装置122的控制信号被输入到运算装置106a。

运算装置106a以输入的参考图像数据和保存的现图像数据为基础，通过使用流水线处理，顺次算出候补块的偶数或者奇数行的各个候补矢量相关的部分AE。

从运算装置106a顺次算出的部分AE在场比较器108中按原样被选择出成为最小值的AE。

在这里，对相间取出后的部分图像的一个组合分成两个步骤进行运算。

图24(a)～(c)是用于说明在将图22所示参考图像奇数场22a的偶数列22a作为例子的搜索范围内各个候补块的搜索次序的示意图。在后面，将左上角作为代表点的候补矢量(0，0)用坐标(A0，0)表示，将水平方向的向右方向和垂直方向的向下方向分别作为正方向来表示候补矢量的坐标。

如图24(a)所示，将搜索范围分割成多个区域，其具有现图像奇数场块22b之部分图像(例如22c)的水平方向象素数的2个象素的宽度。

首先，在左侧区域c1中，当从左上候补块开始一边下降一行一边在水平方向顺次增加号码时，在奇数号码中以小号码顺序顺次处理候补块(步骤1)。

接着，同样，在左侧区域c1中，在偶数号码中以小号码顺序顺次处理候补块(步骤2)。

而且，在右侧区域c2中，也同样以奇数号码(步骤3)、偶数号码(步骤4)的顺序进行处理。

下面，说明本发明第五实施方式的运动矢量检测装置500的动作。

首先，将现图像存储装置123所存储的现图像奇数场块22b偶数列22c的现图像数据提供给运算装置106a。

对于现图像数据，其现图像奇数场块22b偶数列22c的象素数据X0，0、X2，0、X0，1、X2，1、X0，2、X2，2分别存储到处理器构件PE0～PE5的现图像寄存器301中(参考图3)，其在一系列的AE计算结束之前一直保存着。

下面，参考图25和图26说明一系列的运算。

图25是表示本实施方式的运动矢量检测装置500所包含的各个构成要素在每个时段的数据的示意图。

图26是表示本实施方式的运动矢量检测装置500所包含的各个构成要素在每个时段的数据的示意图。

这里，参考图26具体说明求得一系列AE的动作。

图26是表示通过运算装置106a实现的流水线处理的示意图，其表示出在各个周期中各处理器构件PE0～PE5使用的数据。

首先，在第一个周期(C0)，来自参考图像偶数列象素存储装置118的(A0，0)的参考象素数据通过输入204(参考图2)被提供给运算装置106a的处理器构件PE0。在其它处理器构件PE中，由于其运算结果成为无效，因此即使选择了哪一个输入也没关系。

在此以后的周期中，通过将必要的象素数据如图26所示顺次提供给处理器构件PE0～PE5来累计相间取出之候补块的绝对值差分和。

这样，通过在各处理器构件PE0～PE5中交替进行不同分割区域的运算，对于现图像奇数场块22b偶数列22c和参考图像奇数场22a偶数列22e的组合以及现图像奇数场块22b偶数列22c和参考图像奇数场22a奇数列22f的组合，能够从运算装置106a交替获得各自的部分AE。

运算结果，在第七个周期(C6)中，从运算装置106a输出与候补矢量(0，0)对应的候补块偶数列中的部分AE。该部分AE按原样被输入到场比较器108中，被用来求得场运动矢量。而且，在图26中，将现图像奇数场块22b偶数列22c的部分AE表示为“E”。而且，图26中用粗线围起来的部分26a表示与候补矢量(0，0)相关的部分AE计算。

以后，同样，通过按照图26而进行运算，结束步骤1的动作。通过按原样继续进行步骤2、3的运算，结束在现图像奇数场块22b和参考图像奇数场22a的上述组合下整个搜索点中的AE计算。在本实施方式中，由于参考图像奇数场22a偶数列22e的数成为奇数，不进行步骤4的运算。

如上述，根据本实施方式的运动矢量检测装置，由于使用参考图像奇数场22a偶数列22e和奇数列22f的部分图像，顺次算出对现图像奇数场块22b偶数列22c之部分图像的相对于各个候补矢量的预测误差，按时分割算出场运动矢量，因此成为没有必要如过去例子为了计算而独立构成两个必要电路，在能够大幅度缩小用于计算预测误差的必要硬件规模的同时，能够大幅度缩小在求得场单位下最小预测误差时所需要的场比较器的硬件规模。因此，由于能够实现在削减运算组合的同时保持高的运算效率，所以不改变运动矢量位置精度就能够实现被简单化的运动矢量检测。通过这，能够将运动矢量检测所必需的处理时间减少二分之一。

在本实施方式中，在现图像奇数场块22b和参考图像奇数场22a的偶数列之间(22c和22e)的组合中的一系列运算由于与在水平方向上相隔一个象素取出的运算相当，因此不需要特别大的电路改变就能够与这种相间取出的运算对应。

在本实施方式中，尽管对于现图像奇数场块22b和参考图像奇数场22a，进行了在偶数列和奇数列两个部分图像上相间取出处理，但是，在行单位上相间取出也是可以的，而且不必要将给部分图像相间取出方式限定为两个。

在上述第一～第五实施方式中，尽管将帧结构作为例子说明，但是其也可对应于场结构。

工业实用性

根据本发明的运动矢量检测装置和运动矢量检测方法，由于按时分割算出基于对在运算装置中顺次算出的原图像块各个候补矢量之预测误差的场运动矢量，使得成为没有必要如过去例子为了计算而独立构成两个必要电路，在能够大幅度缩小用于计算预测误差的必要硬件规模的同时，能够大幅度缩小在求得场单位下最小预测误差时所需要的场比较器的硬件规模。因此，本发明的运动矢量检测装置和运动矢量检测方法在运动图像编码装置中使用是有用的。

Claims

1、一种运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：

参考图像奇数场存储装置，用于存储和输出构成所述参考图像帧之奇数场的象素数据；

参考图像偶数场存储装置，用于存储和输出构成所述参考图像帧之偶数场的象素数据；

现图像存储装置，用于存储和输出所述现图像块的象素数据；

运算单元，其根据来自所述参考图像奇数场存储装置的所述奇数场的象素数据或者来自所述参考图像偶数场存储装置的所述偶数场的象素数据、以及来自所述现图像存储装置的所述现图像块的奇数或者偶数场的象素数据，顺次算出所述现图像块的对各个候补矢量的预测误差；

场比较器，保存由所述运算单元算出的预测误差，在将由所述运算单元新算出的预测误差和已经保存的预测误差进行比较后，保存小的预测误差，并基于成为最小的预测误差来检测场运动矢量；

AE存储装置，其存储由所述运算单元针对所述参考图像帧的奇数或者偶数场和所述现图像块的奇数或者偶数场之间的组合之中的一个组合所算出的多个预测误差；

加法器，其将由所述运算单元针对与所述一个组合对应的组合所算出的预测误差、和在所述AE存储装置存储的多个预测误差之中所对应的一个预测误差进行相加，计算出帧单位下的预测误差；和

帧比较器，保存由所述加法器算出的帧单位下的预测误差，在将由所述加法器新算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据成为最小的预测误差来检测出帧运动矢量。

2、根据权利要求1所述的运动矢量检测装置，其特征在于，

所述运算单元是进行如下运算的装置：第一运算，用于算出在所述参考图像帧的奇数场和所述现图像块的奇数场之间的预测误差；第二运算，用于算出在所述参考图像帧的偶数场和所述现图像块的偶数场之间的预测误差；第三运算，用于算出在所述参考图像帧的奇数场和所述现图像块的偶数场之间的预测误差；第四运算，用于算出在所述参考图像帧的偶数场和所述现图像块的奇数场之间的预测误差；在所述第一运算和所述第二运算之前或者之后，进行所述第三运算和所述第四运算；

所述场比较器是按照如下方式检测出第一场运动矢量和第二场运动矢量的装置：根据通过所述运算单元的所述第一运算所算出的预测误差之中的最小预测误差、和通过所述运算单元的所述第四运算所算出的预测误差之中的最小预测误差来检测出所述第一场运动矢量；而根据通过所述运算单元的所述第二运算所算出的预测误差之中的最小预测误差、和通过所述运算单元的所述第三运算所算出的预测误差之中的最小预测误差来检测出所述第二场运动矢量；

所述AE存储装置存储通过所述运算单元的所述第一运算～第四运算的任何一个所算出的预测误差；

所述加法器是进行第一加法运算和第二加法运算的装置，所述第一加法运算将通过所述第一运算所算出的预测误差和通过所述第二运算所算出的预测误差相加；而所述第二加法运算将通过所述第三运算所算出的预测误差和通过所述第四运算所算出的预测误差相加；

所述帧比较器根据所述加法器的所述第一加法运算结果和所述加法器的所述第二加法运算结果来检测出帧运动矢量。

3、一种运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：

现图像存储装置，用于存储和输出所述现图像块的象素数据；和

所述现图像存储装置通过改写所述现图像块的象素数据，还存储通过所述运算单元针对所述参考图像帧的奇数或者偶数场和所述现图像块的奇数或者偶数场之间的组合之中的一个组合所算出的多个预测误差；

进一步包括：

场比较器，保存由所述运算单元所算出的预测误差，在将由所述运算单元新算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据成为最小的预测误差来检测出场运动矢量；

加法器，其将由所述运算单元针对与所述一个组合对应的组合所算出的预测误差、和在所述现图像存储装置存储的多个预测误差之中所对应的一个预测误差进行相加，并算出帧单位下的预测误差；和

4、根据权利要求3所述的运动矢量检测装置，其特征在于，

所述现图像存储装置通过改写所述现图像块的象素数据，存储通过所述运算单元的所述第一运算～第四运算的任何一个所算出的预测误差；

所述帧比较器根据所述加法器的所述第一加法运算结果、和所述加法器的所述第二加法运算结果来检测出帧运动矢量。

5、一种运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：

寄存器，其存储由所述运算单元针对所述参考图像帧的奇数或者偶数场和所述现图像块的奇数或者偶数场之间的组合之中的一个组合所算出的对一个候补矢量的预测误差；

加法器，其将由所述运算单元针对与所述一个组合对应的组合所算出的预测误差和所述寄存器存储的预测误差进行相加，并算出帧单位下的预测误差；

帧比较器，保存由所述加法器算出的帧单位下的预测误差，在将由所述加法器新算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据最小的预测误差来检测出帧运动矢量。

6、根据权利要求5所述的运动矢量检测装置，其特征在于，

所述运算单元是进行第一阶段和第二阶段的装置，所述第一阶段交替进行第一运算和第二运算，所述第二阶段交替进行第三运算和第四运算，所述第一运算用于算出在所述参考图像帧的奇数场和所述现图像块的奇数场之间的预测误差，所述第二运算用于算出在所述参考图像帧的偶数场和所述现图像块的偶数场之间的预测误差，所述第三运算用于算出在所述参考图像帧的奇数场和所述现图像块的偶数场之间的预测误差，所述第四运算用于算出在所述参考图像帧的偶数场和所述现图像块的奇数场之间的预测误差，在所述第一阶段之前或者之后进行所述第二阶段；

所述场比较器是按照如下方式检测出第一场运动矢量和第二场运动矢量的装置：根据通过所述运算单元的所述第一运算所算出的预测误差之中的最小预测误差、和通过所述运算单元的所述第四运算所算出的预测误差之中的最小预测误差来检测出所述第一场运动矢量，而根据通过所述运算单元的所述第二运算所算出的预测误差之中的最小预测误差、和通过所述运算单元的所述第三运算所算出的预测误差之中的最小预测误差来检测出所述第二场运动矢量；

所述寄存器存储通过所述运算单元的所述第一运算～第四运算的任何一个所算出的对所述一个候补矢量的预测误差；

7、一种运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：

n个参考图像存储装置，用于分别存储和输出构成所述参考图像帧的场在每隔n列或者每隔n行进行相间取出的部分图像的象素数据；

运算单元，其根据来自所述n个参考图像存储装置的各个部分图像的象素数据、和来自所述现图像存储装置的对所述现图像块按每隔所述n列或者每隔所述n行进行相间取出的部分图像的象素数据，算出所述现图像块部分图像的对各个候补矢量的预测误差；

寄存器，其存储由所述运算单元针对构成所述参考图像帧的场按每隔所述n列或者每隔所述n行进行相间取出的部分图像、和所述现图像块按每隔所述n列或者每隔所述n行进行相间取出的部分图像之间的组合之中的一个组合所算出的对一个候补矢量的预测误差，寄存器数目与所述组合对应；

加法器，其将由所述运算单元针对与所述一个组合对应的组合所算出的预测误差和所述寄存器存储的对所述一个候补矢量的预测误差进行相加，并算出场单位下的预测误差；和

场比较器，保存由所述加法器算出的场单位下的预测误差，在将通过所述加法器新算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据最小的预测误差来检测出场运动矢量；

其中以上的n是2或者2以上的自然数。

8、根据权利要求7所述的运动矢量检测装置，其特征在于，

所述n个参考图像存储装置为：

参考图像偶数列象素存储装置，用于存储和输出构成所述参考图像帧之场的偶数列的象素数据；和

参考图像奇数列象素存储装置，用于存储和输出构成所述参考图像帧之场的奇数列的象素数据；

所述运算单元是进行第一阶段和第二阶段的装置，所述第一阶段交替进行第一运算和第二运算，所述第二阶段交替进行第三运算和第四运算，所述第一运算用于算出在构成所述参考图像帧的场的奇数列和所述现图像块的奇数列之间的预测误差，所述第二运算用于算出在构成所述参考图像帧的场的偶数列和所述现图像块的偶数列之间的预测误差，所述第三运算用于算出在构成所述参考图像帧的场的奇数列和所述现图像块的偶数场之间的预测误差，所述第四运算用于算出在构成所述参考图像帧的偶数列和所述现图像块的奇数列之间的预测误差，在所述第一阶段之前或者之后进行所述第二阶段；

与所述组合数对应的寄存器是一个寄存器，其用于存储通过所述运算单元的所述第一运算～第四运算的任何一个所算出的对一个候补矢量的预测误差；

9、一种运动矢量检测装置，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：

n个参考图像存储装置，用于分别存储和输出构成所述参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像的象素数据；

现图像存储装置，用于存储和输出构成所述现图像块的场按每隔所述n列或者每隔所述n行进行相间取出的部分图像的象素数据；

运算单元，其根据来自所述n个参考图像存储装置的各个部分图像的象素数据、和来自所述现图像存储装置的部分图像的象素数据，算出所述现图像块部分图像的对各个候补矢量的预测误差；和

场比较器，在将由所述运算单元算出的预测误差和已经保存的预测误差进行比较后，保存较小一方预测误差，并根据最小的预测误差来检测出场运动矢量；

其中以上的n是2或者2以上的自然数。

10、根据权利要求9所述的运动矢量检测装置，其特征在于，

所述n个参考图像存储装置为：

所述运算单元是交替进行第一运算和第二运算的装置，所述第一运算用于算出在构成所述参考图像帧的场的奇数列和所述现图像块的奇数列之间的预测误差，所述第二运算用于算出在构成所述参考图像帧的场的偶数列和所述现图像块的奇数列之间的预测误差；

所述场比较器根据所述运算单元的所述第一运算结果和所述运算单元的所述第二运算结果来检测出场运动矢量。

11、根据权利要求9所述的运动矢量检测装置，其特征在于，

所述n个参考图像存储装置为：

所述运算单元是交替进行第一运算和第二运算的装置，所述第一运算用于算出在构成所述参考图像帧的场的奇数列和所述现图像块的偶数列之间的预测误差，所述第二运算用于算出在构成所述参考图像帧的场的偶数列和所述现图像块的偶数列之间的预测误差；

12、一种运动矢量检测方法，对于现图像帧内的现图像块，将使对其参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：

根据构成所述参考图像帧的奇数或者偶数场的象素数据和所述现图像块的奇数或者偶数场的象素数据，针对所述参考图像帧的奇数或者偶数场和所述现图像块的奇数或者偶数场之间的各个组合，顺次算出所述现图像块的对各个候补矢量的预测误差的步骤；

通过算出在从所述顺次算出的预测误差之中成为最小的预测误差而算出场运动矢量的步骤；和

保存针对在所述各个组合中的一个组合所算出的场单位下的多个预测误差，并且根据针对与所述一个组合对应的组合所算出的预测误差和在保存的所述多个预测误差之中的对应的一个预测误差，来算出帧运动矢量的步骤。

13、根据权利要求12所述的运动矢量检测方法，其特征在于，

所述算出帧运动矢量的步骤包含：

通过改写保存有所述参考图像帧的象素数据或者所述现图像块的象素数据的区域，而保存针对在所述各个组合中的一个组合所算出的所述多个预测误差的步骤。

14、一种运动矢量检测方法，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：

保存针对在所述各个组合中的一个组合所算出的对一个候补矢量的预测误差，并且根据针对与所述一个组合对应的组合所算出的预测误差和所保存的对所述一个候补矢量的预测误差，来算出帧运动矢量的步骤。

15、一种运动矢量检测方法，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：

根据构成所述参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像的象素数据和所述现图像块按每隔所述n列或者每隔所述n行进行相间取出的部分图像的象素数据，针对所述参考图像帧的按每隔所述n列或者每隔所述n行进行相间取出的部分图像的象素数据和所述现图像块的按每隔所述n列或者每隔所述n行进行相间取出的部分图像的象素数据之间的各个组合，顺次算出所述现图像块部分图像的对各个候补矢量的预测误差的步骤；和

保存针对在所述各个组合中的一个组合所算出的对一个候补矢量的预测误差，并且根据针对与所述一个组合对应的组合所算出的预测误差和所保存的对所述一个候补矢量的预测误差，来算出场运动矢量的步骤；

其中以上的n为2或者2以上的自然数。

16、一种运动矢量检测方法，对于现图像帧内的现图像块，将使对参考图像帧的预测误差成为最小的候补矢量作为运动矢量进行检测，其特征在于，包括：

根据构成所述参考图像帧的场按每隔n列或者每隔n行进行相间取出的部分图像的象素数据和所述现图像块按每隔所述n列或者每隔所述n行进行相间取出的部分图像的象素数据，顺次算出所述现图像块部分图像的对各个候补矢量的预测误差的步骤；和

根据所述顺次算出的预测误差而算出场运动矢量的步骤；

其中以上的n为2或者2以上的自然数。