CN101459838B - 一种帧间预测系统、方法及多媒体处理器 - Google Patents

Abstract

本发明适用于视频图像处理领域，提供了一种帧间预测系统、方法及多媒体处理器，包括：预处理模块，用于接收当前块的参数，确定DMA操作所需要的DMA参数输出，并发送第一数据有效信号；第一缓存区，用于接收并储存DMA参数；DMA操作模块，用于获取DMA参数，进行DMA操作后输出参考块的参考数据，并发送第二数据有效信号；第二缓存区，用于接收并储存参考数据；参考数据读取模块，用于读取参考数据并输出；插值模块，用于根据参考数据，进行插值运算。本发明采用流水线式的设计，充分利用了DMA带宽，提高了帧间预测性能；同时支持图像旋转功能，降低了对图像尺寸的要求，采用可复用的缓存区，节省芯片面积，节约了硬件上实现的成本。

Description

一种帧间预测系统、方法及多媒体处理器

技术领域

本发明属于视频图像处理领域，尤其涉及一种基于新型视频编码标准的帧间预测系统、方法及多媒体处理器。

背景技术

目前，移动多媒体处理器被广泛应用于各种便携式电子产品中，而市场对产品性能的要求也越来越高，因此这对移动多媒体处理器的视频处理能力提出了更高的要求。

帧间预测包括运动矢量的预测，参考数据的读取以及分数像素的插值。由于活动图像临近帧中的景物存在一定的相关性，因此将图像分成若干块或宏块(MB)，并设法搜索出每个块或宏块在邻近帧图像中的位置，并得出两者之间的空间位置的关系，得到的相对偏移量就是运动矢量(MV)，得到运动矢量的这个过程称为运动估计(ME)。

参考数据的读取一般采用直接存储器存取(Direct Memory Access，DMA)操作，DMA是一种快速传送数据的机制。数据传递可以从适配卡到内存，从内存到适配卡或从一段内存到另一段内存。DMA技术的重要性在于，利用它进行数据传送时不需要中央处理器(Central Processing Unit，CPU)的参与。

现有的技术在做帧间预测时，读取参考数据时DMA带宽利用率不高，是因为通过DMA读取参考数据后必须要等到插值模块进行完插值操作后，才会再读取新的参考数据，这样DMA有很长的时间处于空闲状态，无法充分的利用DMA带宽。

发明内容

本发明实施例的目的在于提供一种帧间预测系统、方法及多媒体处理器，旨在解决现有的帧间预测方法中DMA读取参考数据要等到插值操作完成后才能继续读取新的参考数据导致DMA带宽利用率低，帧间预测性能差的问题。

本发明实施例是这样实现的，一种帧间预测系统，所述系统包括：

预处理模块，用于接收当前块的运动矢量参数以及旋转角度参数，根据所述运动矢量参数以及旋转角度参数确定直接存储器存取DMA操作所需要的DMA参数，将所述DMA参数输出，并发送第一数据有效信号；

第一缓存区，用于接收并储存所述预处理模块输出的所述DMA参数；

DMA操作模块，用于当接收到预处理模块发送的第一数据有效信号后，从所述第一缓存区中获取所述DMA参数，进行DMA操作后输出参考块的参考数据，并发送第二数据有效信号；

第二缓存区，用于接收并储存所述DMA操作模块输出的参考块的参考数据；

参考数据读取模块，用于当接收到DMA操作模块发送的第二数据有效信号后，从第二缓存区中读取所述参考块的参考数据并输出；

插值模块，用于接收所述参考数据读取模块输出的参考块的参考数据，进行插值运算。

本发明实施例的另一目的在于提供一种帧间预测方法，所述方法包括下述步骤：

预处理模块根据当前块的运动矢量参数以及旋转角度参数来确定直接存储器存取DMA操作所需要的DMA参数，将所述DMA参数储存在第一缓存区中，并发送第一数据有效信号；

DMA操作模块接收所述第一数据有效信号，从所述第一缓存区中获取DMA参数，根据所述DMA参数进行DMA操作后输出参考块的参考数据储存在第二缓存区，并发送第二数据有效信号；

插值模块接收所述第二数据有效信号，从所述第二缓存区中获取参考块的参考数据，进行插值运算。

本发明实施例的另一目的在于提供一种采用上述帧间预测系统实现的移动多媒体处理器。

本发明实施例采用流水线式的设计，所有的模块都是并发执行，使得帧间预测的性能提高了大约25％左右，DMA带宽利用率达到90％以上；同时支持图像旋转功能，降低了对图像尺寸的要求，采用可复用的缓存区，节省芯片面积，节约了硬件上实现的成本。

附图说明

图1是本发明实施例提供的一种帧间预测系统模块结构图；

图2是本发明实施例提供的图形出界情况示意图；

图3是本发明实施例提供的16x16的宏块参考数据存储于第二缓存区的情况示意图；

图4是本发明实施例提供的一种帧间预测方法流程图；

图5是本发明实施例提供的图像不旋转时划分子块的索引值的标记图；

图6是本发明实施例提供的图像旋转90度时划分子块的索引值的标记图；

图7是本发明实施例提供的图像旋转180度时划分子块的索引值的标记图；

图8是本发明实施例提供的图像旋转270度时划分子块的索引值的标记图；

图9是本发明实施例提供的REF megacell数据缓存示意图；

图10是本发明实施例提供的在存放UV分量的参考数据时，两个2×2子块公用一个缓存区的情况示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例基于新型视频编码标准，采取流水线式设计，先根据当前块的运动矢量等参数确定DMA参数，将DMA参数储存在一个缓存区中再进行DMA操作读取参考块的参考数据，然后根据参考数据进行插值运算，充分利用DMA带宽。

本发明实施例主要应用于多媒体处理器。作为本发明的一个优选实施例，一种帧间预测系统模块结构如图1所示，包括预处理模块101，第一缓存区102，DMA操作模块103，DMA端口104，存储模块105，调整模块106，第二缓存区107，参考数据读取模块108以及插值模块109。

预处理模块101，用于接收当前块的运动矢量参数以及旋转角度参数，根据运动矢量参数以及旋转角度参数确定DMA操作所需要的DMA参数，将DMA参数输出并储存于第一缓存区102中，发送第一数据有效信号。作为本发明的一个实施例，储存于第一缓存区102中的DMA参数包括：是否为最后一次DMA请求、是否需要多次DMA请求、是否图像出界、宏块外围是否需要扩展、块位置、YUV模式、请求块类型、DMA地址、X方向的出界、Y方向的出界、保留、DMA数据计数、DMA跨越步长。

作为本发明的一个实施例，在确定DMA参数时，需要考虑图象出界的情况：如果读取当前像素块的数据在整帧图象之内，则按照该当前像素块所需要的参考数据大小读取数据，该当前像素块所需要的参考数据的大小与分数像素运动矢量有关，当分数像素运动矢量的dy分量为零时，需要读取的数据较少，例如16x16的块只需要读取(16+5)x16的数据大小，8x8的块就读取(8+5)x8的数据大小，当分数像素运动矢量的dy分量不为零时，需要读取数据较大，例如16x16的块就读取(16+5)x(16+5)的数据大小，8x8的块就读取(8+5)x(8+5)的数据大小。如果读取像素块的数据在整帧图象之外，则将该像素块重新划分为多个4x4的子块，然后每个子块分别计算出DMA参数。如图2所示，一个8X8子块被划分两个4x4的块和一个4x8的块，但由于4x8的块出界，因此这个8X8子块最终被划分为四个4x4的块。其他的出界情况也同样如此。

DMA操作模块103，用于当接收到预处理模块101发送的第一数据有效信号后，从第一缓存区102中获取DMA参数，进行DMA操作后输出参考块的参考数据储存于第二缓存区107中，并发送第二数据有效信号。作为本发明的一个实施例，DMA操作包括：根据DMA参数从存储模块105中获取参考块的参考数据。

本发明实施例中，调整模块106，与DMA操作模块103和第二缓存区107连接，用于当图像出界时，对参考块的参考数据进行出界调整。

参考数据读取模块108，用于当接收到DMA操作模块103发送的第二数据有效信号后，从第二缓存区107中读取参考块的参考数据并输出。

插值模块109，用于接收参考数据读取模块108输出的参考块的参考数据，进行插值运算。

本发明实施例中，DMA参数包括请求块类型参数，该请求块类型共有7种：16×16，16×8，8×16，8×8，8×4，4×8和4×4。作为本发明的一个实施例，插值运算中当读取的当前块的大小为4×4时，则插值模块按照当前块进行运算；当读取的当前块的大小为16×16或16×8或8×16或8×8或8×4或4×8时，将当前块划分为多个4×4的子块，则插值模块按照划分后的4×4的子块进行运算。

本发明实施例中，以一个16x16的宏块参考数据如何放到第二缓存区为例。因为要考虑插值运算是采用分像素进行插值的，所以将16x16的宏块进行了外延，实际从DMA下载的数据为一个21x21的数据块(在实际操作过程中由于每次DMA传输数据最大的数据大小是256个字节，所以21x21的数据块只能进行两次DMA操作，第一次读取21x12个数据，第二次读取21x9个数据)。然后进行数据的重组，放到四个9x9的数据缓存区中，其中有的行数据重复写了多次。例如line＝8的数据行，重复写了三次，分别放到了第0个、第1个、第2个9x9的数据缓存区，如图3所示。

一种采用上述帧间预测系统实现的移动多媒体处理器。

本发明实施例提供的一种帧间预测方法实现流程如图4所示，现详述如下：

在步骤S401中，预处理模块根据当前块的运动矢量参数以及旋转角度参数来确定DMA操作所需要的DMA参数，将DMA参数储存在第一缓存区中，并发送第一数据有效信号；

在步骤S402中，DMA操作模块接收第一数据有效信号，从第一缓存区中获取DMA参数，根据DMA参数进行DMA操作后输出参考块的参考数据储存在第二缓存区，并发送第二数据有效信号；

在步骤S403中，插值模块接收第二数据有效信号，从第二缓存区中获取参考块的参考数据，进行插值运算。

本发明实施例中，预处理模块根据旋转角度参数确定图像旋转后的位置，并由DMA操作模块将旋转后的图像储存在第二缓存区中。插值模块的操作是基于4×4子块，因此将16x16的宏块划分为16个4x4的子块。根据划分后的子块，将参考数据分别放入第二缓存区。

图5示出了0角度下划分子块的索引值(index)，在0度时只需要根据索引值(index)把参考数据存到相应的缓存区中即可。图6、图7、图8分别示出了90度，180度和270度下划分子块的索引值，当角度不为0时，需要将块的索引值转换为不旋转时(即角度为0)相应位置的索引值，然后根据转换的索引值来存放数据，例如90度时index为0的Y分量块，需要将index转换为0度时相应位置的index，转换后的索引为5，然后将数据存放到标记为5的Y分量的缓存区中，其它角度同理，在此不再赘述。

对于图像旋转时分数像素运动矢量的处理，作为本发明的一个实例，亮度分量的1/4像素插值处理时，运动矢量在旋转时进行相关改动，如表1所示，

旋转的度数	X方向	Y方向
			0	Mv_dx	Mv_dy
90	4-Mv_dy	Mv_dx
			180	4-Mv_dx	4-Mv_dy
270	Mv_dy	4-Mv_dx

表1

其中Mv_dx表示0度时X方向上的分数像素的运动矢量，Mv_dy表示0度时Y方向上的分数像素的运动矢量；旋转90度后，X方向上的分数像素的运动矢量为4-Mv_dy，Y方向上的分数像素的运动矢量Mv_dx；旋转180度后，X方向上的分数像素的运动矢量为4-Mv_dx，Y方向上的分数像素的运动矢量4-Mv_dy；旋转270度后，X方向上的分数像素的运动矢量为Mv_dy，Y方向上的分数像素的运动矢量4-Mv_dx。

色度分量的1/8像素插值处理时，运动矢量在作相关旋转时也作了相关的改变，如表2所示：

旋转的度数	X方向	Y方向
			0	Mv_dx	Mv_dy
90	8-Mv_dy	Mv_dx
			180	8-Mv_dx	8-Mv_dy

旋转的度数	X方向	Y方向
			270	Mv_dy	8-Mv_dx

表2

其中Mv_dx是0度时X方向上的分数像素运动矢量，Mv_dy是0度时Y方向上的分数像素运动矢量；旋转90度后，X方向上的分数像素的运动矢量为8-Mv_dy，Y方向上的分数像素的运动矢量Mv_dx；旋转180度后，X方向上的分数像素的运动矢量为8-Mv_dx，Y方向上的分数像素的运动矢量8-Mv_dy；旋转270度后，X方向上的分数像素的运动矢量为Mv_dy，Y方向上的分数像素的运动矢量8-Mv_dx。

运动矢量变换完后，可以根据新的运动矢量进行分数像素的插值。

第二缓存区为两个96x72bits的数据缓存区，如图9所示，其中地址0～71存放的为Y分量的数据，地址72～83存放的是U分量的数据，地址84～95存放的是V分量的数据。存放Y分量的一个单元(unit)是4x4子块插值所需的9x9的数据块，存放UV分量的一个单元(unit)是2x2子块插值所需的3x3的数据块。

作为本发明的一个实施例，存放UV分量的参考数据时，由于index相近的两个2x2块公用了一个缓存区(例如index＝0和index＝1的2x2块公用了地址72～74的数据缓存区)，这样会在如图10所示的两种块划分模式存在问题。因此在模块内部开辟了两个3x3的缓存区(buffer)，第一个3x3的buffer用于存放图10中上面一个2x2子块A所需的3x3的参考数据，第二个3x3的buffer用于存放图10中下面一个2x2子块B所需的3x3的参考数据，然后等所有数据都读取完毕后，再一起写到外部的第二缓存区中。

综上所述，无论当前块是16×16，16×8，8×16，8×8，8×4，4×8和4×4中哪一种划分模式，不需要拆分成4x4的块，均可一次旋转完。同时，由于旋转时复用了缓存区，因此节省了芯片面积，降低了硬件成本。

本发明实施例采用流水线式的设计，所有的模块都是并发执行，使得帧间预测的性能提高了大约25％左右，DMA带宽利用率达到90％以上；同时支持图像旋转功能，降低了对图像尺寸的要求，采用可复用的缓存区，节省芯片面积，节约了硬件上实现的成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种帧间预测系统，其特征在于，所述系统包括：

预处理模块，用于接收当前块的运动矢量参数以及旋转角度参数，根据所述运动矢量参数以及旋转角度参数确定直接存储器存取DMA操作所需要的DMA参数，将所述DMA参数输出，并发送第一数据有效信号；

第一缓存区，用于接收并储存所述预处理模块输出的所述DMA参数；

DMA操作模块，用于当接收到预处理模块发送的第一数据有效信号后，从所述第一缓存区中获取所述DMA参数，进行DMA操作后输出参考块的参考数据，并发送第二数据有效信号；

第二缓存区，用于接收并储存所述DMA操作模块输出的参考块的参考数据；

参考数据读取模块，用于当接收到DMA操作模块发送的第二数据有效信号后，从第二缓存区中读取所述参考块的参考数据并输出；

插值模块，用于接收所述参考数据读取模块输出的参考块的参考数据，进行插值运算。

2.如权利要求1所述的帧间预测系统，其特征在于，所述系统进一步包括：

存储模块，通过DMA端口与DMA操作模块连接，用于储存参考块的参考数据。

3.如权利要求2所述的帧间预测系统，其特征在于，所述DMA操作具体为：

根据所述DMA参数从存储模块中获取参考块的参考数据。

4.如权利要求1所述的帧间预测系统，其特征在于，所述系统进一步包括：

调整模块，与DMA操作模块和第二缓存区连接，所述DMA参数包括是否图像出界参数，调整模块用于当图像出界时，对参考块的参考数据进行出界调整。

5.如权利要求1所述的帧间预测系统，其特征在于，所述DMA参数包括请求块类型参数，所述请求块类型包括：16×16，16×8，8×16，8×8，8×4，4×8和4×4。

6.如权利要求5所述的系统，其特征在于，所述插值运算中当读取的当前块的大小为4×4时，则所述插值模块按照所述当前块进行运算；当读取的当前块的大小为16×16或16×8或8×16或8×8或8×4或4×8时，将所述当前块划分为多个4×4的子块，则所述插值模块按照划分后的4×4的子块进行运算。

7.如权利要求1所述的系统，其特征在于，所述DMA参数进一步包括：是否为最后一次DMA请求、是否需要多次DMA请求、宏块外围是否需要扩展、块位置、YUV模式、DMA地址、X方向的出界、Y方向的出界、保留、DMA数据计数、DMA跨越步长。

8.一种采用权利要求1的帧间预测系统实现的移动多媒体处理器。

9.一种帧间预测方法，其特征在于，所述方法包括下述步骤：

预处理模块根据当前块的运动矢量参数以及旋转角度参数来确定直接存储器存取DMA操作所需要的DMA参数，将所述DMA参数储存在第一缓存区中，并发送第一数据有效信号；

DMA操作模块接收所述第一数据有效信号，从所述第一缓存区中获取DMA参数，根据所述DMA参数进行DMA操作后输出参考块的参考数据储存在第二缓存区，并发送第二数据有效信号；

插值模块接收所述第二数据有效信号，从所述第二缓存区中获取参考块的参考数据，进行插值运算。

10.如权利要求9所述的方法，其特征在于，所述DMA操作具体为：

根据所述DMA参数从存储模块中获取参考块的参考数据。

11.如权利要求9所述的方法，其特征在于，所述DMA参数包括是否图像出界参数，当图像出界时，对参考块的参考数据进行出界调整。

12.如权利要求9所述的方法，其特征在于，所述方法进一步包括：

预处理模块根据旋转角度参数确定图像旋转后的位置，并由DMA操作模块将旋转后的图像储存在第二缓存区中。

13.如权利要求9所述的方法，其特征在于，所述插值运算中当读取的当前块的大小为4×4时，则所述插值模块按照所述当前块进行运算；当读取的当前块的大小为16×16或16×8或8×16或8×8或8×4或4×8时，将所述当前块划分为多个4×4的子块，则所述插值模块按照划分后的4×4的子块进行运算。

Images