CN1984300B - 运动图像专家组编码信号的特技播放再现 - Google Patents

Abstract

实现以特技播放模式从盘形介质再现MPEG信号，而不用增加译码图像存储器容量。在播放模式下图像存储器被配置为帧存储，而在特技播放模式下被安排为场存储。由存储的场得到特技播放模式的图像预测，因此，运动向量可能要求修改。根据编码的图像类型或邻近块的相似性，运动向量被自适应地修改或被替代。盘形介质可以包括在正常和特技播放模式期间使用的运动向量。另一方面，光盘可以包括受约束从与所存储场相同的场进行预测的运动向量。

Description

运动图像专家组编码信号的特技播放再现

本申请是申请号为200410049501.5、申请日为1998年5月5日、分案提交日为2004年6月9目的发明专利申请的分案申请。

本申请是根据审查员针对前述发明专利申请发出的《第一次审查意见通知书》中有关单一性的意见而提出的。

技术领域

本发明涉及MPEG编码信号的译码，尤其涉及以一种不同于正常重放速度的速度和/或以相反方向从介质对这种信号再现和译码。

背景技术

例如利用MPEG压缩协议采用数字压缩的音频和视频信号记录的光盘的引入为消费者提供的声音和图像质量基本上与原始的素材没有区别。然而，消费用户期望这种数字视盘或DVD提供的特性类似于他们的模拟式录像机或VCR的特性。例如，VCR能够以不同于记录速度的速度在正向或反向再现。这种非标准速度的重放特征也称为特技播放模式。

申请EP A O 727 912公开了一种用于再现记录在光盘例如具有DVD格式的MPEG图像数据的设备和方法。参考文献D1特别指向MPEG编码数据的再现以允许译码的MPEG图像以反向时间序列显示。参考文献D1承认“反向，，再现是困难的并且说明仅再现I帧会产生不希望的运动人工产物，但是提供附加的译码图像需要增加数据传输率。另外，用于先前I和P图像的有限的帧存储容量要求这些图像被多次译码。在一个优选实施例中，参考D1文献描述了一种用于反向再现的方法和设备，它在显示的图像上实现自然的运动描述，而不需要对译码器增加编码数据传输率或者增加帧存储器的存储容量。

另一个申请EP O 700 221 A2公开了一种设备和数据再现方法，它允许以反向图像序列再现而不用频繁地存取记录的盘形介质。这个设备利用环状缓存器，其容量足够存储读出用于MPEG译码的压缩数据的几个GOP。另外附加于数据有用负载的数据属性信息被检测和存储。因为环状缓存器存储压缩数据的几个GOP，它不需要重复地从光盘重新获取数据。在反向再现模式环状缓存器允许快速、多次存取构造希望的输出图像序列所需的先前的图像。这样，多次环状缓存器存取和译码避免了存储多个MPEG译码图像的要求以便于以反向时间次序读出。

由于将图像分成具有不同压缩级别组的压缩分级特性，MPEG编码的视频信号不能容易地提供特技播放特性。这些组称为图像组或GOP并且要求顺序地译码。MPEG 2标准的详细描述如ISO/IEC标准13818-2所公开的。然而，简单地说，MPEG 2信号流可以包括三种具有不同的内容压缩级别的图像类型。内部编码帧或I帧具有三种类型中最少的压缩，并且可以不参照任何其他帧来译码。预测帧或P帧是参照先前的I帧或P帧压缩的，并且获得比内部编码帧更高级别的压缩。第三种类型的MPEG帧称为双向编码帧或B帧，可以根据先前帧或随后帧的预测来压缩。双向编码帧具有最高级别的压缩。三种类型的MPEG帧安排在图像组或GOP中。因为只有内部编码帧是可以不用参照任何其他帧来译码的，所以每个GOP只能在I帧译码之后译码。第一个预测帧或P帧可以根据存储的、先前I帧的修改来译码和存储。随后的P帧可以由存储的先前P帧预测。最后，双向编码帧或B帧可以借助于先前帧和/或随后帧例如存储的I帧和P帧的预测来译码。包括MPEG图像组的编码帧的分级特性需要每个图像组或GOP在正向通过图像序列来译码。这样，通过跳转以转换较早的、先前的I图像，然后正向播放以及译码该GOP可以提供反向重放模式。译码的帧全被存储在帧缓冲存储器中，它们被以译码的相反次序读出以获得相反的节目运动。这样，反向重放可以容易实现，只是由于存储来自每个图像组的解压缩的视频图像所需的帧缓冲存储器的数量，会招致增加成本的代价。

发明内容

本发明可以获得以特技播放模式从盘形介质再现的MPEG信号，而不用增加译码图像存储器的容量。图像存储器被配置成在播放模式下为帧存储，而对于特技模式则被安排为存储场。由存储的场得到特技播放模式下的图像预测，因此可以要求修改运动向量。根据编码图像类型或邻近块的相似性自适应地修改或替代运动向量。盘形介质可以包括在正常和特技播放模式期间使用的运动向量。另一方面，光盘可以包括受约束指向如所存储的同一个场的运动向量。

根据本发明的配置，一种设备自介质再现数字编码信号，并且处理该信号中多个图像组，其中每个图像组包含一个特定的图像。该设备包括译码装置，用于译码多个图像组以形成特定的图像。存储器装置耦合到译码装置，用于存储特定的图像。控制装置响应用户命令并且可控地耦合到存储器装置，其中响应第一个用户选择，该控制装置控制存储器装置以存储特定图像的帧，并且响应第二个用户选择，该控制装置控制存储器装置仅存储特定图像的一个场。

根据本发明的另一种配置，一种设备自介质再现数字编码信号。该设备包括一个数字编码信号源。该信号表示多个数字编码块处理图像组，多个组的每一个包括至少一个内部编码图像和至少一个正向预测图像以及运动补偿数据。译码器耦合到该源，用于译码至少一个内部编码图像。处理器耦合到译码装置，用于处理数字编码块处理的内部编码图像块以确定其中表示的空间频率分量的值。根据本发明的另一种配置，一种设备自介质再现表示多个图像组的数字编码信号，多个组的每一组包括内部编码图像和预测编码图像。该设备包括：译码装置，耦合到介质用于译码数字编码信号以形成内部编码图像和预测编码图像。存储器耦合到译码器，用于仅存储内部编码图像的顶部场和底部场中的一个。控制装置耦合到译码装置和存储器装置，用于根据相应于预测编码图像的运动向量与顶部和底部场中仅仅一个的匹配程度来控制预测编码图像的预测。根据不匹配的程度，控制装置修改仅由顶部和底部场中的一个产生的预测。

在本发明的另一种配置中，一种存储介质记录有用于正向和反向再现的分组数字编码图像表示信号。该数字编码信号包括多个组图像，多个组中的一组至少包括内部编码图像和预测图像。内部编码图像类型和预测图像类型各包括顶部和底部场。预测的图像类型具有用于正向译码的第一运动向量，以及具有用于反向译码的第二运动向量。在本发明的另一种配置中，一种存储介质记录有用于正向和反向再现的分组数字编码图像表示信号。数字编码信号包括多个图像组，所述多个组中的一组至少包括内部编码图像和预测图像。内部编码图像和预测图像包括顶部场和底部场。数字编码信号包括运动向量，用于从顶部和底部场中预定的仅仅一个来构造预测的图像。

附图说明

图1A说明了一个MPEG 2图像组。

图1B说明了在重放和三倍速度的反向特技播放期间记录的图像组。

图2是一个说明功能划分的数字视盘播放机的简化方框图。

图3说明一个用于以三倍播放速度在反向译码、存储和输出图像的序列。

图4是一个包括本发明配置的示范数字视盘播放机的方框图。

图5A-5D说明本发明的两个帧缓冲存储器的分配，便于实现播放和反向特技播放操作模式。

图6说明了确定块类型的功能步骤。

图7是一个描述本发明配置的图表，该配置使用四个场缓冲存储器以便于在三倍正常速度下的反向特技播放的再现。

图8A说明在正常重放和六倍速度的反向特技播放期间记录的图像组。

图8B是一个示出本发明方法的图表，该方法采用四个场缓冲存储器的配置，便于以六倍正常速度反向特技播放再现。

具体实施方式

一个MPEG 2信号可以包括以图像组或GOP形式安排的三种类型的图像。图像组可以包含例如12个如图1A说明安排的帧。如I描述的内部编码帧可以被译码而不用参照任何其他的帧，并且每个图像组只能在I帧译码之后译码。第一个预测帧或P帧可以根据存储的先前的I帧的修改来译码和存储。随后的P帧可以根据来自存储的先前的P帧的预测来构造。P帧的预测在图1A中用弯曲的实线箭头指示。最后，双向编码帧或B帧可以借助于先前帧和/或随后帧例如存储的I帧和P帧的预测来译码。在图1A中用弯曲的虚线箭头描述了由相邻存储帧的预测来译码B帧。

包括MPEG图像组的编码帧的分级特性需要每个图像组或GOP在正向译码。这样，通过有效地跳回到一个较早的、先前的I帧并且然后在正向译码该GOP，可以提供反向重放模式。译码的帧被存储在帧缓冲存储器并且以译码次序的反向读出以获得所需的反向节目序列。

在图1B中，由虚线箭头说明在正向以正常播放速度的重放。在时间t0之前的时刻，选择反向的三倍速度的特技播放模式并且在时间t0启动，这里I帧I(25)被译码和显示。如上所述，用于反向特技播放译码所需的下一帧是I帧I(13)，这样，如箭头J1指示的，变换器被移动以获得I帧I(13)。然后，信号恢复和译码跟随着图1B中由箭头J1、箭头J2、箭头J3、箭头J4...Jn指示的序列分别获得I(13)、P(16)、P(19)、P(22)...。

图2说明用于译码、存储和输出图1B中描述的帧的序列。该序列便于以三倍的播放速度反向重放而没有所使用的帧缓存器数量的约束。如上所述，每个GOP内存在的编码关系需要每个图像组在正向从I帧或图像开始译码。这样，通过有效地跳回到较早的或先前的I帧并且然后在正向译码该GOP，可以提供反向模式特征。译码的帧被存储在帧缓冲存储器用于随后以反向次序读出。在图2中，该序列在开始块启动，在块100启动正向播放模式。对于块100的正向播放模式没有对译码和输出信号的产生制成图表。在决200，选择反向的三倍播放速度模式，接着，在块210，译码内部编码图像I(N)。译码的图像I(N)在块310存储到帧缓存器中，它在块380以适用于标准输出信号例如NTSC或PAL产生的速率读出。在图像I(N)译码之后，下一个在前面的I图像I(N-1)在块220获得和译码并且在块320存储到第二帧缓存器中。输出信号的产生进行到块381，它基本上与译码和存储序列无关，并且重复块310存储的图像I(N)。在图像I(N-1)译码之后，GOP B的第一个P图像P(N-3)在块230译码并且在块330存储到第三帧缓存器中。输出信号产生进行到块382，并且重复块310存储的图像I(N)。在块230译码之后，GOP B的第二个P图像P(N-2)在块240译码并且在块340存储到第四帧缓存器中。第三个P图像P(N-1)在块250译码并且在块350存储到第五帧缓存器中。

在完成译码和存储GOP B之后，反向场景运动的描绘在块383启动，该块输出来自帧缓存器块350的P图像P(N-1)。下一个输出图像P(N-2)从帧缓存器决340读出并且在块384输出。同时，GOP A的下一个在前面的I图像I(N-2)在块260获得和译码并且在块360存储。可能的图像I(N-2)存储在第一帧缓存器中(块310)，因为I(N)帧已经被显示并且不再需要。在块260之后，P图像P(N-6)在块270译码并且存储在帧缓存器块370中，该块可以例如是第五缓存器。在输出块385，下一个图像P(N-3)从帧缓存器块330读出并且输出。随着来自块320的图像I(N-1)在块386输出，GOP B的反向描绘完成。下一个输出图像P(N-4)从GOP A获得并且在块387输出。很清楚GOP A的译码和存储已经独立地并且与输出图像的周期性重复产生同时地进行(用虚线箭头表示)。

作为举例的图2的反向播放序列说明为了获得三倍播放速度的反向重放，使用了五个帧缓存器(块310-块350)。然而，为了便于反向再现提供的这种存储器容量可能意味着不必要的制造成本，通过使用两个帧缓冲存储器的各种本发明配置可以有益地避免该成本。

图3示出简化的数字视盘播放机，它的功能划分说明不同时间发生的事件以及在播放机内存在的数据传递速率。功能块1包括光盘、光拾取装置、驱动机构、光盘和光拾取伺服系统以及重放信号处理系统。功能决2包括MPEG译码器、机械缓存器和帧存储器。机械或光道缓存器是一种数字缓存器，它提供由播放机前端的光盘机构处理的转换数据信号的缓冲存储。这样，MPEG译码器在时间上间歇地断开，并且具有比标称速度大的旋转光盘的较高数据传递速率。如上所述，如控制块要求的，通过在帧缓冲存储器上写入和读出，便于实现MPEG译码。可以要求DVD播放机产生例如NTSC或PAL编码的输出信号，该信号便于由帧缓冲存储器的周期性读出(功能块3)来实现。这样，通过重复读出如图2的块380-389说明的帧缓冲存储器，可以产生一个示范的NTSC输出图像。在图3示出的简化的划分说明在DVD重放期间发生的间歇和时间上分离的操作。

图4描述了一种数字视盘播放机的示范方框图。块10描述了走盘机构，可以承受由电机12旋转的数字记录光盘14。响应各个信号数据位由8/16调制编码确定各个坑的长度，数字信号作为包含诸坑的螺旋光道记录在光盘14上。光盘14上的记录由收集反射的激光照度的拾取装置15读出。反射的激光由光检测器或光拾取装置收集。成像装置例如形成拾取装置15一部分的透镜或反射镜由电机11伺服控制和驱动以跟随记录的光道。可以通过快速地重新定位成像装置来进入记录的不同部分。伺服控制电机11和12由集成电路驱动放大器20驱动。拾取装置15耦合到光前置放大器块30，该块包括用于激光发光装置的驱动电路。前置放大器提供从光拾取装置输出的反射信号的放大和均衡。来自光前置放大器30的放大和均衡的重放信号耦合到信道处理器块40，这里利用重放信号来同步锁相环，该锁相环被利用来解调记录中使用的8/16调制代码。解调的重放数据借助于Reed Solomon乘积编码来纠错，该编码包括在8/16调制和记录之前的数据中。这样，纠错的数据信号位流耦合到位流、光道或机械缓冲存储器60A。缓冲存储器60A用于存储足够的数据，使得译码时在光盘14上重新定位成像装置15期间丢失的数据是看不见的。这样，缓冲存储器60A使观看者感觉最后输出的图像流为连续的或无缝的，是不间断的。位流缓冲存储器60A可以例如形成具有如16MB(兆字节)容量的大的存储块部分。这样一个示范的16M B(兆字节)存储块可以例如被进一步划分以形成帧缓存器60C和60D，它们为两个译码的图像帧提供存储。在译码之前压缩的视频位流可以存储在缓存器60B中，同时音频位流和其他的数据分别存储在缓存器60E和60F。信道处理器(40)还提供读出和写入到位流缓存器60A的控制。由于在重放光道地址的变化例如由于特技播放操作、用户定义的重放视频内容如“导演剪接(Directors cut)”、基本(parental)指南选择、或者甚至用户可选择的替换镜头角度(shot angles)，数据可以被间歇地写入位流缓存器。为了便于更迅速地存取和恢复记录的信号，光盘14能够以导致间歇的转换位流并且具有较高位速率的增加的速度旋转。这种较高的速度、间歇传递的位流可以通过写到缓存器60A有效地平滑，并且以较低的更恒定的速率读出用于MPEG译码。

信道处理块40还耦合到如块50描述的伺服控制集成电路，该块提供伺服电机11和12的驱动和控制信号。电机12旋转光盘14并且可以提供多种速度的伺服控制旋转。光拾取块15的定位由电机11伺服控制，另外，它可以被控制以快速地重新定位或跳到光盘表面的另一个光道位置。

数字视盘播放机由块500的中央处理单元或CPU、部件510控制，该块接收来自信道IC 40的再现的位流和错误标记，并且将控制指令提供到伺服IC 50。另外，CPU 510接收来自用户接口90的用户控制命令，以及来自块500的MPEG译码部件530的MPEG译码器控制功能。系统缓存器块80由CPU 510寻址并且将数据提供到该CPU。例如，缓存器80可以包括RAM和PROM存储器单元。RAM可以用于存储从重放位流提取的解扰或解密信息、位流和帧缓冲存储器管理数据以及导航数据。PROM可以例如包含拾取器跳转算法，用于以正向和反向速度中的一选定速度进行特技播放。

MPEG编码的位流从用于分离或去多路复用的CPU 510耦合以将音频、视频和控制信息从编码的位流分离。去多路复用可以用硬件或通过CPU控制的软件实现。分离的压缩视频位存储在位缓存器60B中，分离的压缩音频位存储在缓存器60E中。来自每个图像组的某些译码帧被写到帧缓存器60C和60D，随后用于获得每个GOP的其它帧。如将更全面描述的，帧缓存器60C和60D具有两个视频帧的存储容量并且在特技播放操作期间被有益地寻址以存储来自四个图像的场。分离的音频分组存储在缓存器60E中，它被读出并且被耦合用于块110的音频译码。在MPEG或AC3音频译码之后，产生数字化音频信号，该信号耦合到音频后处理器130用于数模转换和各种基带音频信号输出的产生。来自译码器530的数字视频输出耦合到编码器590，该编码器提供数模转换并且产生基带视频分量和编码视频信号。

为了避免图3描述的缓冲存储器要求，本发明使用参照图4和图5描述的帧缓存器分配的方法。在图5A中，帧缓存器60C和60D可以被有益地控制为正向播放模式的I和P图像提供帧存储和显示性能，以及为反向特技播放模式重新配置以从四个不同译码图像提供单个场的存储。这样，通过寻址帧缓冲器作为场存储器，可以存储的译码图像的数量扩大一倍。图5A描述的帧缓存器60C和60D作为播放模式帧缓存器1和2并且用示范的光栅行的部分阵列说明。在反向特技播放操作期间，示范的光栅行可以被交替地寻址以从四个译码图像提供单个场的存储。一个示范的第一或顶部场采用对角线阴影描述，示范的第二或底部场采用没有阴影的描述。重新配置帧缓存器60B和60C以提供四个场存储，假设它能够写存储器的单个场而不影响存储在相同帧缓存器内的其它场。另一方面，帧缓存器1和2可以通过具有控制寻址的随机存取存储器块容易地实现，为2帧或来自四个不同译码图像的单独场提供存储。在特技播放操作期间有益地控制以提供场而不是帧的存储可能导致对于某些译码图像减少垂直的空间分辨率。

译码场而不是帧的存储可能对于某些编码预测要求指向预测源的运动向量修改或改变以避免寄生图像产生。如果运动向量指向先前的预测源，例如没有选择存储在四个场缓存器之一中的场，则可能产生这种寄生的或错误的图像。错误图像的产生是因为在运动向量地址存储的信息来自于一个场，该场可以与编码期间作为预测器选择的信息在时间上远远地分离。例如，图5B描述了场存储器1、2、3和4以及在输出场4到10周期期间它们各自的内容，参照图7可以看出错误的图像信息。在输出场周期4期间，利用由图像P(16)的单个场获得、存储在场缓存器2中的预测对图像P(19)译码，。然而，为了从图像P(16)描述图像P(19)的形成，在MPEG编码期间产生的运动向量可能指向P(16)的非存储和丢弃的场。因为图像P(16)的单个场相邻于图像I(25)的单个场存储，运动向量要求修改以避免错误地指向在时间上间隔很远的图像的场。

对于运动向量修改的需要可以在MPEG译码器内确定，在这里测试运动向量标记运动_垂直_场_选择，用于匹配于或等同于预定的存储场类型，例如顶部或底部场。如果向量指向的场和存储的预测场不匹配，运动向量被修改。在第一种修改方法(1)中，假设一个示范的系统，这里只有底部场被选择用于存储并且当前的宏块使用帧预测。运动向量由两个分量x和y表示，这里x表示水平值而y表示垂直值。每个运动向量具有12位的最大值。为了防止不匹配，通过设置位0或LSB和位1为零来改变MV的垂直分量y。设置位0为零导致删除1/2的像素垂直内插偏置。设置位1为零确保被译码宏块的底部场由存储的、示范的底部预测场预测，而不用考虑编码的确定。

示范系统中只存储底部场，如果当前的宏块使用场预测并且运动_垂直场_选择标记＝0，则预测从顶部场获得。因此，为了获得从底部场的预测，要求复位该标记，使得运动_垂直_场_选择＝1，然后可以按现状使用运动向量。

当存储的预测器场和运动向量指向的场不匹配时，可以在示范的系统中使用第二种方法(2)。在第二种方法中，预测器存储器的读地址被修改以随着它从存储器的读出重复预测的每一行。

可以用第三种方法(3)修改运动向量，该方法使用运动向量水平和垂直分量x和y的算术换算。图5C说明一个图像系列，这里在图像4的底部场，使用运动向量(x4，y4)译码宏块M B 4，该宏块必须采用由图像1的所存储的底部场的预测来译码。如果宏块M B 4由场预测并且运动_垂直_场_选择标记＝0，则表示从顶部场的预测，并且因为只存储图像1的底部场，所以必须修改运动向量。通过相应场之间时间差值的比例换算，可以为由底部场的预测计算修改的运动向量。该比例方法假设场之间的图像运动是线性的。比例计算如下，其中(x，y)表示传送的运动向量而(x’，y’)表示修改的值；

$x^{\′}=\left[\frac{t8-t2}{t8-t1}\right]\·x$

$y^{\′}=\left[\frac{t8-t2}{t8-t1}\right]\·y$

例如，图5C中，在当前的场和预测场之间有两个B帧，因此

$\left[\frac{t8-t2}{t8-t1}\right]=\frac{6}{7},$ 所以， $(x^{\′},y^{\′})=\frac{6}{7}(x,y)$

将传送的运动向量按比例改变以产生MV(x’，y’)，运动_垂直_场_选择标记设置为1。如果示范的宏块M B 4已经被帧预测，则方法(1)可较简单实现，并且因为从顶部或底部场预测之间没有时间的差值，所以生成的图像基本上可以没有可见图像的损伤。

在第四种方法(4)中，通过由当前译码场的先前宏块来置换MV，服从于某些约束，可以修改示范的宏块M B 4的运动向量(x4，y4)。图5D说明相邻于示范宏块M B 4的几个宏块。如果场预测用于示范的宏块M B 4并且运动向量用于构造指向先前的顶部场的M B 4，则如果使用运动补偿编码M B 2可以使用来自宏块M B 2的运动向量。然而，如果宏块M B 2是帧_预测的，则它的垂直运动向量分量必须除以2。另外，如果宏块M B 2是场_预测的，则如果宏块M B 2的底部场由先前帧的底部场预测，可以仅仅使用它的运动向量。假定使用运动补偿编码则宏块M B 3也可以提供一个替代的运动向量用于宏块M B 4。因此，如果MV置换是允许的，则运动_垂直_场_选择标记设置为1。在当前图像内这些运动向量修改的替代方法是简单计算来实现的，并且仿真表示在具有低空间频率内容的场景区域降低块失真的可见度中是有用的。

通过在存储的预测器场和运动向量指向的场之间进行比较，如上所述可以容易地确定需要修改运动向量。然而，在一个宏块的基础上，在重放期间可以方便地自适应确定或选择使用的修改方法。这种MV修改方法的自适应确定可以通过监控MPEG位流内标题的状态来提供。例如，素材来源的指示可以由在序列标题中出现的帧_速率_值获得。例如，24fps的帧速率表示该素材是影片来源。这样，采用影片来源和基于帧的预测，第一种方法(1)可以用于产生大大免除可见损伤的图像。产生这种基本上无差错性能是因为虽然修改的运动向量现在指向错误的场，顶部的或底部的，但是要被构造的实际的目标或像素可能被一个光栅行间距或更小的距离在空间上错位。例如，在图5C的图像1中，在时间周期t1期间，如果宏块M B 1由影片获得，则它的位置在时间周期t2期间已经被一个光栅行间距或更小的距离改变，因为顶部和底部场由单个时间事件产生的共同的图像获得。这样，由于场运动中间的图像位移不会存在。

另一种用于MV修改的自适应控制指示器可以利用位于MPEG视频位流的序列_标题内的序列_扩展。序列_扩展包含一个渐进序列标记，如果它设置为1则表示最初的源素材被逐步地扫描。这样，这个逐步扫描图像源的编码表示可以用于选择方法1或2，以作运动向量修改。然而，交织图像源的检测即渐进_序列标记设置为0可以引导修改选择为方法3或方法4。例如，在图5C的图像1中，在时间周期t1期间，如果由M B 1定位的宏块从电视摄像机获得，则它在时间周期t2的位置的变化可能比一个光栅行间距大很多，如表示它到M B 2定位的新位置的箭头所描述的。在一个电视摄像机中，特别是一个具有CCD成像器的摄像机中，顶部和底部场很可能被分离曝光，可能具有比一个场小的曝光周期，这样保证在该场景内的任何运动在顶部和底部场之间将明显的不同。

方法1和方法2可以简单地实现并且在低空间频率内容的场景区域例如天空中可能最有用。虽然方法4表现为修改的最简单的形式，但是可能仅仅在相邻的宏块包含类似的图像内容时才能做到免除可见的损伤。另外，方法4可以仅仅用于下面相邻宏块类型的估计。虽然方法3比其他的方法计算更加复杂，但是仿真的结果表明当对于中等到高空间频率内容的场景与方法4相比时，只有很少的预测误差是可见的。

另一种用于自适应控制的方法可以取决于在相应宏块内或相邻于相应宏块的各宏块内的类似的内容。运动向量修改的自适应选择可以通过内部编码图像的每个宏块内离散的余弦变换系数表示的空间频率内容的分类获得。例如，通过分组表示每个宏块内水平的、垂直的和对角线产生能量的系数，可针对空间频率内容分析图5D的宏块M B 2和M B 3。在每个方向计算平均的高频率内容以及在每个方向计算最小值与最大值的比率。平均的高频率内容值可以用于将宏块分为表示空间频率的较高和较低内容的组。较高内容组还可以进一步分类以形成结构或边缘宏块。例如，结构或第二类型的宏块可以表示产生高频率内容的丰富来源的格栅或重复模式的图像。边缘或第三类型的宏块虽然具有明显的高空间频率分量内容，但是该内容可能表示包含边缘过渡的图像并且因此不可能出现在多于一块的方向。通过比较计算的平均参数值与门限值可以完成分类，例如如果在每个方向上的平均高频内容小于预定的门限值，则宏块可以分类为平滑的或第一种类型。如果每个方向上的平均高频内容大于预定的门限值，每个方向上的最小内容值大于第二个预定值，以及每个方向上的最小内容值与最大内容值的比率超过第三个门限值，则可以识别结构或第二类型的宏块。不能作为平滑或结构分类的宏块可以识别为边缘的或第三类型的宏块。

图6描述了一种方法的示范流程图，该方法表征了每个宏块的空间频率内容。图6中示出的方法借助于并行处理操作，如上所述地分析DCT系数值。然而，采用块类型分类之前暂时存储的每个方向上分析的结果，以顺序的方式可以很好地完成这种处理。如上所述，在步骤215、255和275的门限值处理结果分别在步骤220、260和280组合以产生宏块分类类型，这些宏块分类类型被存储，接着用于自适应地确定运动向量修改方法的选择。例如，如果相邻于目标的预测器场的宏块例如图5D的M B 2、M B 3或当前译码的宏块被分类为平滑的，则可以使用MV修改方法1或4。如果相邻的宏块被分类为边缘块则可以选择方法1、2或3。结构分类的相邻块可能导致选择方法1或2。

在MPEG编码期间，运动向量可以由时间上最接近的锚I或P图像获得。如果考虑图5C的P图像4的宏块M B 4，将从I图像1获得预测。如果I图像1来源于影片，则在时间t1和时间t2产生的图像或场的预测之间只有很小的差别。然而，如果最初的图像源是一个隔行扫描CCD摄像机，则在时间t1和时间t2的场之间可能存在相当大的差别。这样，参照宏块M B 4，更可能在时间t2从图像1统计地获得一个编码器预测，因为这个底部场图像在时间上例如大约1/60秒更接近在时间t8产生的图像4。另外，因为运动可能发生并且在图像1的时间t1和时间t2之间被捕获，在时间t2期间产生的图像具有一个较高的匹配概率或为宏块M B 4的导出提供更好的基础。这样，如果译码器存储器容量被约束以仅仅存储单个场预测器，则由于前述观察，选择底部场用于存储为从先前的底部场获得的编码运动向量提供更大的概率。例如，宏块M B 4在时间t2比在时间t1从图像1的预测有更大的概率。这样，当存储单个场作为预测器时，只选择底部场用于存储可以极大地减少或大大地避免修改运动向量值的必要。

在另一种方法中，通过有益地编码光盘以便于特技模式再现可以避免在特技模式译码的寄生图像。例如，在MPEG编码期间，运动向量产生可能被约束为仅仅一个场，即在特技播放操作期间存储的单个场。很明显，这样在运动向量产生上的编码约束要求必须存储相同场的译码器有一个类似的约束。将运动向量产生约束为影片派生的素材中的单个场不会导致降低压缩效率，例如光盘上节目时间的减少所表示的。然而，对于源自TV的素材，这里在交织的场之间可能存在明显的运动，这样对运动向量产生的单个场约束可能由于较低效率压缩导致每个光盘节目长度的某些损失。通过对特技播放操作期间特别使用的运动向量组单独编码，可以有益地避免节目长度或压缩效率的损失。这种多余的或冗余的编码数据需要光盘空间，然而，因为这些特技播放运动向量能够在大于正常播放速度的时间速率上译码，所以它们表现成比例的较小的数据量。例如，在三倍播放速度时，特技播放运动向量的数量至少是播放速度操作的三分之一。另外，如上所述，这种特技播放运动向量仅仅在编码器选择从未存储场的预测时产生，这样进一步减少了要被冗余记录的数据量。另外，三倍速度特技播放运动向量可以有益地使用在其他特技播放速度下，例如六倍速。

已经推荐了用于MPEG信号流的译码器，它具有足够的处理速度以在一个场周期期间译码整个帧。另外，这样的译码器可以仅使用两个帧缓存器以便于例如以正常的播放速度在正向译码。在这种译码器中，两个参考图像或帧例如I或P帧可以被存储，从这两个帧可以译码B帧。这样，为了能够仅采用两个帧存储器对B帧译码，要求译码器在TV场周期内构造B帧。这种不用存储的B帧译码也称为“空中译码(decoding on the fly)”，在下面的例子中假定具有这种译码能力。另外，如果考虑在三种类型的MPEG帧的MPEG译码期间的计算复杂性，则B帧译码表示最大的处理任务。因此，因为假定B帧可以在场间隔内译码和无需存储，所以还可以假定I和P帧也可以在场周期内译码。

图7是说明以三倍播放速度在反向操作的特技播放模式的图表。该图表说明MPEG译码器的有益利用，以及组织来存储来自四个译码MPEG帧的单独场的两个帧缓冲存储器。示范的图表具有表示MPEG编码的I帧或图像和P帧或图像的列。I和P图像包括图像组或GOP A、B和C。在这个例子中，只有I帧和P帧被译码，因此只对它们进行说明。图7描述了25个编码图像的序列，在括号中表示图像号码。以后将更详细地解释译码器的要求。图7示出的图表说明对于具有12帧GOP结构例如IBBPBBPBBPBB的视频序列，在反向以3倍播放速度的特技播放再现。假定该视频以24帧/秒的影片帧速率被记录。这样，因为示范的图7说明在3倍播放速度的操作，所以对于每个GOP必须产生和显示10个输出场以便产生每秒标称为30帧的NTSC标准TV帧速率。图表的列代表两个连续GOP中的I和P图像并且以正向显示次序从左到右列出。最右边的列表示输出场号码。图表的纵轴表示以场周期为单位的时间。

图7使用的符号如下：

在方框中的大写符号D表示在含该方框的列的标题的图像在含该方框的行表示的场周期期间被译码。

符号D＞i，这里i可能是1、2、3或4，表示被译码图像的一个场被写到场缓存器i并且其他的译码场被丢弃，(图5示出场缓存器1、2、3和4)。

符号D＞i，j，这里i，j可能是1，2或3，4，表示被译码图像的两个场被写入场缓存器i和j。

符号Pi，这里i可能是1、2、3或4，表示被译码图像的两个场的预测从场缓存器i获得。

符号Pi，j，这里i，j可能是1，2或3，4，表示从场缓存器i和j获得预测。

方框内的符号di表示包含该方框的列表示的图像的一个场被存储在场缓存器i并且在包含该方框的行表示的场周期期间被显示。

参照图7，示范的反向译码过程在时间t0图像I(25)启动并且被指定输出场周期1。图像I(25)被译码并且写到场缓存器1和2。同样在场周期1期间，显示图像I(25)的一个场。如果译码器不能同时译码、显示和将场写到存储器，显示操作可以延迟1/60秒或一个场。在这个示范的反向重放模式期间的任何其他时刻不要求在相同的场周期内具有译码场、显示它以及将它写到存储器的能力。在输出场周期2期间，图像I(13)被译码和写到场缓存器3和4，同时图像I(25)的第二个场被显示。为了获得图像I(13)，变换器被重新定位到先前的GOP并且从该光盘中恢复数据。这个表示I(13)的数据存储在光道或机械缓存器直到MPEG译码器要求为止。在下面的描述中，假定译码所需的图像已经从光盘中恢复并且如上述被缓存。在输出场周期3期间，来自存储在场缓存器1的图像I(25)的场被显示。同时图像P(16)被译码，其中的一个场被写到场缓存器2而其他场被丢弃。从场缓存器3和4获得用于译码图像P(16)的预测器。在输出场周期4期间，图像P(19)被译码。来自图像P(19)的一个场被写到场缓存器4而其他的场被丢弃。在译码帧P(19)的同时，来自场缓存器1的图像I(25)的场在最后的时间显示。

图像P(19)必须采用从存储在场缓存器2的图像P(16)的单个场获得的预测器来译码。然而，在描述从图像P(16)形成的图像P(19)的MPEG编码期间产生的运动向量可能指向P(16)的丢弃的场。这样，因为每个帧缓存器可以包含来自时间上间隔很远的图像的场，运动向量可能要求如上所述的修改，以避免重构较大错误的图像。图5B描述了在(图7的)输出场4到10期间场缓存器1到4的内容并且说明具有宽时间间隔的图像。通过修改运动向量可以避免在反向特技播放期间的寄生图像译码，以提供专用于先前的参考图像例如图7的帧P(16)的存储场的预测。每当丢弃的场被选择作为预测器时可以自适应地选择上述的各种方法。

在输出场周期5期间，使用来自P(19)的单个场来译码图像P(22)，存储在缓存器4中用于预测。如所描述的，运动向量可能要求自适应。图像P(22)的一个场在译码时显示。在输出场周期6期间，根据位流缓存器60A的读地址操作，通过重复P(22)位流，图像P(22)被再一次译码。在图像P(22)译码期间，一个场被耦合用于显示但没有场被存储。在输出场周期7到10期间，分别地存储在场缓存器4和2中的图像P(19)和P(16)的场被显示。在输出场周期7之后的某时刻，变换器被重新定位以读取存储在位流缓存器60A的图像I(1)。然而，在场周期11，帧缓存器2变得可以利用并且下一个在前面的GOP(A)的I(1)被译码和写到场缓存器1以及场缓存器2。输出场11从存储在场缓存器3中的图像I(13)获得并且被显示。然后重复上述过程以译码剩余的GOP(A)。

图8A说明在六倍播放速度时的反向特技播放。采用在顶部边缘表示的I和P帧或图像以及朝向底部示出的B帧显示出稍微多于两组图像的记录序列。如上所述，每个GOP内的图像必须以I图像例如I(1)、I(13)或I(25)开始的序列译码。因此，为了产生反向图像运动，要求跳回和正向播放以恢复和存储每个GOP的组成图像的控制序列，然后这些图像以反向次序读出。在这个示范的特技播放序列中，只有I和P图像被译码。用于六倍反向重放的跳回和正向播放序列在时间t0开始描述，它可以被安排为I图像。箭头J1示出从图像I(25)指向图像I(13)，图像I(13)表示下一个在前面的I帧。图像I(13)被译码，其结果被存储。箭头J2在GOP序列中从图像I(13)到图像P(16)正向跳转，P(16)使用I(13)作为预测器译码。从图像P(16)的译码结果被存储，为箭头J3定位的图像P(19)提供预测器。这样，译码和存储的图像P(19)的反向重放可以如显示序列所示开始进行，这里存储的图像以存储次序的反向读出。应该注意，虽然图像P(16)被存储以提供预测器，但是它在六倍播放速度显示序列中是不需要的。译码、存储和输出GOP B后，箭头Jn跳回下一个在前面的图像组(GOP A)并且指向图像I(1)。重复上述的方法产生图8A示出的反向图像显示序列。

图8B说明的图表表示一种利用四个场存储以便于以六倍正常速度反向特技播放的方法。该图表的列表示以正向显示次序从左向右列出的连续12帧GOP(图8A的A、B和C)中的I和P图像。右边的列表示输出场号码。该图表的垂直轴表示以场周期为单位的时间。表格符号具有如图7描述的相同意思，译码器具有如先前讨论的相同特性。

在图8B中，反向特技播放在GOP C的图像I(25)启动。图像I(25)被译码并且被存储在场存储器1和2中，同时一个场被显示为输出场1。在输出场2，来自译码图像I(25)的其他存储场被显示。在输出场2的周期期间，变换器从包含图像I(25)的光道重新定位到包含先前的GOP(B)的图像I(13)的光道，它被变换并且被存储在示范的光道缓存器60A中。光道缓存器的使用允许将重放信号变换和用于译码的图像数据读出之间在时间上断开。因此，获得一图像可以表示为光道或缓存器读出。图像I(13)被译码并且被存储在场存储器3和4。然而，表示图像I(25)最后使用的输出场3从场存储器1读出。在输出场3显示的同时，使用图像I(13)的两个场作为预测器来获得和译码图像P(16)。只有一个来自译码图像P(16)的场存储在场存储器2中，其他的被丢弃。在输出场4使用有益的译码特性，同时，通过来自图像P(16)的单个存储场的预测获得和译码图像P(19)，来自图像P(19)的单个场作为场4输出。通过读存储器2获得输出场5，该存储器2包含图像P(16)的单个场。在输出场5期间，GOP A的图像P(1)被获得、译码并且存储在场存储器1和2中。

在输出场6，图像I(13)的一个场从存储器3读出，并且作为场6输出。在输出场6期间，使用来自图像I(1)的两个场的预测，图像P(4)被获得、译码并且存储在存储器4中。通过读来自存储器4的图像P(13)的其他场获得输出场7。在输出场7期间，采用来自图像P(4)的存储场的预测，图像P(7)被获得、译码并且存储在存储器2中。在输出场8，重复有益的译码特性，同时，通过来自图像P(7)的预测获得、译码、以及输出图像P(10)以形成输出场8。输出场9从场存储器2读出，该存储器2包含图像P(7)的单个场，并且从包含图像P(4)的存储器4获得输出场10。输出场11和12从包含译码图像P(1)的场存储器1和2分别读出。

Claims (5)

1.一种用于处理来自介质(14)的数字编码信号的设备，包括：

表示多个数字编码块处理图像组的所述数字编码信号的源，所述多个数字编码块处理图像组中的一组包括至少一个内部编码图像和至少一个正向预测编码图像以及运动补偿数据；

存储装置(60C/60D)，配置用于存储所述至少一个正向预测编码图像的场，使得所述至少一个正向预测编码图像的其他场被丢弃；

耦合到所述源的译码器(530)，用于译码所述一个内部编码图像；以及

耦合到所述译码器(530)的处理装置(510)，用于处理所述内部编码图像的每个块以确定由多个图像类型的所述块内产生的数据表示的图像类型，以及耦合所述块内表示的图像类型用于存储。

2.一种用于再现来自介质(14)的表示多个图像组的数字编码信号的设备，所述多个图像组中的一组包括内部编码图像和预测的编码图像，该设备包括：

耦合到所述介质的译码器(530)，用于译码所述数字编码信号以形成所述内部编码图像和所述预测的编码图像；

耦合到所述译码器(530)的存储器(60C/60D)，用于仅存储所述内部编码图像的第一个场和第二个场中的一个；以及

耦合到所述译码器(530)和所述存储器(60C/60D)的控制装置(510)，用于根据相应于所述预测编码图像的运动向量场选择与所述仅仅一个场的匹配程度，控制所述预测编码图像的预测，其中根据不匹配的程度，所述控制装置可控地修改从所述仅仅一个场产生的预测。

3.一种再现来自介质(14)的数字编码信号的设备，包括：

表示多个图像组的所述数字编码信号的源，所述多个图像组中的一组包括至少一个内部编码图像类型和至少一个正向预测编码图像类型以及运动补偿数据；

存储器(60C/60D)，配置用于存储所述至少一个正向预测编码图像的场，使得所述至少一个正向预测编码图像的其他场被丢弃；

所述运动补偿数据表示两个图像类型中一个的单个场，以及

耦合到所述源和所述存储器的译码器(530)，用于译码两种类型的图像，这里响应运动补偿数据译码所述至少一个正向预测编码图像类型，该运动补偿数据表示所述至少一个内部编码图像类型的单个场。

4.一种用于处理数字编码信号的设备，包括：

表示多个图像组的所述数字编码信号的源，所述多个图像组中的一组按序列安排，该序列包括至少一个内部编码图像和至少一个正向预测编码图像以及运动补偿数据；

存储器(60C/60D)，配置用于存储所述至少一个正向预测编码图像的场，使得所述至少一个正向预测编码图像的其他场被丢弃；

所述运动补偿数据表示用于译码所述至少一个正向预测编码图像的预测图像部分，以及

耦合到所述源和所述存储器的译码器(530)，用于译码所述内部编码图像和所述至少一个正向预测编码的图像，其中在第一种模式下响应作为图像的所述预测图像对所述正向预测编码图像译码，而在第二种模式下响应作为图像的单个场的所述预测图像对所述一个预测编码图像译码。

5.一种反向再现记录在介质(14)上的数字编码信号的方法，所述数字编码信号表示多个图像组，所述多个图像组的每一组包括至少一个内部编码图像和至少一个正向预测编码图像，所述方法包括步骤：

a)存储来自所述多个图像组的第一个图像组的所述内部编码图像的场；

b)存储从所述多个图像组的所述第一个图像组之前的第二个图像组译码的内部编码图像的场；

c)存储从所述第一个图像组之前的所述第二个图像组译码的第一正向预测编码图像的场；

d)存储从所述第一个图像组之前的所述第二个图像组译码的第二正向预测编码图像的场，而丢弃所述第二正向预测编码图像的其他场；以及

e)译码从所述存储的所述第二正向预测编码图像的场恢复的第三正向预测编码图像的场。

Images