CN101483773A - 图像编码方法及图像编码装置 - Google Patents

Abstract

本发明的图像编码方法，参照从存储器内保存着的多个参照图像中选择的参照图像进行编码，包括：参照所选择的参照图像，对编码对象图像进行编码；将用于管理存储器中保存着的参照图像的第一存储器管理信息进行编码，并且，附随于已被编码的所述编码对象图像，输出被编码的所述第一存储器管理信息；将所述第一存储器管理信息作为第二存储器管理信息再次进行编码；在被编码的所述第二存储器管理信息上附加用于确定所述编码对象图像的图像确定信息，并且，附随于与所述编码对象图像不同的别的编码图像，输出附加了所述图像确定信息的被编码的所述第二存储器管理信息。

Description

图像编码方法及图像编码装置

本申请是申请号为03800235.3、申请日为2003年4月10日、发明名称为“图像编码方法及图像译码方法”的母案申请的分案申请。

技术领域

本发明涉及利用图像间的相关高效率地压缩动画图像信号的图像编码方法，和将其正确地进行译码的图像译码方法，以及用于用软件执行该操作的程序等。

背景技术

近年来，迎接统一处理声音、图像、其他象素值的多媒体时代，将现有的信息媒体，即报纸、杂志、电视、收音机、电话等的信息传达给人的装置，作为多媒体对象成了热点。一般地，所谓多媒体，是指不仅文字，同时还关联图形、声音，特别是图像等进行表示的信息媒体，但是，要想将上述现有的信息媒体作为多媒体的对象，其必要条件为将其信息以数字形式表示。

但是，若将上述各信息媒体所持有的信息量作为数字信息量来估计，则在信息为文字时每一个文字的信息量为1～2字节，而信息为声音时每一秒的信息量为64kbits(电话质量)，另外，对于动画，则每一秒需要100Mbits(现行电视接收质量)以上的信息量，在上述信息媒体中以数字形式原样处理该庞大信息是不现实的。例如，利用具有64kbps～1.5Mbps传输速度的综合服务数字网络(ISDN：Integrated Services Digital Network)已实现可视电话，但不能用ISDN原样发送电视和摄影机的影像。

因此，这就需要信息的压缩技术，例如，可视电话的情况下，正在使用由ITU—T(国际电信同盟，国际电信标准化部门)国际标准化的H.261和H.263标准的动画压缩技术。此外，根据MPEG—1标准的信息压缩技术，也可以在通常的音乐用CD(激光唱盘)中与声音信息一同写入图像信息。

在此，所述MPEG(Moving Picture Experts Group即，动画图形专家组)是活动图像信号的数字压缩国际标准，MPEG—1将活动图像信号压缩到1.5Mbps，即将电视信号的信息压缩到大约百分之一的标准。此外，以MPEG—1标准为对象的传输速度主要限定在大约1.5Mbps，因此，在为满足高画质的要求而标准化的MPEG—2中，活动图像信号被压缩到2～15Mbps。

另外，现在，由推进MPEG—1、MPEG—2标准化的工作组(ISO/IECJTC1/SC29/WG11)，已规范出更高压缩率的MPEG—4。在MPEG—4中，一开始不仅能以低位速率进行高效率的编码，而且导入了即使传输线路产生错误，也能减小主观的画质劣化的强有力的防差错技术。此外，ISO/IEC和ITU共同推进了作为下一代图像编码方式的JVT(Joint Video Team即，联合视频小组)的标准化活动，现在最新的称为联合模型2(JM2)。

在JVT中，与现有的动画图像编码不同，作为前方参照图像，能从多个图像(图像)中选择任意图像(图像)作为参照图像。在此，所述图像表示帧或信息组(filed)。

图1(a)是参照从存储器内保存的多个参照图像中选择了的图像，进行编码的图像编码的说明图。图1(b)是示出保存图像的存储器的结构的结构图。

如图1(b)所示，存储器由短时间保存存储器和长时间保存存储器构成。短时间保存存储器存储在紧前面进行了译码的多幅图像，相当于称作MPEG—1和MPEG—2的P图像(前方预测编码图像)及B图像(双向预测编码图像)的参照图像。长时间保存存储器用于比短时间保存存储器长时间保存图像信号。

通常，短时间保存存储器是FIFO(先入先出)存储器，在短时间保存存储器中保存超过存储器上限的图像的情况下，消除短时间保存存储器内的最早时刻的图像，在该区域中保存新的图像。因此，通常，在欲参照利用FIFO结构从存储器中消除了的参照图像的情况下，通过预先将该参照图像从短时间保存存储器移动到长时间保存存储器中来，保存在长时间保存存储器内，就能长时间参照。长时间存储器是明示保存区域的方法，只要不指定相同的区域进行重写，就可以参照保存在该区域中的图像。

图1(a)示出图像编码时的预测状况，图像编号2的图像参照图像编号0的图像，图像编号1的图像参照图像编号0或图像编号2的图像。同样地，图像编号4的图像参照图像编号0、2的图像，图像编号6的图像参照图像编号0的图像。另外，在图像编号5的图像中则能参照图像编号0、2、4、6的图像。

另外，在该图1(a)中，相对于图像编号0、6、12的图像可在比较长时间以后仍被参照，图像编号2、4、8的图像等仅由短时间以后的图像进行参照。因此，如图1(b)所示，将保存图像的存储器区域分割成短时间保存用存储器和长时间保存存储器，能在需要长时间保存的存储器中保存图像(帧)编号为0、6、12的图像。

另外，为了效率使用如图1(a)所示的存储器，需要高度的存储器管理，在JVT中导入用于控制存储器的结构。

控制存储器的指令如下：

1.选择可参照的图像的指令；

2.在短时间保存存储器中释放存储器区域的指令，所述存储器区域是保存着作为预测编码的参照图像成为不需要的图像存储器区域；

3.将短时间保存存储器的内容向长时间保存存储器移动的指令。

在图像编码和译码中，由于从可参照的图像中按块单位选择预测误差小的图像作为参照图像，因此，需要有按块单位指示参照图像的信号。通过预先选择可参照的图像，将参照图像的候补数压缩成适当的值，能节约按块单位所需的参照图像指示信号的位数。

此外，在从短时间保存存储器移动到长时间保存存储器中的情况下，在短时间保存存储器和长时间保存存储器两方保存相同的内容是浪费的，因此，消除短时间保存存储器内的图像。

图2(a)(b)是示出现有的图像编码方法和图像译码方法的流程图。

图2(a)示出在释放存储器区域时的图像编码装置的动作，该存储区域是保存着作为预测编码的参照图像成为不需要的图像的存储器区域。在图2(a)中，首先，图像编码装置对所输入的输入图像进行编码(步骤100)。编码之后在存储器内检查不需要的区域(在以后的编码中不参照的图像)(步骤101)，判定是否有不需要的存储器区域(步骤102)。在判定为有不需要的存储器区域的情况下(步骤102的Yes)，将释放不需要的存储器区域的指令作为存储器管理信息，进行编码(步骤103)，并释放该不需要的存储器区域(消除存储器内的图像)(步骤104)，结束处理。另一方面，在图像编码装置判定为没有不需要的存储器区域的情况下(步骤102的No)，不进行步骤103和步骤104的动作，结束处理。

下面，按照图2(b)的流程图，说明在释放存储器区域时的图像译码装置进行的动作，该存储器区域是保存着作为预测编码的参照图像而成为不需要的图像的存储器区域。首先，图像译码装置对存储器管理信息进行译码(步骤110)，然后，根据编码信号对图像信号进行译码(步骤111)。图像译码装置判定检查的结果是否有存储器释放指令(步骤112)，若有存储器释放指令(步骤112的Yes)，就判定是否有应该用该指令消除的图像，或者是否已经释放完存储器(图像消除完了)(步骤113)。若判定为已释放完(步骤113的Yes)，则设定为错误(ERROR)。这是因为，在JVT中，禁止在从存储器消除了图像之后发出再次消除相同图像的指令，因此，在再次释放释放完的存储器的情况下，就设为错误。另一方面，图像译码装置若判定为没释放完(步骤113的No)，就释放存储器(步骤114)，之后结束处理。此外，在判定为没有存储器释放指令的情况下(步骤112的No)，不进行步骤113和步骤114的动作，结束处理。再有，步骤110和步骤111的顺序不同，所述两步骤的顺序可以互换。

图3(a)(b)是示出现有的其他图像编码方法和图像译码方法的流程图。

图3(a)示出从短时间保存存储器向长时间保存存储器移动图像时的图像编码装置进行的动作。

在图3(a)中，首先，图像编码装置对输入图像进行编码(步骤120)。编码之后检查是否有应该向长时间保存存储器移动的图像(步骤121)，并判定是否有应该移动的图像(步骤122)。若有应该移动的图像(步骤122的Yes)，就将表示如何向长时间保存存储器移动的指令作为存储器管理信息，进行编码(步骤123)，按照该指令向长时间保存存储器移动图像(步骤124)，之后结束处理。另一方面，图像编码装置在判定为没有应该向长时间保存存储器移动的图像的情况下(步骤122的No)，就不进行步骤123和步骤124的动作，结束处理。

下面，按照图3(b)的流程图，说明从短时间保存存储器向长时间保存存储器移动图像时的图像译码装置进行的动作。首先，图像译码装置对存储器管理信息进行译码(步骤130)，接着，根据编码信号对图像信号进行译码(步骤131)。然后，图像译码装置判定在已译码的存储器管理信息中是否有向长时间保存存储器移动的指令(步骤132)，若判定为有(步骤132的Yes)，则接着判定是否有应该按该指令移动的图像，或者是否已移动完(由于移动之后消除完了而图像不存在)(步骤133)。在JVT中，禁止在向长时间保存存储器移动之后发送再次向长时间保存存储器移动相同图像的指令，因此，在再次向长时间保存存储器移动已经向长时间保存存储器移动完了的图像的情况下，就设为错误。因而，图像译码装置若判定为已完成向长时间保存存储器移动(步骤133的Yes)，则设为错误(ERROR)；若判定为没移动完，则向长时间保存存储器移动(步骤134)，之后结束处理。

另一方面，图像译码装置在判定为没有向长时间保存存储器移动的指令的情况下(步骤132的No)，就不进行步骤133和步骤134的动作，结束处理。再有，步骤130和步骤131的顺序不同，可以交换所述两步骤的顺序。

图4(a)、(b)是示出现有的另外的图像编码方法和图像译码方法的流程图。

首先，按照图4(a)的流程图，说明选择可参照图像时的图像编码装置进行的动作。

首先，图像编码装置选择预计为与被编码图像相关密切的参照图像(通常是时间上接近的参照图像)，作为参照图像的候补(步骤200)。接着，将示出所选择的参照图像的候补的指示信息(存储器管理信息的一种)进行编码(步骤201)，从所选择的参照图像的候补中按块单位参照适当的参照图像，进行编码(步骤202)，之后结束处理。再有，步骤201和步骤202的顺序不同，可以交换所述两步骤的顺序。

下面，按照图4(b)的流程图，说明选择可参照图像时的图像译码装置进行的动作。

首先，图像译码装置对作为存储器管理信息的一种的指示信息进行译码(步骤210)，作为其结果，从存储器中选择参照图像的候补(步骤211)，从选择了的参照图像的候补中按块单位选择适当的参照图像进行参照并进行译码(步骤212)，之后结束处理。

另外，在象这样的现有的图像编码方法和图像译码方法中，用图像编码装置将从存储器中消除不需要的图像的指令、和从短时间保存存储器向长时间保存存储器移动图像的指令进行编码之后输出，并传输到图像译码装置中进行译码，但是，由于该传输次数仅限定为一个图像，因此，在随着该指令的图像因传输错误等消失了的情况下，就不能正确地复原存储器内的图像配置，因此就不能对图像进行译码。

此外，在图像的编码和译码中，在选择参照图像时，若简单地将在时间上接近的图像设为参照图像候补，则不能进行考虑了图像的译码的可变性(scalability)(在图1(a)的预测结构的例子中，即使B图像没有进行译码，I图像和P图像也能进行译码，或即使不对图像编号4、10、16的P图像进行译码，其他的P图像也能进行译码)的最佳的编码。即，虽然在时间上与图像编号6的图像接近的图像是图像编号4、2的图像，但实际上，仅能参照图像编号0的图像，因此，若将不能参照的图像编号4、2的图像放入参照图像的候补中，则编码效率不太好。

另外，在现有的图像编码方法中，禁止附随着存储器中不保存的图像传输消除存储器内的不需要的图像的指令、或从短时间保存存储器向长时间保存存储器移动图像的指令，因此，妨碍了柔性的存储器管理信息的指令传输。禁止附随着存储器中不保存的图像传输该指令有下述理由。即，这是因为，由于存储器中不保存的图像的重要度最低，不能按可变性(scalability)译码的可能性高，因此，是为了避免附随了该存储器中不保存的图像的该指令不被译码而导致不能正确复原存储器内的图像配置。

发明内容

因此，本发明为了解决以上的课题，目的在于提供一种即使因传输线路错误而一部分存储器管理信息消失，也能正确地复原的图像编码方法和图像译码方法等，和更适当地选择可参照的参照图像的候补来提高编码效率的图像编码方法和图像译码方法等。

为了解决该课题，本发明涉及的图像编码方法，参照从存储器内保存着的多个参照图像中选择的参照图像进行编码，包括：参照所选择的参照图像，对编码对象图像进行编码；将用于管理存储器中保存着的参照图像的第一存储器管理信息进行编码，并且，附随于已被编码的所述编码对象图像，输出被编码的所述第一存储器管理信息；将所述第一存储器管理信息作为第二存储器管理信息再次进行编码；在被编码的所述第二存储器管理信息上附加用于确定所述编码对象图像的图像确定信息，并且，附随于与所述编码对象图像不同的别的编码图像，输出附加了所述图像确定信息的被编码的所述第二存储器管理信息。

本发明的图像编码装置，参照从存储器内保存着的多个参照图像中选择的参照图像进行编码，包括：图像编码单元，参照所选择的参照图像，对编码对象图像进行编码；管理信息编码单元，将用于管理存储器中保存着的参照图像的第一存储器管理信息进行编码，并且，附随于已被编码的所述编码对象图像，输出被编码的所述第一存储器管理信息；管理信息再编码单元，将所述第一存储器管理信息作为第二存储器管理信息再次进行编码，在被编码的所述第二存储器管理信息上附加用于确定所述编码对象图像的图像确定信息，并且，附随于与所述编码对象图像不同的别的编码图像，输出附加了所述图像确定信息的被编码的所述第二存储器管理信息。

这样，在上述管理信息编码步骤中，使上述存储器管理信息附随着不保存在上述存储器中的编码对象图像的情况下，在上述管理信息再编码步骤中，也可以使上述存储器管理信息还附随保存在上述存储器中的编码对象图像。

这样，在附随着编码对象图像向图像译码装置传输最初已被编码的存储器管理信息时产生了传输错误的情况下，由于确定存储器管理信息附随的编码对象图像，能检测在哪个时刻产生了传输错误。

再有，本发明不仅能实现象上述的图像编码方法和图像编码装置，也能实现记录了由图像编码方法进行了编码的数据流的记录媒体，也能实现将图像编码方法的步骤在计算机中执行的程序。当然，象这样的程序也可以通过CD—ROM等记录媒体和因特网等传输媒体来发送。

再有，本说明书中摘录了前日本特许申请“特愿2002—110424”、“特愿2002—190955”、“特愿2003—49711”和美国申请“60/377656”的内容。

附图说明

图1(a)是参照从保存在存储器中的多个参照图像选择的图像进行编码的图像编码的说明图，图1(b)是示出保存图像的存储器的结构的结构图。

图2(a)是示出现有的图像编码方法的流程图，图2(b)是示出现有的图像译码方法的流程图。

图3(a)是示出现有的图像编码方法的另一种流程图，图3(b)是示出现有的图像译码方法的另一种流程图。

图4(a)是示出现有的图像编码方法的另一种流程图，图3(b)是示出现有的图像译码方法的另一种流程图。

图5是示出本发明的图像编码装置的结构框图。

图6是示出本发明的实施方式1中的图像编码方法的流程图。

图7是示出本发明的图像译码装置的结构框图。

图8是示出本发明的实施方式2中的图像译码方法的流程图。

图9是示出本发明的实施方式3中的图像编码方法的流程图。

图10是示出本发明的实施方式4中的图像译码方法的流程图。

图11是示出本发明的实施方式5中的图像编码方法的流程图。

图12是示出本发明的实施方式6中的图像编码方法的流程图。

图13是示出本发明的实施方式7中的图像编码方法的流程图。

图14(a)是示出图像的图像编号、保存图像编号及传输顺序的关系的说明图，图14(b)是示出进行译码的图像编号、保存着的图像编号及被删除的图像编号之间关系的关系图，图14(c)是示出进行译码的图像编号、保存着的图像编号及被删除的图像编号的其他关系的关系图。

图15是示出本发明中的存储器管理信息的指令的对应图。

图16是示出本发明的实施方式8中的指令执行顺序的流程图。

图17是示出各图像的编码信号中的标题信息与帧数据之间关系的模式图。

图18是示出编码信号的标题信息中的存储器管理信息的指令的模式图。

图19是示出各图像的图像编号、保存图像编号及传输顺序的关系的说明图。

图20是示出将初始化指令进行编码的方法的流程图。

图21是示出将已编码的初始化指令进行译码的方法的流程图。

图22是示出在本发明的实施方式8中使用的存储器管理信息的指令的对应图。

图23是示出使用了本发明中的初始化重发指令的图像编码方法的流程图。

图24是示出本发明中的将已编码的初始化重发指令进行译码的方法的流程图。

图25是示出各图像的图像编号、保存图像编号及传输顺序的其他关系的说明图。

图26是示出在本发明的实施方式9中使用的存储器管理信息的指令的对应图。

图27是示出本发明的实施方式9中的图像编码方法的流程图。

图28是示出本发明的实施方式9中的图像译码方法的流程图。

图29(a)是示出指令的内容和附加信息的对应图，图29(b)是示出指令的执行定时的对应图。

图30是示出编码信号的标题信息中的存储器管理信息指令的模式图。

图31是示出其他编码信号的标题信息中的存储器管理信息指令的模式图。

图32是示出按片单位编码的数据流结构的模式图。

图33(a)(b)都是示出按片单位编码的数据流结构的模式图。

图34(a)(b)(c)都是对用于存储程序的存储媒体的说明图，所述程序

是计算机系统实现本发明的实施方式1至实施方式10的图像编码方法和图像译码方法的程序。

图35是示出使用本发明的图像编码方法和图像译码方法的内容供给系统的整体结构的框图。

图36是示出使用本发明的图像编码方法和图像译码方法的携带式电话的一例的外观图。

图37是示出上述携带式电话结构的结构框图。

图38是示出使用本发明的图像编码方法和图像译码方法的数字广播用系统的结构的结构图。

具体实施方式

以下，用附图说明本发明的实施方式。

(实施方式1)

首先，对实施方式1进行说明。

图5是示出用于实现本实施方式中的图像编码方法的图像编码装置的结构框图。

图像编码装置100由存储器信息控制部101、短时间保存存储器管理部102、长时间保存存储器管理部103、非保存存储器管理信息部104、管理信息编码部105、参照图像选择部106、保存区域指定部107、参照区域指定部108、图像存储器109、图像译码部111、图像编码部110、可变长编码部112、计数器113、计数器114等构成。

参照图像选择部106根据从外部输入的重要度指示信号Pri和图像类型信息PicType，选择参照图像的候补，并通知存储器信息控制部101。

存储器信息控制部101根据图像类型信息PicType，判断前方和后方的哪一方或两方的图像(图像)是否可参照，命令参照区域指定部108，从图像存储器109向图像编码部110输出对应的参照图像。

图像编码部110参照从图像存储器109输出的参照图像，对输入图像信号Vin进行编码，可变长编码部112进一步进行可变长编码之后，输出图像编码流VideoStr。此外，图像编码部110的输出被图像译码部111译码而成为译码图像，作为参照图像存储到图像存储器109中。

这时，图像存储器109中的译码图像的可存储的存储器位置如下进行指定。即，存储器信息控制部101向短时间保存存储器管理部102查询，在短时间存储器中确定图像已被消除的存储器位置，保存区域指定部107对图像存储器109发出指示，以使在该存储器位置上记录译码图像。

短时间保存存储器管理部102检测短时间保存存储器内的不需要(不被参照)的图像，并向存储器信息控制单元部101通知消除(释放存储器)的指令。此外，长时间保存存储器管理部103向存储器信息控制部101通知将短时间保存存储器内的图像向长时间保存存储器移动的指令。该不需要的图像的消除(存储器的释放)指令和将短时间保存存储器内的图像向长时间保存存储器移动的指令，在管理信息编码部105被进行编码成为存储器管理信息流CtlStr。

另一方面，为了防止因传输线路错误而一部分存储器管理信息流CtlStr消失，从而存储器管理信息被损坏，用短时间保存存储器用的计数器113和长时间保存存储器用的计数器114，计测不需要的图像的消除指令和将短时间保存存储器内的图像向长时间保存存储器移动的指令的编码次数，能根据需要进行上述指令的多次传输。

此外，非保存存储器管理信息部104，管理不需要的图像的消除指令和将短时间保存存储器内的图像向长时间保存存储器移动的指令是否附随着重要度低且难被译码的图像已被编码，在上述指令附随着重要度低的图像被编码了的情况下，向存储器信息控制部101发出指示，以使附随着更高重要度的图像再次对指令进行编码。

下面，对本发明的实施方式1中的图像编码方法进行说明。图6是示出实施方式1中的图像编码方法的流程图，示出图5示出的图像编码装置100进行的动作。再有，在图6中，对与图2(a)动作相同的部分标注相同的标记。

图6中示出的图像编码方法的特征在于，在存储器内作为预测编码的参照图像存在不需要的图像(图像)的情况下，反复对释放保存着该图像的存储器区域(消除该图像)的存储器管理信息的指令进行编码。象这样地，通过反复对存储器管理信息的指令进行编码，即使因传输线路错误而其中一方存储器管理信息的指令消失，也能根据另一方存储器管理信息的指令复原保存在存储器内的图像的管理信息，因此，即使有传输线路错误也能正确地复原图像的可能性提高。

图6中，首先，对输入图像(步骤100)进行编码。编码之后在存储器内检查不需要的区域(在以后的编码中不参照的图像)(步骤101)，判定是否有不需要的存储器区域(步骤102)。在有不需要的存储器区域的情况下(步骤102的Yes)，管理信息编码部105将释放不需要的存储器区域的指令作为存储器管理信息进行编码(步骤103)。然后，释放该不需要的存储器区域(步骤104)。在没有不需要的存储器区域的情况下(步骤102的No)，就不进行步骤103和步骤104的动作。

接着，存储器信息控制部101判定释放不需要的存储器区域的指令是否附随着在紧前面已编码的图像(编码对象之前的图像)，作为存储器管理信息进行了编码(步骤105)，在指令没有被编码了的情况下(步骤105的No)结束处理，并在指令已被编码了的情况下(步骤105的Yes)，管理信息编码部105再次将释放该不需要的存储器区域的指令作为存储器管理信息进行编码(步骤106)，并结束处理。

象这样地，若在紧前面的图像的编码中，释放不需要的存储器(存储器管理信息的)的指令被编码，则存储器管理信息的指令再次被编码。附随着紧前面的图像的编码而被编码了的存储器管理信息、和再次被编码了的存储器管理信息，分别由图像编码装置输出，传输到图像译码装置中被译码。

再有，在步骤105中，附随着紧前面已被编码的图像的编码信号，释放不需要的存储器区域的指令被编码了的情况下，再次编码指令，但在不是附随着紧前面的图像的情况，而是附随着几个图像以前的图像的情况下，并且，将上述指令作为存储器管理信息反复进行编码，并附随多个图像进行传输也可以。

此外，若能将释放上述不需要的存储器区域的指令作为存储器管理信息多次传输就好，在再次编码该指令进行传输时，无需一定使之附随着图像的编码信号进行传输。

此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已被编码的图像相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。

如上所述，由于可认为通过多次传输释放不需要的存储器区域(存储器管理信息的)的指令，即使在产生了传输线路错误的情况下，多次传输的指令中的某一个被传输并被译码，因此，能正确地复原图像的可能性提高。

(实施方式2)

下面，对本发明的实施方式2进行说明。

图7是用于实现实施方式2中的图像译码方法的图像译码装置的框图。

图像译码装置200由存储器信息控制部201、短时间保存存储器管理部202、长时间保存存储器管理部203、管理信息译码部205、保存区域指定部207、参照区域指定部208、图像存储器209、图像译码部210、可变长译码部212等构成。

存储器信息控制部201根据图像类型信息PicType，对编码对象判断前方和后方的哪一方或两方的图像是否可参照，命令参照区域指定部208，从图像存储器209向图像译码部210输出对应的参照图像。

可变长译码部212对编码流VideoStr进行译码，图像译码部210将其进一步译码，作为译码图像信号Vout输出，并作为参照图像存储到图像存储器209中。

这时，图像存储器209中的译码图像的可存储的存储器位置如下进行指定。存储器信息控制部201向短时间保存存储器管理部202查询，确定的已消除图像的存储器位置，保存区域指定部207对图像存储器209发出指示，以使在该存储器位置上记录译码图像。

管理信息译码部205对存储器管理信息流CtlStr进行译码，通过存储器信息控制部201，向短时间保存存储器管理部202通知短时间保存存储器内的不需要(不参照)的图像信息，对长时间保存存储器管理部203通知将短时间保存存储器内的图像向长时间保存存储器移动的指令。

下面，对本发明的实施方式2中的图像译码方法进行说明。图8是示出实施方式2中的图像译码方法的流程图，示出图7示出的图像译码装置200进行的动作。再有，图8中，在与图2(b)动作相同的部分上标记相同的标记。

在图像编码装置多次传输了释放不需要的存储器区域的指令的情况下，只要不因传输线路错误而指令消失，图像译码装置就多次接收释放存储器内的相同图像区域的指令。因此，必须实现这样的图像译码方法，即，即使在图像译码装置接收到了再次释放已经释放了的存储器区域的指令的情况下，也不作为错误进行处理，而相反判断为能正确地接收。在本实施方式中，实现了这样的图像译码方法。

图8中，首先，管理信息译码部205对存储器管理信息译码(步骤110)。接着，根据编码信号对图像信号(步骤111)进行译码。然后，存储器信息控制部201判定在译码后的存储器管理信息中是否有释放存储器的指令(步骤112)。若有释放存储器的指令(步骤112的Yes)，就判定是否有应该用该指令消除的图像，或者是否已经释放完(消除完)(步骤113)，若存储器释放完(步骤113的Yes)，就不做任何处理而结束，若不是这样，就释放存储器(步骤114)，之后结束处理。另一方面，在没有存储器释放指令的情况下(步骤112的No)，就不进行步骤113和步骤114的动作而结束处理。再有，步骤110和步骤111的顺序不同，可以互换所述两步骤的顺序。

根据如上所述的动作，用实施方式1的图像编码方法多次编码并传输释放存储器内的相同图像的区域的指令，即使图像译码装置200多次接收到该信号的情况下，由于不作为错误进行处理，因而能够实现能正确地译码的图像译码方法。

再有，只要将释放上述不需要的存储器区域的指令作为存储器管理信息多次进行传输就好，在将该指令再次编码并传输时，无需必须使其附随着图像的编码信号进行传输。

此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已被编码的图像相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。

(实施方式3)

下面，对实施方式3中的图像编码方法进行说明。图9是示出实施方式3中的图像编码方法的流程图，示出图像编码装置100进行的动作。在图9中，在与图3(a)动作相同的部分标注相同的标记。

本实施方式的特征在于，在存储器内存在应该从短时间保存存储器向长时间保存存储器移动的图像的情况下，反复对移动该图像的存储器管理信息的指令进行编码。通过反复编码存储器管理信息的指令，即使因传输线路错误而其中部分存储器管理信息的指令消失，也能根据另一部分存储器管理信息的指令复原保存在存储器内的图像的管理信息，因此，即使有传输线路错误也能正确地复原图像的可能性提高。

图9中，首先，对输入图像(步骤120)进行编码。编码之后检查是否有应该向长时间保存存储器移动的图像(步骤121)。然后，存储器信息控制部101判定是否有向长时间保存存储器移动的图像(步骤122)。若有应该移动的图像(步骤122的Yes)，管理信息编码部105就把表示如何向长时间保存存储器移动的指令作为存储器管理信息进行编码(步骤123)。然后，按照该指令把图像向长时间保存存储器中移动(步骤124)。

接着，存储器信息控制部101判定是否将编码信号向长时间保存存储器移动的指令，作为存储器管理信息进行了编码(步骤125)，所述编码信号是附随着紧前面已编码的图像(编码对象之前的图像)的信号。若没进行编码(步骤125的No)，就结束处理；若已编码(步骤125的Yes)，则管理信息编码部105就将向该长时间保存存储器移动的指令作为存储器管理信息，再次进行编码(步骤126)，之后结束处理。

如上，若在紧前面的图像的编码中向长时间保存存储器移动(存储器管理信息的)的指令被编码，则编码存储器管理信息的指令再次被编码。分别由图像编码装置输出附随着紧前面的图像的编码而被编码了的存储器管理信息和已再次被编码的存储器管理信息，并传输到图像译码装置中进行译码。

再有，在步骤125中，在附随着紧前面已编码的图像的编码信号，向长时间保存存储器移动的指令已被编码的情况下，再次对指令进行编码，但也可以不是附随着紧前面的图像的情况，而是附随几个图像之前的图像的情况，并且，将上述指令作为存储器管理信息反复进行编码，可以附随着多个图像。

此外，只要能多次传输向上述长时间保存存储器移动的指令作为存储器管理信息就好，无需在再次对该指令进行编码并传输时，必须使之附随着图像的编码信号进行传输。

此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已编码的图像相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。

如上所述，由于可认为通过多次传输向长时间保存存储器移动的指令，即使在产生了传输线路错误的情况下，多次传输的指令中的某一个仍被传输并被译码，因此，能正确地复原图像的可能性提高。

(实施方式4)

下面，对实施方式4的图像译码方法进行说明。

在图像编码装置多次传输了向长时间保存存储器移动的指令的情况下，指令不因传输线路错误而消失，图像译码装置则多次接收将短时间保存存储器内的相同图像区域向长时间保存存储器移动的指令。因此，必须实现这样的图像译码方法，即，即使在图像译码装置接收到再次移动已移动的图像的指令的情况下，也不作为错误进行处理，而相反地判断为能正确地接收。本实施方式中的图像译码方法的特征在于实现这样的图像译码方法。

图10是示出实施方式4中的图像译码方法的流程图，示出图7中示出的图像译码装置200的动作。在图10中，在与图3(b)动作相同的部分上标记相同的标记。

图10中，首先，管理信息译码部205译码存储器管理信息(步骤130)。然后，根据编码信号对图像信号进行译码(步骤131)。

然后，存储器信息控制部201判定在已译码的存储器管理信息中是否有向长时间保存存储器移动图像的指令(步骤132)。若有向长时间保存存储器移动的指令(步骤132的Yes)，则判定是否有应该按该指令移动的图像，或是否已经移动完(因为在移动之后消除完而不存在图像)(步骤133)，若向长时间保存存储器移动完(步骤133的Yes)，就不做任何处理而结束，若不是这样，就向长时间保存存储器移动(步骤134)后结束处理。

另一方面，在没有向长时间保存存储器移动的指令的情况下(步骤132的No)，就不进行步骤133和步骤134的动作而结束处理。再有，步骤130和步骤131的顺序不同，也可以交换所述两步骤的顺序。

根据如上所述的动作，即使用实施方式3的图像编码方法多次编码并传输向长时间保存存储器移动图像的指令，也能够实现能正确地译码的图像译码方法。

再有，只要将向上述长时间保存存储器移动的指令作为存储器管理信息进行多次传输就好，无需必须在再次编码该指令进行传输时，必须使之附随着图像的编码信号进行传输。

此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已编码的图像相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。

(实施方式5)

下面，对本实施方式中的图像编码方法进行说明。图11是示出实施方式5中的图像编码方法的流程图，示出图5中示出的图像编码装置100的动作。在图11中，在与图6动作相同的部分上标注相同的标记。

图11中示出的本实施方式的特征在于，在存储器内存在不需要的图像的情况下，反复对消除该图像的存储器管理信息的指令进行编码，至少一次附随着保存在存储器中的重要图像进行传输。在反复编码存储器管理信息的指令的情况下，即使在附随着重要度不高的图像传输了存储器管理信息的指令，在译码重要度不高的图像没有全部被译码时，就不能取得存储器管理信息的指令。

例如，在图1(a)中，由于图像编号4的图像在将图像编号5的图像进行编码之后就成为不需要，因此，能够附随着图像编号5的图像，对释放图像编号4的图像的某个存储器区域的指令进行编码。

但是，在除了附随着图像编号5的图像，将释放该图像编号4的图像所在的存储器区域的指令进行编码之外，附随着图像编号7的图像进行编码时，附随着重要度最低(在不译码的情况下画质劣化少)的B图像，上述指令被编码。有时这些B图像不被译码，释放图像编号4的图像所在的存储器区域的指令不被译码，就不能正确地再现存储器内的管理信息。因此，必须要至少一次附随着重要度高的、必须译码的、保存在存储器中的图像，来对释放图像区域的指令进行编码。

图11中，首先，对输入图像进行编码(步骤100)。编码之后在存储器内检查不需要的区域(在以后的编码中不参照的图像)(步骤101)，判定是否有不需要的存储器区域(步骤102)。若有不需要的存储器区域(步骤102的Yes)，管理信息编码部105就将释放不需要的存储器区域的指令进行编码，作为存储器管理信息(步骤103)。然后，释放该不需要的存储器区域(步骤104)。在没有不需要的存储器区域的情况下(步骤102的No)，不进行步骤103和步骤104的动作。

接着，存储器信息控制部101判定是否附随着重要图像(保存在译码的存储器中)，过去已被编码的、释放不需要的存储器区域的指令被编码(步骤140)，若附随着重要图像进行了编码(步骤140的Yes)，就结束处理，若没附随着重要图像进行了编码(步骤140的No)，管理信息编码部105就再次将释放该不需要的存储器区域的指令作为存储器管理信息进行编码(步骤141)，之后结束处理。

这样，释放不需要的存储器区域的指令附随着重要图像被编码。

如上所述，由于上述指令附随译码后保存在存储器中的重要图像，因此，就译码上述指令被译码，在产生了传输线路错误时能正确地复原图像的可能性提高。

再有，只要能将释放上述不需要的存储器区域的指令作为存储器管理信息多次传输就可以，在再次编码该指令并进行传输时，无需必须使之附随图像的编码信号进行传输。

此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已被编码的图像相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。

(实施方式6)

下面，对本实施方式的图像编码方法进行说明。图12是示出实施方式6中的图像编码方法的流程图。图12示出图5中示出的图像编码装置100的动作。在图12中，与图9动作相同的部分标注相同的标记。

图12中示出的本实施方式的特征在于，反复对向长时间保存存储器移动图像的存储器管理信息的指令进行编码，至少一次附随着重要图像(译码后保存在存储器中)进行传输。在反复对向长时间保存存储器移动图像的存储器管理信息的指令进行编码的情况下，即使附随着重要度不高的图像传输了存储器管理信息的指令，在重要度不高的图像没有全部被译码的情况下，就不能取得存储器管理信息的指令。

图12中，首先，对输入图像进行编码(步骤120)。编码之后检查是否有应该向长时间保存存储器移动的图像(步骤121)，判定是否有应该移动的图像(步骤122)。

若有应该移动的图像(步骤122的Yes)，管理信息编码部105就把表示如何向长时间保存存储器移动的指令作为存储器管理信息已被编码(步骤123)，并将照该指令将图像移动到长时间保存存储器中(步骤124)。

接着，存储器信息控制部101判定过去已编码的向长时间保存存储器移动的指令，是否附随着重要图像(保存在译码的存储器中)进行编码(步骤150)，若附随着重要图像(步骤150的Yes)，就结束处理，若没附随着重要图像(步骤150的No)，管理信息编码部105就再次将该向长时间保存存储器移动的指令作为存储器管理信息进行编码(步骤151)，之后结束处理。

这样，向长时间保存存储器移动图像的指令附随着重要图像被编码。

如上所述，由于上述指令附随着译码后保存在存储器中的重要图像，因此，就上述指令被译码，在产生了传输线路错误时能正确地复原图像的可能性提高。

再有，只要多次传输向上述长时间保存存储器移动的指令作为存储器管理信息进行传输就可以，在再次编码该指令进行传输时，无需必须使之附随着图像的编码信号进行传输。

此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已编码的图像相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。

(实施方式7)

对实施方式7中的图像编码方法进行说明。

本实施方式的特征在于，是参照根据图像的重要度选择的参照图像来进行编码的图像编码方法。

图13是示出本发明的实施方式7中的图像编码方法的流程图。图13示出图5中示出的图像编码装置100进行的动作。

图13中，首先，设定编码对象的各图像的重要度(步骤160)。例如，I图像和P图像的重要度高，B图像的重要度低。此外，即使是相同的P图像，被许多图像参照的P图像的重要度高，不太被参照的P图像的重要度低。

接着，从存储器内的参照图像选择重要度与编码对象图像同等以上的图像，设为参照图像的候补(步骤161)。例如，B图像能参照I图像和P图像，但P图像中重要度低的P图像不在参照图像的候补之内。

接着，对示出选择的参照图像的候补的指示信息(存储器管理信息的一种)进行编码(步骤162)，从选择的参照图像的候补中按块单位参照适当的参照图像进行编码(步骤163)。再有，步骤162和步骤163的顺序不同，也可以互换所述两步骤的顺序。

象这样地，使在参照图像的候补中不加入重要度比编码对象图像的重要度低的图像。

如上所述地，由于在参照图像的候补中不加入重要度比编码对象图像的重要度低的图像，因此，在生成了能实现可变性(scalability)的流的情况下，能将不能参照的图像从参照图像的候补中除去，编码效率提高。

在此，对根据如上所述地设定的图像的重要度进行的图像编码方法，用图14进行具体地说明。

图14(a)是表示赋予各帧的编号(图像(帧)编号)、各帧保存在存储器中时的编号(保存图像(帧)编号)、表示各帧被传输的序号的编号(传输顺序)的关系的说明图。

在图14(a)中，图像编号0的I图像因为不参照其他的图像而保存在存储器中，因此保存图像编号为0。接着，由于参照图像编号0的I图像的图像编号2的P图像保存在存储器中，因此与图像编号2的P图像有关的保存图像编号为1。然后，由于参照图像编号0的I图像和图像编号2的P图像的图像编号1的B图像保存在存储器内，因此图像编号1的B图像的保存图像编号为2。传输各图像的序号为保存在存储器中的序号。按同样的顺序决定图像编号与保存图像编号及传输顺序的关系。

下面，对进行译码(decode)的图像编号、保存在存储器中的图像编号、和被删除的图像编号的关系的一例，用图14(b)进行说明。

图14(b)是示出进行译码的图像编号(帧编号)、保存着的图像编号(帧编号)、和被删除的图像编号(帧编号)的关系的关系图。再有，在此，设能保存在存储器中的图像的最大幅数为5。在存储器中按传输顺序保存图像。

此外，例如，在图像编号为4的P图像被译码时，由于图像编号为4的P图像的保存图像编号是3，因此，就在存储器上保存保存图像编号为0、1、2的图像。在进行译码的图像编号为3的B图像被译码时，如图14(b)所示，保存着图像编号为4、1、2、0的图像。在此，如图14(a)所示，由于在译码了图像编号3的图像之后，图像编号1的B图像不再被任何图像参照，因此，图像编号为3的图像在被译码的时候，删除图像编号1的B图像。

同样地，在进行译码的图像编号为5的B图像被译码时，如图14(b)所示，保存着图像编号为6、3、4、2、0的图像。在此，由于在译码了图像编号5的图像之后，图像编号3的B图像不再被任何图像参照，因此，在图像编号为5的B图像被译码了的时刻，删除图像编号3的B图像。

另外，在进行译码的图像编号为8的P图像被译码时，如图14(b)所示，保存着图像编号为5、6、4、2、0的图像。在此，由于在存储器中最大仅能保存5帧，因此，为了在后面参照图像编号8的P图像，就必须确保删除图像编号为5、6、4、2、0的某一个图像并存储图像编号8的P图像的存储器。因而，作为在图14(b)中删除帧的选择基准，在将图像编号8的P图像进行译码的时刻，删除在P图像的译码、即在偶数号图像编号的译码中时间上最老的图像，即该情况下是图像编号为0的I图像。

同样地，在进行译码的图像编号为7的B图像被译码时，如图14(b)所示，保存着图像编号为8、5、6、4、2的图像。在此，由于在译码了图像编号7的B图像之后，图像编号5的B图像不再被任何图像所参照，因此，在译码了图像编号为7的B图像的时刻，删除图像编号5的B图像。

另外，在进行译码的图像编号为10的P图像被译码时，如图14(b)所示，保存着图像编号为7、8、6、4、2的图像。在此，由于在存储器中最大仅能保存5帧，因此，为了在后面参照图像编号10的P图像，就必须确保删除图像编号为7、8、6、4、2的某一个图像并存储图像编号10的图像的存储器。因而，作为在图14(b)中删除帧的选择基准，在译码了图像编号10的P图像的时刻，删除在P图像的译码、即在偶数号图像编号的图像的译码中时间上最旧的图像编号为2的图像。

象这样地，在删除图像时，用于删除图像的存储器管理信息的指令被编码后，附随着将被译码的图像的编码信号，进行传输。

在上述图14(b)示出的例子中，对在存储器内存在不需要的图像(图像)，发送一次消除该图像的存储器管理信息指令的例子进行了叙述。如上，若将消除的存储器管理信息指令仅发送一次，则有不能执行附随着B图像发送的存储器管理信息的指令的可能性。这是因为，由于B图像作为在P图像的编码和译码中参照的图像来使用的可能性低，因此，在不能确保充足的存储容量和传输容量的情况下，优先废弃B图像的数据的可能性高，其结果，就有不能执行附随着B图像发送的存储器管理信息的指令的可能性。

为了解决该问题，说明将消除图像的存储器管理信息的指令反复进行编码并传输的例。以下，对图14(c)具体地进行说明。

图14(c)是示出进行译码的图像编号(帧编号)、保存着的图像编号(帧编号)、和被删除的图像编号(帧编号)的其他关系的关系图。在图14(c)中，示出将被删除的图像编号的图像进行删除的指令附随着进行译码的图像编号图像的编码信号的情况。

如图14(c)所示，在图像编号为3的B图像被译码时，保存着图像编号为4、1、2、0的图像。在此，图像编号1的B图像如图14(a)所示，在译码了图像编号3的图像之后，不再被任何图像所参照。因此，在译码了图像编号为3的图像的时刻，删除图像编号1的B图像，用于删除的存储器管理信息的指令附随着图像编号3的图像。

但是，由于图像编号3的图像是B图像，因此，与I图像和P图像相比，在图像再现的这一点上，其重要度如上所述那样低，由于发送时数据易被废弃，因此有不能执行指令的可能性(如图25所示的保存帧的情况)，该指令为附随着图像编号3的B图像发送的存储器管理信息的指令。

因此，使表示删除附随着图像编号3的图像编号1的图像的存储器管理信息的指令，附随着接着进行译码的、在图像的再现这点上比图像编号3的B图像其重要度高的图像编号6的P图像(参照图14(c))。

同样地，使附随着图像编号5的B图像的存储器管理信息的指令(示出删除图像编号3的图像)附随着图像编号8的P图像；使附随着图像编号7的B图像的存储器管理信息的指令(示出删除图像编号5的图像)附随着图像编号10的P图像。再有，由于图像编号8的图像是P图像，因此，如图14(c)所示，不使附随着图像编号8的图像的存储器管理信息的指令附随着图像编号7的B图像，但也可以附随。

以上，如图14(c)所示，使与最初附随着B图像的存储器管理信息的指令相同的存储器管理信息的指令，反复附随着比最初使存储器管理信息的指令附随的B图像晚保存或传输的图像，且该被反复附随的图像是在图像再现中重要度比B图像高的图像。这样，即使遗漏了最初附随着存储器管理信息的指令的B图像，也能正常地执行存储器管理信息的指令。

再有，如用图14(c)说明的，即使在使存储器管理信息的指令附随着B图像，进一步反复使存储器管理信息的指令附随着P图像的情况下，也使用已设定的重要度。再有，重要度的设定不限于本实施方式示出的方式。

再有，在本实施方式中，并非根据各图像的重要度来决定是否发送各图像，而且不能将各图像的重要度象上述实施方式中示出的存储器管理信息那样附随着各图像来进行编码。因此，本实施方式中已编码的数据的译码处理与现有的方法相同。

(实施方式8)

下面，对实施方式8进行说明。

本实施方式的特征在于，删除存储器内的全部图像(图像)，将进行存储器区域的初始化的(存储器管理信息的)指令多次进行编码并传输。

在上述各实施方式中示出的存储器管理信息，被作为如图15中示出的代码信息而被赋予。

图15是示出存储器管理信息的指令的对应图，示出代码编号(Code)、指令的内容(指令)、其附加信息(附加信息)。

例如，释放短时间保存存储器中不需要的存储器区域的指令(释放短时间保存存储器)作为代码信息Code1而被赋予，进行释放的图像编号(帧编号)作为附加信息而被附加。

此外，代码信息作为图17中示出的各帧的标题信息而被赋予。

图17是示出各图像的编码信号中的标题信息与帧数据的关系的模式图。在图17中，各编码信号示出了后述的帧Frm12、Frm11、Frm14的编码信号。各编码信号包括具有标题信息的帧标题和与图像的编码有关的帧数据。例如，帧Frm12的编码信号包括帧标题Frm12Hdr和由各数据MB12a、MB12b、MB12c、MB12d构成的帧数据。

图18的模式图中示出该编码信号的详细情况。

图18是示出编码信号的标题信息中的存储器管理信息的指令的模式图。

如图18所示，帧FrmA的编码信号包括具有标题信息的帧标题FrmAHdr和由各数据MBa、MBb、MBc、MBd等构成的帧数据。然后，在帧标题FrmAHdr上附加指令的代码信息CodeA，之后附加代码信息CodeA的附加信息AddA，接着，附加应在代码信息CodeA的指令之后执行的指令的代码信息CodeB和代码信息CodeB的附加信息AddB。若没有附加信息，就如代码信息CodeC仅附加代码信息。

下面，在图16中示出指令执行的顺序。

图16是示出指令执行顺序的流程图。

在图16中，首先，取得指令(步骤C0)，判定指令的取得是否已结束(步骤C1)。若指令的取得还没有结束而取得指令(步骤C1的No)，则执行所取得的指令(步骤C2)，返回到步骤C0，反复进行该动作。另一方面，若指令的取得结束而未取得指令(步骤C1的Yes)，则结束指令执行处理。对每一个帧进行一次该过程。再有，即使在按由多个宏块构成的片单位发送指令信息的情况下，也按上述顺序执行指令。

下面，对在上述实施方式1中消除不需要的图像(释放存储器)的存储器管理信息的指令进行说明。另外，在实施方式1中，通过反复对消除不需要的图像的存储器管理信息的指令进行编码，即使因传输线路错误而其中部分存储器管理信息的指令消失，也能根据另一些存储器管理信息的指令复原保存在存储器内的图像的管理信息，能正确地复原图像的可能性提高。

在此，关于图15中示出的代码信息中的、消除存储器内的全部信息的初始化指令Code5进行讨论。

在仅发送一次初始化指令Code5时，若因传输线路错误而该初始化指令Code5消失，就对本来已初始化之后进行的存储器管理等的处理产生影响。在此，用图19，对与实施方式1同样反复编码初始化指令Code5后传输的情况进行说明。

图19是关系说明图，示出赋予各帧的编号(图像(帧)编号)、在存储器内保存各帧时的编号(保存图像(帧)编号)、示出传输各帧的序号的编号(传输顺序)的关系。

以下，对图19具体地进行说明。首先，图像编号0的I图像由于不参照其他图像，因此保存在存储器中，其保存图像编号为0。接着，由于在存储器中保存参照图像编号0的I图像的图像编号2的P图像，因此与图像编号2的P图像有关的保存图像编号成为1。然后，由于在存储器中保存参照图像编号0的I图像和图像编号2的P图像的图像编号1的B图像，因此图像编号1的B图像的保存图像编号成为2。传输各图像的序号设为保存在存储器中的序号。按同样的顺序决定图像编号和保存图像编号及传输顺序的关系。

设定在对图19中示出的图像编号12的I图像进行编码时发送图15中示出的初始化指令Code5。由于图像编号12的I图像的保存图像编号是11，因此，能利用该初始化指令Code5，从存储器内全部消除保存图像编号为10以下的图像。

在此，用图20对编码初始化指令Code5的方法进行说明。

图20是示出编码初始化指令Code5的方法的流程图，示出图5中示出的图像编码装置100进行的动作。

首先，对输入图像进行编码(步骤A0)。编码之后检查存储器内可参照的全部图像是否不需要(是否在以后的编码中不被任何图像所参照)(初始化检查)(步骤A1)，并判定在存储器中存储着的图像是否在以后未被参照而进行初始化好一些(步骤A2)。

若进行初始化好(步骤A2的Yes)，则将初始化存储器区域的初始化指令Code5作为存储器管理信息，进行编码(步骤A3)，并进行初始化(步骤A4)，结束处理。另一方面，在没有进行初始化的必要的情况下(步骤A2的No)，就不进行步骤A3和步骤A4的动作而结束处理。

下面，用图21，对将已编码的初始化指令Code5进行译码的方法进行说明。

图21是示出对已编码的初始化指令Code5进行译码的方法的流程图，示出图7中示出的图像编码装置200进行的动作。

首先，将存储器管理信息进行译码(步骤A10)，根据编码信号对图像信号进行译码(步骤A11)。接着，判定在译码后的存储器管理信息中是否有初始化指令Code5(步骤A12)，若有初始化指令Code5(步骤A12的Yes)，则将存储器内存储着的图像全部消除，并进行初始化(步骤A13)，结束处理。但是，这时不消除已译码的图像(步骤A11中)。

另一方面，若在存储器管理信息中没有初始化指令Code5(步骤A12的No)，就结束处理。

以下，用图19具体说明进行存储器的初始化的方法。设对图19中示出的图像编号11的B图像赋予与对图像编号12的I图像赋予的初始化指令Code5相同的初始化指令Code5。

若如在图17所示，则为在帧Frm12(图像编号12)的帧标题Frm12Hdr和帧Frm11(图像编号11)的帧标题Frm11Hdr上赋予初始化指令Code5。由于初始化指令Code5如图15所示，不具有附加信息，因此，就在被译码了的时刻全部消除存储器内保存着的图像。

因此，若赋予了图像编号12(保存图像编号11)的I图像的初始化指令Code5因传输线路错误而消失，并执行赋予了图像编号11(保存图像编号12)的B图像的初始化指令Code5，则在保存图像编号11之前译码了的图像中，存储器中保存着的图像全部被消除。即，本来不应消除的图像编号12(保存图像编号11)的I图像也被消除。

如上，在对图像编号11的B图像赋予了与对图像编号12的I图像赋予了的初始化指令Code5相同的初始化指令Code5时，就遗漏一幅图像(图像编号12的I图像)。另一方面，若对图像编号14(保存图像编号13)的P图像赋予与对图像编号12(保存图像编号11)的I图像赋予的初始化指令Code5相同的初始化指令Code5，并对图像编号12的I图像赋予的初始化指令Code5因传输线路错误而消失，且赋予图像编号14的P图像的初始化指令Code5被执行，则导致遗漏两幅图像(图像编号11的B图像和图像编号12的I图像)。

再有，在反复编码初始化指令Code5，并且最初发送的初始化指令Code5和接着发送的初始化指令Code5都在没有传输线路错误地执行的情况下，也产生与上述相同的问题。这是因为，根据最初发送的初始化指令Code5进行初始化，又根据接着发送的初始化指令Code5再次进行初始化。

对用于解决这样的存储器的初始化中存在的问题的方法进行说明。

图22中示出为了解决存储器的初始化中存在的问题而使用的存储器管理信息的指令。

与图15的不同点是：在图22中新附加了初始化重发指令Code6。此外，该初始化重发指令Code6具有初始化图像(帧)编号(附随初始化存储器区域的初始化指令Code5的帧的编号)作为附加信息。

以下，用图23对使用了该初始化重发指令Code6的图像编码处理的流程进行说明。

图23是示出使用了初始化重发指令Code6的图像编码方法的流程图，示出图5中示出的图像编码装置100进行的动作。在图23中，在与图20相同的动作上标注相同的标记。

首先，编码输入图像(步骤A0)。编码之后检查存储器内可参照的全部图像是否不需要(是否在以后的编码中哪个图像也不被参照)(初始化检查)(步骤A1)。存储器信息控制部101判定是否需要初始化(步骤A2)，若需要初始化(步骤A2的Yes)，管理信息编码部105就将初始化存储器区域的初始化指令Code5作为存储器管理信息进行编码(步骤A3)，并进行初始化(步骤A4)。在不需要初始化的情况下(步骤A2的No)，就不进行步骤A3和步骤A4的动作。

接着，存储器信息控制部101判定是否将附随着紧前面已编码的图像(比编码对象早的图像)的编码信号进行初始化存储器区域的初始化指令Code5，作为存储器管理信息进行了编码(步骤A30)，若进行了编码(步骤A30的Yes)，则管理信息编码部105就将初始化该存储器区域的初始化重发指令Code6作为存储器管理信息进行编码(步骤A31)，之后结束处理。

此外，若没有附随着紧前面已编码的图像(比编码对象早的图像)的编码信号，将初始化存储器区域的初始化指令Code5作为存储器管理信息进行了编码(步骤A30的No)，则结束处理。

再有，在图23中示出的方法中，在附随紧前面已编码的图像的编码信号，初始化存储器区域的初始化指令Code5被编码的情况下，就再次编码初始化重发指令Code6，但也可以在不是附随着紧前面的已编码的图像的编码，而是附随着几个图像以前已编码的图像的编码，将初始化存储器区域的初始化指令Code5进行编码的情况下，再次编码初始化重发指令Code6，此外，也可以附随着多个图像，将初始化存储器区域的初始化重发指令Code6作为存储器管理信息，反复进行编码。

具体地，如图19所示，在附随着图像编号12的I图像的编码，将初始化指令Code5进行编码的情况下，也可以附随着图像编号11的B图像的编码，将初始化重发指令Code6进行编码，此外，也可以附随着图像编号14的P图像的编码，将初始化重发指令Code6进行编码。

前者的情况若用图17示出，就是在帧Frm12的帧标题Frm12Hdr上赋予初始化指令Code5，另外，在帧Frm11的帧标题Frm11Hdr上赋予初始化重发指令Code6。此外，后者的情况，在帧Frm12的帧标题Frm12Hdr上赋予初始化指令Code5，在帧Frm14的帧标题Frm14Hdr上赋予初始化重发指令Code6。

另外，也可以在附随着图像编号11的B图像的编码对初始化重发指令Code6进行编码的同时，附随着图像编号14的P图像的编码对初始化重发指令Code6进行编码。该情况下，若用图17示出，就是在帧Frm12的帧标题Frm12Hdr上赋予初始化指令Code5，在帧Frm11的帧标题Frm11Hdr和帧Frm14的帧标题Frm14Hdr上赋予初始化重发指令Code6。

下面，用图24对将已编码了上述初始化重发指令Code6的数据进行译码时的处理进行说明。图24是示出对已编码的初始化重发指令Code6进行译码的方法的流程图，示出图7中示出的图像译码装置200的动作。在图24中，在与图21动作相同的部分标注相同的标记。

首先，管理信息译码部205对存储器管理信息进行译码(步骤A10)。然后，根据编码信号对图像信号进行译码(步骤A11)。

判定在译码后的存储器管理信息中是否有初始化指令Code5(步骤A12)，若有初始化指令Code5(步骤A12的Yes)，则全部消除存储器内的图像，并进行初始化(步骤A13)，若没有初始化指令Code5(步骤A12的No)，就不进行初始化。

接着，存储器信息控制部101判定在存储器管理信息中是否有初始化重发指令Code6(步骤A40)。若没有初始化重发指令Code6(步骤A40的No)，则结束处理，若有初始化重发指令Code6(步骤A40的Yes)，则检查初始化是否完了(步骤A41)。若初始化完了(步骤A41的Yes)，就结束处理，若还没进行初始化(步骤A41的No)，就基于初始化重发指令Code6的附加信息，删除初始化帧(初始化存储器区域的初始化指令Code5附随的帧)以前的保存帧(在初始化帧进行编码的时刻，参照用图像存储器中存储着的帧)，并且，设定长时间保存存储器大小为0(步骤A42)，结束处理。再有，不使用长时间保存帧的情况下，则无需使长时间保存存储器的大小设为0。

因此，在图19中示出的初始化指令Code5附随着图像编号12的图像，和初始化重发指令Code6附随着图像编号14进行编码的情况中，在初始化指令Code5不因传输线路错误而消失的情况下，就由初始化指令Code5，在初始化指令Code5因传输线路错误而消失的情况下，就由初始化重发指令Code6，来全部删除保存在存储器中的图像中保存图像编号为10以下的图像。

象这样地，由于在反复编码初始化指令Code5进行传输时，在第二次以后，将附加了作为附加信息的初始化图像编号的初始化重发指令Code6进行编码并传输，因此，就根据该附加信息初始化帧以前的保存帧(在最初初始化指令Code5附随的初始化帧进行编码的时候，参照用图像存储器中存储着的帧)全部被删除。因此，能解决需要的图像(图像)遗漏的上述问题。

再有，如图25所示，即使在与图19不同的保存图像编号的赋予方法中，上述说明的初始化重发指令Code6也是有效的。

以下，具体地说明。

图25是示出赋予各帧的编号(图像(帧)编号)、各帧保存在存储器内时的编号(保存图像(帧)编号)、表示传输各帧的序号的编号(传输顺序)的其他关系的说明图。

对这些编号的赋予方法进行说明。首先，由于图像编号0的I图像不参照其他图像，因此保存在存储器中，其保存图像编号就为0。接着，由于参照图像编号0的I图像的图像编号2的P图像保存在存储器中，因此与图像编号2的P图像有关的保存图像编号就为1。然后，参照图像编号0的I图像和图像编号2的P图像的图像编号1的B图像保存在存储器中，但由于该B图像不被其他图像所参照，因此，保存图像编号与紧前面保存的图像编号2的P图像的保存图像编号相同，均为1。传输各图像的序号设为保存在存储器中的序号。按同样的顺序决定图像编号和保存图像编号及传输顺序的关系。

如图25所示，设定在对图像编号12的I图像进行编码时，附随着发送图15中示出的初始化指令Code5。由于图像编号12的I图像的保存图像编号是6，因此，能由该初始化指令Code5从存储器内全部消除保存图像编号为5以下的图像。

在此，在反复对初始化指令Code5进行编码的情况下，具体地对在图像编号14的P图像上赋予与在图像编号12的I图像上赋予了的初始化指令Code5相同的初始化指令Code5的情况进行说明。

初始化指令Code5如图15所示，不具有附加信息，因此，就在被译码了的时刻，全部消除参照用存储器内保存着的图像。因此，若赋予了图像编号12(保存图像编号6)的I图像的初始化指令Code5因传输线路错误而消失，且赋予了图像编号14(保存图像编号7)的P图像的初始化指令Code5被执行，就在保存图像编号6以下的图像中，保存在存储器中的图像全部被删除。即，本来不应消除的图像编号12(保存图像编号6)的I图像都被消除。

但是，由于取代初始化指令Code5，使上述初始化重发指令Code6附随着图像编号14的P图像，因此，在附随图像编号12的I图像的初始化指令Code5不因传输线路错误而消失的情况下，就由初始化指令Code5，在初始化指令Code5因传输线路错误而消失了的情况下，就由附随图像编号14的P图像的初始化重发指令Code6，来全部删除保存在存储器中的图像中保存图像编号为5以下的图像。

即，由于在初始化重发指令Code6中附加了初始化帧(该情况中，图像编号12)编号作为附加信息，因此，删除初始化帧以前的保存帧(在保存初始化帧的时候保存在参照用图像存储器中的保存图像编号为5以下的保存帧)。

如上所述，由于具有附加信息的初始化重发指令Code6，即使在初始化指令Code5因传输线路错误而遗漏的情况下也能正常地执行初始化的可能性提高。再有，也可以将附加信息作为初始化重发指令附随的图像编号，用本实施方式中示出的初始化重发指令代用作初始化指令，用一个指令来实现图22中示出的Code5和Code6。这是因为，由于在为了重发初始化信息的而进行初始化重发时，初始化指令指定附随的帧的编号，因此，不使用重发该帧这样的图像编号。这时，也可以使初始化指令Code5无效。

再有，如上，在用一个指令实现上述实施方式中示出的初始化重发指令和初始化指令Code5的情况下，也可以以初始化重发指令作为具有与最初发送的初始化指令Code5相同功能的指令，所述初始化重发指令是具有在上述实施方式中示出的初始化重发指令中不使用的特别的值作为附加信息的指令。

此外，如在上述各实施方式所说明，在再次传输释放不需要的存储器区域的指令和初始化指令等的存储器管理信息时，也可以如图17和图18所示，不是包含在与图像的编码有关的帧数据上附加的标题信息中进行传输的，而是与帧数据分开另外传输存储器管理信息包含的标题信息。即，重发的上述指令不在与已编码的图像相同的流中，而也可以例如作为另外的流进行传输。此外，也可以记录在存储媒体的另外的区域中。

另外，在本实施方式中，在重发初始化指令时，将使初始化指令最初附随的图像的图像编号(初始化帧编号)作为附加信息，附加在初始化重发指令中，但当然也可以在重发上述各实施方式中示出的、存储器管理信息的指令时，也将最初使该指令附随并传输的编码对象图像的图像编号(确定图像的信息)作为参数包含进行传输也可以。所述存储器管理信息为示出释放的存储器区域的指令、和指定从短时间保存存储器向长时间保存存储器移动的对象的图像的指令等。这样，能检测出在传输哪个图像时产生了传输线路错误。

(实施方式9)

下面，对实施方式9中的图像编码方法和图像译码方法进行说明。

本实施方式的特征在于，在多次传输存储器管理信息时，改变基于在第二次以后被传输的存储器管理信息的处理的定时。

在对将上述实施方式中示出的存储器管理信息反复进行编码了的数据进行译码时，在进行反复发送的存储器管理信息的处理之前，必须将存储器管理信息附随的图像信号进行译码。作为具体例在实施方式2中说明了的、多次传输释放不需要的存储器区域的指令的情况，用图19再次进行说明。

使图22中示出的Code1的指令附随着图19中示出的图像编号12的图像进行编码，另外，使Code1的指令也附随着图像编号11的图像进行编码。这时，按照图8进行译码。

首先，附随图像编号12的图像的Code1被译码(步骤110)。接着，图像编号12的图像被译码(步骤111)。在此，若本来应该正在附随着图像编号12的图像的Code1在传输途中遗漏了(步骤112的No)，结束与该帧有关的处理。

在传输顺序中，在图像编号12的图像之后进行译码处理的是图像编号11的图像。

首先，对附随着图像编号11的图像进行编码了的Code1被译码(步骤110)。接着，图像编号12的图像被译码(步骤111)。在该Code1不在传输途中遗漏而传输了的情况下，由于在已译码的存储器管理信息中存在存储器释放的指令Code1(步骤112的Yes)，因此就过渡到下面的处理(步骤113)。

在此，由于在对图像编号11的图像被译码之前被译码的图像编号12的图像进行译码时，存储器未被释放(步骤113的No)，因此就进行存储器释放处理(步骤114)。

如上述具体例中所示，伴随着多次传输释放不需要的存储器区域的指令的操作，应该对本来没有进行最初的指令执行的图像(图像编号12)执行的指令，在从后面发送的图像(图像编号11)的图像信号的译码处理之后来执行，产生指令执行的延迟。

因此，在本实施方式中，用图26、图27和图28对用于解决上述问题的方法进行说明。

图26是示出在本实施方式中使用的存储器管理信息和指令的关系的对应图。

在图26中，Code表示指令的编号，指令表示指令的内容，附加信息表示附加在指令中的附加信息，处理位置表示执行指令的定时。

与图15的不同点是，在图26中，将CodeA1～CodeA4设定为在图像的译码处理之后执行的指令，另一方面，将与CodeA1～CodeA4对应的CodeA6～CodeA9设定为在图像的译码处理之前执行的指令。

然后，在反复发送存储器管理信息的情况下，将最初进行编码的存储器管理信息的指令设定为处理位置是译码后的(在图像的译码之后执行)指令(从CodeA1到CodeA4)，将反复(第二次以后)进行编码的指令设定为处理位置是译码前(在图像的译码之前执行)的指令(从CodeA6到CodeA9)。

这样，即使在最初发送的存储器管理信息遗漏了的情况下，本来应该按最初发送的存储器管理信息执行的指令早期执行，而不容易引起延迟等问题。

以下，用图27和图28对使用图26的指令时的处理顺序进行说明。

图27是示出本实施方式中的图像编码方法的流程图，示出图5中示出的图像编码装置100的动作。

在图27中，首先，编码图像(步骤B0)。编码之后检查存储器内的不需要的区域(在以后的编码中不参照的图像)(步骤B1)，判定是否有不需要的存储器区域(步骤B2)。若有不需要的存储器区域(步骤B2的Yes)，就把释放不需要的存储器区域的指令作为在图像信号的译码之后执行的指令，将译码后用的存储器管理信息进行编码(步骤B3)，释放该不需要的存储器区域(步骤B4)。另一方面，在没有不需要的存储器区域的情况下(步骤B2的No)，就不进行步骤B3和步骤B4的动作。

接着，存储器信息控制部101判定是否将附随着之前已编码的图像(比编码对象早的图像)的编码释放不需要的存储器区域的指令，作为存储器管理信息进行编码(步骤B30)。若没编码(步骤B30的No)，就结束处理，若已编码(步骤B30的Yes)，管理信息编码部105就将释放该不需要的存储器区域的指令作为在图像信号的译码之前执行的指令，对译码前用的存储器管理信息进行编码(步骤B31)，结束处理。

再有，在步骤B30中，在释放不需要的存储器区域的指令附随着紧前面已编码的图像的编码信号被编码了的情况下，就再次对指令进行编码，但也可以不是附随着紧前面的图像的情况，而是附随着几个图像以前的图像的情况，并且，也可以反复编码上述指令作为存储器管理信息，附随着多个图像进行传输。

下面，用图28和图19，对译码已按照图27的顺序编码了的数据进行译码的顺序进行说明。

图28是示出本实施方式中的图像译码方法的流程图，示出图7中示出的图像译码装置200进行的动作。

在以下的说明中，在图19中，假设图26中示出的CodeA1的指令附随着图像编号12的图像被进行了编码，并且，使CodeA6的指令附随着图像编号11的图像被进行了编码。如在图17中示出，就成为在图像编号12的帧Frm12的帧标题Frm12Hdr上赋予CodeA1，在图像编号11的帧Frm11的帧标题Frm11Hdr上赋予CodeA6。

再有，在图像译码装置中，只要指令不因传输线路错误而消失，就多次接收释放存储器内的相同的图像区域的指令。因此，必须使图像译码装置进行的图像译码方法，在接收到再次释放已经释放了的图像的指令的情况下，也不当作错误来处理，而相反地，判断为能正确地接收。

首先，对与图像编号12的图像有关的译码处理进行说明。

在图28中，首先，译码图像编号12的图像的存储器管理信息(步骤B5)，检查该存储器管理信息是否是译码前用的存储器管理信息(步骤B7)。在此，由于该存储器管理信息(CodeA1)是译码后用的存储器管理信息(步骤B7的No)，因此图像编号12的图像信号被译码。然后，如上所述地，由于存储器管理信息(CodeA1)是译码后用的存储器管理信息(步骤B9的Yes)，因此释放存储器(步骤B11)，结束与图像编号12的图像的存储器管理信息有关的处理。

另一方面，在存储器管理信息的CodeA1遗漏了时，在步骤B7中，不判断为是译码前用的存储器管理信息(步骤B7的No)，此外，在步骤B9中也不判断为是译码后用的存储器管理信息(步骤B9的No)，而仅进行图像编号12的图像信号的译码(步骤B6)，结束与图像编号12的存储器管理信息有关的处理。

下面，用图28对与图像编号11的帧有关的译码处理进行说明。

首先，对图像编号11的存储器管理信息进行译码(步骤B5)，检查该存储器管理信息是否是译码前用的存储器管理信息(步骤B7)。在此，由于CodeA6是译码前用的存储器管理信息(步骤B7的Yes)，因此检查存储器是否已释放完(步骤B8)。在图像编号12的处理中，若正在执行CodeA1，则由于存储器已释放完(步骤B8的Yes)，因此就不进行存储器释放处理(步骤B10)，而进行图像编号11的图像信号的译码(步骤B6)。然后，判定存储器管理信息是否是译码后用的信息(步骤B9)，但由于CodeA6是译码前用的存储器管理信息(步骤B9的No)，因此结束与图像编号11的图像的存储器管理信息有关的处理。

但是，若因传输过程中的包的遗漏等而图像编号12的存储器管理信息遗漏，在与图像编号12有关的处理中，没进行存储器释放，则在与图像编号11有关的处理中，判定为存储器未释放完(步骤B8的No)，在接着的步骤中，释放存储器(步骤B10)。在存储器被释放之后，图像编号11的图像信号被译码(步骤B6)。然后，由于CodeA6是译码前用的存储器管理信息(步骤B9的No)，因此结束与图像编号11的图像的存储器管理信息有关的处理。

如上所述，通过对重发部分比图像信号的译码先执行指令，即使最初发送的指令遗漏，也能减少指令执行的滞后。

再有，作为具体例，对存储器管理信息为CodeA1和CodeA6的情况进行了说明，但在使用CodeA2和CodeA7的情况下，也能用同样的处理来实现，在使用CodeA3和CodeA8、CodeA4和CodeA9的情况下，也能用同样的处理来实现。

此外，也可以设图26中示出的初始化指令CodeA5为译码后用的存储器管理信息，设图22中示出的初始化重发指令CodeA6为译码前用的存储器管理信息，将它们成对地使用。

此外，在对一个帧赋予了译码后用的存储器管理信息和多个译码前用的存储器管理信息作为标题信息的情况下，也可以比译码后用的存储器管理信息先处理多个译码前用的存储器管理信息。

即，也可以在图17中示出的标题信息的前头赋予译码前用的存储器管理信息并进行编码。

此外，也可以由图29(a)和图29(b)中示出的命令的组合，将存储器管理信息是译码前用的管理信息还是译码后用的管理信息的内容，作为另外的信息，实现上述实施方式中示出的指令。

图29(a)是示出指令的内容与附加信息的对应图。图29(b)是示出指令的执行定时(处理位置)的对应图。

图30是示出编码信号的标题信息中的存储器管理信息的指令的模式图。

在图30中，帧FrmB的编码信号具有帧标题FrmBHdr和MBa、MBb等帧数据等，帧标题FrmBHdr作为标题信息，具有代码信息CodeD等。

这时，例如，如图30所示，可以设帧FrmB的帧标题FrmBHdr从前到后为：指令的代码信息CodeD、表示处理位置的FlagD、表示指令的附加信息的附加信息AddD。在没有附加信息的情况下，如图30所示，可以在帧标题FrmBHdr上附加指令的CodeE和表示处理位置的FlagE。通过在示出指令的Code之后，不设置表示附加信息的Add，而设置表示处理位置的Flag，使图28中示出的步骤B7和步骤B9的处理最优化。

此外，为了区别指令的执行定时是图像信号的译码前和译码后的哪一个，也可以使用表示指令的处理位置的新指令，在译码之后实施位于比表示该处理位置的指令的帧标题上的位置靠前的指令，在译码之前实施位于比表示该处理位置的指令在帧标题上的位置靠后的指令。这样，在有多个指令时，能用一个指令表示各指令的执行定时(处理位置)，与对每一个指令发送表示处理位置的Flag的情况相比，发送的信息减少，编码效率提高。

用图31说明具体例。

图31是示出其他的编码信号的标题信息中的存储器管理信息的指令的模式图。

在图31中，帧FrmC的编码信号具有帧标题FrmCHdr和MBa、MBb等帧数据等，帧标题FrmCHdr作为标题信息，从前依次为指令CodeF、指令dif、指令CodeG、附加信息AddG、指令CodeH。

然后，判别表示处理位置的指令dif是否在帧标题FrmCHdr中，在帧FrmC的译码之后执行位于比表示处理位置的指令dif靠前位置的指令CodeF，在帧FrmC的译码之前执行位于比指令dif靠后位置的指令CodeG和指令CodeH也可以。该情况下，若没有示出处理位置的指令dif，就在帧FrmC的译码处理之后执行帧标题FrmCHdr内的全部指令。

再者，如在上述各实施方式中说明的，在再次传输释放成为不需要的存储器区域的指令和初始化指令等存储器管理信息时，也可以不包含在图像的编码信号中附加的标题信息中进行传输，而存储器管理信息被包含的标题信息与图像的编码信号分开另外传输。即，重发的上述指令也可以不在与已编码的图像相同的流中，而例如作为另外的流进行传输。此外，也可以记录在存储媒体的另外的区域中。

(实施方式10)

下面，对本发明的实施方式10进行说明。

在本实施方式中，进行编码的单位与上述各实施方式不同。即，在上述实施方式1中，在多次传输释放不需要的存储器区域的指令时，所述的相当于上述指令的图5中示出的存储器管理信息流CtlStr和图像编码流VideoStr是按图像(图像)单位进行编码的，但在本实施方式中，也可以象图32中示出的流结构，将一帧按片单位进行编码。

所述按片单位进行编码，是指对帧具有的每一个片编码标题、存储器管理信息流CtlStr、图像编码流VideoStr，以便使图32的帧1的片1具有标题1—1、ctlStr1、VideoStr1—1，帧1的片2具有标题1—2、ctlStr1、VideoStr1—2。在图像编码装置中进行编码之后，图像编码装置输出数据流。再有，片是同步复位单位，是由一个或多个块构成的带状区域，由多个片构成图像。此外，图像是对应于一幅图像的基本的编码单位，块是编码和译码的基本单位。

此外，设如上所述地多次传输存储器管理信息流CtlStr时的内容在同一帧内为同一信息。通过设为同一信息，能省略该存储器管理信息流CtlStr的在片单位中的附加。例如，在片的标题中附加表示在该片中是否省略了多次传输的信息，在该片中省略了多次传输上述指令的内容时，就附加“0”，在该片中传输了上述指令时(没省略时)，就附加“1”。具体地在图33(a)中示出一例，以下进行说明。从帧1中的片1到片3中的标题和图像编码流VideoStr各不相同。另一方面，在片1和片2中具有同一存储器管理信息流CtlStr1，在同一帧中的多个片中，片1和片2分别具有表示编码了同一存储器管理信息流CtlStr1的内容的信息“1”。此外，片3具有示出省略了存储器管理信息流CtlStr1的信息“0”。这样，在该片中省略了多次传输的信息时，前头的片等参照表示为上述“1”的片中的存储器管理信息流CtlStr，由此可以省略存储器管理信息流CtlStr的附加，能减少位数。

即，表示省略了上述存储器管理信息流CtlStr1的信息“0”，是在不具有指定信息的片(片3)中参照指定信息时，表示参照指定信息的信息。上述指定信息是指定进行消除的对象图像的信息。

象这样的能省略存储器管理信息流CtlStr的附加的方法，由于在传输过程中存储器管理信息流CtlStr多次遗漏的可能性少，因此很有效。

另外，在没有表示省略了存储器管理信息流CtlStr的信息的情况下能够判别有无存储器管理信息流CtlStr，也可以如图33(b)所示，省略该信息。例如，在能区别存储器管理信息流CtlStr的标头与图像编码流VideoStr的标头的情况下，如图33(b)所示，能同判别从各片中的标头到规定位置上是否有规定的信息，来确认是否有表示编码存储器管理信息流CtlStr1的信息化是否已被编码。

象这样的能省略存储器管理信息流CtlStr的附加的方法，对削减编码存储器管理信息流CtlStr的次数、减少位数很有效。

以上，对编码进行了说明，但可以同样地按片单位进行一个帧的译码。在上述实施方式2中，在多次传输释放不需要的存储器区域的指令时，在图7中示出的图像译码装置200中，分离相当于上述指令的图32中示出的、具有管理信息流CtlStr和图像编码流VideoStr的流结构，将其各自按图像(图像)单位进行输入，但也可以分别按片单位进行输入。

再有，在其他实施方式中的编码和译码中，也可以同样用片单位编码和译码一个帧。

此外，上述实施方式1～10中示出的编码方法和译码方法，可以利用LSI等半导体安装在携带式电话、汽车驾驶导向系统系统等移动通信设备、数码摄像机、数码相机等摄影设备上。此外，作为安装形式，除具有编码器和译码器两种的收发型终端之外，还可以考虑仅有编码器的发送终端和仅有译码器的接收终端的三种形式。

(实施方式11)

下面，对本发明的实施方式11进行说明。

在本实施方式中，另外，将用于实现从实施方式1到实施方式10中示出的图像编码方法或图像译码方法的程序，记录在软盘等存储媒体中，就能在独立的计算机系统中简单地实施在上述实施方式中示出的处理。

图34是使用存储了上述实施方式1的图像编码方法或图像译码方法的软盘，由计算机系统实施的情况的说明图。

图34(b)示出从软盘的正面看的外观、剖面结构和软盘，图34(a)示出作为记录媒体主体的软盘的物理格式例。软盘FD1内装在壳F内，在该磁盘的表面，从外周向内周以同心圆状形成多个磁道Tr，各磁道在角度方向上分割为16个扇区Se。因此，在存储了上述程序的软盘中，在上述软盘FD1上分割的区域中记录着作为上述程序的图像编码方法。

此外，图34(c)示出用于在软盘FD1上进行上述程序的记录播放的结构。在软盘FD1上记录上述程序的情况下，从计算机系统Cs通过软盘驱动器FDD，写入作为上述程序的图像编码方法或图像译码方法。此外，利用软盘FD1内的程序将上述图像编码方法安装到计算机系统中时，利用软盘驱动器FDD从软盘FD1中读出程序，传送到计算机系统Cs中。

再有，在上述说明中，使用软盘作为记录媒体进行了说明，但是，使用光盘也能同样地进行。此外，记录媒体不限于此，IC卡、盒式ROM等，只要能记录程序的都能同样地实施。

此外，上述实施方式中示出的图像编码方法和图像译码方法，可以利用LSI等半导体安装在携带式电话、汽车驾驶导向系统等移动通信设备或数字式录像机、普通摄影机等摄影设备上。此外，作为安装形式，可以考虑除具有编码器和译码器的两种的收发型终端之外，还可以是仅有编码器的发送终端和仅有译码器的接收终端的三种形式。

在此，对从上述实施方式1到实施方式10中示出的图像编码方法和图像译码方法的应用例和使用了它的系统进行说明。

图35是示出实现内容发送服务的内容供给系统ex100的整体结构框图。将通信服务的提供区域分割成期望的大小，在各单元内分别设置作为固定无线局的基站ex107～ex110。

该内容供给系统ex100例如通过因特网服务提供商ex102和电话网ex104及基站ex107～ex110，与因特网ex101连接计算机ex111、PDA(personaldigital assistant即，个人数字化处理器)ex112、摄影机ex113、携带式电话ex114、带摄影机的携带式电话ex115等各设备。

但是，内容供给系统ex100不限定于如图35中的组合，也可以组合其中某一个来连接。此外，也可以不通过固定无线局即基站ex107～ex110，而在电话网ex104上直接连接各设备。

摄影机ex113是数字式录像机等能拍摄动画的设备。此外，携带式电话是PDC(Personal Digital Communications即，个人数字化通信)方式、CDMA(Code Division Multiple Access即，码分多路访问)方式、W—CDMA(Wideband-Code Division Multiple Access即，宽带码分多路访问)方式、或GSM(Global System for Mobile Communications即，全球移动通信系统)方式的携带式电话机，或者PHS(Personal Handyphone System即，个人手持电话系统)等，哪一种都可以。

此外，流服务器ex103从摄影机ex113通过基站ex109和电话网ex104进行连接，能使用摄影机ex113来进行基于用户发送的已编码处理的数据的实况发信等。拍摄到的数据的编码处理可以用摄影机ex113进行，也可以用进行数据的发送处理的服务器等进行。此外，也可以通过计算机ex111向流服务器ex103发送用摄影机ex116拍摄到的动画数据。摄影机ex116是数字式摄影机等可摄影静止图像和动画的设备。该情况下，动画数据的编码即可以用摄影机ex116进行，也可以用计算机ex111进行。此外，编码处理是在计算机ex111和摄影机ex116所具有的LSIex117中进行处理。再有，也可以将图像编码和译码用的软件装在能用计算机ex111等读取的记录媒体的任一种存储媒体(CD—ROM、软盘、硬盘等)中。另外，也可以用带摄影机的携带式电话ex115发送动画数据。这时的动画数据是用携带式电话ex115所具有的LSI进行编码处理后的数据。

在该内容供给系统ex100中，一方面，与上述实施方式同样地对用户用摄影机ex113和摄影机(camera)ex116等拍摄的内容(例如，摄影了音乐实况的影像等)进行编码处理，并向流服务器ex103发送，另一方面，流服务器ex103对有请求的客户终端流发送上述内容数据。作为客户终端，有能进行对上述已编码处理的数据进行译码的计算机ex111、PDAex112、摄影机ex113、携带式电话ex114等。通过这样做，内容供给系统ex100能在客户终端接收已编码的数据并进行播放，另外，能在客户终端实时地接收、译码、播放，因此是能实现个人广播的系统。

在构成该系统的各设备的编码和译码中，也可以使用在上述各实施方式中示出的图像编码方法或图像译码方法。

作为一例，对携带式电话进行说明。

图36是示出使用了在上述实施方式中说明了的图像编码方法和图像译码方法的携带式电话ex115的图。携带式电话ex115具有下列部分：用于与基站ex110之间收发电波的天线ex201；CCD摄影机等能拍摄影像和静止图像的摄影机部ex203；液晶显示器等显示部ex202，显示用摄影机部ex203摄影到的影像和用天线ex201接收到的影像等被译码了的数据；由操作键ex204群构成的主体部；用于进行声音输出的扬声器等声音输出部ex208；用于进行声音输入的话筒等声音输入部ex205；记录媒体ex207，用于保存摄影到的动画或静止图像数据、接收到的邮件数据、动画数据或静止图像数据等已编码的数据或已译码的数据；用于能在携带式电话ex115中装入记录媒体ex207的卡槽部ex206。记录媒体ex207是SD卡等在塑料壳体内电气地装入能改写和擦除的不易失存储器即EEPROM(Electronically Erasable and ProgrammableRead Only Memory即，电可擦可编程只读存储器)的快闪存储器元件的装置。

另外，用图37对携带式电话ex115进行说明。携带式电话ex115对主控制部ex311，通过同步总线ex313，相互连接着电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄影机接口部ex303、LCD(Liquid CrystalDisplay即，液晶显示器)控制部ex302、图像译码部ex309、多重分离部ex308、记录播放部ex307、调制解调电路部ex306和声音处理部ex305。主控制部ex311对包括显示部ex202和操作键ex204的主体部的各部分进行统一控制。

电源电路部ex310若由用户操作成通话结束和电源键处于开通状态，则通过由电源向各部分供给电力，来启动带摄影机的数字携带式电话ex115使其处于可工作的状态。

携带式电话ex115基于由CPU、ROM和RAM等构成的主控制部ex311的控制，在声音通话模式时，利用声音处理部ex305将用声音输入部ex205集音到的声音信号转换成数字声音数据，将其用调制解调电路部ex306进行频谱扩散处理，在由收发信电路部ex301实施了数字模拟转换处理和频率变换处理之后，通过天线ex201发送。此外，携带式电话机ex115在声音通话模式时，放大由天线ex201接收到的接收数据，并对所述接收的数据实施频率变换处理和模拟数字转换处理，用调制解调电路部ex306进行频谱逆扩散处理，并用声音处理部ex305转换成模拟声音数据之后，将其通过声音输出部ex208输出。

另外，在数据通信模式时发送电子邮件的情况下，由主体部的操作键ex204的操作输入的电子邮件的文本数据，通过操作输入控制部ex304向主控制部ex311发送。主控制部ex311用调制解调部ex306对文本数据进行频谱扩散处理，在用收发信电路部ex301实施了数字模拟转换处理和频率变换处理之后，通过天线ex201，向基站ex110发送。

在数据通信模式时发送图像数据的情况下，通过摄影机接口部ex303，向图像编码部ex312供给用摄影机部ex203拍摄到的图像数据。此外，在不发送图像数据的情况下，也可以通过摄影机接口部ex303和LCD控制部ex302，在显示部ex202直接显示用摄影机部ex203摄像到的图像数据。

图像编码部ex312的结构具有已在本申请中说明了的图像编码装置，利用在上述实施方式示出的图像编码装置中使用的编码方法，将由摄影机部ex203供给的图像数据进行压缩编码，转换成编码图像数据，将其向多重分离部ex308发送。此外，与此同时，携带式电话机ex115将由摄影机部ex203在摄像中利用声音输入部ex205集音到的声音作为数字声音数据，通过声音处理部ex305向多重分离部ex308送出。

多重分离部ex308用规定的方式，将由图像编码部ex312供给的编码图像数据和由声音处理部ex305供给的声音数据进行多重化，由调制解调电路部ex306对其结果得到的多重数据进行频谱扩散处理，在由收发信电路部ex301实施了数字模拟转换处理和频率变换处理之后，通过天线ex201发送。

在数据通信模式时接收与首页链接的动画图像文件数据的情况下，用调制解调电路部ex306对通过天线ex201从基站ex110接收到的接收数据频谱逆扩散处理，将其结果得到的多重化数据向多重分离部ex308发送。

此外，为对通过天线ex201接收到的多重数据进行编码，多重分离部ex308通过分离多重化数据，分成图像数据位流和声音数据位流，通过同步总线ex313向图像译码部ex309供给该编码图像数据的，并向声音处理部ex305供给该声音数据。

接着，图像译码部ex309的结构具有已在本申请发明中说明了的图像译码装置，通过用对应于上述实施方式中示出的编码方法的译码方法，对图像数据的位流进行译码，生成播放动画图像数据，将其通过LCD控制部ex302向显示部ex202供给，这样，显示例如与首页链接的动画图像文件中包含的动画数据。与此同时，声音处理部ex305在将声音数据转换成模拟声音数据之后，向声音输出部ex208供给，这样，播放例如与首页链接的动画图像文件中包含的声音数据。

再有，不限于上述系统的例子，最近，利用卫星和地面波进行的数字广播成为热门话题，如图38所示，也可以在数字广播用系统中组合至少一种上述实施方式的图像编码装置或图像译码装置。具体地说，在广播电台ex409中，通过电波向通信或广播卫星ex410传输影像信息的位流。接收到该位流的广播卫星ex410，发送广播用电波，由具有卫星广播接收设备的家庭天线ex406接收该电波，由电视机(接收机)ex401或机顶盒设备(STB)ex407等装置将位流进行译码并播放。此外，也可以在将记录在记录媒体CD和DVD等存储媒体ex402上的位流进行读取并播放的装置ex403上，安装上述实施方式中示出的图像译码装置。该情况下，在监视器ex404上显示播放的影像信号。此外，也可以考虑在与有线电视用的电缆ex405或卫星/地面波广播的天线ex406连接的机顶盒设备ex407内安装图像译码装置，用电视机的监视器ex408进行播放的结构。这时，不仅在机顶盒设备，也可以在电视机内装入图像译码装置。此外，也可以用具有天线ex411的车ex412从卫星ex410或基站ex107等接收信号，在车ex412所具有的汽车驾驶导向系统ex413等显示装置中播放动画。

另外，也可以用上述实施方式中示出的图像编码装置将图像信号进行编码，并记录在记录媒体中。作为具体例，有在DVD盘ex421中记录图像信号的DVD记录器和在硬盘中记录的盘式记录器等的记录器ex420。另外，也可以记录在SD卡ex422中。若记录器ex420具有上述实施方式中示出的图像译码装置，则能播放记录在DVD盘ex421和SD卡ex422中的图像信号，用监视器ex408显示。

再有，汽车驾驶导向系统ex413的结构可以是例如在图37中示出的结构中除去摄影机部ex203和摄影机接口部ex303、图像编码部ex312的结构，可以考虑用计算机ex111和电视机(接收机)ex401等代替所述去除的部分。

此外，上述携带式电话ex114等终端可以是除具有编码器和译码器两种的收发型终端之外，还可以是仅有编码器的发送终端和仅有译码器的接收终端的三种安装形式。

如上，就能在上述的某一个设备和系统中使用上述实施方式中示出的图像编码方法或图像译码方法，通过使用本发明，能得到上述实施方式中说明的效果。

本发明不仅限定于上述实施方式，可以在不脱离本发明的范围内作各种各样的变形和修正。

工业上利用的可能性

本发明的图像编码装置作为在具有通信功能的个人计算机、PDA、数字广播的广播电台和携带式电话机等中具有的图像编码装置，非常有用。

此外，本发明的图像译码装置作为在具有通信功能的个人计算机、PDA、接收数字广播的STB和携带式电话机等中具有的图像译码装置，非常有用。

Claims (2)

1.一种图像编码方法，参照从存储器内保存着的多个参照图像中选择的参照图像进行编码，包括：

参照所选择的参照图像，对编码对象图像进行编码；

将用于管理存储器中保存着的参照图像的第一存储器管理信息进行编码，并且，附随于已被编码的所述编码对象图像，输出被编码的所述第一存储器管理信息；

将所述第一存储器管理信息作为第二存储器管理信息再次进行编码；

在被编码的所述第二存储器管理信息上附加用于确定所述编码对象图像的图像确定信息，并且，附随于与所述编码对象图像不同的别的编码图像，输出附加了所述图像确定信息的被编码的所述第二存储器管理信息。

2.一种图像编码装置，参照从存储器内保存着的多个参照图像中选择的参照图像进行编码，包括：

图像编码单元，参照所选择的参照图像，对编码对象图像进行编码；

管理信息编码单元，将用于管理存储器中保存着的参照图像的第一存储器管理信息进行编码，并且，附随于已被编码的所述编码对象图像，输出被编码的所述第一存储器管理信息；

管理信息再编码单元，将所述第一存储器管理信息作为第二存储器管理信息再次进行编码，在被编码的所述第二存储器管理信息上附加用于确定所述编码对象图像的图像确定信息，并且，附随于与所述编码对象图像不同的别的编码图像，输出附加了所述图像确定信息的被编码的所述第二存储器管理信息。

Images