CN102300090B - 编码设备、成像设备、编码发送系统和编码方法 - Google Patents

Abstract

一种编码设备包括：获得部分，配置为获得包括可以预定速率再现的多条图像数据的运动图像数据；确定部分，配置为确定通过所述获得部分获得的所述运动图像数据的所述图像数据的每一条的编码是否有必要，并且输出指示设为编码对象的图像数据或没有设为编码对象的图像数据的指示信号；以及编码执行部分，配置为提供有所述指示信号，并且在根据所述确定部分的确定离散地减少图像数据的同时编码通过所述获得部分获得的多条图像数据。

Description

编码设备、成像设备、编码发送系统和编码方法

技术领域

本公开涉及用于包括多条图像数据的运动图像数据的编码设备和编码方法。

背景技术

通过编码设备编码包括多条图像数据的运动图像数据(日本专利公开No.2008-236789和2000-050254(以下称为专利文献1和2))。

编码设备通过符合如MPEG(运动图像专家组)1、2或4、H.264等标准的编码系统来编码运动图像数据。

例如，编码设备根据编码状况调整如Qp值等的量化参数，以宏块为单位插入跳过数据(skip data)，或以帧为单位插入跳过帧数据。

从而编码设备在调整编码运动图像数据的数据量的同时执行编码处理。

发明内容

然而，这样的编码设备可能根据编码状况丢弃帧数据，使得编码运动图像数据为预定数据量。

例如，当编码设备在按顺序编码运动图像的多个帧的同时预测编码运动图像数据将超过预定发送数据量时，编码设备跳过正在处理的帧数据或下一帧数据。

此外，在专利文献1中，基于与之前帧和之后帧的关系确定要跳过的帧。

此外，在专利文献2中，通过基于视频对象等的判断确定要跳过的帧。

当根据编码状况等由此确定不编码的帧数据时，以不规则的间隔丢失编码运动图像数据的帧数据。

当再现具有如此以不规则的间隔丢失的帧数据的运动图像数据时，帧间隔不稳定，因此出现这样的状况，其中在再现期间图像突然改变或图像停止一会儿。

当出现这样的状况时，观众对于再现的运动图像有不协调感。

因此，期望编码设备减少观众的不协调(不自然)感，该不协调(不自然)感伴随编码运动图像数据的不连续性。

根据本公开第一实施例，提供了一种编码设备，包括：获得部分，配置为获得包括可以预定速率再现的多条图像数据的运动图像数据；确定部分，配置为确定通过所述获得部分获得的所述运动图像数据的所述图像数据的每一条的编码是否有必要，并且输出指示设为编码对象的图像数据或没有设为编码对象的图像数据的指示信号；以及编码执行部分，配置为提供有所述指示信号，并且在根据所述确定部分的确定离散地减少图像数据的同时编码通过所述获得部分获得的多条图像数据。所述确定部分确定图像数据的每一条的编码是否有必要，使得通过所述编码执行部分编码的编码运动图像数据中的多条图像数据的再现间隔稳定。

根据第一实施例，所述确定部分确定图像数据的每一条的编码是否有必要，使得通过所述编码执行部分编码的编码运动图像数据中的多条图像数据的再现间隔稳定。

此外，所述编码执行部分在根据所述确定部分的确定离散地减少图像数据的同时，编码通过所述获得部分获得的多条图像数据。

因此，稳定了编码运动图像数据中的多条图像数据的再现间隔。

根据本公开第二实施例，提供了一种成像设备，包括：成像部分，配置为输出包括通过以预定速率成像获得的多条图像数据的运动图像数据；以及编码部分，配置为编码所述运动图像数据。所述编码部分包括：获得部分，配置为获得从所述成像部分输出的所述运动图像数据；确定部分，配置为确定通过所述获得部分获得的所述运动图像数据的所述图像数据的每一条的编码是否有必要，并且输出指示设为编码对象的图像数据或没有设为编码对象的图像数据的指示信号；以及编码执行部分，配置为提供有所述指示信号，并且在根据所述确定部分的确定离散地减少图像数据的同时编码通过所述获得部分获得的多条图像数据。所述确定部分确定图像数据的每一条的编码是否有必要，使得通过所述编码执行部分编码的编码运动图像数据中的多条图像数据的再现间隔稳定。

根据本公开第三实施例，提供了一种编码发送系统，包括：编码部分，配置为编码包括通过以预定速率成像获得的多条图像数据的运动图像数据；发送部分，配置为发送通过所述编码部分编码的编码运动图像数据；接收部分，配置为接收通过所述发送部分发送的编码运动图像数据；以及解码部分，配置为解码通过所述接收部分接收的编码运动图像数据。所述编码部分包括：获得部分，配置为获得从成像部分输出的所述运动图像数据；确定部分，配置为确定通过所述获得部分获得的所述运动图像数据的所述图像数据的每一条的编码是否有必要，并且输出指示设为编码对象的图像数据或没有设为编码对象的图像数据的指示信号；以及编码执行部分，配置为提供有所述指示信号，并且在根据所述确定部分的确定离散地减少图像数据的同时编码通过所述获得部分获得的多条图像数据。所述确定部分确定图像数据的每一条的编码是否有必要，使得通过所述编码执行部分编码的编码运动图像数据中的多条图像数据的再现间隔稳定。

根据本公开第四实施例，提供了一种编码方法，包括：包括获得部分、确定部分和编码执行部分的编码设备的所述获得部分获得运动图像数据，所述编码设备配置为编码包括可以预定速率再现的多条图像数据的运动图像数据；所述确定部分确定获得的所述运动图像数据的所述图像数据的每一条的编码是否有必要；以及所述编码执行部分在根据所述确定离散地减少所述运动图像数据的图像数据的同时编码获得的所述运动图像数据的图像数据。所述确定部分确定图像数据的每一条的编码是否有必要，使得编码运动图像数据中的多条图像数据的再现间隔稳定。

根据本公开，在编码运动图像数据中不容易出现不连续性，并且可以减少观众的不协调(不自然)感。

附图说明

图1是根据本公开第一实施例的编码设备的示意性框图；

图2是用于实现图1中的编码设备的计算机设备的框图；

图3是帮助说明要通过图1中的编码设备编码的运动图像数据的示例的图；

图4是图1中的输入部分的操作的流程图；

图5是图1中的视频编码执行部分的框图；

图6是通过图1中的视频编码执行部分对每条帧数据进行的编码操作的流程图；

图7是图1中的编码控制部分的编码控制操作的流程图；

图8是帮助图1中的编码控制部分的编码控制操作的图；

图9表示图1中的编码设备的初始化处理序列；

图10A和10B是帮助说明图1中的编码控制部分输出到视频编码执行部分的编码存在或不存在信息的图；

图11表示图1中的输入部分和视频编码执行部分的典型编码处理序列；

图12表示当图1中的编码控制部分开始控制时的编码处理序列；

图13表示图1中的编码控制部分开始控制后的编码处理序列；

图14A、14B和14C是示出通过图1中的编码设备编码的运动图像数据的数据量的改变的示例的图；

图15A和15B是帮助说明当编码运动图像数据下溢时通过编码控制部分进行的下溢抑制控制操作的图；

图16A和16B是帮助说明当编码运动图像数据溢出时通过编码控制部分进行的溢出抑制控制操作的图；

图17A和17B是帮助说明通过图1中的编码设备编码的运动图像数据的第一示例的图；

图18A和18B是帮助说明通过图1中的编码设备编码的运动图像数据的第二示例的图；

图19A和19B是帮助说明通过图1中的编码设备编码的运动图像数据的第三示例的图；

图20A和20B是帮助说明通过图1中的编码设备编码的运动图像数据的第四示例的图；

图21A和21B是帮助说明通过图1中的编码设备编码的运动图像数据的第五示例的图；

图22A和22B是帮助说明通过图1中的输出部分的后处理操作的图(第一示例)；

图23A和23B是帮助说明通过图1中的输出部分的后处理操作的图(第二示例)；

图24是示出根据本公开第二实施例的编码发送系统的示意性框图；以及

图25是帮助说明在通过H.264系统或MPEG-2系统编码时通过编码控制部分的编码控制操作的图。

具体实施方式

以下，将参考附图描述本公开的优选实施例。

将按照以下顺序进行描述。

1.第一实施例(编码设备的示例)

2.第二实施例(具有成像设备的编码发送系统的示例)

<1.第一实施例>

[编码设备1的配置]

图1是根据本公开第一实施例的编码设备1的示意性框图。

图1中的编码设备1编码输入运动图像数据。

图1中的编码设备1包括输入运动图像数据存储部分10、输入部分11、编码状况存储部分13、编码控制部分14、视频编码执行部分15、输出部分16和输出运动图像数据存储部分17。

图2是用于实现图1中的编码设备1的计算机设备100的框图。

图2中的计算机设备100具有CPU(中央处理单元)101、存储器(MEM)102和输入输出部分(I/O)103。

存储器102存储编码程序。

存储器102中存储的编码程序可以在计算机设备100的装运之前存储在存储器102中，或者可以在计算机设备100的装运之后存储在存储器102中。

计算机设备100的装运后存储在存储器102中的编码程序例如可以通过读取记录在计算机可读记录介质上的编码程序或者经由传输介质(如因特网等)下载而获得。

CPU 101读取并执行存储器102中存储的编码程序。

因此，在CPU 101中实现图1中的输入部分11、视频编码执行部分15和输出部分16。

此外，在存储器102中实现输入运动图像数据存储部分10、输出运动图像数据存储部分17和编码状况存储部分13。

顺带提及，在图2中，输入编码设备1的运动图像数据例如从输入输出部分103输入并存储在存储器102中。

此外，通过编码设备1生成的编码运动图像数据存储在存储器102中，并且此后从输入输出部分103输出到外部。

图1中的输入运动图像数据存储部分10存储输入运动图像数据21和输入数据信息22。

图3是帮助说明要通过图1中的编码设备1编码的输入运动图像数据21的示例的图。

图3中的输入运动图像数据21具有多条帧数据23。

图3中的帧数据23是可以一定帧速率再现的静态图像的图像数据。图3中的多条帧数据23例如按照顺序从左侧的帧开始再现。

图3中的运动图像数据例如以三帧为单位编码。该编码处理的单位称为GOP(画面组)。

在图3的示例中，从每个GOP中的左边开始的第一帧编码为I(内部)画面。第二帧编码为B(双向预测)画面。第三帧编码为P(预测)画面。

输入数据信息22是关于输入运动图像数据21的信息。

这样的信息例如包括关于输入运动图像数据21的帧速率的信息和关于获取输入运动图像数据21的拍摄环境的信息。

在图1中，输入部分11连接到输入运动图像数据存储部分10和视频编码执行部分15。

输入部分11从输入运动图像数据存储部分10获得输入运动图像数据21和输入数据信息22。

输入部分11将获得的输入运动图像数据21的每条帧数据23输出到视频编码执行部分15。

此时，输入部分11基于输入运动图像数据21的帧速率确定每条帧数据23的输出间隔，该帧速率基于输入数据信息22，并且以该输出间隔输出多条帧数据23到视频编码执行部分15。

图4是图1中的输入部分11的操作的流程图。

图4是例如在输入部分11从图2中的输入输出部分103获得输入运动图像数据21和输入数据信息22的情况下的流程图。

获得输入运动图像数据21和输入数据信息22，输入部分11将输入运动图像数据21和输入数据信息22存储在输入运动图像数据存储部分10中。此外，输入部分11在输入运动图像数据存储部分10中存储编码存在或不存在信息(步骤ST1)。

图1中的编码状况存储部分13存储预先设置的初始编码信息24作为用于输入运动图像数据21的编码状况。

顺带提及，初始编码信息24可以预先在编码设备1中设置，或者例如可以经由图2中的输入输出部分103从外部输入。

初始编码信息24包括例如编码所需的信息，如概况、水平(level)、编码运动图像数据的位速率、GOP长度、编码运动图像数据的帧间隔等。

例如，GOP长度指示一个GOP中包括的帧数量(图像数量)。

例如，帧间隔是在记录运动图像数据时的记录帧速率。

编码控制部分14连接到输入运动图像数据存储部分10、编码状况存储部分13和视频编码执行部分15。

编码控制部分14基于输入运动图像数据存储部分10中的输入数据信息22和编码状况存储部分13中的初始编码信息24，输出指示信号到视频编码执行部分15。

例如，编码控制部分14基于输入运动图像数据21的帧速率和初始编码信息24的帧速率，指示用于视频编码执行部分15中的编码的初始帧速率。

此外，例如在GOP长度的每个周期中，编码控制部分14基于从视频编码执行部分15输入的通知信号，确定通过视频编码执行部分15的编码的状况。

此外，编码控制部分14根据确定结果更新指示信号的内容。

例如，编码控制部分14比较通过视频编码执行部分15编码的运动图像数据的数据量和定义为存储编码运动图像数据的缓冲器的缓冲器37的数据量，并且将指示信号更新为对应于这些数据量之间的关系的内容。

编码控制部分14指示输入图像数据的每条帧数据23是设为编码对象的图像数据还是没有设为编码对象的图像数据。

视频编码执行部分15连接到输入部分11、输出部分16、编码状况存储部分13和编码控制部分14。

视频编码执行部分15编码从输入部分11输入的帧数据23，并且输出编码的帧数据23到输出部分16。

此时，视频编码执行部分15基于编码状况存储部分13中存储的初始编码信息24、从编码控制部分14输入的指示信号和编码状况(编码运动图像数据的数据量等)，独立地确定帧数据23的编码是否有必要。

此外，视频编码执行部分15独立地确定帧编码系统、参数(编码变量)等。

然后，视频编码执行部分15根据视频编码执行部分15自身的确定，编码从输入部分11输入的帧数据23，并且将编码的帧数据23输出到输出部分16。

此外，视频编码执行部分15在对应于GOP长度的每个周期中，输出用于通知编码运动图像数据的数据量的通知信号到编码控制部分14。

图5是图1中的视频编码执行部分15的框图。

图5中的视频编码执行部分15通过MPEG-4视觉系统编码运动图像数据。

图5中的视频编码执行部分15具有第一帧存储器31、运动矢量检测器32、减法器33、DCT(离散余弦变换)单元34和量化器35。

图5中的视频编码执行部分15还具有VLC(可变长度编码)单元36和缓冲器37。

图5中的视频编码执行部分15还具有逆量化器38、IDCT(逆DCT)单元39、第二帧存储器40和运动补偿器41。

第一帧存储器31存储基于从输入部分11输入的帧数据23的图像。

运动矢量检测器32连接到第一帧存储器31。

运动矢量检测器32对于第一帧存储器31中存储的新编码对象图像检测对于另一帧数据23的图像共同的对象的运动矢量。

减法器33连接到第一帧存储器31和运动补偿器41。减法器33从第一帧存储器31中存储的图像减去第二帧存储器40中存储的并且从通过运动补偿器41的补偿处理得到的图像。

DCT单元34连接到减法器33。DCT单元34使得从通过减法器33的差分操作得到的图像的每个预定块经历离散余弦变换。

量化器35连接到DCT单元34。量化器35量化每个频带的DCT系数，该系数通过DCT单元34在每个块中的离散余弦变换获得。

VLC单元36连接到量化器35。VLC单元36使得通过量化器35量化的DCT系数数据经历可变长度编码。VLC单元36将编码数据输出到缓冲器37。

从而缓冲器37存储编码的帧数据23。编码的帧数据23从该缓冲器37输出到图1的输出部分16。

VLC单元36还连接到运动矢量检测器32。VLC单元36将关于由运动矢量检测器32检测的运动矢量的数据输出到缓冲器37。

此外，在一系列编码处理中，DCT单元34、量化器35和VLC单元36读取编码控制部分14的指示信号和编码状况存储部分13中的初始编码信息24。

DCT单元34、量化器35和VLC单元36基于编码控制部分14的指示信号和编码状况存储部分13中的初始编码信息24，例如调整块大小、量化度和编码方法。

量化器35还读取缓冲器37中存储的编码的帧数据23的数据量。

量化器35基于根据数据量的独立判定，例如确定帧数据23的编码是否有必要。

逆量化器38连接到量化器35。逆量化器38从由量化器35量化后的DCT系数生成用于量化的帧数据23的DCT系数。

IDCT单元39连接到逆量化器38。IDCT单元39从由逆量化器38生成的DCT系数生成量化的帧数据23的图像。

第二帧存储器40存储量化的帧数据23的图像。

运动补偿器41连接到运动矢量检测器32和第二帧存储器40。

运动补偿器41基于由运动矢量检测器32检测到的运动矢量，生成通过移动第二帧存储器40中存储的图像获得的图像。

图1中的输出部分16连接到视频编码执行部分15和输出运动图像数据存储部分17。

输出部分16将从视频编码执行部分15输入的编码的帧数据23存入输出运动图像数据存储部分17。

从而输出运动图像数据存储部分17存储通过视频编码执行部分15编码的帧数据23。

输出运动图像数据存储部分17存储作为通过编码相同输入运动图像数据21获得的运动图像数据的第一输出数据25和第二输出数据26，如图3所示。

[图1中的编码执行部分的编码操作]

图6是通过图1中的视频编码执行部分15对每条帧数据23进行的编码操作的流程图。

每一次从输入部分11输入帧数据23时，视频编码执行部分15根据输入帧数据23的帧速率执行图6的编码处理。

在对于每条帧数据23的编码处理中，视频编码执行部分15首先确定是否编码在编码处理中涉及的帧数据23(步骤ST11)。

例如，当从编码控制部分14输入指示不编码所述帧数据23的指示信号时，视频编码执行部分15原理上确定不编码帧数据23。

然而，当视频编码执行部分15从缓冲器37读取编码的帧数据23的数据量、并且确定当不编码所述帧数据23时缓冲器37将变空时，视频编码执行部分15确定要编码帧数据23。

此外，例如当从编码控制部分14输入指示要编码所述帧数据23的指示信号时，视频编码执行部分15原理上确定要编码帧数据23。

然而，当视频编码执行部分15从缓冲器37读取编码的帧数据23的数据量、并且确定当编码所述帧数据23时缓冲器37将变满时，视频编码执行部分15确定不编码帧数据23。

当确定要编码帧数据23时，视频编码执行部分15执行编码帧数据23的处理(步骤ST12)。

视频编码执行部分15从图5的缓冲器37中输出编码的帧数据23(步骤ST13)。

此外，视频编码执行部分15计算并存储编码的帧数据23的数据量(步骤ST14)。

在编码帧数据23后，视频编码执行部分15确定所述的帧数据23的处理定时是否是输出通知信号到编码控制设备的定时(步骤ST15)。

同样，当作为编码处理对象的帧数据23没有编码时，视频编码执行部分15确定所述的帧数据23的处理定时是否是输出通知信号到编码控制设备的定时(步骤ST15)。

例如，当根据作为如图2所示的三帧的单元的GOP执行编码时，例如视频编码执行部分15确定当编码每个GOP的最后P画面时输出通知信号的定时到来。视频编码执行部分15确定当编码其他画面时输出通知信号的定时没有到来。

当输出通知信号的定时到来时，视频编码执行部分15将编码的帧数据23的数据量通知给编码控制设备(步骤ST16)。在图2的情况下，视频编码执行部分15在编码三帧构成的每个GOP的最后P画面时，将每个GOP中编码的三条帧数据23的总数据量通知给编码控制设备。

视频编码执行部分15从而结束编码处理。此外，当输出通知信号的定时没有到来时，视频编码执行部分15结束编码处理。

[图1中的编码控制部分14的编码控制操作]

图7是图1中的编码控制部分14的编码控制操作的流程图。

例如，编码控制部分14在每次从视频编码执行部分15输入通知信号时执行图7的编码控制操作。在图6的示例中，视频编码执行部分15在视频编码执行部分15已经编码每个GOP的最后画面时输出通知信号到编码控制部分14。

在编码控制操作中，编码控制部分14首先比较获得的编码量和预定缓冲器模型51中的阈值(步骤ST21)。

接着，编码控制部分14基于编码量的比较结果确定在预定时段内要编码的帧数据23的比率，并且根据该比率从预定时段内的多条帧数据23选择要设为编码对象的帧数据23(步骤ST22)。

接着，编码控制部分14输出预定时段和指示设为编码对象的选择的帧数据23的指示信号到视频编码执行部分15(步骤ST23)。编码控制部分14例如指示输入运动图像数据21的GOP长度和所述GOP中设为编码对象的帧数据23或没有设为编码对象的帧数据23。

图8是帮助图1中的编码控制部分14的编码控制操作的图。

图8示出符合MPEG-4视频标准的缓冲器模型51。坐标轴指示在缓冲器模型51中剩余的数据量。顺带提及，图5中的缓冲器37对应于缓冲器模型51。

顺带提及，剩余的数据指通过视频编码执行部分15编码但在后级中没有被输出部分16处理的数据。

图8中的VBV(视频缓冲器检验器)是MPEG-4视频标准中定义的缓冲器占用量。根据MPEG-4视频标准，期望控制编码数据的量，使得缓冲器模型51中剩余的数据量落在VBV值的0％到100％的范围内。

当缓冲器占用量是0％时，缓冲器模型51为满，并且处于下溢状态。

当缓冲器占用量是100％时，缓冲器模型51为空，并且处于溢出状态。

当图1中的视频编码执行部分15预测缓冲器模型51中剩余的数据量将变得少于VBV值的0％时，例如，视频编码执行部分15根据视频编码执行部分15的自身判断执行用于减少数据量的控制。例如，视频编码执行部分15根据视频编码执行部分15的自身判断停止并跳过帧数据23的编码。

此外，当视频编码执行部分15预测缓冲器模型51中剩余的数据量将变得超过VBV值的100％时，视频编码执行部分15根据视频编码执行部分15的自身判断执行用于增加数据量的控制。例如，视频编码执行部分15根据视频编码执行部分15的自身判断编码要跳过的帧数据23。

另一方面，编码控制部分14基于溢出抑制阈值52、VBV值的80％的阈值53、VBV值的40％的阈值54和下溢抑制阈值55，控制视频编码执行部分15的编码操作。

溢出抑制阈值52设置在VBV值和VBV值的80％的阈值53之间。

下溢抑制阈值55设置在零和VBV值的40％的阈值54之间。

顺带提及，这些值例如存储在编码状况存储部分13中作为初始编码信息24。此外，每个值可以通过改变初始编码信息24来适当地设置。

当剩余数据量在VBV值的80％到40％的范围内时，编码控制部分14不调整编码量。编码控制部分14输出指示信号到视频编码执行部分15，该指示信号具有与已经输出到视频编码执行部分15的指示信号相同的内容。

另一方面，当剩余数据量不在VBV值的80％到40％的范围内时，编码控制部分14调整编码量。编码控制部分14输出指示信号到视频编码执行部分15，该指示信号具有与已经输出到视频编码执行部分15的指示信号不同的内容。

具体地，在图8的情况下，当剩余数据量在VBV值的80％到溢出抑制阈值52的范围内时，编码控制部分14调整编码量以便将编码量减少一级。例如，编码控制部分14将预定时段(GOP长度)延长一级，或者将GOP内要编码的帧数据23的条数或比率减少一级。

此外，当剩余数据量在溢出抑制阈值52到VBV值的100％的范围内时，编码控制部分14调整编码量以便将编码量减少两级。例如，编码控制部分14将预定时段延长两级或将GOP内要编码的帧数据23的条数或比率减少两级。

此外，当剩余数据量在VBV值的40％到下溢抑制阈值55的范围内时，编码控制部分14调整编码量以便将编码量增加一级。例如，编码控制部分14将预定时段缩短一级，或者将GOP内要编码的帧数据23的条数或比率增加一级。

此外，当剩余数据量在下溢抑制阈值55到VBV值的0％的范围内时，编码控制部分14调整编码量以便将编码量增加两级。例如，编码控制部分14将预定时段缩短两级，或者将GOP内要编码的帧数据23的条数或比率增加两级。

在确定GOP长度和GOP内要编码的帧数据23后，编码控制部分14输出指示信号。

编码控制部分14选择帧数据23作为编码对象，该帧数据23包括在输入运动图像数据21中，使得要在预定条件下编码的帧数据23的间隔是相等间隔，并且基于选择输出指示信号。

编码控制部分14例如从输入运动图像数据21的帧速率和输入运动图像数据21的帧速率的约数(或倍数)中选择要编码的运动图像数据的帧速率，并且基于选择的帧速率选择帧数据23作为编码对象。

从而，基于编码控制部分14的指令编码的运动图像数据的帧速率例如在1/60秒、1/30秒、1/20秒、1/15秒、1/12秒、1/5秒、1/4秒、1/3秒、1/2秒和1秒之间切换。

此外，基于这样的控制指令，视频编码执行部分15选择要编码的帧数据23，并且编码帧数据23。

例如，假设当没有调整编码量时编码的运动图像数据的帧速率是1/15秒。在该情况下，一级减少指令将编码的运动图像数据的帧速率改变为1/30秒。两级减少指令将编码的运动图像数据的帧速率改变为1/60秒。此外，一级增加指令将编码的运动图像数据的帧速率改变为1/12秒。两级增加指令将编码的运动图像数据的帧速率改变为1/5秒。

[图1中的编码设备1的整体操作]

接着将描述图1中的编码设备1的整体操作。

首先将描述正常操作。

图9表示图1中的编码设备1的初始化处理序列。

在图9中，当输入数据信息22存储在输入运动图像数据存储部分10中时，输入部分11读取输入数据信息22。

输入部分11确定输入运动图像数据21的帧间隔，在该帧间隔将输入运动图像数据21的帧数据23输出到视频编码执行部分15，并且在内部剩余该帧间隔(步骤ST31)。

编码控制部分14从输入运动图像数据存储部分10读取输入数据信息22，并且在内部存储输入运动图像数据21的帧间隔(步骤ST32)。

视频编码执行部分15从编码状况存储部分13读取初始编码信息24，确定编码所需的编解码类型、概况(profile)、级别(level)、位速率、帧速率、GOP长度等，并且准备编码(步骤ST33)。

编码控制部分14从编码状况存储部分13读取初始编号信息24。

编码控制部分14从由编码帧速率计算的帧间隔和之前存储的输入运动图像数据21的帧间隔计算编码存在或不存在信息，调整控制定时，并且输出编码存在或不存在信息和控制定时(步骤ST34)。

视频编码执行部分15在内部存储由编码控制部分14确定的编码存在或不存在信息和控制定时(步骤ST35)。

图10A和10B是帮助说明图1中的编码控制部分14输出到视频编码执行部分15的编码存在或不存在信息的图。

图10A中的输入运动图像数据21的多条帧数据23具有固定帧间隔。

在图10B的示例中，根据编码存在或不存在信息的运动图像数据的多条帧数据23具有通过交替地离散减少输入运动图像数据21获得的固定帧间隔。

此外，在GOP长度为“3”的情况下，输入运动图像数据21的六条帧数据23的时段是对应于GOP长度的时段。此外，编码从六条帧数据23交替选择的三条帧数据23。

图11表示图1中的输入部分11和视频编码执行部分15的典型编码处理序列。

当输入运动图像数据21存储在输入运动图像数据存储部分10中时，输入部分11读取输入运动图像数据21，并且将输入运动图像数据21输出到视频编码执行部分15。输入部分11以预先设置的帧间隔，按照顺序逐个将多条未压缩的帧数据23输出到视频编码执行部分15(步骤ST41-1到ST41-4)。

当输入帧数据23时，视频编码执行部分15基于编码存在或不存在信息等确定编码是否有必要。当要执行编码时，视频编码执行部分15基于预先提供的编码信息来编码帧数据23，并且将编码的帧数据23输出到输出部分16(步骤ST42-1到ST42-4)。

当输入编码的帧数据23时，输出部分16将帧数据23存储在输出运动图像数据存储部分17中(步骤ST43-1到ST43-4)。

每次从输入部分11输出帧数据23时，视频编码执行部分15和输出部分16重复上述处理。输出运动图像数据存储部分17从而存储由多条编码的帧数据23形成的第一输出数据25。

视频编码执行部分15在对每条帧数据23执行编码处理时独立地确定每条帧数据23的编码是否有必要，如图6所示。

视频编码执行部分15比较输出到输出部分16的编码的数据(帧数据23等)的数据量和缓冲器模型51的数据量。视频编码执行部分15然后根据数据量比较的结果调整编码量，以便符合如由运动图像标准定义的缓冲器37的控制的转换。视频编码执行部分15例如调整如Qp值等的量化参数，以宏块为单位插入跳过数据，或者插入跳过帧数据23。

结果，视频编码执行部分15根据视频编码执行部分15的自身判断，可以编码帧数据23或可以不编码帧数据23，而不管编码控制部分14的指令，该指令指示帧数据23的编码是否有必要。

当视频编码执行部分15由此根据缓冲器37中剩余的数据量进行关于帧数据23的编码是否有必要的最终判断时，编码的运动图像数据中的多条编码的图像数据的帧间隔不固定。

结果，当再现编码的运动图像数据时，在再现期间图像立即改变或者图像看起来停止一会儿。图像变为不稳定图像。

通过视频编码执行部分15控制的编码的运动图像数据的多条编码的图像数据的帧间隔可能变为不稳定，该视频编码执行部分15重复关于帧数据23的编码是否有必要。

观众对于这样的运动图像感觉不协调感。

图12表示当图1中的编码控制部分14开始控制时的编码处理序列。

基本处理流程类似于图11的流程，并且执行类似处理的步骤用相同参考标号表示。

每次输入帧数据23时，视频编码执行部分15计算符合标准的缓冲器模型51中编码所述帧数据23后的编码量，并且在内部保持该编码量(步骤ST42-1到ST42-4)。

当编码每个GOP的结束的定时到来时，视频编码执行部分15输出通知信号到编码控制部分14，该通知信号包括编码后在内部保持的编码量(步骤ST44)。

当输入通知信号时，编码控制部分14比较通知的所获得的编码量和图8中的缓冲器模型51中的每个阈值(步骤ST45)。此外，编码控制部分14根据比较结果为每条帧数据23生成编码存在或不存在信息，并且将编码存在或不存在信息作为指示信号输出到视频编码执行部分15(步骤ST46)。

视频编码执行部分15在内部保持接收的新的编码存在或不存在信息(步骤ST47)。

图13表示图1中的编码控制部分14开始控制后的编码处理序列。

基本处理流程类似于图11的流程，并且执行类似处理的步骤用相同参考标号表示。

然而，视频编码执行部分15基于图12所示的新的编码存在或不存在信息确定每条帧数据23的编码是否有必要，并且执行编码处理。

因此，当给出编码每两条帧数据中的一条帧数据的指令时，例如，视频编码执行部分15不输出编码的帧数据到输出部分16，如图13中的步骤ST42-2到ST42-4所示。

[编码的图像数据的示例]

图14A、14B和14C是示出通过图1中的编码设备1编码的运动图像数据的数据量的改变的示例的图。

图14A是示出输入运动图像数据21的图。图14B是示出编码的运动图像数据的图。图14C是示出MPEG-4视频缓冲器占用量的图。在图14A到14C中，时间从左边进行到右边。

在图14A到14C中，首先，编码输入运动图像数据21的所有各条帧数据23。

然而，如图14C所示，缓冲器占用量朝向下溢改变。

在该情况下，编码控制部分14在定时T1更新指示信号。视频编码执行部分15从而切换以便编码输入运动图像数据21的每个第二条帧数据23。视频编码执行部分15在每个2V时段中编码一条帧数据。

在图14A到14C的情况下，在第一指令改变后，缓冲器占用量同样朝向下溢改变。

在该情况下，编码控制部分14在定时T2进一步更新指示信号。视频编码执行部分15从而切换，以便编码输入运动图像数据21的每个第三条帧数据23。视频编码执行部分15在每个3V时段中编码一条帧数据。

图15A和15B是帮助说明当编码运动图像数据下溢时通过编码控制部分14进行的下溢抑制控制操作的图。

图15A示出缓冲器占用量。图15B示出图15A中的T3到T4时段的放大图。

在图15A中，在定时T3，VBV占用量变为少于下溢抑制阈值55。在该情况下，如图15B所示，作为编码对象的帧数据23的帧间隔变为每个第三条帧数据23的帧间隔。

结果，在定时T3后防止VBV占用量进一步减少。即，通过视频编码执行部分15防止VBV占用量减少到估计是下溢水平的水平。

图16A和16B是帮助说明当编码运动图像数据溢出时通过编码控制部分14进行的溢出抑制控制操作的图。

图16A是示出缓冲器占用量的图。图16B是图16A中的T5到T6时段的放大图。

在图16A中，在定时T7，VBV占用量超过溢出抑制阈值52。在该情况下，如图16B所示，作为编码对象的帧数据23的帧间隔从每二条帧数据23的帧间隔变为每条帧数据23的帧间隔。

结果，在定时T7后防止VBV占用量进一步增加。即，通过视频编码执行部分15防止VBV占用量增加到估计是溢出水平的水平。

图17A到21B是帮助说明通过图1中的编码设备1编码的运动图像数据的第一示例的图。

图17A到图21A是示出输入运动图像数据21的图。图17B到图21B是示出编码的运动图像数据的图。在图中，V表示输入运动图像数据21的帧时段。

图17A和17B表示这样的示例，其中在编码的运动图像数据的GOP长度保持固定在3的同时改变编码的运动图像数据的帧速率。

当编码操作帧速率等于或低于初始设置帧速率时，编码控制部分14给出指令以执行图17A和17B的操作。图17A和17B表示在设置的GOP长度转变为GOP内的帧数的情况下执行的控制示例。

具体地，基于定时T11的指示信号，通过视频编码执行部分15的编码帧数据23的操作从编码每条帧数据23的处理变为编码每个第二条帧数据23的处理，同时GOP长度保持为3。

此外，基于定时T12的指示信号，通过视频编码执行部分15的编码帧数据23的操作从编码每个第二条帧数据23的处理变为编码每个第三条帧数据23的处理，同时GOP长度保持为3。多条编码的图像数据的再现间隔从而变宽。

图18A和18B表示另一示例，其中在编码的运动图像数据的GOP长度保持固定在3的同时改变编码的运动图像数据的帧速率。当操作帧速率超过初始设置帧速率时，编码控制部分14给出指令以执行图18A和18B的操作。图18A和18B表示在设置的GOP长度转变为GOP内的帧数的情况下执行的控制示例。

具体地，基于定时T21的指示信号，通过视频编码执行部分15的编码帧数据23的操作从编码每个第二条帧数据23的处理变为编码每条帧数据23的处理，同时GOP长度保持为3。多条编码的图像数据的再现间隔从而变窄。

图19A和19B表示当操作帧速率超过初始设置帧速率时通过编码控制部分14指示的帧速率改变的另一示例。图19A和19B表示在设置的GOP长度转变为时间时执行的控制示例。

具体地，基于定时T22的指示信号，在保持输入运动图像数据21的每个GOP的时段的同时，通过视频编码执行部分15的编码帧数据23的操作从编码每个第二条帧数据23的处理变为编码每条帧数据23的处理。

图20A和20B表示另一示例，其中在编码的运动图像数据的GOP长度保持固定在3的同时改变编码的运动图像数据的帧速率。当操作帧速率超过初始设置帧速率时，编码控制部分14给出指令以执行图20A和20B的操作。图20A和20B表示在设置的GOP长度转变为GOP内的帧数的情况下执行的控制示例。

具体地，基于定时T31的指示信号，通过视频编码执行部分15的编码帧数据23的操作从编码每个第二条帧数据23的处理变为编码每条帧数据23的处理，同时GOP长度保持为3。

此外，视频编码执行部分15从将GOP内的三个画面编码为I画面、P画面和P画面的控制变为将GOP内的三个画面编码为I画面、B画面和P画面的控制。

图21A和21B表示当操作帧速率超过初始设置帧速率时通过编码控制部分14指示的帧速率改变的另一示例。图21A和21B表示在设置的GOP长度转变为时间时执行的控制示例。

具体地，基于定时T32的指示信号，在保持输入运动图像数据21的每个GOP的时段的同时，通过视频编码执行部分15的编码帧数据23的操作从编码每个第二条帧数据23的处理变为编码每条帧数据23的处理。

此外，视频编码执行部分15从将GOP内的三个画面编码为I画面、P画面和P画面的控制变为将GOP内的六个画面编码为I画面、B画面、P画面、B画面、P画面和B画面的控制。

[后处理操作]

接着将进行从视频编码执行部分15对其输入编码的视频数据的输出部分16的操作的描述。

输出部分16将从视频编码执行部分15输入的编码的帧数据23存储在输出运动图像数据存储部分17中。

当通过视频编码执行部分15的用于编码的实际操作帧速率等于或高于初始设置帧速率时，具体地，输出部分16将第一输出数据25和第二输出数据26存储在输出运动图像数据存储部分17中。

图22A和22B是帮助说明通过图1中的输出部分16的后处理操作的示例的图。

图22A是示出第一输出数据25的图。图22B是示出第二输出数据26的图。

在图22A和22B的情况下，输出部分16将设置的GOP长度解释为帧数，并且将第一输出数据25和第二输出数据26存储在输出运动图像数据存储部分17中。

具体地，输出部分16将设置的GOP长度解释为用于图20B中的每个GOP的帧数，并且将第一输出数据25存储在输出运动图像数据存储部分17中。

此外，输出部分16存储图20B中每个GOP的所有画面作为输出运动图像数据存储部分17中的第二输出数据26。

输出部分16因此基于通过视频编码执行部分15编码的一条帧数据23，生成对应于初始设置帧速率的输出数据以及对应于视频编码执行部分15的操作帧速率的输出数据。

图23A和23B是帮助说明通过图1中的输出部分16的后处理操作的另一示例的图。

图23A是示出第一输出数据25的图。图23B是示出第二输出数据26的图。

在图23A和23B的情况下，输出部分16将设置的GOP长度解释为帧数，并且将第一输出数据25和第二输出数据26存储在输出运动图像数据存储部分17中。

具体地，输出部分16将设置的GOP长度解释为用于图21B中的每个GOP的帧数，并且将第一输出数据25存储在输出运动图像数据存储部分17中。

此外，输出部分16将图21B中的每个GOP的全部画面作为第二输出数据26存储在输出运动图像数据存储部分17中。

如上所述，在第一实施例中，在视频编码执行部分15基于缓冲器模型51确定帧数据23的编码是否有必要之前，编码控制部分14改变用于编码的帧速率，以便稳定编码的图像数据的数据量。

因此，在第一实施例中，视频编码执行部分15较少在编码期间根据编码状况确定编码是否有必要，并且稳定编码的运动图像数据中的多条图像数据的帧速率。

结果，当再现通过根据第一实施例的编码设备1编码的运动图像数据时，运动图像看起来流畅，因为运动图像数据的帧速率稳定。

减少了这样的趋势，即例如在再现期间图像立即改变或显示一会儿，如同视频编码执行部分15在编码期间根据编码状况确定编码是否有必要的情况。可以防止给观众不协调的感觉。

在第一实施例中，因为编码的帧数据23的帧间隔稳定为基本上固定的间隔，所以用于再现帧数据23的再现设备63可以通过简单的补充功能内插和重建离散减少的帧。

具体地，编码控制部分14从输入运动图像数据21的帧速率和输入运动图像数据21的帧速率的约数(或倍数)中选择对视频编码执行部分15指示的编码帧速率。

结果，在第一实施例中，多条编码的图像数据对应于在每个固定间隔的输入运动图像数据21的图像数据。因此，可以防止给用户不协调的感觉。

编码控制部分14确定对视频编码执行部分15指示的编码帧速率，共享用于视频编码执行部分15的缓冲器模型51以确定帧数据23的编码是否有必要。因此，编码控制部分14的控制可以独立地防止视频编码执行部分15确定添加或删除帧。

在第一实施例中，对于溢出抑制，帧间隔尽可能缩短，并且增加每单位时间的编码次数。结果，第一实施例可以抑制编码量故障等，并且使得可能保持固定的帧间隔。

在第一实施例中，编码控制部分14对于相同的缓冲器51(编码量)使用专用的用于溢出抑制和下溢抑制的阈值，如同在视频编码执行部分15中。结果，在第一实施例中，即使在存在溢出或下溢的符号时，也可以从该状态返回之前阶段的正常状态。此外，第一实施例因此可以抑制由于编码量故障等的跳过，并且保持固定的帧间隔。

在第一实施例中，当尽可能缩短帧间隔并且增加每单位时间的编码次数时，作为从初始状态增加的帧被编码作为非参考帧内帧，如图20A和20B以及图21A和21B所示。此外，输出部分16生成用于初始设置帧速率的第一输出数据25和用于高于初始设置帧速率的帧速率的第二输出数据26。结果，再现设备63等可以根据再现设备63的性能等，从初始设置帧速率的图像质量的运动图像数据和更高图像质量的运动图像数据中选择输出数据，并且再现输出数据。

当实际操作帧速率超过初始设置帧速率时，一个GOP表示的时间可以通过将GOP长度解释为编码帧的数量来缩短，如图18A和18B以及图20A和20B所示。结果，每单位时间生成的帧间帧的数量可以增加，因此恢复点的数量可以增加。

当实际操作帧速率超过初始设置帧速率时，一个GOP表示的时间可以通过将GOP长度解释为编码时间来伸长，如图19A和19B以及图21A和21B所示。结果，可以减少帧间帧的数量，增加可分配给每个帧的编码量，因此改进每个图像的图像质量。

当实际操作帧速率低于初始设置帧速率时，一个GOP表示的时间可以通过将GOP长度解释为编码时间来伸长，如图17A和17B所示。结果，可以减少帧间帧的数量，增加可分配给每个帧的编码量，因此改进每个图像的图像质量。此外，由于该效果可以进一步抑制编码量(缓冲器模型51)故障。此外，因为一个GOP的长度携带的帧数固定，所以一个GOP的编码量可以容易地预测。

<2.第二实施例>

图24是示出根据本公开第二实施例的编码发送系统61的示意性框图。

图24的编码发送系统61具有成像设备62和再现设备63。

成像设备62具有成像部分71、输入缓冲存储器72、编码部分73、输出缓冲存储器74和第一通信部分75。

再现设备63具有第二通信部分81、接收缓冲存储器82、解码部分83、解码缓冲存储器84、再现部分85和监视器86。

成像设备62中的成像部分71例如是CMOS传感器或CCD传感器。成像部分71连接到输入缓冲存储器72。成像部分71将拾取的图像的信号输出到输入缓冲存储器72。输入缓冲存储器72存储一条拾取的图像数据。

编码部分73是图1所示的编码设备1。编码部分73连接到输入缓冲存储器72和输出缓冲存储器74。编码部分73从输入缓冲存储器72获取构成拾取的运动图像数据的图像数据(帧数据23)，编码图像数据，并且将编码的图像数据输出到输出缓冲存储器74。输出缓冲存储器74存储编码的图像数据。

第一通信部分75例如是无线电通信部分。第一通信部分75连接到输出缓冲存储器74。第一通信部分75通过预定通信频带中的无线电发送输出缓冲存储器74中存储的数据。

再现设备63中的第二通信部分81是能够与第一通信部分75通信的无线电通信部分。第二通信部分81连接到接收缓冲存储器82。第二通信部分81将从第一通信部分75接收的数据存储在接收缓冲存储器82中。接收缓冲存储器82从而存储编码的图像数据。

解码部分83连接到接收缓冲存储器82和解码缓冲存储器84。解码部分83解码接收缓冲存储器82中存储的编码的图像数据，并且将解码的图像数据存储在解码缓冲器存储器84中。解码缓冲存储器84存储解码的图像数据。

再现部分85连接到解码缓冲存储器84和监视器86。再现部分85以预定帧速率将解码缓冲存储器84中存储的图像数据输出到监视器86。监视器86从而显示由多个解码图像形成的运动图像。

上述实施例的每个是本公开优选实施例的示例。然而，本公开不限于此。可以进行各种修改和改变而不偏离本公开的精神。

例如，根据前述第一实施例的编码设备1和根据第二实施例的编码部分73通过MEPG-4视频系统编码运动图像数据的每条帧数据23。

除此以外，例如编码设备1或编码部分73可以通过H.264系统或MPEG-2系统编码运动图像数据的每条帧数据23。

图25是帮助说明在通过H.264系统编码时通过编码控制部分14的编码控制操作的图。

图25示出符合H.264系统的标准的缓冲器模型51。纵轴指示缓冲器模型51中保持的数据量。横轴指示时间。顺带提及，MPEG-2系统也使用类似于H.264系统的缓冲器模型51，并且根据缓冲器模型51中保持的数据量适当地控制要编码的数据量。

在MPEG-4视频系统中，如图14C所示，在开始编码处理时的初始值设为VBV值的预定百分比(％)。

另一方面，在H.264系统中，如图25所示，在开始编码时的初始值设为VBV值的0％。

因此，紧接在编码处理开始之后存在小的缓冲器占据量。

此外，在H.264系统中，视频编码执行部分15例如根据开始编码处理后预定时段后的编码数据的数据量，开始编码控制操作。

因此，在本公开应用于H.264系统的视频编码执行部分15的情况下，满足编码控制部分14根据预定时段后编码数据的数据量开始编码控制处理。

顺带提及，同样在MPEG-2中，可以通过编码控制部分14的控制类似地开始根据编码数据的数据量的编码控制操作。

前述第二实施例是根据第一实施例的编码设备1应用于成像设备62的示例。

成像设备62包括DSC(数字照相机)、摄像机、监控相机等。

编码设备1还可应用于例如便携式电话、PDA(个人数字助理)、电子书设备、笔记本计算机设备、导航设备和便携式再现设备。

此外，编码设备1可应用于再现设备、AV(音视频)设备、DLNA(数字生活网络联盟)服务器设备等。

本申请包含涉及于2010年6月28日向日本专利局提交的日本优先权专利申请JP2010-146434中公开的主题，在此通过引用并入其全部内容。

本领域的技术人员应该理解，取决于设计要求和其它因素，可以出现各种修改、组合、子组合和替换，只要它们在权利要求或其等价物的范围内。

Claims (17)

1.一种编码设备，包括：

获得部分，配置为获得包括可以预定速率再现的多条图像数据的运动图像数据；

确定部分，配置为确定通过所述获得部分获得的所述运动图像数据的所述图像数据的每一条的编码是否有必要，并且输出指示设为编码对象的图像数据或没有设为编码对象的图像数据的指示信号；以及

编码执行部分，配置为被提供所述指示信号，并且在根据所述确定部分的确定结果离散地减少图像数据的同时，编码通过所述获得部分获得的多条图像数据，其中

所述确定部分确定图像数据的每一条的编码是否有必要，使得通过所述编码执行部分编码的编码运动图像数据中的多条图像数据的再现间隔稳定，

所述编码执行部分输出通知信号到所述确定部分，所述通知信号用于在编码的执行期间重复通知所述编码运动图像数据的数据量，以及

输出所述指示信号的所述确定部分在所述编码的执行期间更新所述指示信号，使得在所述编码运动图像数据的数据量下，编码运动图像数据中的多条图像数据的再现间隔趋于相等间隔，所述编码运动图像数据的数据量由所述通知信号重复通知。

2.如权利要求1所述的编码设备，其中

所述确定部分比较所述编码运动图像数据的数据量与定义为存储所述编码运动图像数据的缓冲器的缓冲器的数据量，所述编码运动图像数据的数据量由所述通知信号通知，

当所述缓冲器的最大数据量和所述编码运动图像数据的数据量之间的差小时，所述确定部分更新所述指示信号，以便基于所述指示信号加宽编码图像数据的再现间隔，以及

当所述缓冲器的最小数据量和所述编码运动图像数据的数据量之间的差小时，所述确定部分更新所述指示信号，以便基于所述指示信号缩窄编码图像数据的再现间隔。

3.如权利要求1所述的编码设备，其中

所述编码执行部分基于所述编码运动图像数据的数据量，根据所述编码执行部分的自身判断，离散地减少和编码通过所述获得部分获得的所述图像数据，使得所述编码运动图像数据的数据量在预定范围内。

4.如权利要求3所述的编码设备，其中

当定义为存储所述编码运动图像数据的缓冲器的缓冲器的最大数据量和所述编码运动图像数据的数据量之间不存在差时，所述编码执行部分根据所述编码执行部分的自身判断，离散地减少要编码的图像数据，以及

当所述缓冲器的最小数据量和所述编码运动图像数据的数据量之间不存在差时，所述编码执行部分根据所述编码执行部分的自身判断，增加要编码的图像数据。

5.如权利要求4所述的编码设备，其中

所述编码执行部分基于所述缓冲器溢出或下溢，确定增加或删除要编码的图像数据，以及

所述确定部分基于为所述缓冲器的数据量设置的参考值，确定所述指示信号中指示的图像数据的每一条的编码是否有必要。

6.如权利要求1所述的编码设备，其中

当基于所述指示信号通过所述编码执行部分编码的多条图像数据的编码速率低于预先设置的编码速率时，所述确定部分更新所述指示信号，使得多条图像数据以宽于对应于预先设置的所述编码速率的间隔的间隔进行编码。

7.如权利要求1所述的编码设备，其中

当基于所述指示信号通过所述编码执行部分编码的多条图像数据的编码速率高于预先设置的编码速率时，所述确定部分更新所述指示信号，使得多条图像数据以窄于对应于预先设置的所述编码速率的间隔的间隔进行编码。

8.如权利要求7所述的编码设备，其中

所述确定部分更新所述指示信号，直到基于所述指示信号通过所述编码执行部分编码的多条图像数据与通过所述获得部分最大地获得的多条图像数据一一对应，以及

所述确定部分将通过所述编码执行部分编码的多条图像数据的最大编码速率设为等于通过所述获得部分获得的多条图像数据的速率。

9.如权利要求1所述的编码设备，其中

所述确定部分对于通过所述获得部分获得的运动图像数据的多条图像数据的每个组输出所述指示信号，以及

所述确定部分在所述指示信号中指示对应于所述指示信号的所述组中包括的所述多条图像数据的编码是否有必要。

10.如权利要求9所述的编码设备，其中

所述确定部分改变所述指示信号，以便根据通过所述编码执行部分编码的所述编码运动图像数据的数据量，增加或减少通过所述获得部分获得的运动图像数据中的多条图像数据的数量，所述多条图像数据的数量对应于所述组，而不增加或减少所述组内编码的图像数据的条数。

11.如权利要求10所述的编码设备，其中

每次所述编码执行部分基于所述指示信号编码所述组内的多条图像数据时，所述编码执行部分输出用于通知所述编码运动图像数据的数据量的通知信号到所述确定部分，以及

在所述编码运动图像数据的数据量下，输出所述指示信号的所述确定部分为下一个指示的组更新所述指示信号，使得编码运动图像数据中的多条图像数据的再现间隔趋于相等间隔，所述编码运动图像数据的数据量由通知信号通知。

12.如权利要求9所述的编码设备，其中

所述确定部分改变所述指示信号，以便根据通过所述编码执行部分编码的所述编码运动图像数据的数据量，增加或减少所述组内编码的图像数据的条数，而不增加或减少通过所述获得部分获得的运动图像数据中的多条图像数据的数量，所述多条图像数据的数量对应于所述组。

13.如权利要求12所述的编码设备，其中

每次所述编码执行部分基于所述指示信号编码所述组内的多条图像数据时，所述编码执行部分输出用于通知所述编码运动图像数据的数据量的通知信号到所述确定部分，以及

在所述编码运动图像数据的数据量下，输出所述指示信号的所述确定部分为下一个指示的组更新所述指示信号，使得编码运动图像数据中的多条图像数据的再现间隔趋于相等间隔，所述编码运动图像数据的数据量由通知信号通知。

14.如权利要求1所述的编码设备，还包括

后处理部分，被提供来自所述编码执行部分的所述编码运动图像数据，其中

当所述编码运动图像数据中的多条图像数据的速率高于预先设置的编码速率时，所述后处理部分生成用于更高速率的运动图像数据和用于所述预先设置的编码速率的运动图像数据。

15.一种成像设备，包括：

成像部分，配置为输出包括通过以预定速率成像获得的多条图像数据的运动图像数据；以及

编码部分，配置为编码所述运动图像数据，其中

所述编码部分包括

获得部分，配置为获得从所述成像部分输出的所述运动图像数据；

确定部分，配置为确定通过所述获得部分获得的所述运动图像数据的所述图像数据的每一条的编码是否有必要，并且输出指示设为编码对象的图像数据或没有设为编码对象的图像数据的指示信号；以及

编码执行部分，配置为被提供所述指示信号，并且在根据所述确定部分的确定结果离散地减少图像数据的同时编码通过所述获得部分获得的多条图像数据，以及

所述确定部分确定图像数据的每一条的编码是否有必要，使得通过所述编码执行部分编码的编码运动图像数据中的多条图像数据的再现间隔稳定，

所述编码执行部分输出通知信号到所述确定部分，所述通知信号用于在编码的执行期间重复通知所述编码运动图像数据的数据量，以及

输出所述指示信号的所述确定部分在所述编码的执行期间更新所述指示信号，使得在所述编码运动图像数据的数据量下，编码运动图像数据中的多条图像数据的再现间隔趋于相等间隔，所述编码运动图像数据的数据量由所述通知信号重复通知。

16.一种编码发送系统，包括：

编码部分，配置为编码包括通过以预定速率成像获得的多条图像数据的运动图像数据；

发送部分，配置为发送通过所述编码部分编码的编码运动图像数据；

接收部分，配置为接收通过所述发送部分发送的编码运动图像数据；以及

解码部分，配置为解码通过所述接收部分接收的编码运动图像数据，其中

所述编码部分包括

获得部分，配置为获得从成像部分输出的所述运动图像数据；

确定部分，配置为确定通过所述获得部分获得的所述运动图像数据的所述图像数据的每一条的编码是否有必要，并且输出指示设为编码对象的图像数据或没有设为编码对象的图像数据的指示信号；以及

编码执行部分，配置为被提供所述指示信号，并且在根据所述确定部分的确定结果离散地减少图像数据的同时，编码通过所述获得部分获得的多条图像数据，以及

所述确定部分确定图像数据的每一条的编码是否有必要，使得通过所述编码执行部分编码的编码运动图像数据中的多条图像数据的再现间隔稳定，

所述编码执行部分输出通知信号到所述确定部分，所述通知信号用于在编码的执行期间重复通知所述编码运动图像数据的数据量，以及

输出所述指示信号的所述确定部分在所述编码的执行期间更新所述指示信号，使得在所述编码运动图像数据的数据量下，编码运动图像数据中的多条图像数据的再现间隔趋于相等间隔，所述编码运动图像数据的数据量由所述通知信号重复通知。

17.一种编码方法，包括：

包括获得部分、确定部分和编码执行部分的编码设备的所述获得部分获得运动图像数据，所述编码设备配置为编码包括可以预定速率再现的多条图像数据的运动图像数据；

所述确定部分确定获得的所述运动图像数据的所述图像数据的每一条的编码是否有必要，并且输出指示设为编码对象的图像数据或没有设为编码对象的图像数据的指示信号；以及

所述编码执行部分在根据所述确定部分的确定结果离散地减少所述运动图像数据的图像数据的同时，编码获得的所述运动图像数据的图像数据，其中

所述确定部分确定图像数据的每一条的编码是否有必要，使得编码运动图像数据中的多条图像数据的再现间隔稳定，

所述编码执行部分输出通知信号到所述确定部分，所述通知信号用于在编码的执行期间重复通知编码运动图像数据的数据量，以及

输出所述指示信号的所述确定部分在所述编码的执行期间更新所述指示信号，使得在所述编码运动图像数据的数据量下，编码运动图像数据中的多条图像数据的再现间隔趋于相等间隔，所述编码运动图像数据的数据量由所述通知信号重复通知。