CN111406405A - 发送装置、发送方法和接收装置 - Google Patents

Abstract

本技术涉及使得能够生成3D数据的发送装置、发送方法和接收装置。标记生成装置基于3D图像的两帧之间的差异度来生成信息。发送装置发送基于差异度所生成的信息。例如，本技术可以应用于发送3D图像数据的发送装置。

Description

发送装置、发送方法和接收装置

技术领域

本技术涉及发送装置、发送方法和接收装置，并且特别地涉及与三维(3D)数据的生成相关的发送装置、发送方法和接收装置。

背景技术

在将三维形状数据(3D数据)传输到观看用户的终端并显示该3D数据的情况下，为了再现平滑的移动，优选较高的帧频；然而，目前，在某些情况下，生成具有高帧频的3D数据是很困难的。

因此，可以想到通过向上转换(up-converting)生成的具有较低帧频的3D数据来生成具有较高帧频的3D数据。

例如，非专利文献1提出了一种通过对来自相邻帧上所生成的二维(2D)图像的网格数据使用双向插值来生成相邻帧之间的帧顶点(vertex)位置，并生成具有较高帧频的3D数据的技术(例如，参见非专利文献1)。

对比文件目录

非专利文献

非专利文献1：林京妍、马钟贤、沈东贵(广元大学)、伊凡五世巴季奇(西门菲沙大学)，“基于双向网格的帧频向上转换”，电气和电子工程师协会(IEEE)计算机学会，2015年(Kyung-Yeon Min,Jong-Hyun Ma,and Dong-Gyu Sim(Kwangwoon University),IvanV.Bajic(Simon Fraser University),“Bidirectional Mesh-Based Frame Rate Up-Conversion”,IEEE Computer Society,2015)。

发明内容

本发明要解决的技术问题

然而，由于非专利文献1的技术是基于二维图像的插值处理，因此该技术无法应对3D形状自遮挡。

本技术已经鉴于这样的情况而进行，并且能够生成3D数据。

根据本技术的第一方面的发送装置包括：信息生成单元，其基于3D图像的两帧之间的差异度生成信息；以及发送单元，其基于生成的所述差异度来发送所述信息。

在根据本技术的第一方面的发送方法中，发送装置基于3D图像的两帧之间的差异度生成信息，并且基于生成的所述差异度来发送所述信息。

在本技术的第一方面中，生成和发送基于3D图像的两帧之间的差异度的信息。

根据本技术的第二方面的接收装置包括图像生成单元，该图像生成单元在基于两帧之间的差异度的信息的基础上，通过插值帧生成处理在3D图像的两帧之间生成插值帧。

在本技术的第二方面中，在3D图像的两帧之间的插值帧是在基于两帧之间的差异度的基础上，在插值帧生成流程中生成。

应注意的是，根据本技术的第一方面的发送装置和第二方面的接收装置可以通过使计算机执行程序来实现。

此外，为了实现根据本技术的第一方面的发送装置和根据本技术的第二方面的接收装置，将通过计算机执行的程序经由传输媒介来传输或者记录在记录媒介上以能够被提供。

发送装置和接收装置可以为独立的装置，或者可以为构成一个装置的内部块。

发明效果

根据本技术的第一方面，可以在接收数据的接收侧生成3D数据。

而且，根据本技术的第二方面，可以生成3D数据。

应注意的是，这里描述的效果不构成必须的限定，并且可以是本公开内容中描述的任何效果。

附图说明

图1是示出应用本技术的图像处理系统的第一实施方式的配置示例的框图。

图2是说明从成像到生成3D数据的处理的图。

图3是说明网格跟踪处理的图。

图4是说明插值处理的图。

图5是说明通过图像生成装置执行的插值帧生成处理的图。

图6是说明通过图像生成装置执行的插值帧生成处理的图。

图7是说明关键帧标记生成处理的流程图。

图8是说明关键帧标记存储处理的图。

图9是说明图8中A的关键帧标记存储处理的流程图。

图10是说明图8中B的关键帧标记存储处理的流程图。

图11是说明图8中A的关键帧标记分离处理的流程图。

图12是说明图8中B的关键帧标记分离处理的流程图。

图13是说明插值帧生成处理的流程图。

图14是说明插值处理的流程图。

图15是说明传输数据发送处理的流程图。

图16是说明传输数据接收处理的流程图。

图17是说明插值类型生成处理的流程图。

图18是说明在传输插值类型的情况下的插值帧生成处理的流程图。

图19是示出应用本技术的图像处理系统的第二实施方式的配置示例的框图。

图20是示出应用本技术的图像处理系统的第三实施方式的配置示例的框图。

图21是说明关键帧标记估计处理的流程图。

图22是示出应用本技术的图像处理系统的第四实施方式的配置示例的框图。

图23是说明插值帧生成处理的图。

图24是说明混合插值帧生成处理的流程图。

图25是说明在使用插值类型的情况下的插值类型生成处理的流程图。

图26是说明在使用插值类型的情况下的混合插值帧生成处理的流程图。

图27是示出应用本技术的图像处理系统的第五实施方式的配置示例的框图。

图28是示出应用本技术的图像处理系统的第六实施方式的配置示例的框图。

图29是示出应用本技术的图像处理系统的第七实施方式的配置示例的框图。

图30是示出应用本技术的图像处理系统的第八实施方式的配置示例的框图。

图31是示出应用本技术的计算机实施方式的配置示例的框图。

具体实施方式

在下文中将描述实现本技术的实施方式(以下称为实施方式)。应注意的是，将按照以下顺序提供描述：

1.图像处理系统的第一实施方式(基本配置示例)

2.关键帧标记生成处理

3.关键帧标记存储处理

4.关键帧标记分离处理

5.插值帧生成处理

6.插值处理

7.传输数据发送处理

8.传输数据接收处理

9.使用插值类型的示例

10.图像处理系统的第二实施方式(无压缩编码的配置示例)

11.图像处理系统的第三实施方式(不发送关键帧标记的配置示例)

12.图像处理系统的第四个实施方式(混合配置示例)

13.混合插值帧生成处理

14.使用插值类型的示例

15.图像处理系统的第五实施方式(不执行压缩编码的混合配置示例)

16.图像处理系统第六实施方式(不发送关键帧标记的配置示例)

17.图像处理系统的第七实施方式(混合配置修改)

18.图像处理系统的第八实施方式(基本配置修改)

19.计算机配置示例

<1.图像处理系统的第一实施方式>

图1是示出应用本技术的图像处理系统的第一实施方式的配置示例的框图。

图1中的图像处理系统1为包括发送通过成像主体所生成的三维形状数据(3D数据)的发送侧以及根据发送侧发送的3D数据生成具有较高帧频的3D数据的接收侧的系统。发送侧向接收侧发送用于将要发送的3D数据向上转换为高帧频的信息，具体地，就是基于两帧之间的差异度向其添加信息的3D数据。接收侧通过使用基于两帧之间的差异度的信息，将接收到的3D数据向上转换为高帧频。

图像处理系统1包括多个成像装置10A-1至10A-N(N＞1、3D建模装置11、标记生成装置12、跟踪装置13、编码装置14、发送装置15、接收装置16、解码装置17和图像生成装置18。

发送侧对应于多个成像装置10A-1至10A-N、3D建模装置11、标记生成装置12、跟踪装置13、编码装置14和发送装置15。接收侧对应于接收装置16、解码装置17和图像生成装置18。在不需要将多个成像装置10A-1至10A-N特别地彼此区分开的情况下，多个成像装置10A-1至10A-N中的每一个被简称为成像装置10A。

成像装置10A包括被动摄像机或主动摄像机(主动传感器)。

在成像装置10A包括被动摄像机的情况下，成像装置10A对主体进行成像，生成纹理图像(RGB图像)作为结果，并将该纹理图像(RGB图像)提供给3D建模装置11。

在成像装置10A包括主动摄像机的情况下，成像装置10A生成与由被动摄像机生成的图像类似的纹理图像，发送红外(IR)光，接收从主体反射并返回的IR光，从而生成IR图像，并将IR图像提供给3D建模装置11。另外，成像装置10A测量从接收到的IR光到该主体的距离，生成深度图像，其中到该主体的距离被存储为深度值，并且将该深度图像提供给3D建模装置11。

多个成像装置10A对该主体进行同步成像，并将所获得的拍摄图像作为结果提供给3D建模装置11。这里，在成像装置10A包括被动摄像机的情况下，通过使用成像装置10A进行成像而获得的拍摄图像仅仅是纹理图像。在成像装置10A包括主动摄像机的情况下，拍摄图像是纹理图像、IR图像和深度图像。另外，拍摄图像包括移动图像。

3D建模装置11基于由相应的多个成像装置10A所获得的拍摄图像执行该主体的3D形状建模处理，并将所获得的3D形状数据(3D数据)作为建模处理的结果提供给跟踪装置13和标记生成装置12。

图2是说明从通过多个成像装置10A成像到通过3D建模装置11生成3D数据的处理的图。

如图2所示，多个成像装置10A被布置在主体21的外侧以围绕主体21。图2示出了成像装置10A的数量为三个的示例，并且成像装置10A-1至10A-3被布置在主体21的周围。

3D建模装置11使用由三个成像装置10A-1至10A-3同步拍摄的拍摄图像来生成3D数据。例如，3D数据以网格数据的形式表示，在该网格数据中，通过称为多边形网格的顶点(至高点)之间的连接以及与每个多边形网格相关联的颜色信息来表示主体21的几何信息。该形式是由MPEG-4Part 16(动画框架扩展(AFX))标准化的形式。应注意的是，3D数据可以为另一种形式，例如，主体21的3D位置是一组点(点云)，与每个点相关联地存储颜色信息等。

根据由多个成像装置10A获得的拍摄图像生成3D数据的处理也称为3D重构(处理)。

返回到图1，标记生成装置12以帧为单位判断3D形状在来自3D建模装置11的3D数据中的连续的两帧之间是否极大地改变，并将作为关键帧标记的判断结果提供给跟踪装置13和发送装置15。关键帧标记是基于两帧之间的差异度的信息。例如，在某帧的关键帧标记为“1”的情况下，该帧是关键帧，即，其3D形状与前一帧相比发生了很大变化的帧。在关键帧标记为“0”的情况下，该帧不是关键帧。

标记生成装置12被提供有多边形网格的网格数据和具有与每个多边形网格相关联的颜色信息的形式的3D数据。

标记生成装置12计算两个相邻帧的网格数据之间的差异度，在计算出的差异度大于预定阈值的情况下，将关键帧标记设置为“1”，并在计算出的差异度不大于预定阈值的情况下，将关键帧标记设置为“0”。

两个相邻帧的网格数据之间的差异度可以通过使用例如下面的表达式(1)的豪斯多夫(Hausdorff)距离来进行计算：

[数学表达式1]

h(A，B)＝max_a∈A{min_b∈B{d(a，b)}}…(1)

表达式(1)中的集合A包括两个相邻帧中的一个的网格数据的各个顶点，而集合B包括另一帧的网格数据的各个顶点。作为表达式(1)的豪斯多夫距离，计算从包括在集合A中的顶点到集合B的最短距离的最大值。

跟踪装置13对来自3D建模装置11的作为3D数据提供的每一帧的网格数据执行网格跟踪处理，并将经过网格跟踪处理的网格数据提供给编码装置14。

另外，跟踪装置13提供有关键帧标记，该关键帧标记指示在来自标记生成装置12的以帧为单位的连续两帧中，3D形状是否极大地改变。

图3是示出由跟踪装置13所执行的网格跟踪处理的图。

应注意的是，在下文中，从跟踪装置13提供的经过网格跟踪处理前的每一帧的网格数据也被称为U网格，其是未注册的网格(Unregistered Mesh)的缩写，并且经过网格跟踪处理并从跟踪装置13输出后的每一帧的网格数据称为R网格，其是注册的网格(Registered Mesh)的缩写。此外，简单的表述“网格”意思是未注册的网格。

在由3D建模装置11生成的U网格中，由于不考虑帧之间的顶点的对应关系，因此顶点在帧之间彼此不对应。因此，例如，在某些情况下，对于每帧来说顶点数量是不同的。

相比之下，在网格跟踪处理中，在连续的帧之间搜索并确定相对应的顶点。因此，在R网格中，顶点的位置在帧之间彼此对应，并且各个帧中的顶点的数目相同。在这种情况下，只能通过顶点的移动来表达主体21的移动。

在R网格中，顶点的位置在帧之间彼此对应。因此，如图4所示，可以通过使用插值处理来获得两个相邻的已知帧的R网格之间的帧的R网格。

图4示出了如何通过使用插值处理获得在时间点t0和时间点t1之间的时间点t0.5处的帧的R网格，以及通过插值处理获得在时间点t1和时间点t2之间的时间点t1.5处的帧的R网格。

返回图1，关于从标记生成装置12提供的具有关键帧标记“0”的帧，跟踪装置13在具有关键帧标记“0”的帧之前的时间点对帧的网格数据执行网格跟踪处理，并将经过网格跟踪处理的网格数据提供给编码装置14。

相比之下，关于从标记生成装置12提供的具有关键帧标记“1”的帧，由于不能与在以前的时间点的帧的网格数据进行对应，跟踪装置13将U网格按照原样提供给编码装置14作为R网格。

编码装置14通过使用预定的编码系统对从跟踪装置13提供的每一帧的R网格进行压缩和编码。将通过压缩编码得到的每一帧的压缩的网格数据提供给发送装置15。例如，对于R网格的压缩编码，基于帧的动画网格编码(FAMC)(其为标准化为MPEG-4Part 16动画框架扩展(AFX)的工具之一)适用于对R网格进行压缩编码。可伸缩复杂3D网格压缩(SC-3DMC)可适用于U网格的压缩编码。

发送装置15使从编码装置14提供的每一帧的压缩的网格数据和从标记生成装置12提供的每一帧的关键帧标记被存储在一个比特流中，并且经由网络将该比特流发送给接收装置16。该网络包括，例如，诸如各种局域网络(LANs)、广域网(WANs)或IP-VPNs(因特网协议-虚拟专用网)等的专线网络，其包括因特网、电话网、卫星通信网和以太网(注册商标)等。

接收装置16经由网络接收来自发送装置15发送的3D数据比特流。然后，接收装置16将存储在3D数据的所接收的比特流中的每一帧的压缩的网格数据和每一帧的关键帧标记彼此分开，将每一帧的压缩的网格数据提供给解码装置17，并且将每一帧的关键帧标记提供给图像生成装置18。

解码装置17通过使用与编码装置14中的编码系统相对应的系统对从接收装置16提供的每一帧的压缩的网格数据进行解码。解码装置17将通过解码获得的每一帧的R网格提供给图像生成装置18。

图像生成装置18使用从解码装置17提供的每一帧的R网格和从接收装置16提供的每一帧的关键帧标记以执行生成插值帧的插值帧生成处理，以在从接收装置16所提供的各个帧之间将进行插值。因此，图像生成装置18生成其帧频被向上转换的3D数据。更具体地，图像生成装置18基于各个帧的关键帧标记通过在从解码装置17提供的各个帧之间的插值处理，生成新生成的插值帧的R网格，生成具有比接收到的网格数据更高的帧频的网格数据，然后将生成的网格数据输出给随后的装置。随后的装置包括，例如，基于所提供的网格数据生成3D图像并在显示器上显示3D图像的绘图装置等。

参照图5和图6，将描述由图像生成装置18执行的插值帧生成处理。

在图5和图6中，将描述下面的实例：根据通过多个成像装置10A获得的拍摄图像所生成的U网格和R网格的每一个的帧频为30帧/秒(fps)，通过使用插值帧生成处理生成具有60fps的R网格。、

图5是在关键帧标记为“0”的情况下示出的插值帧生成处理的示意图，即在连续帧之间，3D形状没有发生显著变化的情况下。

在3D建模装置11中，针对来自由多个成像装置10A获得的拍摄图像41的每一帧生成U网格42。然后，在跟踪装置13中，将U网格42转换为R网格43，并将具有30fps的R网格43从发送侧传输到接收侧。

在图5中，由多个成像装置10A获取的具有30fps的拍摄图像41，分别为拍摄图像41_t、41_t+2……，由3D建模装置生成的具有30fps的U网格42为U网格42_t、42_t+2……，由跟踪装置转换的R网格43为R网格43t、43_t+2、…。拍摄的图像41_t、41_t+2中的每个下标t、t+2、……表示获取拍摄图像41的时间点。U网格42和R网格43是相似的。

图像生成装置18通过使用插值帧生成处理，从发送侧接收到的具有30fps的R网格43生成具有60fps的R网格43。

在图5的例子中，图像生成装置18从时间点t时的R网格43_t和时间点t+2时的R网格43_t+2生成时间点t+1时的R网格43_t+1。

在时间点t时的R网格43t和时间点t+2时刻的R网格43_t+2的关键帧标记均为“0”，表示连续帧之间3D形状没有显著变化。

在这种情况下中，参照图4所描述，根据在时间点t时的R网格43t和时间点t+2时的R网格43_t+2的对应的各自的顶点坐标，图像生成装置18计算在时间点t+1时的对应的顶点坐标，以生成在时间点t+1时的R网格43_t+1。应注意的是，假设与时间点t+1时的R网格43_t+1相对应的颜色信息在现有技术中没有被特别限定，其使用时间点t时的R网格43t和时间点t+2时的R网格43_t+2的颜色信息通过任意方法生成。

图6是说明在关键帧标记为“1”的情况下(即在连续帧之间的3D形状具有很大变化的情况下)的插值帧生成处理的图。

在图6中，从发送侧提供在时间点t时的R网格43_t和时间点t+2时的R网格43_t+2的输出，时间点t+2时的R网格43_t+2的关键帧标记是“1”，这表明在时间点t时的R网格43t和时间点t+2时的R网格43_t+2之间3D形状具有极大地改变。

在时间点t和时间点t+2之间的帧的3D形状发生极大地改变时，在时间点t+2时的R网格43_t+2与紧接时间点t+2之前的时间点t时的R网格43_t并不对应。因此，无法如图4所描述，使用时间点t时的R网格43_t和时间点t+2时的R网格43_t+2执行插值处理。换句话说，3D形状发生了极大变化的情况属于以下情况：例如，在时间点t和时间t+2时的连续帧时的U网格42的顶点数之间的差等于或大于预定数量的情况；在网格跟踪处理中无法确定与紧接的前一帧的顶点对应的顶点的情况。

因此，如图6所示，图像生成装置18复制在时间点t时的R网格43_t，以生成在时间点t+1时R网格43_t+1。替选地，图像生成装置18复制在时间点t+2时的R网格43_t+2以生成在时间点t+1时的R网格43_t+1。在这种情况下，由于在时间点t+2时的R网格42_t+2实际上是在时间点t+2时的U网格42_t+2的拷贝，因此实质上是在时间点t+2时的U网格42_t+2被拷贝以生成在时间点t+1时的R网格。

如上所述，图像生成装置18基于关键帧标记来改变插值帧生成方法。

如上所述配置图1中的图像处理系统1。在下文中，将描述由各个装置执行的处理的细节。

<2、关键帧标记生成处理>

首先，将参考图7中的流程图来描述由标记生成装置12执行的关键帧标记生成处理。

首先，在步骤S11中，标记生成装置12将从3D建模装置11提供的3D数据的第一帧的关键帧标记设置为“1”(关键帧标记(0)＝1)。

在步骤S12中，标记生成装置12将指示3D数据的帧号的变量i设置为1。应注意的是，在步骤S11中为其设置关键帧标记为“1”的第一帧对应于帧号“0”。

在步骤S13中，标记生成装置12计算第i帧的U网格与第(i-1)帧的U网格之间的差异度Si。

在步骤S14中，标记生成装置12判断所计算的第i帧的差异度Si是否大于预定阈值。

在步骤S14中判断第i帧的差异度Si大于预定阈值的情况下，该处理进行到步骤S15，并且标记生成装置12将关键帧标记(i)设置为1，即将第i帧的关键帧标记设置为“1”，并且该处理进行到步骤S17。

相反，在步骤S14中判断第i帧的差异度Si等于或小于预定阈值的情况下，该处理进行到步骤S16，并且标记生成装置12设置关键帧标记(i)＝0，即，将第i帧的关键帧标记设置为“0”，并且该处理进行到步骤S17。

在步骤S17中，标记生成装置12判断指示帧号的变量i是否小于从3D建模装置11提供的3D数据的(帧总数-1)。

在步骤S17中判断指示帧数的变量i小于3D数据的(帧总数-1)时，即在判断关键帧标记没有为所有的3D数据都设置的情况下，则该流程进行到步骤S18。

然后，在步骤S18中，在指示帧号的变量i增加1之后，处理返回到步骤S13，并且再次执行上述步骤S13至S17。因此，设置下一帧的关键帧标记。

相反，在步骤S17中判断为指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，即在判断为所有的3D数据都设置了关键帧标记的情况下，则关键帧标记生成处理结束。

<3、关键帧标记存储处理>

接下来，将描述由发送装置15执行的关键帧标记存储处理。

如上所述，发送装置15使得从编码装置14提供的压缩网格数据和从标记生成装置12提供的每个帧的关键帧标记被存储在一个比特流中，并且将该比特流经由网络发送到接收器16。

这里，在比特流中存储每一帧的关键帧标记的方法可以为图8中所示的存储方法的两种类型中的一种。

存储方法中的一种是如图8中A所示的针对每一帧存储关键帧标记的方法。例如，关键帧标记被存储为每一帧的网格数据元数据。

另一种存储方法是如图8中B所示的集体地存储所有帧的关键帧标记的方法。例如，存储所有帧的关键帧标记作为比特流的元数据。

参考图9中的流程图，将给出在关键帧标记如图8中A所示存储在针对每一帧的比特流中的情况下的关键帧标记存储处理的描述。

首先，在步骤S31中，发送装置15将指示3D数据的帧号的变量i设置为0。

在步骤S32中，发送装置15使从标记生成装置12提供的第i帧的关键帧标记(关键帧标记(i)的值)作为附加于第i帧的压缩网格数据的元数据存储在比特流中。

在步骤S33中，发送装置15使从编码装置14提供的第i帧的压缩网格数据被存储在比特流中。

在步骤S34中，发送装置15判断指示帧号的变量i是否小于从编码装置14提供的3D数据的(帧总数-1)。

在步骤S34中判断指示帧号的变量i小于3D数据的(帧总数-1)的情况下，即在判断关键帧标记没有针对要发送的3D数据的所有帧进行存储的情况下，该处理进行到步骤S35。

然后，在步骤S35中，当指示帧号的变量i增加1之后，该处理返回到步骤S32，并再次执行上面描述的步骤S32-S34。因此，将执行存储下一帧的关键帧标记的处理。

相比之下，在判断步骤S34中指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，即在判断针对要发送的3D数据的所有帧都存储了关键帧标记的情况下，关键帧标记存储处理结束。

接下来，参照图10中的流程图，将给出在所有帧的关键帧标记如图8中B所示集体地存储在比特流中的情况下的关键帧标记存储处理的描述。

首先，在步骤S51中，发送装置15将指示3D数据的帧号的变量i设置为0。

在步骤S52中，发送装置15使从标记生成装置12提供的第i帧的关键帧标记(关键帧标记(i)的值)作为附加于比特流的元数据存储在比特流中。

在步骤S53中，发送装置15判断指示帧号的变量i是否小于从编码装置14提供的3D数据的(帧总数-1)。

在步骤S53中判断指示帧号的变量i小于3D数据的(帧总数-1)的情况下，即在判断关键帧标记没有针对要发送的3D数据的所有帧进行存储的情况下，该处理进行到步骤S54。

然后，在步骤S54中，当指示帧号的变量i增加1之后，该处理返回到步骤S52，并再次执行上面描述的步骤S52和S53。因此，将执行存储下一帧的关键帧标记的处理。

相反，在判断步骤S54中指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，即在判断针对要发送的3D数据的所有帧都存储了关键帧标记的情况下，关键帧标记存储处理结束。

首先，在步骤S55中，发送装置15再次将指示3D数据的帧号的变量i设置为0。

在步骤S56中，发送装置15使从编码装置14提供的第i帧的压缩的元数据被存储在比特流中。

在步骤S57中，发送装置15判断指示帧数的变量i是否小于从编码装置14提供的3D数据的(帧总数-1)。

在步骤S57中判断指示帧号的变量i小于3D数据的(帧总数-1)的情况下，即在判断还没有存储要发送的3D数据的所有帧的压缩的网格数据的情况下，该处理进行到步骤S58。

然后，在步骤S58中，当指示帧号的变量i增加1之后，该处理返回到步骤S56，并再次执行上面描述的步骤S56和S57。因此，将执行存储下一帧的压缩的网格数据的处理。

相反，在判断步骤S57中指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，即在判断针对要发送的3D数据的所有帧存储了压缩的网格数据的情况下，关键帧标记存储处理结束。

<4、关键帧标记分离处理>

接下来，参考图11中的流程图，将给出关键帧标记分离处理的描述，该分离处理分离针对每个帧存储关键帧标记的比特流。该处理是在发送装置15执行图9中的关键帧标记存储处理并发送比特流的情况下由接收装置16执行的处理。

首先，在步骤S71中，接收装置16将指示3D数据的帧号的变量i设置为0。

在步骤S72中，接收装置16分离并获取第i帧的关键帧标记(关键帧标记(i)的值)和第i帧的压缩的网格数据。然后，接收装置16将第i帧的关键帧标记提供给图像生成装置18，并且将第i帧的压缩的网格数据提供给解码装置17。

在步骤S73中，接收装置16判断指示帧号的变量i是否小于3D数据的(帧总数-1)。例如，3D数据的帧总数可以从比特流的元数据获取。

在步骤S73中判断指示帧号的变量i小于3D数据的(帧总数-1)的情况下，即在判断在接收到的3D数据的所有帧中关键帧标记和压缩的元数据都被彼此分离的情况下，该处理进行到步骤S74。

然后，在步骤S74中，当指示帧号的变量i增加1之后，该处理返回到步骤S72，并再次执行上面描述的步骤S72。因此，将执行使下一帧的关键帧标记和压缩的元数据彼此分离的流程。

相反，在判断步骤S73中指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，即在判断针对接收到的3D数据的所有帧关键帧标记和压缩的元数据都被彼此分离的情况下，关键帧标记分离处理结束。

接下来，参考图12中的流程图，将给出关键帧标记分离处理的描述，该分离处理对所有帧的关键帧标记都集体地存储于其中的比特流进行分离。该处理是在发送装置15执行图10中的关键帧标记存储处理并发送比特流的情况下由接收装置16执行的处理。

首先，在步骤S91中，接收装置16将获取作为附加于比特流的元数据存储的所有帧的关键帧标记(关键帧标记(i)的值)，并将该关键帧标记供应给图像生成装置18。

首先，在步骤S92中，接收装置16将指示3D数据的帧号的变量i设置为0。

在步骤S93中，接收装置16获取第i帧的压缩的元数据，并将该压缩的元数据供应给解码装置17。

在步骤S94中，接收装置16判断指示帧号的变量i是否小于3D数据的(帧总数-1)。例如，3D数据的帧的总数可以从比特流的元数据处获取。

在步骤S94中判断指示帧号的变量i小于3D数据的(帧总数-1)的情况下，即在判断还没有获取接收到的3D数据的所有帧的压缩的元数据的情况下，该处理进行到步骤S95。

然后，在步骤S95中，当指示帧号的变量i增加1之后，该处理返回到步骤S93，并再次执行上面描述的步骤S93。因此，将执行下一帧的获取压缩的元数据的处理。

相比之下，在判断步骤S94中指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，即在判断获取了接收到的3D数据的所有帧的压缩元数据的情况下，关键帧标记分离处理结束。

<5、插值帧生成处理>

接下来，参考图13中的流程图，将描述插值帧生成处理，其中图像生成装置18利用相应的帧的R网格和关键帧标记在接收到的相应的帧之间生成插值帧。

应注意的是，在执行图13中的插值帧生成处理之前，通过图11或12中的关键帧标记分离处理，供应给解码装置17的每一帧的压缩的网格数据被解码装置17解码，并提供至图像生成装置18。

首先，在步骤S111中，图像生成装置18将指示3D数据的帧号的变量i设置为0。

在步骤S112中，图像生成装置18判断第i帧的关键帧标记(关键帧标记(i)的值)是否为“1”。

在步骤S112中，在第i帧的关键帧标记为“1”的情况下，即第i帧的R网格与第(i-1)帧的R网格相比发生显著变化，则处理进行到步骤S113。

在步骤S113中，图像生成装置18将第(i-1)帧的R网格设置为在该时间点意图在第(i-1)帧和第i帧之间生成的插值帧的的R网格。换句话说，图像生成装置18复制第(i-1)帧的R网格，并生成在第(i-1)帧与第i帧之间的插值帧的R网格。

应注意的是，替代使用第(i-1)帧的R网格，可以使用第i帧的R网格(U网格)作为意图在该时间点生成的帧的R网格。

相反，在步骤S112中，如果第i帧的关键帧标记不是“1”(是“0”)，即第i帧的R网格与第(i-1)帧的R网格相比变化不大，该处理进行到步骤S114。

在步骤S114中，图像生成装置18通过利用第(i-1)帧的R网格和第i帧的R网格执行插值处理，并生成在(i-1)帧和第i帧之间的插值帧的R网格。

在步骤S115中，图像生成装置18判断指示帧号的变量i是否小于的3D数据的(帧总数-1)。

在S115步骤中判断指示帧号的变量i是否小于3D数据的(帧总数-1)的情况下，即在判断还没有生成在3D数据的所有帧之间的插值帧的情况下，该处理进行到步骤S116。

然后，在步骤S116中，当指示帧号的变量i增加1之后，该处理返回到步骤S112，并再次执行上面描述的步骤S112至S115。因此，将生成下一帧的插值帧的R网格。

相反，在步骤S115中判断指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，即在判断生成了3D数据的所有帧之间的插值帧的情况下，插值帧生成处理结束。

<6、插值处理>

参考图14中的流程图，将描述步骤S114中执行的插值流程。

首先，在步骤S131中，图像生成装置18将指示要生成的插值帧的顶点号的变量v设置为0。

在步骤S132中，图像生成装置18获得第(i-1)帧的第v顶点的坐标(x_(i-1)v,y_(i-1)v,z_(i-1)v)和第(i)帧的相对应的第v顶点的坐标(x_iv,y_iv,z_iv)，并且计算该插值帧的第v顶点的坐标(x'_v,y'_v,z'_v)。

例如，插值帧的第v顶点的坐标(x'_v,y'_v,z'_v)可以如下计算：

x'v＝(x_(i-1)v+x_iv)/2

y'v＝(y_(i-1)v+y_iv)/2

z'v＝(z_(i-1)v+z_iv)/2

应注意的是，上面的表达式是一个例子，其中在第(i-1)帧和第i帧之间的中间时间点处的帧被用作插值帧，但是，通过使用下列表达式，可以将在第(i-1)帧和第i帧之间的任意时间点的帧设置成插值帧。

x'v＝t*x_(i-1)v+(1-t)*x_iv

y'v＝t*y_(i-1)v+(1-t)*y_iv

z'v＝t*z_(i-1)v+(1-t)*z_iv

t为0.0≤t≤1.0的值，且在t＝1为第(i-1)帧的时间点，t＝0为第i帧的时间点的情况下，t对应于插值帧的时间点。

在步骤S133中，图像生成装置18判断表示顶点号的变量v是否小于插值帧的(顶点总数-1)。插值帧的顶点总数被设置为与第(i-1)帧和第i帧中的每个的顶点总数相同。

在步骤S133中判断指示顶点号的变量v小于插值帧的(顶点总数-1)的情况下，该处理进行到步骤S134。

然后，在步骤S134中，当指示顶点号的变量v增加1之后，该处理返回到步骤S132，并再次执行上面描述的步骤S132和S133。因此，将计算插值帧的下一顶点的坐标。

相反，在判断步骤S133中指示顶点号的变量v等于或大于插值帧的(顶点总数-1)的情况下，即在计算了插值帧的所有顶点的坐标的情况下，插值处理结束。

<7、传输数据发送处理>

接下来，参照图15的流程图，将描述作为整个发送侧的处理的传输数据发送处理。应注意的是，假设在此处理开始之前，通过分别使用多个成像装置10A拍摄主体而获得的拍摄图像被提供给3D建模装置11并存储在其中。

首先，在步骤S151中，3D建模装置11通过使用由所述多个成像装置10A同步拍摄的拍摄图像来生成3D数据。生成的3D数据被提供给标记生成装置12和跟踪装置13。此处，在每个成像装置10A都包括被动摄像机的情况下，拍摄的图像只是纹理图像。在每个成像装置10A包括主动摄像机的情况下，拍摄的图像是纹理图像、红外图像和深度图像。3D数据以具有多边形网格的网格数据和与每个多边形网格相关的颜色信息的形式表示。

在步骤S152中，标记生成装置12针对从3D建模装置11提供的3D数据的每一帧生成关键帧标记。更具体地，标记生成装置12计算两个相邻帧的网格数据之间的差异度，在计算出的差异度大于预定阈值的情况下，将关键帧标记设置为“1”，在计算出的差异度不大于预定阈值的情况下，将关键帧标记设置为“0”。步骤S152中的处理细节为参考图7描述的关键帧标记生成处理。

在步骤S153中，跟踪装置13执行网格跟踪处理，并根据从3D建模装置11提供的3D数据的每一帧的U网格来生成R网格。所生成的R网格被提供给编码装置14。

在步骤S154中，编码装置14通过使用预定的编码系统对从跟踪装置13提供的每个帧的R网格进行压缩和编码。通过压缩编码获得的压缩网格数据被提供给发送装置15。

在步骤S155中，发送装置15使从编码装置14提供的每个帧的压缩网格数据和从标记生成装置12提供的每个帧的关键帧标记被存储在比特流中。步骤S155中的处理细节为参考图3和图4描述的关键帧标记存储处理。

在步骤S156中，发送装置15将生成的比特流经由网络发送到接收装置16。

这样，传输数据发送处理结束。

<8、传输数据接收处理>

接下来，将参考图16的流程图描述作为整个接收侧的处理的传输数据接收处理。例如，当将比特流从发送装置15发送到接收装置16时，开始该处理。

首先，在步骤S171中，接收装置16经由网络接收从发送装置15发送的3D数据的比特流。

在步骤S172中，接收装置16将存储在接收的3D数据的比特流中的每个帧的压缩网格数据与每个帧的关键帧标记分离。接收装置16将每个帧的压缩网格数据提供给解码装置17，并且将每个帧的关键帧标记提供给图像生成装置18。步骤S172中的处理的细节是参考图11和12描述的关键帧标记分离处理。

在步骤S173中，解码装置17通过与编码装置14中的编码系统相对应的方法对从接收装置16提供的每一帧的压缩网格数据进行解码。解码装置17将通过解码获得的每一帧的R网格提供给图像生成装置18。

在步骤S174中，图像生成装置18使用从解码装置17提供的每一帧的R网格和从解码装置17提供的每一帧的关键帧标记，然后生成其帧频被向上转换的3D数据。步骤S174中的处理细节是参考图13描述的插值帧生成处理。

因此，传输数据接收处理结束。

根据在图像处理系统1中执行的传输数据发送处理和传输数据接收处理，发送侧生成和发送关键帧标记，且接收侧根据该关键帧标记执行对接收到的相应的帧进行插值的插值帧生成处理。因此，可以生成具有高帧频的3D数据。

在发送侧，不需要进行帧插值，仅需要以较低的帧频发送3D数据。因此，可以减少发送时的数据量。

在接收侧，接收具有较低帧频的3D数据，并接收每帧的关键帧标记。因此，可以生成具有较高帧频的3D数据。

由于在图像处理系统1中传输的3D数据是3D形状的网格数据，因此3D数据对3D形状的变化是稳健的。

应注意的是，在上述实施方式中，计算豪斯多夫(Hausdorff)距离作为两帧之间的差异度，并且在计算的豪斯多夫距离的基础上，关键帧标记的值被确定为信息基于两帧之间的差异度的信息。

但是，例如，豪斯多夫距离的计算值可以作为基于两帧之间的差异度的信息被传输。

<9、使用插值类型的示例>

替选地，其他信息也可以根据两帧之间的差异度从发送侧传输到接收侧。

例如，替代发送关键帧标记，发送侧可以发送用于指定生成插值帧的插值方法的插值类型(插值型)作为基于两帧之间的差异度的信息。具体来说，在标记生成装置12使得图像生成装置18执行插值处理的情况下，则发送插值类型“0”。在使用插值帧之后的帧的情况下，发送插值类型“1”。在使用插值帧之前的帧的情况下，发送插值类型“2”。插值类型是在关键帧标记的基础上确定的。

由标记生成装置12执行的插值类型生成处理将参照图17中的流程图进行描述。应注意的是，假设这个处理是在图7的关键帧标记生成处理之后执行的，并且每个帧的关键帧标记是已知的。

首先，在步骤S201中，标记生成装置12将指示3D数据的帧号的变量i设置为0。

在步骤S202中，标记生成装置12判断第(i+1)帧的关键帧标记是否已经生成。

在步骤S202中判断没有生成第(i+1)帧的关键帧标记的情况下，该处理进行到步骤S203，并且标记生成装置12将第i帧的插值类型设置为“2”(插值类型(i)＝2),然后该处理进行到步骤S207。

相反，在步骤S202中判断已经生成第(i+1)帧的关键帧标记的情况下，该处理进行到步骤S204，且标记生成装置12判断第i+1帧的关键帧标记是否为“0”。

在步骤S204中，在判断第(i+1)帧的关键帧标记不是“0”的情况下，即第(i+1)帧的关键帧标记是“1”的情况下，该处理进行到步骤S205。

在步骤S205中，标记生成装置12将第i帧的插值类型设置为“1”(插值类型(i)＝1)，然后该处理进行到步骤S207。

相比之下，在步骤S204中判断第(i+1)帧的关键帧标记为“0”的情况下，标记生成装置12将第i帧的插值类型设置为“0”(插值类型(i)＝0),然后该处理进行到步骤S207。

在步骤S207中，标记生成装置12判断指示帧号的变量i是否小于3D数据的(帧总数-1)。

在步骤S207中判断指示帧号的变量i小于3D数据的(帧总数-1)的情况下，也就是说，在判断并不是3D数据的所有帧的插值类型都已经被确定的情况下，该处理进行到步骤S208。

然后，在步骤S208中，当指示帧号的变量i增加1之后，该处理返回到步骤S202，并再次执行上面描述的步骤S202至S207。因此，确定下一帧的插值类型。

相反，在步骤S207中判断指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，也就是说，在判断3D数据的所有帧的插值类型都被确定的情况下，插值类型生成处理结束。

接下来，将参照图18的流程图描述在插值帧被存储在比特流中并代替关键帧标记被传输的情况下执行插值帧生成处理。该处理由图像生成装置18替代图13的插值帧生成处理地执行。

首先，在步骤S221中，标记生成装置18将指示3D数据的帧号的变量i设置为1。

在步骤S222中，标记生成装置18判断第i帧的插值类型(插值类型(i))是否为“0”。

在步骤S222中判断第i帧的插值类型是“0”的情况下，该处理进行到步骤S223。

在步骤S223中，图像生成装置18通过使用第(i-1)帧的R网格和第i帧的R网格执行插值处理，生成在第(i-1)帧和第i帧之间的插值帧的R网格，该处理进行到步骤S227。

相反，在在步骤S222中判断第i帧的插值类型不是“0”的情况下，该处理进行到步骤S224。

在步骤S224中，图像生成装置18确定第i帧的插值类型(插值类型(i)的值)是否为“1”。

在步骤S224中判断第i帧的插值类型是“0”的情况下，该处理进行到步骤S225，图像生成装置18复制第i帧的R网格，生成要在第(i-1)帧和第i帧之间生成的时间点处的插值帧的R网格，然后该处理进行到步骤S227。

相反，在步骤S224中判断第i帧的插值类型不是“1”，即是说是“2”的情况下，该处理进行到步骤S226。图像生成装置18复制第(i-1)帧的R网格，生产要在第(i-1)帧和第i帧之间生成的时间点处的插值帧的R网格，然后该处理进行到步骤S227。

在步骤S227中，图像生成装置18判断指示帧号的变量i是否小于3D数据的(帧总数-1)。

在步骤S207中判断指示帧号的变量i小于3D数据的(帧总数-1)的情况下，也就是说，在判断还未生成3D数据的所有帧的插值类型的情况下，该处理进行到步骤S228。

然后，在步骤S228中，当指示帧号的变量i增加1之后，该处理返回到步骤S222，并再次执行上面描述的步骤S222至S227。因此，生成下一帧的插值帧的R网格。

相反，在步骤S227中判断指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，也就是说，在判断生成了3D数据的所有帧的插值类型的情况下，插值类型生成处理结束。

如上所描述，即使在发送侧发送插值类型(而不是关键帧标记)的情况下，接收侧也可以基于插值类型在接收的帧之间生成插值帧。

<10、图像处理系统的第二实施方式>

图19是示出应用了本技术的图像处理系统的第二实施方式的配置示例的框图。

在图19中，与上述第一实施方式中的那些部分相对应的部分由相同的附图标记表示，并且将适当地省略其描述。

通过比较图1和图19可以看出，在第二实施方式中，省略了发送侧的编码装置14和接收侧的解码装置17。在第一实施方式中，每一帧的压缩网格数据被存储在比特流中。然而，第二实施方式的不同之处在于存储未压缩和未编码的每一帧的网格数据。

跟踪装置13向发送装置15提供R网格，R网格为经过网格跟踪处理的网格数据。发送装置15使从跟踪装置13提供的每一帧的R网格和从标记生成装置12提供的每个帧的关键帧标记被存储在比特流中，并且将该比特流经由网络发送到接收装置16。

接收装置16经由网络接收从发送装置15发送的3D数据的比特流。然后，接收装置16将存储在接收的3D数据的比特流中的每个帧的网格数据和关键帧标记彼此分离，并将网格数据和关键帧标记提供给图像生成装置18。

第二实施方式中的发送侧上的传输数据发送流处理是从图15的步骤S151至S156中省略步骤S154的处理。

第二实施方式中的接收侧上的传输数据接收处理是其中从图16的步骤S171至S174中省略步骤S173的处理。

如上所述，将发送的网格数据可以像第一实施方式中那样通过预定编码系统进行压缩和编码，或者可以不像第二实施方式中那样进行压缩和编码。

<11、图像处理系统的第三实施方式>

图20是示出应用了本技术的图像处理系统的第三实施方式的配置示例的框图。

在图20中，与上述第一实施方式中的那些部分相对应的部分由相同的附图标记表示，并且将适当地省略其描述。

通过比较图1和图20可以看出，在第三实施方式中，省略了发送侧的标记生成装置12，并且使用发送装置61代替发送装置15。而且，在接收侧，使用接收装置62代替发送装置15，并且新添加标记估计装置63。

在第一实施方式中，每一帧的关键帧标记通过标记生成装置12生成，存储在比特流中并被发送。然而，在第三实施方式中，不生成每一帧的关键帧标记，也不将其发送到接收侧。

因此，与第一实施方式的图15的不同之处在于，发送装置61仅使每一帧的压缩网格数据被存储在比特流中，而不会使每一帧的关键帧标记被存储在比特流中。

第三实施方式中的发送侧的传输数据发送处理是排除与图15的传输数据发送处理的关键帧标记有关的处理的处理。

接收装置62从发送装置61接收其中仅存储了每一帧的压缩网格数据的比特流，并将该比特流提供给解码装置17。也就是说，接收装置62与第一实施方式的接收装置16不同的是接收装置62不执行关键帧标记分离处理。

由于不从发送侧发送关键帧标记，因此标记估计装置63基于每一帧的帧类型来估计并生成关键帧标记，并将关键帧标记提供给图像生成装置18。具体地，在内部帧(以下称为I帧)、预测帧(以下称为P帧)和双向预测帧(以下称为B帧)的帧类型中，标记估计装置63针对帧类型为I帧的帧将关键帧标记确定为“1”，并且针对帧类型为P帧或B帧的帧将关键帧标记确定为“0”，然后生成关键帧标记。

参考图21的流程图将描述通过标记估计装置63执行的关键帧标记估计处理。

首先，在步骤S241中，标记估计装置63将指示3D数据的帧号的变量i设置为0。

在步骤S242中，标记估计装置63判断第i帧的帧类型是否为I帧(内部帧)。

在判断步骤S242中第i帧的帧类型为I帧的情况下，该处理进行到步骤S243

在步骤S243中，标记估计装置63将第i个帧的关键帧标记确定为“1”，并将该关键帧标记提供给图像生成装置18。

相反，在步骤S242中判断第i帧的帧类型不是I帧的情况下，也就是说第i帧的帧类型是“P帧”或“B帧”的情况下，该处理进行到步骤S244。

在步骤S244中，标记估计装置63将第i个帧的关键帧标记确定为“0”，并将该关键帧标记提供给图像生成装置18。

在步骤S245中，图像估计装置63判断指示帧号的变量i是否小于3D数据的(帧总数-1)。

在步骤S245中判断指示帧号的变量i小于3D数据的(帧总数-1)的情况下，也就是说，在判断没有确定3D数据的所有帧的关键帧标记的情况下，该处理进行到步骤S246。

然后，在步骤S246中，当指示帧号的变量i增加1之后，该处理返回到步骤S242，并再次执行上面描述的步骤S242至S245。因此，生成下一帧的关键帧标记。

相反，在步骤S245中判断指示帧号的变量i等于或大于3D数据的(帧总数-1)的情况下，也就是说，在判断3D数据的所有帧的关键帧标记被确定的情况下，关键帧标记估计处理结束。

第三实施方式中的接收侧上的传输数据接收处理是这样的处理：用上面描述的关键帧标记估计处理替换图16中的传输数据接收处理的步骤S172中的将压缩网格数据和关键帧标记彼此分离的处理，并且使用估计的关键帧标记代替接收的关键帧标记。

<12、图像处理系统的第四实施方式>

图22是示出应用了本技术的图像处理系统的第四实施方式的配置示例的框图。

在图22中，与上述第一实施方式中的那些部分相对应的部分由相同的附图标记表示，并且将适当地省略其描述。

在图22的第四实施方式中，与图1的第一实施方式相比，在发送侧新设置了多个成像装置10B-1至10B-M(M＞1)、3D建模装置111、跟踪装置113、编码装置114和发送装置115。此外，在接收侧，新设置了接收装置116和解码装置117。此外，图像生成装置18被混合图像生成装置120代替。

在不需要特别地将多个成像装置10B-1至10B-M彼此区分开的情况下，多个成像装置10B-1至10B-M中的每一个被简称为成像装置10B。

在第四实施方式中，基于由多个成像装置10A获得的拍摄图像的3D数据从发送侧传输到接收侧，并且基于由多个成像装置10B获得的拍摄图像的3D数据也被从发送侧传输到接收侧。

多个成像装置10A和多个成像装置10B的共同之处在于：多个成像装置10A或多个成像装置10B同步地拍摄主体的图像，并将获得的拍摄图像作为结果提供给随后的3D建模装置11或3D建模装置111。多个成像装置10A中的每个包括被动摄像机或主动摄像机，并且多个成像装置10B中的每个都包括被动摄像机或主动摄像机。

相反，多个成像装置10A和多个成像装置10B的不同之处在于：在对主体进行成像时的帧频彼此不同。由多个成像装置10B拍摄的拍摄图像的帧频高于由多个成像装置10A拍摄的拍摄图像的帧频。

如上所述，成像装置10A和成像装置10B中的任何一个都包括被动摄像机或主动摄像机。但是，通常来说，主动摄像机具有较低的帧频。因此，在本实施方式中，将假设多个成像装置10B中的每一个是以60fps拍摄图像的被动摄像机，并且多个成像装置10A中的每一个都是以30fps拍摄图像的主动摄像机来进行描述。

与3D建模装置11类似，3D建模装置111基于通过相应的多个成像装置10B拍摄和获得的多个拍摄图像执行主体的3D形状建模处理，并且将获取的3D数据作为结果提供给跟踪装置113。

应注意的是，在下文中，为了使描述易于理解，将基于由多个成像装置10B获得的拍摄图像的3D数据称为3D数据B，并将基于由多个成像装置10B获得的拍摄图像的3D数据称为3D数据A。

与跟踪装置13类似，跟踪装置113对从3D建模装置111提供作为3D数据B的每个帧的网格数据(U网格)执行网格跟踪处理，并将经过网格跟踪处理的网格数据(R网格)提供给编码装置14。

与编码装置14类似，编码装置114通过预定编码系统对从跟踪装置113提供的每个帧的R网格进行压缩和编码，并且将获得的每个帧的压缩的网格数据作为结果提供给发送装置115。

与根据第三实施方式的不传输关键帧标记的发送装置61类似，发送装置115仅使每个帧的压缩网格数据被存储在比特流中，并将该比特流发送给接收装置116。

与第三实施方式的不传输关键帧标记的接收装置62类似，接收装置116接收比特流并将该比特流提供给解码装置117。

与解码装置17类似，解码装置117通过使用与编码装置114中的编码系统相对应的系统，对从接收装置116提供的每个帧的压缩网格数据进行解码。解码装置117将通过解码获得的每一帧的R网格提供至混合图像生成装置120。

应注意的是，在第四实施方式中，可以省略跟踪装置113。在这种情况下，将从跟踪装置113输出的每一帧的U网格提供给编码装置114。

将参照图23描述由混合图像生成装置120执行的插值帧生成处理。

图23是与第一实施方式中的图6类似地示出在时间点t+2处的关键帧标记为“1”的情况下的插值帧生成处理的图。

与图6类似，在图23中示出了由多个成像装置10A获得的具有30fps的拍摄图像41_t、拍摄图像41_t+2……以及由3D建模装置11生成的具有30fps的U网格42_t、U网格42_t+2……。

此外，添加了由多个成像装置10B获得的具有60fps的拍摄图像44t、拍摄图像44_t+1、拍摄图像44_t+2……。

在第一实施方式中，当在时间点t+2处的关键帧标记为“1”时，复制在时间点t处的R网格，或者复制在时间点t+2处的R网格42_t+2(U网格42_t+2)，因此生成在时间点t+1处的R网格42_t+1。

相反，在第四实施方式中，通过使用从具有较高帧频的拍摄图像44_t+1获得的R网格来生成在时间点t+1处的R网格42_t+1。

在关键帧标记为“0”的情况下的插值帧生成处理与第一实施方式类似。例如，与在时间点t+3处的R网格43_t+3类似，在时间点t+3之前和之后的时间点t+2处的R网格43_t+2和时间点t+4处的R网格43_t+4之间的插值处理中生成在时间点t+3处的R网格43_t+3。

基于由多个成像装置10B获得的多个拍摄图像，关于用于发送3D数据B的发送侧的处理与其中每个帧的关键帧标记不被传输的第三实施方式的传输数据发送处理类似。

关于基于由多个成像装置10B获得的多个捕获图像的接收3D数据B的接收侧的处理是其中不分离每个帧的关键帧标记并执行图16的传送数据接收处理的步骤S171和S173的处理。

<13、混合插值帧生成处理>

参考图24的流程图，将描述生成3D数据的混合插值帧生成处理，通过使用具有不同帧频的3D数据A和B两种类型对该混合插值帧生成处理的帧频进行向上转换。

应注意的是，在执行图24的混合插值帧生成处理之前，具有低帧频的每个帧的R网格从解码装置17提供给混合图像生成装置120，以及具有高帧频的每个帧的R网格从解码装置117提供给混合图像生成装置120。

首先，在步骤S261中，混合图像生成装置120将指示3D数据的帧号的变量i设置为1。

在步骤S262中，混合图像生成装置120判断第i帧的关键帧标记(关键帧标记(i)的值)是否为“1”。

在步骤S262中，在第i帧的关键帧标记为“1”的情况下，即第i帧的R网格与第(i-1)帧的R网格相比发生显著变化时，处理进行到步骤S263。

在步骤S263中，混合图像生成装置120判断想要生成的时间点处的帧的R网格是否在具有较高帧频的3D数据B的帧的R网格中存在。

在步骤S263中判断在想要生成的时间点处的帧的R网格存在的情况下，处理进行到步骤S264。

在步骤S264中，混合图像生成装置120将在具有较高帧频的3D数据B的想要生成的时间点处的帧的R网格，用作想要在第(i-1)帧和第i个帧之间生成的时间点处的插值帧的R网格，然后该处理进行到步骤S267。

相反，在步骤S263中判断想要生成的时间点处的帧的R网格不存在的情况下，该处理进行到步骤S265。

在步骤S265中，混合图像生成装置120将低帧频的第(i-1)帧的R网格，用作要在第(i-1)帧和第i帧之间生成的时间点处的插值帧的R网格，该处理进行到步骤S267。

相反，在步骤S262中，在第i帧的关键帧标记不是“1”(是“0”)的情况下，也就是说，第i帧的R网格已经从第(i-1)帧的网格极大地改变，该处理进行到步骤S266。

在步骤S266中，混合图像生成装置120通过使用具有较低帧频的第(i-1)帧的R网格和第i帧的R网格来执行插值处理，生成在第(i-1)帧和第i帧之间的插值帧的R网格，该处理进行到步骤S267。

在步骤S267中，混合图像生成装置120判断指示帧号的变量i是否小于具有较低帧频的3D数据A的(帧总数-1)。

在步骤S267中判断指示帧号的变量i小于3D数据A的(帧总数-1)，即在判断并未生成非3D数据A的所有帧之间的所有插值帧的情况下，该处理进行到步骤S268。

然后，在步骤S268中，当指示帧号的变量i增加1之后，该处理返回到步骤S262，并再次执行上面描述的步骤S262至S267。因此，将生成下一帧的插值帧的R网格。

相反，在步骤S267中判断指示帧号的变量i等于或大于3D数据A的(帧总数-1)的情况下，也就是说，在判断生成了3D数据的所有帧的插值帧的情况下，混合插值帧生成处理结束。

如上所述，在混合插值帧生成处理中，在帧的关键帧标记为“1”的情况下，即，在该主体的3D形状相对于前一帧的变化很大的情况下，可以通过使用具有较高帧频的网格数据在想要生成的时间点处生成插值帧的R网格。

因此，通过将具有不同帧频的两种类型的3D数据A和B从发送侧传输到接收侧，即使在主体的3D形状的变化很大的情况下，也能够生成其帧频被向上转换的具有较高帧频的3D数据。

<14、使用插值类型的示例>

同样在第四实施方式中使用具有不同帧频的两种类型的成像装置10A和10B，发送侧可以发送指定插值方法的插值类型，而不发送关键帧标记。

图25示出了在第四实施方式中在使用插值类型代替关键帧标记的情况下的插值类型生成处理的流程图。假定在图7的关键帧标记生成处理之后并且每一帧的关键帧标记已知的情况下执行该处理。

首先，在步骤S291中，标记生成装置12将指示具有较低帧频的3D数据A的帧号的变量i设置为0。

在步骤S292中，标记生成装置12判断已经生成第(i+1)帧的关键帧标记。

在步骤S292中判断没有生成第(i+1)帧的关键帧标记的情况下，该处理进行到步骤S293，并且标记生成装置12将第i帧的插值类型设置为“2”(插值类型(i)＝2)，该处理进行到步骤S299。

相反，在步骤S292中判断第(i+1)帧的关键帧标记已经生成的情况下，该处理进行到步骤S294，并且标记生成装置12判断第(i+1)帧的关键帧标记是否为“0”。

在步骤S294中，在判断为第(i+1)帧的关键帧标记不是“0”的情况下，即，第(i+1)帧的关键帧标记为“1”，该处理进行到步骤S295。

在步骤S295中，标记生成装置12检查由3D建模装置111拍摄的具有较高帧频的3D数据B，并判断具有较高帧频的成像装置10B是否在具有较低帧频的3D数据A的第i帧和第(i+1)帧之间的时间点拍摄图像。

在步骤S295中判断具有较高帧频的成像装置10B在第i帧和第(i+1)帧之间的时间点拍摄图像时，该处理进行到步骤S296，且标记生成装置12将第i帧的插值类型设置为“3”(插值类型(i)＝3)，然后该处理进行到步骤S299。

相反，在步骤S295中判断具有较高帧频的成像装置10B没有在第i帧和第(i+1)帧之间的时间点拍摄图像时，该处理进行到步骤S297，且标记生成装置12将第i帧的插值类型设置为“1”(插值类型(i)＝1)，然后该处理进行到步骤S299。

相反，在步骤S294中判断第(i+1)帧的关键帧标标记为“0”的情况下，该处理进行到步骤S298，且标记生成装置12将第i帧的插值类型设置为“0”(插值类型(i)＝0)，然后该处理进行到步骤S299。

在步骤S299中，标记生成装置12判断指示帧号的变量i是否小于具有较低帧频的3D数据A的(帧总数-1)。

在步骤S299中判断指示帧号的变量i小于3D数据A的(帧总数-1)的情况下，即在判断还没有确定3D数据A的所有帧之间的所有插值类型的情况下，该处理进行到步骤S230。

然后，在步骤S230中，当指示帧号的变量i增加1之后，该处理返回到步骤S292，并再次执行上面描述的步骤S292至S299。因此，确定了低帧频3D数据A的下一帧的插值类型。

相反，在步骤S207中判断指示帧号的变量i等于或大于3D数据A的(帧总数-1)的情况下，即在确定了3D数据A的所有帧之间的插值类型的情况下，插值类型生成处理结束。

接下来，将参考图26的流程图描述在使用插值类型的情况下的混合插值帧生成处理。在比特流中存储插值类型并传输插值类型的情况下，代替图24中的混合插值帧生成处理，执行该处理。

首先，在步骤S311中，混合图像生成装置120将指示具有较低帧频的3D数据A的帧号的变量i设置为1。

在步骤S312中，混合图像生成装置120判断3D数据A的第i帧的插值类型(插值类型(i)的值)为“0”。

在步骤S312中判断出第i帧的插值类型为“0”的情况下，该处理进行到步骤S313。

在步骤S313中，混合图像生成装置120通过使用具有较低帧频的3D数据A的第(i-1)帧的R网格和第i帧的R网格来执行插值处理，生成在第(i-1)帧和第i个帧之间的插值帧的R网格，然后该处理进行到步骤S319。

相反，在步骤S312中判断第i帧的插值类型不为“0”的情况下，该处理进行到步骤S314。

在步骤S314中，混合图像生成装置120判断3D数据A的第i帧的插值类型(插值类型(i)的值)是否为“3”。

在步骤S314中判断第i帧的插值类型不是“3”的情况下，该处理进行到步骤S315，并且混合图像生成装置120判断第i帧的插值类型(插值类型(i)的值)否为“1”。

在步骤S315中判断第i帧的插值类型(插值类型(i)的值)为“1”的情况下，该处理进行到步骤S316，混合图像生成装置120复制具有低帧频的3D数据A的第i帧的R网格，生成在第(i-1)帧和第i帧之间的想要生成的时间点处的插值帧的R网格，然后该处理进行到步骤S319。

相反，在步骤S315中判断第i帧的插值类型不是“1”的情况下，即第i帧的插值类型是“2”的情况下，该处理进行到步骤S317，混合图像生成装置120复制具有较低帧频的3D数据A的第(i-1)帧的R网格，生成在第(i-1)帧和第i帧之间的想要生成的时间点处的插值帧的R网格，然后该处理进行到步骤S319。

相反，在步骤S314中判断第i帧的插值类型是“3”的情况下，该处理进行到步骤S318，混合图像生成装置120复制具有较高帧频的3D数据B的第(i-1)帧和第i帧之间帧的R网格，在生成想要生成的时间点处的插值帧的R网格，然后该处理进行到步骤S319。

在步骤S319中，混合图像生成装置120判断指示帧具有较低帧频的3D数据A的帧号的变量i是否小于3D数据A的(帧总数-1)。

在步骤S319中判断指示帧号的变量i小于3D数据A的(帧总数-1)的情况下，即在判断还没有生成3D数据A的所有帧之间的所有插值帧的情况下，该处理进行到步骤S320。

然后，在步骤S320中，当指示帧号的变量i增加1之后，该流程返回到步骤S312，并再次执行上面描述的步骤S312至S319。因此，生成下一帧的插值帧的R网格。

相反，在步骤S219中判断指示帧号的变量i等于或大于3D数据A的(帧总数-1)的情况下，即生成了在3D数据A的所有帧之间的插值帧的情况下，插值帧生成处理结束。

如上所述，即使在使用具有不同帧频的两种类型的成像装置10A和10B的第四实施方式中，发送侧也可以发送插值类型而不是关键帧标记，并且接收侧可以基于插值类型生成在接收的帧之间的插值帧。

<15、图像处理系统的第五实施方式>

图27是示出了应用本技术的图像处理系统的第五实施方式的配置示例的框图。

在图27中，与上述图22中示出的第四实施方式中的那些部分相对应的部分由相同的附图标记表示，并且将适当地省略其描述。

图27的第五实施方式具有这样的配置：其中省略了使用具有不同帧频的两种类型的成像装置10A和10B的第四实施方式的编码装置114和解码装置117，以及传输的是未经压缩和编码的每一帧的网格数据。

与图22所示的第四实施方式相比，在图27所示的第五实施方式中，与上述第一实施方式和第二实施方式之间的关系类似地省略了编码装置14和114以及解码装置17和117。

跟踪装置13向发送装置15提供R网格，R网格是经过网格跟踪处理的网格数据。发送装置15使从跟踪装置13提供的每一帧的R网格和从标记生成装置12提供的每个帧的关键帧标记被存储在一个比特流中，并且将该比特流经由网络发送到接收装置16。

接收装置16经由网络接收从发送装置15发送的3D数据A的比特流。然后，接收装置16将存储在接收的3D数据A的比特流中的作为每一帧的网格数据的R网格和每一帧的关键帧标记彼此分离，并且将网格数据和关键帧标记提供给混合图像生成装置120。

跟踪装置113向发送装置115提供R网格，R网格是经过网格跟踪处理的网格数据。发送装置115使从跟踪装置113提供的每一帧的R网格被存储在一个比特流中，并且将该R网格经由网络发送到接收装置116。

接收装置116经由网络接收从发送装置15发送的3D数据B的比特流。然后，接收装置116将存储在接收到的3D数据B比特流中的每一帧的R网格提供给混合图像生成装置120。

混合图像生成装置120使用从解码装置17提供的每个帧的R网格、从接收装置16提供的每个帧的关键帧标记以及从解码装置117提供的每个帧的R网格，然后生成其帧频被向上转换的3D数据。

<16、图像处理系统的第六实施方式>

图28是示出了应用本技术的图像处理系统的第六实施方式的配置示例的框图。

在图28中，与上述第一实施方式至第五实施方式中的那些部分相对应的部分由相同的附图标记表示，并且将适当地省略其描述。

与上述第四实施方式和第五实施方式类似，图28的第六实施方式具有这样的配置：使用具有不同帧频的两种类型的成像装置10A和10B。

与图20所示的第三实施方式类似，图28的第六实施方式具有这样的配置：接收侧确定(估计)每个帧的关键帧标记，并生成关键帧标记，而不发送来自发送侧的每一帧的关键帧标记。

换句话说，图28的第六实施方式具有这样的配置：省略了使用图22所示的具有不同帧频的两种类型的成像装置10A和10B的第四实施方式的发送侧的标记生成装置12。并且，将第四实施方式的发送侧上的发送装置15替换为第三实施方式的发送装置61，将接收侧的发送装置15替换为第三实施方式的接收装置62，并且新增加标记估计装置63。

如上所述，即使在使用具有不同帧频的两种类型的成像装置10A和10B的配置中，发送侧也可以不发送每个帧的关键帧标记，并且接收侧可以确定(估计)并生成每一帧的关键帧标记以执行插值帧生成处理。

<17、图像处理系统的第七实施方式>

图29是示出了应用本技术的图像处理系统的第七实施方式的配置示例的框图。

在图29中，与上述第六实施方式中的那些部分相对应的部分由相同的附图标记表示，并且将适当地省略其描述。

与上述第四实施方式至第六实施方式类似，根据第七实施方式的图像处理系统1具有这样的配置：使用具有不同帧频的两种类型的成像装置10A和10B。

在根据上述第四至第六实施方式的图像处理系统1中，通过不同的装置执行具有较低帧频的3D数据A的网格数据的生成、传输和接收以及具有较高帧频的3D数据B的网格数据的生成、传输和接收。

然而，如图29所示，生成、传输和接收3D数据的网格数据的每个装置可以经配置以处理具有低帧频的3D数据A和具有高帧频的3D数据B。

图29中的图像处理系统1包括3D建模装置141、跟踪装置143、编码装置144、发送装置145、接收装置146和解码装置147。

而且，与上述第四实施方式类似，图29的图像处理系统1包括多个成像装置10A-1至10A-N、多个成像装置10B-1至10B-M、标记生成装置12和混合图像生成装置120。

3D建模装置141执行上面描述的由3D建模装置11执行的处理和由3D建模装置111执行的处理两者。具体地，3D建模装置141基于分别由多个成像装置10A和10B获得的多个拍摄图像来执行主体的3D形状建模处理，并且生成获得的3D数据A和3D数据B作为结果。

跟踪装置143执行上面描述的由跟踪装置13执行的处理和由跟踪装置113执行的处理。具体地，跟踪装置143对从3D建模装置141提供作为3D数据A和B的每个帧的U网格执行网格跟踪处理，将U网格转换为每个帧的R网格，并将该R网格提供给编码装置144。

编码装置144执行上面描述的由编码装置14执行的处理和由编码装置114执行的处理两者。具体地，编码装置144通过预定的编码系统将从跟踪装置143提供的每个帧的R网格压缩并编码为3D数据A和B，并将获得的每个帧的压缩网格数据作为结果提供给发送装置145。

发送装置145执行上面描述的由发送装置15执行的处理和由发送装置115执行的处理两者。具体地，发送装置145使作为3D数据A的每个帧的压缩网格数据和从标记生成装置12提供的每一帧的关键帧标记作为比特流被存储在一个比特流中，并将比特流经由网络发送到接收装置146。此外，发送装置145使每个帧的压缩网格数据作为3D数据B被存储在一个比特流中，并将比特流经由网络发送到接收装置146。

接收装置146执行上面描述的由接收装置16执行的处理和由接收装置116执行的处理两者。具体地，接收装置146经由网络接收从发送装置145发送的3D数据A的比特流，并且将每个帧的压缩网格数据和每个帧的关键帧标记彼此分离。此外，接收装置146接收从发送装置145经由网络发送的3D数据B的比特流，并且获取每个帧的压缩网格数据。将3D数据A和B的每个帧的压缩网格数据提供给解码装置17，并且将每个帧的关键帧标记提供给混合图像生成装置120。

解码装置147执行上面描述的由解码装置17执行的处理和由解码装置117执行的处理两者。具体地，解码装置147通过使用与编码装置14中的编码系统相对应的系统，对从接收装置146提供的3D数据A和B的每个帧的压缩网格数据进行解码，并将解码后的数据提供给混合图像生成装置120。

图像处理系统1也可以如上所述进行配置。

<18、图像处理系统的第八实施方式>

图30是示出了应用本技术的图像处理系统的第八实施方式的配置示例的框图。

在图30中，与上述第一实施方式至第六实施方式中的那些部分相对应的部分由相同的附图标记表示，并且将适当地省略其描述。

根据第七实施方式的图像处理系统1是图1中所示出的第一实施方式的修改。

在图1所示的第一实施方式中，主体的3D形状建模处理、关键帧标记生成流处理、网格跟踪处理、压缩和编码处理以及关键帧标记存储和发送处理、关键帧标记接收和分离处理、解码处理和插值帧生成处理分别由不同的装置执行。

但是，在发送侧和接收侧中的每个上，一个装置中包含上述多个装置的配置也是可行的。

例如，如图30所示，在发送侧，图像发送装置161具有3D建模装置11、标记生成装置12、跟踪装置13、编码装置14和发送装置15作为内部块。在图像发送装置161中，3D建模装置11、标记生成装置12、跟踪装置13、编码装置14和发送装置15分别用作3D建模单元、标记生成单元(信息生成单元)、跟踪单元、编码单元和发送单元。

在接收侧，图像接收装置162具有接收装置16、解码装置17和图像生成装置18作为内部块。接收装置16、解码装置17和图像生成装置18分别用作图像接收装置162中的接收单元、解码单元和图像生成单元。

在这种情况下，图像发送装置161执行分别由3D建模装置11、标记生成装置12、跟踪装置13、编码装置14和发送装置15执行的处理。图像接收装置162执行分别由接收装置16、解码装置17和图像生成装置18执行的处理。

应注意的是，图30所示的配置仅是示例，并且可以采用由一个装置来实现多个装置的配置。例如，标记生成装置12、跟踪装置13和编码装置14可以构成一个装置。

另外，图30中的配置是将图1所示的第一实施方式的多个装置组合为一个装置的配置。然而，类似地，在上述其他实施方式中，多个装置可以由一个装置来实现的配置也是可行的。

<19、计算机配置示例>

上述一系列流程可以由硬件执行或可以由软件执行。在通过软件执行一系列处理的情况下，在计算机上安装配置软件的程序。这里，计算机的示例包括合并在专用硬件中的微型计算机，例如，可以通过安装各种程序来执行各种功能的通用个人计算机等。

图31是示出根据程序执行上述一系列流程的计算机硬件配置的示例的框图。

在计算机中，中央流程单元(CPU)301、只读存储器(ROM)302和随机存取存储器(RAM)303通过总线304相互连接。

而且，输入/输出接口305连接到总线304。输入单元306、输出单元307、存储单元308、通信单元309和驱动器310连接到输入/输出接口305。

输入单元306包括键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元307包括显示器、扬声器、输出端子等。存储单元308包括硬盘、RAM盘、非易失性存储器等。通信单元309包括网络接口等。驱动器310驱动可移动记录介质311，例如,磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，例如，CPU 301经由输入/输出接口305和总线304将存储在存储单元308中的程序加载到RAM 303中并在其中执行它，因此执行上述一系列处理。RAM 303还适当地存储CPU 301执行各种处理需要的数据等。

在计算机中，通过将可移动记录介质311插入驱动器310中，可以经由输入/输出接口305将程序安装到存储单元308中。此外，程序可以通过通信单元309经由诸如局域网、因特网或数字卫星广播之类的有线或无线的传输介质来进行接收，并且可以被安装到存储单元308中。此外，可以将程序预先安装在ROM 302或存储单元308中。

应注意的是，在本说明书中，除了流程图中描述的步骤根据所描述的顺序按时间顺序执行的情况之外，这些步骤可以不必按时间顺序执行，并且可以并行的或在诸如请求后的必要的时机执行。

应注意的是，在本说明书中，系统是指一套多个组成部分(装置、模块(组件)等)，并且所有组成部分是否都在相同箱体中并不重要。因此，多个装置的每个容纳在单独的箱体中并且经由网络连接，以及在一个箱体中容纳多个模块的一个装置都是系统。

本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的范围的情况下可以进行各种修改。

例如，可以采用将上述多个实施方式的全部或一部分组合的模式。

例如，本技术可以采用云计算的配置，其中一种功能由多个装置经由网络共享并且处理。

此外，上述流程图中描述的每个步骤可以由一个装置执行，或者可以由多个装置共享并执行。

此外，在多个处理包含在一个步骤中的情况下，除了由一个装置执行之外，一个步骤中包括的多个处理还可以由多个装置共享并执行。

应注意的是，本说明书中描述的效果仅是示例而并非限制，并且可以具有除本说明书中描述的效果以外的效果。

应注意的是，本技术也可以被配置如下：

(1)一种发送装置，其包含：

信息生成单元，其生成基于三维图像的两帧之间的差异度的信息；和

发送单元，其发送所生成的所述基于差异度的信息。

(2)根据1所述的发送装置，其中，所述基于差异度的信息为指示在所述两帧之间3D形状是否发生显著变化的标记。

(3)根据1所述的发送装置，其中，所述基于差异度的信息为指示在生成所述两帧之间的帧时的插值类型的值。

(4)根据1所述的发送装置，其中，所述基于差异度的信息为所述两帧之间的差异度的值。

(5)根据1所述的发送装置，其中，所述发送单元生成并发送比特流，所述3D图像的所述两帧的网格数据和所述基于差异度的信息存储在所述比特流中。

(6)根据5所述的发送装置，其中，所述发送单元生成并发送比特流，所述基于差异度的信息作为用于每一帧的元数据被存储在所述比特流中。

(7)根据5所述的发送装置，其中，所述发送单元生成并发送比特流，所述比特流存储元数据和所述3D图像的所有帧的每一帧，基于所述3D图像的所有帧的差异度的信息被存储在所述元数据中。

(8)根据1所述的发送装置，其进一步包含：

编码单元，其通过使用预定的编码方案对3D图像的所述两帧的网格数据进行压缩和编码，

其中，所述发送单元生成并发送比特流，所述比特流存储所述基于差异度的信息以及通过压缩和编码所述网格数据获得的经压缩的网格数据。

(9)根据1所述的发送装置，

其中，所述信息生成单元生成基于具有第一帧频的3D图像的差异度信息，

所述发送单元发送具有所述第一帧频的3D图像的网格数据和所述基于差异度的信息，以及通过以与所述第一帧频不同的第二帧频对同一被摄对象成像而获得的3D图像的网格数据。

(10)一种发送方法，由发送装置

生成基于3D图像的两帧之间的差异度的信息；以及

发送所生成的所述基于差异度的信息。

(11)一种接收装置，其包含：

图像生成单元，其根据基于3D图像的两帧之间的差异度的信息，生成所述两帧之间的插值帧。

(12)根据11所述的接收装置，其中，所述基于差异度的信息为指示在所述两帧之间3D形状是否发生显著变化的标记。

(13)根据11所述的接收装置，其中，所述基于差异度的信息为指示在生成所述插值帧时的插值类型的值。

(14)根据11所述的接收装置，其中,所述基于所述差异度的所述信息为所述两帧之间的差异度的值。

(15)根据11所述的接收装置，其中，所述图像生成单元根据所述基于差异度的信息，改变生成所述插值帧的生成方法。

(16)根据11所述的接收装置，其中,所述差异度为通过计算所述两帧之间的Hausdorff距离所获得的值。

(17)根据11所述的接收装置，其进一步包含：

接收单元，其接收比特流，所述比特流存储3D图像的所述两帧的网格数据和所述基于差异度的信息，

其中，所述图像生成单元基于接收到的所述基于差异度的信息生成所述插值帧。

(18)根据17所述的接收装置，

其中，通过使用预定的编码方案对所述3D图像的所述两帧的网格数据进行压缩和编码，

所述接收装置还包括解码单元，所述解码单元对压缩和编码后的网格数据进行解码，并且

所述图像生成单元基于接收到的所述基于差异度的信息，使用通过解码而获得的网格数据来生成所述插值帧。

(19)根据17所述的接收装置，其中，所述接收单元接收所述比特流，所述基于差异度的信息作为用于每一帧的元数据被存储在所述比特流中。

(20)根据17所述的接收装置，其中，所述接收单元接收比特流，所述比特流存储元数据和3D图像的所有帧的每一帧的网格数据，基于3D图像的所有帧的差异度的信息被存储在所述元数据中。

参考标记列表

1 图像处理系统

10A,10B 成像装置

11 3D建模装置

12 标记生成装置

13 跟踪装置

14 编码装置

15 发送装置

16 接收装置

17 解码装置

18 图像生成装置

61 发送装置

62 接收装置

63 标记估计装置

1113D 建模装置

113 跟踪装置

114 编码装置

115 发送装置

116 接收装置

117 解码装置

120 合图像生成装置

14 3D 建模装置

143 跟踪装置

144 编码装置

145 发送装置

146 接收装置

147 解码装置

161 图像发送装置

162 图像接收装置

301 CPU

302 ROM

303 RAM

306 输入单元

307 输出单元

308 存储单元

309 通信单元

310 驱动器

Claims (20)

1.一种发送装置，包含：

信息生成单元，其生成基于3D图像的两帧之间的差异度的信息；和

发送单元，其发送所生成的所述基于差异度的信息。

2.根据权利要求1所述的发送装置，其中，所述基于差异度的信息为指示在所述两帧之间3D形状是否发生显著变化的标记。

3.根据权利要求1所述的发送装置，其中，所述基于差异度的信息为指示在生成所述两帧之间的帧时的插值类型的值。

4.根据权利要求1所述的发送装置，其中，所述基于差异度的信息为所述两帧之间的差异度的值。

5.根据权利要求1所述的发送装置，其中，所述发送单元生成并发送比特流，所述3D图像的所述两帧的网格数据和所述基于差异度的信息存储在所述比特流中。

6.根据权利要求5所述的发送装置，其中，所述发送单元生成并发送比特流，所述基于差异度的信息作为每一帧的元数据被存储在所述比特流中。

7.根据权利要求5所述的发送装置，其中，所述发送单元生成并发送比特流，所述比特流存储元数据和所述3D图像的所有帧的每一帧，基于3D图像的所有帧的差异度的信息被存储在所述元数据中。

8.根据权利要求1所述的发送装置，进一步包含：编码单元，其通过使用预定的编码方案对3D图像的所述两帧的网格数据进行压缩和编码，

其中，所述发送单元生成并发送比特流，所述比特流存储所述基于差异度的信息以及通过压缩和编码所述网格数据获得的经压缩的网格数据。

9.根据权利要求1所述的发送装置，

其中，所述信息生成单元生成基于具有第一帧频的3D图像的差异度的信息，

所述发送单元发送具有所述第一帧频的3D图像的网格数据和所述基于差异度的信息，以及通过以与所述第一帧频不同的第二帧频对同一被摄对象成像而获得的3D图像的网格数据。

10.一种发送方法，由发送装置：

生成基于3D图像的两帧之间的差异度的信息；以及

发送所生成的所述基于差异度的信息。

11.一种接收装置，包含：

图像生成单元，其根据基于3D图像的两帧之间的差异度的信息，生成所述两帧之间的插值帧。

12.根据权利要求11所述的接收装置，其中，所述基于差异度的信息为指示在所述两帧之间3D形状是否发生显著变化的标记。

13.根据权利要求11所述的接收装置，其中，所述基于差异度的信息为指示在生成所述插值帧时的插值类型的值。

14.根据权利要求11所述的接收装置，其中，所述基于差异度的信息为所述两帧之间的差异度的值。

15.根据权利要求11所述的接收装置，其中，所述图像生成单元根据所述基于差异度的信息，改变生成所述插值帧的生成方法。

16.根据权利要求11所述的接收装置，其中，所述差异度为通过计算所述两帧之间的Hausdorff距离所获得的值。

17.根据权利要求11所述的接收装置，进一步包含：接收单元，其接收比特流，所述比特流存储3D图像的所述两帧的网格数据和所述基于差异度的信息，

其中，所述图像生成单元基于接收到的所述基于差异度的信息生成所述插值帧。

18.根据权利要求17所述的接收装置，

其中，通过使用预定的编码方案对3D图像的所述两帧的网格数据进行压缩和编码，

所述接收装置还包括解码单元，所述解码单元对压缩和编码后的网格数据进行解码，并且

所述图像生成单元基于接收到的所述基于差异度的信息，使用通过解码而获得的网格数据来生成所述插值帧。

19.根据权利要求17所述的接收装置，其中，所述接收单元接收所述比特流，所述基于差异度的信息作为每一帧的元数据被存储在所述比特流中。

20.根据权利要求17所述的接收装置，其中，所述接收单元接收所述比特流，所述比特流存储元数据和3D图像的所有帧的每一帧的网格数据，基于3D图像的所有帧的差异度的信息被存储在所述元数据中。

Images