CN109845277A

CN109845277A - 信息处理装置、信息处理系统、信息处理方法和程序

Info

Publication number: CN109845277A
Application number: CN201780064597.8A
Authority: CN
Inventors: 田中友久; 濑下裕介
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-10-26
Filing date: 2017-09-27
Publication date: 2019-06-04
Also published as: US20190253743A1; WO2018079166A1; JPWO2018079166A1; JP6996514B2

Abstract

根据本发明，生成指示内容观看用户的视点位置的分布状况的视点位置热图，以使得能够使用热图进行内容和广告的分发控制。本发明的服务器向客户端发送使得能够根据视点位置或视线方向观察视频的自由视点视频内容。客户端生成包括关于内容观看用户的视点位置和视线方向的时间序列数据的观看状态信息，并将观看状态信息发送至服务器。服务器从多个客户端接收观看状态信息，并且生成指示观看用户的视点位置的分布状况的视点位置热图，并生成指示观看用户的注视点位置的分布状况的注视点位置热图。此外，根据热图执行内容的分发控制、广告的分发控制等。

Description

信息处理装置、信息处理系统、信息处理方法和程序

技术领域

本公开涉及信息处理装置、信息处理系统和信息处理方法以及计算机程序。更具体地，本公开涉及信息处理装置、信息处理系统和信息处理方法以及计算机程序，其获取用于自由视点视频的用户观察位置信息等并执行对提供给观看者的视频的控制等，其中，自由视点视频允许观察诸如全天球视频、全向视频或全景视频的各个方向上的视频。

背景技术

在广泛使用的系统中，在PC(个人计算机)、平板终端、便携式终端、头戴式显示器(HMD)等的显示单元上显示诸如全天球视频、全向视频和全景视频的各个方向上的图像，以允许观察由用户选择的图像或根据用户的取向而自动选择的视频。

注意，允许呈现由用户选择的各个方向上的视频的视频被称为“自由视点视频”。

例如，PC等可以从外部服务器获取或从记录介质读取360度的全向视频的视频(运动图像)数据，并且可以将视频显示在显示装置上。用户可以选择可选方向的视频并且将视频显示在显示装置上，并且可以在观察诸如运动图像或静止图像的图像时自由地改变视点。

可以在通过例如鼠标操作或者用户在触摸面板上的滑动处理或轻拂处理来改变观察方向的同时，使得显示在PC、平板终端或便携式终端的显示单元上的视频进行显示，并且用户可以容易地享受各个方向上的视频。

在视频被显示在头戴式显示器(HMD)上的情况下，可以根据来自安装在HMD上并且被配置成检测用户的头部的运动和方向的传感器的信息来显示根据头部的方向的视频，并且用户可以享受好像用户存在于在HMD的显示单元上显示的视频中的感觉。

这样的自由视点视频允许通过用户操作等进行的观察视频切换，并且因此有时会出现由大量用户观察到的视频区域和几乎不被观察到的视频区域。

换言之，存在具有高观看率的视频区域和具有低观看率的视频区域。

可以基于自由视点视频所特有的这样的特性，执行对例如具有高观看率的视频区域进行分析的处理作为数据分析，并且可以使用分析的结果来执行例如更有效的内容提供处理、广告提供处理和计费处理。

专利文献1(日本专利申请特开第2013-183209号：“多视点视频流观看系统和方法”)公开了下述配置：通过在系统中记录视点切换操作来分析受欢迎的图像和视频，其中，在该系统中，观看者可以可选地选择和切换要观看多个视频流中的哪一个。

此外，专利文献2(日本专利申请特开第2013-255210号：“视频显示方法、视频显示装置和视频显示程序”)公开了下述配置：在系统中记录观看者的区域选择信息，以在再次观看相同视频时显示任何过去的选择区域，其中，该系统被配置成提供允许观看者选择并观看全景视频的期望区域的内容。

注意，自由视点视频包括多种不同类型的视频。传统上可用的多视点视频、全景视频、全天球视频等中的大多数具有以下的配置：仅可以改变方向，而视点位置是固定的。

对于这样的内容，在分析观看者观看视频的哪一部分的情况下，仅需分析方向。

然而，近来，日渐广泛地使用允许改变视点位置和视点方向二者的、诸如用于头戴式显示器(HMD)的显示视频的自由视点视频。

为了对允许改变视点位置和视点方向二者的这样的自由视点视频执行观看区域分析，需要关于观看者从哪个视点位置在哪个方向上观看的时间序列信息。然而，没有为这样的分析处理建立明确的方法。

引用列表

专利文献

专利文献1：日本专利申请特开第2013-183209号

专利文献2：日本专利申请特开第2013-255210号

发明内容

本发明要解决的技术问题

本公开旨在解决例如上述问题并且提供一种信息处理装置、信息处理系统和信息处理方法以及计算机程序，其获取和分析用于自由视点视频的用户观察位置信息等，其中，自由视点视频允许观察诸如全天球视频、全向视频或全景视频的各个方向上的视频。

此外，本公开的实施例旨在提供一种信息处理装置、信息处理系统和信息处理方法以及计算机程序，其获取和分析由观看者在允许改变视点位置和视点方向二者的自由视点视频上观察到的图像区域的时间序列观看信息，并且根据分析结果执行所提供的视频控制等，其中，自由视点视频例如为用于头戴式显示器(HMD)的显示视频。

技术问题的解决方案

本公开的第一方面是一种信息处理装置，该信息处理装置包括：数据处理单元，其被配置成：

获取关于观看内容的多个用户的视点位置的信息；以及

生成示出用户的视点位置的分布状态的视点位置热图。

此外，本公开的第二方面是一种信息处理系统，该信息处理系统包括服务器和客户端，其中，

服务器向客户端发送允许观察与视点位置或视线方向中至少之一相对应的视频的自由视点视频内容，

客户端生成包括观看内容的用户的视点位置和视线方向的时间序列数据的观看状态信息，并且将观看状态信息发送至服务器，以及

服务器从多个客户端接收观看状态信息，并且生成以下中的至少一个热图：

示出观看内容的用户的视点位置的分布状态的视点位置热图，或

示出观看内容的用户的注视点位置的分布状态的注视点位置热图。

此外，本公开的第三方面是一种信息处理装置，该信息处理装置被配置成：

执行从服务器接收允许观察与视点位置或视线方向中至少之一相对应的视频的自由视点视频内容以及显示自由视点视频内容的处理；以及

还生成包括观看自由视点视频内容的用户的视点位置和视线方向的时间序列数据的观看状态信息，并且将观看状态信息发送至服务器。

此外，本公开的第四方面是一种在信息处理装置处执行信息处理的信息处理方法，其中，信息处理装置的数据处理单元：

获取关于观看内容的多个用户的视点位置的信息；以及

生成示出用户的视点位置的分布状态的视点位置热图。

此外，本公开的第五方面是一种使信息处理装置执行信息处理的计算机程序，该计算机程序使信息处理装置的数据处理单元执行以下处理：

获取关于观看内容的多个用户的视点位置的信息的处理；以及

生成示出用户的视点位置的分布状态的视点位置热图的处理。

注意，例如，本公开的程序是下述程序：该程序可以由以计算机可读形式提供的存储介质或通信介质提供给可以执行各种程序代码的信息处理装置或计算机系统。通过以计算机可读格式提供这样的程序，在信息处理装置或计算机系统上实现根据程序的处理。

根据基于本公开的实施例和稍后描述的附图的详细描述，本公开的其他目的、特征和优点将变得明显。注意，在本说明书中，术语“系统”指的是多个装置的逻辑组配置，并且不限于每个配置的装置处于相同壳体中的系统。

本发明的有益效果

利用根据本公开的实施例的配置，生成示出观看内容的用户的视点位置的分布状态的视点位置热图，以使得能够通过使用该热图来进行内容和广告分发控制。

具体地，例如，服务器向客户端发送允许观察与视点位置和视线方向相对应的视频的自由视点视频内容。客户端生成包括观看内容的用户的视点位置和视线方向的时间序列数据的观看状态信息，并且将观看状态信息发送至服务器。服务器从多个客户端接收观看状态信息，并且生成示出观看用户的视点位置的分布状态的视点位置热图以及示出观看用户的注视点位置的分布状态的注视点位置热图。此外，例如，根据热图执行内容分发控制和广告分发控制。

利用该配置，生成示出观看内容的用户的视点位置的分布状态的视点位置热图，以使得能够通过使用该热图来进行内容和广告分发控制。

注意，在本说明书中书写的效果仅是示例性的，并且本发明不限于此，而是可以具有附加效果。

附图说明

图1是用于描述信息处理系统的示例性配置的图。

图2是用于描述观看设备的示例性使用的图。

图3是用于描述观看状态信息的示例性数据的图。

图4是用于描述观看状态信息的数据的具体示例的图。

图5是用于描述注视点的图。

图6是用于描述示例性注视点位置热图的图。

图7是用于描述三维热图的示例性配置的图。

图8是用于描述示例性头部位置(视点位置)热图的图。

图9是示出用于描述头部位置(视点位置)热图的生成序列的流程图的图。

图10是示出用于描述头部位置(视点位置)热图的生成序列的流程图的图。

图11是用于描述头部位置(视点位置)热图的具体示例的图。

图12是示出用于描述注视点位置热图的生成序列的流程图的图。

图13是示出用于描述注视点位置热图的生成序列的流程图的图。

图14是用于描述注视点位置热图的具体示例的图。

图15是用于描述信息处理系统的示例性配置的图。

图16是用于描述示例性观看设备的图。

图17是用于描述示例性推荐视点信息的图。

图18是用于描述观看设备的视点控制模式之间的示例性切换的图。

图19是示出用于描述使用推荐视点信息的处理序列的流程图的图。

图20是示出用于描述使用推荐视点信息的处理序列的流程图的图。

图21是用于描述信息处理系统的示例性配置的图。

图22是用于描述示例性场景切换点信息的图。

图23是示出用于描述使用场景切换点信息的处理序列的流程图的图。

图24是示出用于描述使用场景切换点信息的处理序列的流程图的图。

图25是用于描述示例性广告等级定义列表的图。

图26是用于描述示例性广告数据库存储数据的图。

图27是用于描述信息处理系统的示例性配置的图。

图28是示出用于描述广告提供处理的序列的流程图的图。

图29是用于描述信息处理系统的示例性配置的图。

图30是示出用于描述使用编码控制内容的处理序列的流程图的图。

图31是示出用于描述使用编码控制内容的处理序列的流程图的图。

图32是用于描述示例性计费设置数据的图。

图33是用于描述信息处理系统的示例性配置的图。

图34是示出用于描述执行计费处理的情况下的处理序列的流程图的图。

图35是用于描述信息处理系统的示例性配置的图。

图36是用于描述信息处理装置的示例性硬件配置的图。

具体实施方式

下面参照附图详细描述本公开的信息处理装置、信息处理系统和信息处理方法以及计算机程序。注意，将按照如下顺序进行描述。

1.由本公开的信息处理系统执行的处理的概述

2-(a).生成注视点位置热图和头部位置热图的实施例

2-(b).提供推荐视点信息和基于推荐视点信息执行显示控制的实施例

2-(c).执行内容自动章节划分处理的实施例

2-(d).执行广告显示控制的实施例

2-(e).根据关注度执行图像质量控制的实施例

2-(f).基于观看状态分析结果执行计费处理的实施例

2-(g).音乐会、电影等的观众的关注区域分析的实施例

3.信息处理装置的示例性硬件配置

4.本公开配置的概述

[1.由本公开的信息处理系统执行的处理的概述]

以下首先描述由本公开的信息处理系统执行的处理的概述。

如上所述，在广泛使用的系统中，在PC、平板终端、便携式终端、头戴式显示器(HMD)等的显示单元上显示各个方向上的视频，例如全天球视频、全向视频或全景视频，以允许观察由用户选择的视频或根据用户的取向自动选择的视频。

注意，如上所述，允许呈现由用户选择的各个方向上的视频的视频被称为“自由视点视频”。

在本公开的信息处理系统中提供给观看者的视频内容是允许观看者自由地指定视点的位置和方向的内容。

注意，内容可以是例如下述内容中的任一者：以流传送方式分发的实况内容，或预先下载或记录在介质(信息记录介质)中并且分发的记录内容。

在本公开的信息处理系统中，当在客户端(观看者侧的信息处理装置)回放允许观察与视点位置或视线方向中至少之一相对应的视频的自由视点视频内容时，客户端将关于观看者正在哪个方向上观看哪个位置的信息(观看状态信息)记录为时间序列信息。

由客户端(观看者侧的信息处理装置)记录的“观看状态信息”被发送至实时或稍后集中执行数据分析处理的信息处理装置(服务器)。

服务器在数据库中存储从大量客户端(观看者侧装置)接收到的观看状态信息。

服务器分析在数据库中累积的观看状态信息，并且获取各个时间的诸如观看者的观看位置(头部位置)和视线方向以及作为观看区域信息的视场(FoV)的统计信息。

服务器还基于统计信息生成以下信息：

(1)关于内容的哪个位置被观看很多次的注视点信息、

(2)关于观看者相对于内容的头部位置(视点位置)的信息以及

可以从中快速识别这些信息的诸如三维热图的图。

服务器例如通过网络从观看相同内容的大量观看者接收观看状态信息，并且执行分析处理。

由本公开中的信息处理系统或诸如服务器的信息处理装置执行的处理例如如下。

(a)生成注视点位置热图和头部位置热图

生成热图，利用该热图能够识别内容的观看区域和用户的视点位置(头部位置)的统计信息。

(b)提供推荐视点信息并且基于推荐视点信息执行显示控制

基于观看状态分析结果，自动显示各个时间在视线方向上最受欢迎的视点位置处的视频区域中的内容。

通过该内容控制，可以优先提供大量观看者的高视频等。

(c)执行内容自动章节划分处理

具体地，基于观看状态分析结果(例如热图的时间序列改变的程度)来检测场景切换点，并且将场景切换点设置为章节切换点。

(d)执行广告显示控制

具体地，基于观看状态分析结果(例如热图)来提取观看者在内容中关注的视频区域，针对自由视点视频中的每个视频区域计算“观看率”，并且基于观看率来执行下面的处理。

在广告被叠加在内容上并被提供的情况下，基于观看率自动计算广告费率。

(e)执行根据关注度的图像质量控制。

具体地，例如，基于观看状态分析结果来控制编码比特率。这样的编码控制是基于热图执行的，使得以较高比特率对具有高关注度的对象的纹理进行编码，并且以低比特率对没有太多关注的对象的纹理进行编码。

(f)执行基于观看状态分析结果的计费处理。

基于热图计算每个视频区域的观看率，对具有高观看率的受欢迎的图像区域的回放设置高计费，并且对不受欢迎的视频区域的回放设置低计费。对内容观看价格的设置是自动的。

(g)分析音乐会、电影等的观众的关注区域。

音乐会、电影等的观众佩戴视线检测仪器(例如HMD)，获取并且分析观众的视线信息等。

本公开中的信息处理系统和诸如服务器的信息处理装置执行例如上述处理(a)至(g)。

下面顺序地描述用于执行上述实施例的处理(a)至(g)的具体示例性配置和示例性处理。

[2-(a).生成注视点位置热图和头部位置热图的实施例]

下面首先描述生成注视点位置热图和头部位置热图作为内容观看状态分析信息的实施例。

下面描述的处理是生成热图的处理，利用该热图可以识别关于内容观看区域和用户视点位置(头部位置)的统计信息。

图1是示出本公开的信息处理系统的示例性配置的图。

用户(内容观看者)10佩戴观看设备20。观看设备20例如是头戴式显示器(HDM)。

观看设备20显示与用户10的取向和视线方向相对应的视频。

具体地，显示“自由视点视频”，该“自由视点视频”允许呈现诸如全天球视频、全向视频和全景视频的各个方向的视频。

观看设备20包括被配置成检测用户(观看者)10的位置和取向(头部位置和方向)的传感器以及被配置成检测用户10的视线的传感器。

通过诸如陀螺仪传感器、立体摄像机等的现有传感器来实现被配置成检测用户10的位置和取向(头部位置和方向)的传感器。

可以通过使用例如瞳孔角膜反射等的现有的视线检测传感器来实现被配置成检测用户10的视线的传感器。

视线检测传感器根据例如右眼球和左眼球的旋转中心位置以及视轴的取向(和头部姿势)检测用户10的视线方向。

注意，可以使用下述传感器：该传感器被配置成仅通过头部跟踪来检测头部的姿势，并且将头部前方方向确定为视线方向。

在这种情况下，头部前方方向和视线方向彼此对准。

关于由安装在观看设备20上的传感器检测到的用户的位置(头部位置)和视线方向的信息被顺序地从观看设备20发送至PC 21。

观看设备20包括例如3D显示器，该3D显示器允许用户(观看者)10用双眼观看作为立体图像的自由视点视频。

由PC 21呈现的图像(运动图像)被显示在观看设备20的显示器上。

PC 21通过网络36接收从自由视点视频分发服务器30提供的自由视点视频内容51，剪切出要在观看设备20上显示的图像区域，将图像区域输出至观看设备20并且将图像区域显示在显示器上。

注意，图1仅示出了单个用户(观看者)10、单个观看设备20和单个PC 21，但是网络36与大量PC 21连接，并且大量用户(观看者)正通过使用观看设备20观看内容51。

此外，被配置成在用户(观看者)10侧执行内容输出的显示装置不限于HMD，而例如可以是诸如PC、电视机、智能电话等的便携式终端。

如下面所描述的那样执行由PC 21进行的图像剪切处理。

根据从观看设备20接收到的自身位置以及为观看设备20预定的视角(换言之，视场(FoV))来指定显示图像区域，并且指定的图像区域被从由自由视点视频分发服务器30提供的自由视点视频内容51剪切出，被输出至观看设备20，并且被显示在显示器上。

观察在观看设备20的显示器上显示的视频的用户(观看者)10可以通过改变头部姿势来自由地控制观看位置和方向。

注意，各种元数据被设置到从自由视点视频分发服务器30提供的内容51。

元数据包括例如用于定义显示图像的图像区域的视锥体的定义信息。元数据包括例如关于构成视锥体的构成用户侧平面的“近裁剪”和构成与用户分离的平面的“远裁剪”的信息。

PC 21的数据处理单元可以通过使用为观看设备20预定的FoV和这些元数据来确定进行呈现所需的视锥体。

注意，稍后将参照图4进一步描述视锥体、“近裁剪”和“远裁剪”的细节。

如上所述，通过从自由视点视频分发服务器30经由例如网络36进行流传送来分发自由视点视频内容51。

自由视点视频内容51例如是在自由视点视频内容数据库31中存储的内容，并且自由视点视频分发服务器30通过网络35从自由视点视频内容数据库31读取内容，并将该内容发送至用户(观看者)10侧的PC 21。

注意，唯一确定的观看者ID和内容ID分别被分配给用户(观看者)10和内容51。

PC 21记录内容51的回放中各个时间的用户(观看者)10的头部位置(视点位置)、姿势(头部前方方向、头部上部方向)、视线方向和FoV，生成观看状态信息52，并且将观看状态信息52顺序地发送至观看状态信息收集服务器40。

观看状态信息收集服务器40通过网络36从PC 21接收观看状态信息52，并且将接收到的观看状态信息52存储并记录在通过网络35连接的观看信息记录数据库41中。

图2是示出佩戴观看设备20的用户(观看者)以及观看设备20的显示器上的示例性显示图像的图。

与置于观看设备20上的头部的运动和方向相对应的图像被显示在观看设备20的显示器上。该图像是由PC 21呈现的图像。

通过该图像显示控制，用户可以享受好像用户存在于在观看设备20的显示单元上显示的图像中的感觉。

显示图像P是佩戴观看设备20的用户(观看者)10面向右侧时的图像。

显示图像Q是佩戴观看设备20的用户(观看者)10面向左侧时的图像。

佩戴观看设备20的用户(观看者)10可以通过改变身体(头部)的取向来观察360度的图像。

下面参照图3描述由与观看设备20连接的PC 21生成并发送至观看状态信息收集服务器40的观看状态信息52的详细数据配置。

如上参照图1所描述的，关于由安装在观看设备20上的传感器检测到的用户的头部位置(视点位置)和视线方向的信息被顺序地从观看设备20发送至PC 21。

PC 21记录在内容51的回放中各个时间的用户(观看者)10的头部位置(视点位置)、姿势(头部前方方向、头部上方方向)、视线方向和FoV，生成观看状态信息52，并且将观看状态信息52顺序地发送至观看状态信息收集服务器40。

图3中所示的数据是由PC 21生成的观看状态信息52的示例性数据。

图3示出了两个用户(观看者)A和B的观看状态信息52的示例性数据(1)和(2)。

观看状态信息收集服务器40通过网络收集大量用户的观看状态信息52，并且将观看状态信息52存储在观看信息记录数据库41中。

如图3所示，观看状态信息52针对在观看设备20的显示器上显示的内容的回放期间的各个时间记录观看者ID、内容ID、头部位置(视点位置)、头部前方方向、头部上方方向、视线方向和FoV。

注意，如上所述，可以使用被配置成仅通过头部跟踪来检测头部的姿势并且将头部前方方向确定为视线方向的传感器，并且在这种情况下，头部前方方向和视线方向相互对准。

注意，在稍后描述的热图生成处理等中，当观看状态信息包括“视线方向”数据时，该数据可以用作“视线方向”数据，并且在观看状态信息不包括“视线方向”数据的情况下，“头部前方方向”可以用作“视线方向”数据。

观看者ID是观看者的标识符，并且由例如作为内容51的管理员的自由视点视频分发服务器30或者观看信息收集服务器40的管理者或管理员为观看内容的每个用户(观看者)提供观看者ID。

内容ID是内容的标识符。由例如作为内容51的管理员的自由视点视频分发服务器30或者观看信息收集服务器40的管理者或管理员将内容ID设置给每个提供的内容。

自由视点视频分发服务器30以及作为观看信息收集服务器40的管理者的内容管理员保持记录用户ID的用户列表，并且进一步保持记录由每个用户观看的内容的内容ID的列表作为对应的用户ID的观看历史信息。

头部位置(视点位置)、头部前方方向、头部上方方向、视线方向和FoV的信息是可以由PC 21基于例如从安装在用户(观看者)10上的观看设备20输入的传感器信息而获取或计算的数据。

头部位置(视点位置)数据由指示xyz三维空间中的位置信息的xyz坐标信息构成。

头部前方方向、头部上方方向和视线方向的方向信息包括指示xyz三维空间中的方向的方向矢量(单位矢量)的xyz值。

FoV是如上所述为观看设备20预定的视角(换言之，视场(FoV))，并且包括被设置为FoV的定义盒的视锥体的上表面的扩展角和侧面的扩展角信息。

在图3所示的示例中，数据[30×20]被记录为FoV，这指示被设置为FoV的定义盒的视锥体的上表面的扩展角是30°，并且侧面的扩展角为20°。

下面参照图4描述头部位置(视点位置)、头部前方方向、头部上方方向、视线方向和FoV的数据。

应用于头部位置(视点位置)、头部前方方向、头部上方方向、视线方向和FoV的位置方向信息的坐标系是预先设置给在观看设备20上显示的自由视点视频内容的自由视点视频内容坐标系，该坐标系在图4的左下侧被示出。

然而，这些数据是由PC 21基于观看设备20的传感器信息计算的。

在PC 21将自由视点视频内容和自由视点视频内容坐标系信息输出至观看设备20、并且观看设备20将包括根据自由视点视频内容坐标系的位置信息和方向信息的传感器信息作为传感器信息输出至PC 21的情况下，PC 21可以直接应用传感器信息并且将传感器信息记录为图3所示的观看状态信息。

然而，在观看设备20输出作为被应用了特有坐标系(该坐标系例如为以佩戴观看设备20的用户(观看者)的头部位置作为参考位置(原点)的观看者头部坐标系等)的传感器信息的位置信息和方向信息的情况下，PC 21将从观看设备20输入的传感器信息转换到作为对于内容唯一的坐标系的自由视点视频内容坐标系中，并且将传感器信息记录到图3所示的观看状态信息。

图4示出了作为根据观看者头部坐标系的数据的头部位置(视点位置)、头部前方方向、头部上方方向、视线方向和FoV的数据。

如图4所示，用户(观看者)的右眼球与左眼球之间的中心位置P被设置为观看者头部坐标系的原点O。右眼球与左眼球之间的中心位置P是头部位置P(＝视点位置P)。

头部前方方向是观看者头部坐标系上的Z轴方向，并且头部上方方向是观看者头部坐标系上的Y轴方向。

图4中所示的FoV(视锥体)与为安装在用户(观看者)10上的观看设备20预定的视角对应，并且FoV(视锥体)的范围内的内容区域是与用户(观看者)10的观看区域对应的图像区域。

FoV(视锥体)被定义为以用户(观看者)10的头部前方方向(Z轴)为中心的矩形金字塔形盒。

靠近用户视点的一侧的矩形金字塔形FoV(视锥体)的平面被称为“近裁剪”，并且远离用户视点的一侧的矩形金字塔形FoV(视锥体)的平面被称为“远裁剪”。

如上所述，作为图3所示的观看状态信息52中的FoV数据，“30×20”

上述数据被记录。

数字“30”意味着当自原点P(头部位置P(＝视点位置P))从顶部观看矩形金字塔形FoV(视锥体)时从“近裁剪”延伸到“远裁剪”的线(边)的扩展角是30度。

数字“20”意味着当自原点P(头部位置P＝视点位置P))从侧面观看矩形金字塔形FoV(视锥体)时从“近裁剪”延伸到“远裁剪”的线(边)的扩展角是20度。

图4所示的示例示出了根据观看者头部坐标系的“头部位置(视点位置)”、“头部前方方向”、“头部上方方向”和“视线方向”的数据。在从安装在用户(观看者)10上的观看设备20输入的传感器信息是根据观看者头部坐标系的数据的情况下，PC 21将从观看设备20输入的传感器信息转换到作为内容唯一坐标系的自由视点视频内容坐标系中，并且将经转换的数据记录为图3所示的观看状态信息52。

PC 21生成图3所示的观看状态信息52，具体地，PC 21生成针对在观看设备20的显示器上显示的内容的回放持续时间期间的各个时间记录观看者ID、内容ID、头部位置(视点位置)、头部前方方向、头部上方方向、视线方向和FoV的观看状态信息52，并且PC 21顺序地将观看状态信息52发送至观看状态信息收集服务器40。

诸如观看状态信息收集服务器40或自由视点视频分发服务器30的服务器(信息处理装置)通过使用在观看信息记录数据库41中存储的观看状态信息52来生成各种分析信息。

具体地，例如，生成热图，利用该热图可以识别用户的视点位置(头部位置)和对应于内容的关注区域的注视点位置的统计信息。

图5是用于描述计算可以通过使用在观看信息记录数据库41中存储的观看状态信息52来获取的用户注视点(换言之，用户(观看者)在自由视点视频内容上的注视点)的示例性处理的图。

如图5所示，可以根据自由视点视频内容中包括的一个显示对象56与观看者视线方向57之间的交点确定作为由观看者注视的地方的注视点58。

注意，图5示出了特定回放时间处的自由视点内容坐标系上的平面投影数据，但实际上，可以根据三维空间中的线段与对象之间的交点计算三维坐标系中的注视点位置。

此外，尽管图5示出了计算一个用户(观看者)的一个注视点的示例，但是可以通过例如收集相同内容的相同回放时间处的大量观看用户的注视点信息来生成示出大量用户(观看者)的注视点的分布状态的热图。

图6是示出大量用户(观看者)的注视点的分布状态的示例性热图，该热图是通过使用观看信息记录数据库41中存储的相同内容的相同回放时间处的大量观看用户的注视点信息而生成的。

图6示出了以自由视点视频内容中包括的一个显示对象56为中心的内容显示区域。

图6所示的示例是以下热图，该热图示出了在观看信息记录数据库41中存储的相同内容的相同回放时间处的回放帧中的大量用户(观看者)的注视点的分布状态。

与内容的一帧中包括的视频空间对应的三维空间被划分成各自具有预定尺寸的晶格(例如，长度为L的立方体)，并且每个晶格根据晶格中包括的注视点的数目被着色(以灰度着色)。

例如，包括较大数目的注视点的晶格被设置成较深的颜色(例如，黑色或深红色)，并且包括较小数目的注视点的晶格被设置成较浅的颜色(例如，浅灰色或粉色)。在晶格中包括的注视点的数目为零的情况下，设置白色或透明的。

当以这种方式根据注视点的数目对每个晶格着色时，可以生成允许一目了然地确定内容的关注区域的热图，换言之，关注区域被可视化的热图。

注意，例如，在显示器上显示热图的情况下，每个晶格的着色处理可以通过以下方式来实现：根据注视点的数目来改变可用作输出颜色的设置信息的阿尔法(alpha)通道值，以调整输出颜色和输出浓度。

以下描述使用阿尔法通道的晶格输出值调整处理的具体示例。

例如，通过使用在时间t处的帧的晶格k中包括的注视点的数目n(k)以及该帧中的注视点的总数目N，由n(k)/N给出晶格k的阿尔法通道值。

例如，在一个晶格中包括的注视点的数目(＝注视晶格的用户的数目)为零的情况下，阿尔法通道值为0.0，并且晶格输出设置是透明的(＝白色)。

此外，在晶格中包括的注视点的数目(＝注视晶格的用户的数目)为N的情况下，阿尔法通道值为1.0，并且晶格输出设置是不透明的(＝黑色)。

注意，为了理解每个晶格输出设置的描述，图6中的示例将热图示出为二维数据，但实际上，可以根据三维空间中的线段与对象之间的交点来计算三维坐标系中的注视点位置，并且可以生成并且输出作为三维数据的热图。

图7示出了在生成作为三维数据的热图的情况下的示例性晶格设置。

如图7所示，在X×Y×Z的三维空间中生成排列有各自具有长度为L的边的立方体的晶格。

针对布置在该三维空间中的大量L×L×L的立方体中的每一个立方体对注视点的数目计数，包括大量注视点的晶格以深色或接近黑色的颜色被着色并输出，并且包括少量注视点的晶格以浅色或接近白色的颜色被着色并输出。

以这种方式，可以通过使用观看信息记录数据库41中存储的相同内容的相同回放时间处的大量观看用户的注视点信息，生成并且输出作为如图7所示的三维数据的、允许一目了然地识别具有大量注视点的图像区域的热图。

参照图6描述的热图是示出了注视点位置的热图，其中注视点位置指示用户(观看者)正在观看内容的哪一部分，但是可以通过使用图3所示的观看状态信息的记录数据来生成用户(观看者)的头部位置(视点位置)的热图。

图8示出了用户(观看者)的头部位置(视点位置)的热图的示例性配置。

与上述图6类似，图8是示出大量用户(观看者)的头部位置(视点位置)的分布状态的示例性热图，该热图是通过使用观看信息记录数据库41中存储的相同内容的相同回放时间处的大量观看用户的注视点信息来生成的。

图8示出了以自由视点视频内容中包括的一个显示对象56为中心的区域。

图8所示的示例是以下热图，该热图示出了在观看信息记录数据库41中存储的相同内容的相同回放时间处的回放帧中的大量用户(观看者)的头部位置的分布状态。

三维空间被划分成各自具有预定尺寸的晶格(例如，长度为L的立方体)，并且每个晶格根据每个晶格中包括的头部位置的数目被着色(以灰度着色)。

例如，包括较大数目的头部位置(视点位置)的晶格被设置成深色(例如，黑色或深红色)，并且包括较小数目的头部位置(视点位置)的晶格被设置为浅色(例如，浅灰色或粉色)。在晶格中包括的头部位置(视点位置)的数目为零的情况下，设置白色或透明的。

以这种方式，可以通过根据头部位置(视点位置)的数目对每个晶格着色来生成允许一目了然地确定观看内容的用户的头部位置(视点位置)的热图。

注意，例如，在显示器上显示热图的情况下，每个晶格的着色处理可以通过以下方式来实现：根据头部位置(视点位置)的数目来改变可用作输出颜色的设置信息的阿尔法通道值，以调整输出颜色和输出浓度。

下面参照在图9和后面的附图中描述的流程图来描述参照图6描述的注视点位置热图以及参照图8描述的头部位置(视点位置)热图的生成序列。

首先，下面将参照图9和图10所示的流程图来描述参照图8描述的头部位置(视点位置)热图的生成序列。

注意，可以由图1中所示的自由视点视频分发服务器30和观看信息收集服务器40中的任一个的信息处理装置来执行根据图9和图10所示的流程图的头部位置(视点位置)热图的生成处理。

诸如自由视点视频分发服务器30或观看信息收集服务器40的信息处理装置包括数据处理单元，并且在数据处理单元的控制下执行根据图9和图10中所示的流程图的处理，其中，该数据处理单元包括具有计算机程序执行功能的CPU。注意，稍后将描述信息处理装置的示例性硬件配置。

下面描述图9和图10中所示的流程图中的每个步骤处的处理。

(步骤S101)

在步骤S101处，信息处理装置的数据处理单元执行作为来自自由视点视频内容的头部位置(视点位置)热图生成处理目标帧的分析帧的初始设置。具体地，设置分析帧时间：t＝0。

这对应于选择自由视点视频内容的第一帧作为分析目标帧的处理。

(步骤S102)

随后在步骤S102处，信息处理装置的数据处理单元执行将三维阵列计数器Ah[x][y][z]的所有值都设置为零的初始化处理，该三维阵列计数器Ah[x][y][z]保持由各自具有长度为L的边的立方体晶格元素构成的三维盒(X×Y×Z)的每个晶格元素的头部位置信息。

热图具有参照图7描述的三维配置。

如图7所示，设置尺寸为X×Y×Z并由L×L×L的晶格元素构成的三维盒。

L、X、Y和Z是针对每个内容定义的常数。例如，L被定义为1m，X、Y和Z被定义为10，并且在这种情况下，构成热图的整个三维空间被设置成10m×10m×10m，这意味着在其中设置有1000个1m×1m×1m的晶格元素。

可以通过坐标信息(x，y，z)来标识每个L×L×L的晶格元素，并且执行对在由坐标信息(x，y，z)指定的每个晶格元素中包括的头部位置(视点位置)的数目进行计数的处理。保持该计数值的计数器是保持三维阵列计数器Ah[x][y][z]的头部位置信息。

在步骤S102处，执行将图7中所示的尺寸为X×Y×的三维盒中的所有L×L×L的晶格元素的计数器Ah[x][y][z]的所有值都设置为零的初始化处理。

(步骤S103)

随后在步骤S103处，信息处理装置的数据处理单元根据分析帧时间t处的分析目标内容的所有观看信息来生成头部位置信息列表{Ph(k)}(k＝0,1,...,n-1，其中，n是列表元素的总数目)。

该处理是从图3所示的观看状态信息中仅获取头部位置信息并且生成仅由头部位置信息组成的列表的处理。

从大量用户(观看者)获取图3所示的观看状态信息，并且信息处理装置从所获取的大量列表中仅获取头部位置信息，并且生成作为仅由头部位置信息组成的列表的头部位置信息列表{Ph(k)}。

数值k是0,1,...,n-1的列表元素标识符。

数值n是列表元素的总数目，并且与作为观看状态列表发送侧的内容观看者的用户的数目对应。

(步骤S104)

随后在步骤S104处，信息处理装置的数据处理单元确定头部位置信息列表是否为空。

在头部位置信息列表没有数据(头部位置信息)的情况下，处理进行到步骤S113。

在头部位置信息列表具有数据(头部位置信息)的情况下，处理进行到步骤S105。

(步骤S105)

随后在步骤S105处，信息处理装置的数据处理单元将头部位置信息列表{Ph(k)}的列表元素标识符值k初始化为零。

该处理是将处理目标列表元素设置为头部位置信息列表{Ph(k)}的第一元素的初始化处理。

(步骤S106)

随后在步骤S106处，信息处理装置的数据处理单元确定列表元素标识符k是否满足下面的确定表达式：

k<n

换言之，确定列表元素标识符k是否小于列表元素总数目n。

在列表元素标识符k等于列表元素总数目n的情况下，意味着完成了对k＝0至n-1的所有列表元素的处理，并且在这种情况下，处理进行到步骤S112。

另一方面，在列表元素标识符k小于列表元素总数目n的情况下，意味着未完成对k＝0至n-1的所有列表元素的处理并且存在未处理的列表元素，并且在这种情况下，处理进行到步骤S107。

(步骤S107)

随后在步骤S107处，信息处理装置的数据处理单元获取列表元素标识符k的头部位置信息{Ph(k)}。

获得作为如上面参照图3和其他附图所描述的根据自由视点视频内容坐标系的坐标信息(Phx，Phy，Phz)的该头部位置信息。

(步骤S108)

随后在步骤S108处，信息处理装置的数据处理单元基于头部位置信息{Ph(k)}的头部位置坐标(Phx，Phy，Phz)，根据下面的方程式1来计算值x、y和z。

x＝F_floor(Phx/L)，

y＝F_floor(Phy/L)，

z＝F_floor(Phz/L)，

...(方程式1)

注意，F_floor(a)是返回a的整数部分的函数。

上面的方程式1是用于计算在图7所示的X×Y×Z的盒中设置的大量的L×L×L的晶格元素之中、包括有作为列表元素标识符k的头部位置信息{Ph(k)}的坐标信息(Phx，Phy，Phz)的位置的那个晶格元素的公式。

例如，在通过上面的方程式1获得x＝y＝z＝0的计算结果的情况下，意味着包括有头部位置信息{Ph(k)}的头部位置坐标(Phx，Phy，Phz)的晶格元素是与图7所示的X×Y×Z的盒中的原点接触的一个晶格元素。

此外，例如，在通过上面的方程式1获得x＝5和y＝z＝0的计算结果的情况下，意味着包括有头部位置信息{Ph(k)}的头部位置坐标(Phx，Phy，Phz)的晶格元素是在图7所示的X×Y×Z的盒中从原点起沿X轴的第六晶格元素。

在步骤S108处，以这种方式，计算头部位置信息{Ph(k)}的头部位置坐标(Phx，Phy，Phz)被包括在构成热图的三维盒中的哪个晶格元素中。

由上面的方程式1计算的坐标(x，y，z)是包括有头部位置信息{Ph(k)}的头部位置坐标(Phx，Phy，Phz)的晶格元素的位置信息(标识符)。

(步骤S109)

随后在步骤S109处，信息处理装置的数据处理单元确定在步骤S108处根据上述方程式1计算的(x，y，z)(换言之，作为包括有头部位置信息{Ph(k)}的头部位置坐标(Phx，Phy，Phz)的晶格元素的位置信息(标识符)的(x，y，z))是否满足下面的方程式2。

0≤x<X，0≤y<Y，并且0≤z<Z...(方程式2)

X、Y和Z是用于定义图7所示的热图的三维盒的边的长度。

在满足上述方程式2的情况下，作为包括有头部位置坐标(Phx，Phy，Phz)的晶格元素的位置信息(标识符)的位置(x，y，z)在用于定义图7所示的热图的三维盒内部。

然而，在不满足上述方程式2的情况下，作为包括有头部位置坐标(Phx，Phy，Phz)的晶格元素的位置信息(标识符)的位置(x，y，z)在用于定义图7所示的热图的三维盒外面。

在这种情况下，不能执行增加热图的晶格元素计数器值(＝头部位置数)的处理。

因此，在这种情况下，省略步骤S110处的计数器值更新处理，并且处理进行到步骤S111。

(步骤S110)

步骤S110处的处理是在步骤S109处确定作为包括有头部位置信息{Ph(k)}的头部位置坐标(Phx，Phy，Phz)的晶格元素的位置信息(标识符)的(x，y，z)满足下面的方程式2的情况下执行的处理。

0≤x<X，0≤y<Y，并且0≤z<Z...(方程式2)

在这种情况下，在步骤S110处，信息处理装置的数据处理单元执行将计数器值增加1的处理，作为保持作为处理目标的三维阵列计数器Ah[x][y][z]的头部位置信息的更新处理。换言之，执行如下的计数器值更新处理。

Ah[x][y][z]＝Ah[x][y][z]+1

通过该计数器值更新处理，作为在步骤S108处计算的头部位置所属的晶格元素的(x，y，z)的计数器Ah[x][y][z]的计数值增加1并且被更新以对数据集进行计数，使得将一个用户(观看者)的头部位置包括在该晶格元素中。

(步骤S111)

随后在步骤S111处，信息处理装置的数据处理单元执行根据头部位置信息列表{Ph(k)}更新处理目标列表元素的处理。

换言之，执行更新处理以将列表元素标识符k设置为：

k＝k+1

通过该处理，头部位置信息列表{Ph(k)}的处理目标元素被设置为下一个元素。

在步骤S111处的列表元素更新处理之后，对被设置为新的处理目标的列表元素k执行在步骤S106处开始的处理。

当在步骤S106处，下面的确定表达式不成立：

k<n

并且确定完成了登记到头部位置信息列表的所有n个列表元素的处理的情况下，处理进行到步骤S112。

(步骤S112)

当确定完成了登记到头部位置信息列表的所有n个列表元素的处理时，信息处理装置的数据处理单元在步骤S112处计算通过将头部位置信息的所有晶格元素的值中的每一个除以列表元素总数目n而获得的值(热图输出值)，该头部位置信息保持由各自具有长度为L的边的立方体晶格元素构成的三维阵列计数器Ah[x][y][z]。

通过除法处理，将保持与每个晶格元素对应的三维阵列计数器Ah[x][y][z]的头部位置信息的设置值设置为0到1的范围内的值。

在一个晶格元素中包括的头部位置的数目最多为n，并且三维阵列计数器Ah[x][y][z]的设置值通过除以n的除法处理被设置为0到1的范围内的值。

(步骤S113)

随后在步骤S113处，信息处理装置的数据处理单元在数据库中存储保持更新后的分析帧时间t处的三维阵列计数器Ah[x][y][z]的头部位置信息的设置值(热图输出值)。

此外，例如，响应于来自用户的输出请求，执行输出处理。

注意，如上所述，在例如热图被显示在显示器上的情况下，每个晶格的着色处理通过根据三维阵列计数器Ah[x][y][z]的设置值改变可用作输出颜色设置信息的阿尔法通道值来调整输出颜色和输出浓度。

通过该处理，包括大量头部位置的晶格元素以深色输出，并且包括少量头部位置的晶格元素以浅色输出，这允许一目了然地确定头部位置的分布。

(步骤S114)

随后在步骤S114处，信息处理装置的数据处理单元确定分析帧时间t是否是内容构成帧的最后帧时间。

在分析帧时间t是内容构成帧的最后帧时间的情况下，确定完成了所有帧的处理，并且处理结束。

另一方面，在分析帧时间t不是内容构成帧的最后帧时间的情况下，确定存在任何未处理的帧，并且处理进行到步骤S115。

(步骤S115)

在步骤S114处确定存在任何未处理的帧的情况下，信息处理装置的数据处理单元在步骤S115处执行分析目标帧的帧时间的更新处理。

具体地，分析目标帧的帧时间t被更新为下一个帧时间。

在该更新处理之后，处理返回到步骤S103，并且对未处理的帧执行在步骤S103处开始的处理。

在步骤S114处确定不存在未处理的帧的情况下，完成了与内容的所有构成帧对应的头部位置热图，并且处理结束。

当执行根据图9和图10所示的流程图的处理时，如图11(a)所示的数据作为帧单元数据存储在数据库中，并且可以通过使用该数据输出如图11(b)所示的头部位置(视点位置)热图。

下面将参照图12和图13中所示的流程图来描述参照图6描述的注视点位置热图的生成序列。

注意，可以由图1所示的自由视点视频分发服务器30和观看信息收集服务器40中的任一个的信息处理装置来执行根据图12和图13中所示的流程图的注视点位置热图的生成处理。

诸如自由视点视频分发服务器30或观看信息收集服务器40的信息处理装置包括数据处理单元，并且在数据处理单元的控制下执行根据图12和图13中所示的流程图的处理，该数据处理单元包括具有计算机程序执行功能的CPU。注意，稍后将描述信息处理装置的示例性硬件配置。

下面描述图12和图13中所示的流程图中的每个步骤处的处理。

(步骤S201)

在步骤S201处，信息处理装置的数据处理单元执行作为来自自由视点视频内容的注视点位置热图的生成处理的目标帧的分析帧的初始设置。具体地，设置分析帧时间：t＝0。

(步骤S202)

随后在步骤S202处，信息处理装置的数据处理单元执行将三维阵列计数器Aw[x][y][z]的所有值都设置为零的初始化处理，其中，该三维阵列计数器Aw[x][y][z]保持由各自具有长度为L的边的立方体晶格元素构成的三维盒(X×Y×Z)的每个晶格元素的注视点位置信息。

热图具有参照图7描述的三维配置。

L、X、Y和Z是针对每个内容定义的常数。例如，L被定义为1m，并且X、Y和Z被定义为10，并且在这种情况下，构成热图的整个三维空间被设置成10m×10m×10m，这意味着在其中设置有1000个1m×1m×1m的晶格元素。

可以通过坐标信息(x，y，z)来标识每个L×L×L的晶格元素，并且执行对在由坐标信息(x，y，z)指定的每个晶格元素中包括的注视点位置的数目进行计数的处理。保持该计数值的计数器是保持三维阵列计数器Aw[x][y][z]的注视点位置信息。

在步骤S202处，执行将图7中所示的尺寸为X×Y×Z的三维盒中的所有L×L×L的晶格元素的计数器Aw[x][y][z]的所有值都设置为零的初始化处理。

(步骤S203)

随后在步骤S203处，信息处理装置的数据处理单元根据分析帧时间t处的分析目标内容的所有观看信息来生成注视点位置信息列表{Pw(k)}(k＝0,1,...,n-1，其中，n是列表元素的总数目)。

该处理是基于图3所示的观看状态信息的数据生成仅由注视点位置信息组成的列表的处理。

从大量用户(观看者)获取图3所示的观看状态信息，并且信息处理装置基于所获取的大量列表的数据来生成作为仅由注视点位置信息组成的列表的注视点位置信息列表{Pw(k)}。

数值k是0,1,...,n-1的列表元素标识符。

n是列表元素总数目。

注意，根据上面参照图5描述的处理来执行基于图3所示的观看状态信息的数据的注视点位置计算处理。

具体地，根据在观看状态信息中包括的头部位置坐标和视线方向来计算视线(射线)。此外，计算视线(射线)与自由视点视频内容中包括的每个对象之间的交点。

选择被包括在由FoV、近裁剪和远裁剪表示的视锥体中的这些交点中最接近头部位置的交点。

因此，所选择的交点位置的坐标数据被添加到注视点位置信息列表{Pw(k)}。

注意，在不存在与对象的交点或者视锥体中不包括交点的情况下，确定不存在注视点，并且没有任何内容被添加到列表中。

针对所有观看状态信息重复执行以这种方式根据观看状态信息确定注视点以及将注视点添加到列表的处理，以生成作为仅由注视点位置信息组成的列表的注视点位置信息列表{Pw(k)}。

(步骤S204)

随后在步骤S204处，信息处理装置的数据处理单元确定注视点位置信息列表是否为空。

在注视点位置信息列表没有数据(注视点位置信息)的情况下，处理进行到步骤S213。

在注视点位置信息列表具有数据(注视点位置信息)的情况下，处理进行到步骤S205。

(步骤S205)

随后在步骤S205处，信息处理装置的数据处理单元将注视点位置信息列表{Pw(k)}的列表元素标识符值k初始化为零。

该处理是将第一元素设置为注视点位置信息列表{Pw(k)}的处理目标列表元素的初始化处理。

(步骤S206)

随后在步骤S206处，信息处理装置的数据处理单元确定列表元素标识符k是否满足下面的确定表达式：

k<n

换言之，确定列表元素标识符k是否小于列表元素总数目n。

在列表元素标识符k等于列表元素总数目n的情况下，意味着完成了对k＝0至n-1的所有列表元素的处理，并且在这种情况下，处理进行到步骤S212。

另一方面，在列表元素标识符k小于列表元素总数目n的情况下，意味着未完成对k＝0至n-1的所有列表元素的处理并且存在任何未处理的列表元素，并且在这种情况下，处理进行到步骤S207。

(步骤S207)

随后在步骤S207处，信息处理装置的数据处理单元获取列表元素标识符k的注视点位置信息{Pw(k)}。

可以获得作为如上面参照图3和其他附图所描述的根据自由视点视频内容坐标系的坐标信息(Pwx，Pwy，Pwz)的注视点位置信息。

(步骤S208)

随后在步骤S208处，信息处理装置的数据处理单元基于注视点位置信息{Pw(k)}的注视点位置坐标(Pwx，Pwy，Pwz)，根据下面的方程式3来计算值x、y和z。

x＝F_floor(Pwx/L)，

y＝F_floor(Pwy/L)，

z＝F_floor(Pwz/L)，

…(方程式3)

注意，F_floor(a)是返回a的整数部分的函数。

上面的方程式1是用于计算在图7所示的X×Y×Z的盒中设置的大量的L×L×L的晶格元素之中、包括有作为列表元素标识符k的注视点位置信息{Pw(k)}的坐标信息(Pwx，Pwy，Pwz)的位置的那个晶格元素的公式。

在例如通过上面的方程式3获得x＝y＝z＝5的计算结果的情况下，意味着包括有注视点位置信息{Pw(k)}的注视点位置坐标(Pwx，Pwy，Pwz)的晶格元素是下述一个晶格元素：该晶格元素是图7所示的X×Y×Z的盒中从原点起沿X轴的第六个、从原点起沿Y轴的第六个、并且从原点起沿Z轴的第六个。

在步骤S208处，以这种方式计算构成热图的三维盒中的包括有注视点位置信息{Pw(k)}的注视点位置坐标(Pwx，Pwy，Pwz)的晶格元素。

通过上面的方程式1计算的(x，y，z)是包括有注视点位置信息{Pw(k)}的注视点位置坐标(Pwx，Pwy，Pwz)的晶格元素的位置信息(标识符)。

(步骤S209)

随后在步骤S209处，信息处理装置的数据处理单元确定在步骤S208处根据上面的方程式3计算的(x，y，z)(换言之，作为包括有注视点位置信息{Pw(k)}的注视点位置坐标(Pwx，Pwy，Pwz)的晶格元素的位置信息(标识符)的(x，y，z))是否满足下面的方程式4。

0≤x<X，0≤y<Y，并且0≤z<Z...(方程式4)

X、Y和Z是用于定义图7所示的热图的三维盒的边的长度。

在满足上述方程式4的情况下，作为包括有注视点位置坐标(Pwx，Pwy，Pwz)的晶格元素的位置信息(标识符)的(x，y，z)的位置在用于定义图7所示的热图的三维盒内部。

然而，在不满足上述方程式4的情况下，作为包括有注视点位置坐标(Pwx，Pwy，Pwz)的晶格元素的位置信息(标识符)的(x，y，z)的位置在用于定义图7所示的热图的三维盒外面。

在这种情况下，不能执行增加热图晶格元素计数器值(＝注视点位置数)的处理。

因此，在这种情况下，省略步骤S210处的计数器值更新处理，并且处理进行到步骤S211。

(步骤S210)

步骤S210处的处理是在步骤S209处确定作为包括有注视点位置信息{Pw(k)}的注视点位置坐标(Pwx，Pwy，Pwz)的晶格元素的位置信息(标识符)的(x，y，z)满足下面的方程式4的情况下执行的处理。

0≤x<X，0≤y<Y，并且0≤z<Z...(方程式4)

在这种情况下，信息处理装置的数据处理单元在步骤S210处执行将计数器值增加1的处理，作为保持作为处理目标的三维阵列计数器Aw[x][y][z]的注视点位置信息的更新处理。换言之，执行如下的计数器值更新处理。

Aw[x][y][z]＝Aw[x][y][z]+1

通过该计数器值更新处理，作为在步骤S208处计算的注视点位置所属的晶格元素的(x，y，z)的计数器Aw[x][y][z]的计数值增加1并且被更新以对数据集进行计数，使得将一个用户(观看者)的注视点位置包括在晶格元素中。

(步骤S211)

随后在步骤S211处，信息处理装置的数据处理单元执行根据注视点位置信息列表{Pw(k)}更新处理目标列表元素的处理。

换言之，执行更新处理以将列表元素标识符k设置为：

k＝k+1

通过该处理，将注视点位置信息列表{Pw(k)}的处理目标元素设置为下一个元素。

在步骤S211处的列表元素更新处理之后，对被设置为新的处理目标的列表元素k执行在步骤S206处开始的处理。

在步骤S206处，当下面的确定表达式不成立：

k<n

并且确定完成了登记到注视点位置信息列表的所有n个列表元素的处理的情况下，处理进行到步骤S212。

(步骤S212)

当确定完成了登记到注视点位置信息列表的所有n个列表元素的处理时，信息处理装置的数据处理单元在步骤S212处计算通过将以下注视点位置信息的所有晶格元素中的每一个的值除以列表元素总数目n而获得的值(热图输出值)，该注视点位置信息保持由各自具有长度为L的边的立方体晶格元素组成的三维阵列计数器Aw[x][y][z]。

通过除法处理，将保持与每个晶格元素对应的三维阵列计数器Aw[x][y][z]的注视点位置信息的设置值设置为0到1的范围内的值。

在一个晶格元素中包括的注视点位置的数目最多为n，并且三维阵列计数器Aw[x][y][z]的设置值通过除以n的除法处理被设置为0到1的范围内的值。

(步骤S213)

随后在步骤S213处，信息处理装置的数据处理单元在数据库中存储保持更新后的分析帧时间t处的三维阵列计数器Aw[x][y][z]的注视点位置信息的设置值(热图输出值)。

此外，例如，响应于来自用户的输出请求，执行输出处理。

注意，如上所述，在例如热图被显示在显示器上的情况下，每个晶格的着色处理通过根据三维阵列计数器Aw[x][y][z]的设置值改变可用作输出颜色设置信息的阿尔法通道值来调整输出颜色和输出浓度。

通过该处理，包括大量注视点位置的晶格元素以深色输出，并且包括少量注视点位置的晶格元素以浅色输出，这允许一目了然地确定注视点位置的分布。

(步骤S214)

随后在步骤S214处，信息处理装置的数据处理单元确定分析帧时间t是否是内容构成帧的最后帧时间。

另一方面，在分析帧时间t不是内容构成帧的最后帧时间的情况下，确定存在任何未处理的帧，并且处理进行到步骤S215。

(步骤S215)

在步骤S214处确定存在任何未处理的帧的情况下，信息处理装置的数据处理单元在步骤S215处执行分析目标帧的帧时间的更新处理。

具体地，分析目标帧的帧时间t被更新为下一个帧时间。

在该更新处理之后，处理返回到步骤S203，并且对未处理的帧执行在步骤S203处开始的处理。

在步骤S214处确定不存在未处理的帧的情况下，完成了与内容的所有构成帧对应的注视点位置热图，并且处理结束。

当执行根据图12和图13所示的流程图的处理时，如图14(a)所示的数据作为帧单元数据存储在数据库中，并且可以通过使用该数据输出如图14(b)所示的热图。

[2-(b).提供推荐视点信息和基于推荐视点信息执行显示控制的实施例]

下面描述执行推荐视点信息的提供和基于推荐视点信息的显示控制的实施例。

下面描述的实施例是以下实施例，在该实施例中，基于观看状态分析结果而自动显示各个时间在视线方向上最受欢迎的视点位置处的图像区域中的内容。

通过该内容控制，可以优先提供由大量观看者观看的视频。

图15是示出执行推荐视点信息的提供和基于推荐视点信息的显示控制的信息处理系统的示例性配置的图。

与上面参照图1描述的信息处理系统类似，自由视点视频分发服务器30通过网络35获取在自由视点视频内容数据库31中存储的自由视点视频内容，并且通过网络36将所获取的自由视点视频发送至用户(观看者)侧的信息处理装置(内容输出装置)70。

作为示例性观看设备70，除了如参照图1描述的PC 71以及被配置成显示由PC 71呈现的图像的HMD 72的组合之外，图15还示出了PC 73和便携式终端(智能电话)74。

利用除了HMD 72之外的PC 73或便携式终端(智能电话)74，用户(观看者)可以自由地改变在观看设备上显示的图像区域。

下面参照图16描述显示图像区域的示例性改变。

图16的上部示出了作为自由视点视频内容的内容51，并且图16的下部示出了便携式终端(智能电话)74。

便携式终端(智能电话)74的显示单元可以显示自由视点视频内容的部分区域的图像，该部分区域例如为由用户可选地选择的区域。

左侧的便携式终端(智能电话)74的显示图像A是内容51中的部分区域的a1至a2的图像区间中的部分区间的区域图像。

右侧的便携式终端(智能电话)74的显示图像B是内容51中的部分区域的b1至b2的图像区间中的部分区间的区域图像。

用户可以通过例如被配置为触摸面板的显示单元上的手指滑动处理来移动显示图像以显示可选区域的图像。

在使用诸如PC或电视机的显示装置的情况下，也可以通过键盘、鼠标、遥控器等的输入操作自由地选择显示区域。

参照图15继续系统配置描述。

与上面参照图1和后面的附图描述的处理类似，观看设备70将具有图3所示的数据配置的观看状态信息52发送至观看信息收集服务器40。

观看信息收集服务器40将所收集的观看状态信息存储在通过网络35连接的观看信息记录数据库41中。

图15所示的信息处理系统与图1所示的系统的不同之处在于，自由视点视频分发服务器30将推荐视点信息61发送至观看者设备70。

在本实施例中，自由视点视频分发服务器30分析观看信息记录数据库41中存储的观看状态信息，基于分析结果生成推荐视点信息61，并且将推荐视点信息61发送至观看者设备70。

观看者设备70可以通过使用推荐视点信息61来执行例如显示控制，以自动显示各个内容回放时间处在视线方向上最受欢迎的视点位置处的图像区域中的内容。通过该内容显示控制，可以优先提供大量观看者的高图像等。

下面参照图17描述推荐视点信息61的示例性数据配置，该推荐视点信息61基于在观看信息记录数据库41中存储的观看状态信息而生成并且由自由视点视频分发服务器30发送至观看者设备70。

如图17所示，推荐视点信息61记录内容ID、回放时间、头部位置、头部前方方向、头部上方方向、视线方向和FoV。

该数据是针对由内容ID指定的内容来记录每个回放时间处推荐的头部位置(视点位置)、头部前方方向、头部上方方向、视线方向和FoV的数据。

换言之，可以通过显示具有在图17所示的推荐视点信息中记录的头部位置(视点位置)、头部前方方向、头部上方方向、视线方向和FoV的设置的图像来自动显示推荐图像或最受欢迎的图像。

注意，在根据推荐视点信息61的推荐图像被自动显示在观看设备70中的显示器上的情况下，观看设备70的模式需要设置为自动视点控制模式。

如图18所示，观看设备70具有用于实现在可以在内容显示处理中设置的以下两个视点控制模式之间的切换的这样的配置。

(1)视点控制模式1＝手动视点控制模式

(2)视点控制模式2＝自动视点控制模式

手动视点控制模式是可以根据用户的意图改变显示区域的模式，并且在HMD的情况下是下述模式：用户(观看者)的头部的位置和方向被改变，以根据改变方面来改变显示图像。

此外，在内容显示在PC、智能电话等的显示器上的情况下，可以通过用户在触摸面板、鼠标等上的输入处理来移动显示图像区域。

另一方面，自动视点控制模式是下述模式：在显示器上自动显示根据推荐视点信息61的推荐图像。

在自动视点控制模式的设置中，停止根据HMD的运动或PC、智能电话等上的用户输入的显示图像的改变处理。

下面将参照图19和图20所示的流程图，描述由观看设备70侧的信息处理装置执行的根据本实施例的内容显示控制处理序列。

图19和图20所示的流程图由观看设备70侧的信息处理装置执行，换言之，由图15所示的PC 71、PC 73、便携式终端(智能电话)74等的信息处理装置执行。信息处理装置包括数据处理单元，并且在数据处理单元的控制下执行根据流程图的处理，其中该数据处理单元包括具有计算机程序执行功能的CPU。注意，稍后将描述信息处理装置的示例性硬件配置。

下面首先描述图19中所示的流程图的每个处理。

图19所示的流程图是用于描述由观看设备70侧的信息处理装置执行的自动视点控制模式的设置处理的序列的流程图。

首先，信息处理装置(观看设备)执行在开始内容回放之前初始化回放应用的状态的处理。在按下回放按钮等时执行在图19中的步骤S301处开始的步骤。

(步骤S301)

在步骤S301处，信息处理装置(观看设备)将作为与显示内容对应的数据的显示内容对应视点位置P和视点方向Q设置为初始值。初始值包括在内容的元数据中。注意，内容是自由视点视频内容。

在自由视点视频内容坐标系中表示视点位置P和视点方向Q。

注意，在图17所示的推荐视点信息或上面参照图3描述的观看状态信息中记录的数据中，“头部位置”与视点位置P对应，并且一对“头部前方方向”和“头部上方方向”与视点方向Q对应。注意，以四元数表示视点方向Q。

(步骤S302)

随后在步骤S302处，信息处理装置(观看设备)将视点控制模式设置为自动视点控制模式。

这些处理结束初始化处理。

下面参照图20所示的流程图描述设置成自动视点控制模式的信息处理装置(观看设备)所执行的内容显示控制序列。

由在信息处理装置(观看设备)处激活的内容回放应用执行根据图20所示的流程图的处理。

在自动视点控制模式中，回放应用根据推荐视点信息来执行内容的每个图像帧的绘制处理。

例如，在以60fps呈现内容的情况下，以每帧(换言之，每1/60秒)重复执行图20所示的流程的步骤S321和后续步骤的处理，直到由用户(观看者)停止内容回放或内容回放结束(呈现了最后一帧)为止。

(步骤S321)

首先，在步骤S321处，信息处理装置(观看设备)确定视点控制模式是否被设置成自动视点控制模式。

在设置了自动视点控制模式的情况下，处理进行到步骤S322。

在未设置自动视点控制模式的情况下，处理进行到步骤S331。

(步骤S322)

在设置了自动视点控制模式的情况下，信息处理装置在步骤S322处确定是否检测到模式切换输入。

在未检测到模式切换输入的情况下，处理进行到步骤S323。

在检测到模式切换输入的情况下，处理进行到步骤S333。

(步骤S323)

在未检测到模式切换输入的情况下，信息处理装置在步骤S323处获取内容的元数据中所包括的当前回放时间处的“推荐视点信息R”，并且处理进行到步骤S324。

“推荐视点信息R”是包括上面参照图17描述的数据的信息。

下面描述使用推荐视点信息R中所包括的头部位置、头部前方方向和头部上方方向的示例性处理。

获取在当前回放时间处的推荐视点信息R中所包括的头部位置Pr和头部方向Qr(根据头部前方方向和头部上方方向计算的)。

以四元数表示头部方向Qr。

(步骤S324)

随后在步骤S324处，信息处理装置计算当前回放时间处的推荐视点。

该推荐视点计算处理使用：

先前帧的视点位置P和视点方向Q；以及

作为在步骤S323处获取的推荐视点信息R的记录数据的头部位置Pr和头部前方方向Qr。

通过使用先前帧的视点位置P和推荐视点信息R中所包括的头部位置Pr的线性插值(lerp(线性插值))根据下面的方程式来计算当前回放时间处的推荐视点的视点位置Pc。

Pc＝(1-t)P+tPr

其中，t是0≤t≤1的参数。

类似地，通过使用先前帧的视点方向Q和从推荐视点信息R获得的头部方向Qr的球面线性插值(slerp(球面线性插值))来计算当前回放时间处的视点方向Qc。

(步骤S325)

随后在步骤S325处，信息处理装置在观看设备的显示单元上呈现与在步骤S324处计算的当前回放时间处的推荐视点对应的图像区域的内容。

注意，在可以将FoV设置为呈现参数的情况下，设置推荐视点信息R中所包括的FoV。

此外，信息处理装置将要在被发送至观看信息收集服务器的观看状态信息中记录的视点信息(位置、方向)更新为与当前显示内容对应的视点信息。

P和Q分别用Pc和Qc更新。

(步骤S326)

随后在步骤S326处，信息处理装置生成包括在步骤S325处更新的视点信息(位置Pc、方向Qc)和内容回放时间的对应数据的观看状态信息，并且将观看状态信息发送至观看信息收集服务器。

(步骤S331和S332)

在步骤S321处确定未设置自动视点控制模式的情况下，信息处理装置在步骤S331处确定是否检测到模式切换输入。

在检测到模式切换输入的情况下，处理进行到步骤S332，并且视点控制模式改变为自动视点控制模式。

在未检测到模式切换输入的情况下，处理进行到步骤S334。

(步骤S333)

在步骤S322处检测到模式切换输入的情况下，在步骤S333处执行从自动视点控制模式到手动视点控制模式的切换，并且处理进行到步骤S334。

(步骤S334)

在步骤S334处，信息处理装置以手动视点控制模式来执行内容显示控制。

具体地，计算根据手动视点控制模式的视点(位置P、方向Q)，并且根据计算的视点来执行视频显示。

在HMD的情况下，根据依照HMD的位置和方向的视点(P、Q)来执行视频显示。

此外，在PC、智能电话等的情况下，根据响应于用户操作的视点(P、Q)执行视频显示。

[2-(c).执行内容自动章节划分处理的实施例]

下面描述执行内容自动章节划分处理的实施例。

下面描述的实施例是基于观看状态分析结果(例如，热图的时间序列改变的程度)检测场景切换点的实施例，并且场景切换点被设置为章节切换点。

例如，自由视点视频分发服务器在时间方向上对推荐视点信息的头部位置和头部方向进行聚类(cluster)，将头部位置和头部方向改变超过适当阈值的内容回放时间记录为场景切换点，并且将作为场景切换点信息的上述时间的列表作为与内容对应的元信息分发给用户侧的观看设备。

例如，用户侧的观看设备(例如，PC)可以基于“场景切换点信息”，在指示内容回放时间的进度条的时间位置处显示表示场景切换点的标记或符号。此外，可以通过从列表中的时间开始回放来执行诸如移动到下一个或前一个场景切换点的操作。

图21是示出被配置成执行场景切换点信息81的提供和使用场景切换点信息81的处理的信息处理系统的示例性配置的图。

与上述图15类似，作为示例性观看设备70，除了如参照图1描述的PC 71以及被配置成显示由PC 71呈现的图像的HMD 72的组合之外，图21还示出了PC 73和便携式终端(智能电话)74。

在图21所示的信息处理系统中，自由视点视频分发服务器30将场景切换点信息81发送至观看者设备70。

在本实施例中，自由视点视频分发服务器30分析观看信息记录数据库41中存储的观看状态信息，基于分析结果生成场景切换点信息81，并且将场景切换点信息81发送至观看者设备70。

观看者设备70可以通过使用场景切换点信息81预先知道内容场景切换点，并且可以在指示内容回放时间的进度条的时间位置处显示表示场景切换点的标记或符号。此外，可以通过从列表中的时间开始回放来执行诸如移动到下一个或前一个场景切换点的操作。

下面参照图22描述场景切换点信息81的示例性数据配置，该场景切换点信息81由自由视点视频分发服务器30基于观看信息记录数据库41中存储的观看状态信息生成并且被发送至观看者设备70。

如图22所示，场景切换点信息81被生成为内容ID和场景切换点时间的对应数据。

该数据记录由内容ID指定的内容的场景切换点时间。

下面参照图23所示的流程图描述由作为信息处理装置的自由视点视频分发服务器30执行的“场景切换点信息”的生成序列。

下面描述图23所示的流程图中的每个步骤处的处理。

(步骤S401)

首先，在步骤S401处，信息处理装置(自由视点视频分发服务器30)重置“场景切换点信息列表”。

换言之，列表被清空。

(步骤S402)

随后在步骤S402处，信息处理装置获取处理目标内容的推荐视点信息的记录数据，计算每个时间间隔T的头部位置P和头部方向Q的平均值P(k)和Q(k)(k＝0,1,2,...,n)，并且生成头部位置方向转换列表。

具体地，计算通过在T秒的间隔内对内容的推荐视点信息中所包括的视点的位置和方向求平均而获得的值。T是预定的固定值，并且例如是五秒等。通过以T秒的间隔将整个内容划分n次来获得n+1个部分。

针对每个部分计算头部位置P和方向Q的平均值P(k)和Q(k)。

P(k)和Q(k)表示从时间kT起T秒内的头部位置和方向的平均值。

(步骤S403)

随后在步骤S403处，信息处理装置对在步骤S402处生成的头部位置方向转换列表的列表元素标识参数k进行初始化(k＝1)。

(步骤S404)

随后在步骤S404处，信息处理装置确定列表元素标识参数k是否大于最大值n。

在k>n成立的情况下，确定头部位置方向转换列表的生成处理已经结束，并且处理进行到步骤S411。

在k>n不成立的情况下，确定头部位置方向转换列表的生成处理尚未结束，并且处理进行到步骤S405。

(步骤S405)

随后在步骤S405处，信息处理装置基于在头部位置方向转换列表中列出的相邻列表元素来计算改变量(差异)信息。

计算以下两个改变量。

头部位置改变量:ΔP(k)＝|P(k)-P(k-1)|

头部方向改变量:ΔQ(k)＝|Q(k)-Q(k-1)|

(步骤S406)

随后在步骤S406处，信息处理装置确定在步骤S405处计算的改变量(差异)ΔP(k)或ΔQ(k)是否已超过预定阈值。

注意，阈值是针对改变量(差异)ΔP(k)和ΔQ(k)中的每一个预先定义的阈值，并且是根据内容预先确定的阈值。

在确定在步骤S405处计算的改变量(差异)ΔP(k)或ΔQ(k)已超过预定阈值的情况下，处理进行到步骤S407。

另一方面，在确定在步骤S405处计算的改变量(差异)ΔP(k)或ΔQ(k)未超过预定阈值的情况下，处理进行到步骤S408。

(步骤S407)

在确定在步骤S405处计算的改变量(差异)ΔP(k)或ΔQ(k)已超过预定阈值的情况下，在步骤S407处，将时间kT作为场景切换时间添加到场景切换点信息列表。

换言之，在改变量(差异)大于用于头部位置方向转换列表中列出的相邻列表元素的阈值的情况下，场景切换时间kT被记录在场景切换点信息列表中。

(步骤S408)

在步骤S407处的处理结束之后，或者在步骤S406处确定改变量(差异)ΔP(k)或ΔQ(k)未超过预定阈值的情况下，处理进行到步骤S408。

在步骤S408处，执行头部位置方向转换列表的列表元素标识参数k的更新(k＝k+1)，并且基于更新之后的参数执行在步骤S404处开始的处理。

(步骤S411)

在步骤S404处，在确定列表元素标识参数k大于最大值n的情况下，换言之，在k>n成立的情况下，确定头部位置方向转换列表的生成处理已经结束，并且处理进行到步骤S411。

在步骤S411处，将生成的场景切换点信息列表存储在数据库中，并且处理结束。

下面参照图24所示的流程图描述当在客户端侧(换言之，观看设备70侧)的信息处理装置处在回放自由视点内容期间执行章节移动操作时执行的处理。

注意，已经获取了回放的内容和场景切换点信息列表。此外，针对每个回放帧重复执行根据图24所示的流程图的处理。

(步骤S421)

首先，在步骤S421处，信息处理装置(观看设备)确定是否输入了移动到下一章节的请求。

在输入了移动到下一章节的请求的情况下，处理进行到步骤S422。否则，该处理结束。

(步骤S422)

随后在步骤S422处，信息处理装置确定场景切换点信息列表是否为空，或者当前回放时间是否比列表的最后条目的场景切换点时间晚。

在场景切换点信息列表为空或者当前回放时间比列表的最后条目的场景切换点时间晚的情况下，处理进行到步骤S424。

在场景切换点信息列表不为空或者当前回放时间比列表的最后条目的场景切换点时间晚的情况下，处理进行到步骤S423。

(步骤S423)

在步骤S422处，在场景切换点信息列表不为空或者当前回放时间比列表的最后条目的场景切换点时间晚的情况下，处理进行到步骤S423。

在步骤S423处，信息处理装置从场景切换点信息列表中获取大于当前回放时间的最小场景切换点时间T，并且将回放开始时间设置为T。

换言之，执行章节移动处理。

(步骤S424)

在步骤S422处，在确定场景切换点信息列表为空或者当前回放时间比列表的最后条目的场景切换点时间晚的情况下，处理进行到步骤S424。

在步骤S424处，信息处理装置将内容的最后帧的时间设置为回放时间。

换言之，执行移动到最后帧的回放处理的处理。

注意，参照图24所示的流程描述的章节移动处理是朝向内容后退侧的示例性章节移动处理，但是在朝向前侧的章节移动的情况下，可以类似地参考场景切换点信息列表来执行章节移动处理。

[2-(d).执行广告显示控制的实施例]

下面描述执行广告显示控制的实施例。

下面描述的实施例是基于观看状态分析结果(例如，热图)实现有效广告显示处理的实施例。

基于观看状态分析结果(例如，热图)计算自由视点视频中的每个图像区域的“观看率”，并且基于观看率来执行下面的处理。

下面的实施例描述了在自由视点视频内容中CG(计算机绘图)虚拟标志牌广告被分发并且被叠加的配置作为示例性广告显示。广告商在指定广告的预算、作为标志牌广告的纹理图像和等级的情况下将广告登记到广告数据库。

例如，三个级别处的任意等级被预先设置为等级。

三个级别处的等级是根据基于从观看设备发送的观看状态信息生成的注视点热图的注视点分布状态的等级。

图25示出了示例性广告等级定义列表。

如图25所示，广告等级定义列表是等级3至1各自与0至1.0的关注度和单价(日元/秒)相关联的数据。

关注度是与基于从观看设备发送的观看状态信息生成的注视点热图的注视点分布状态对应的数据。

对于注视点热图上包括具有较大数目的注视点的晶格的区域，关注度被设置为高，并且对于注视点热图上包括具有少量注视点的晶格的区域，关注度被设置为低。

根据关注度来设置单价，对于具有高关注度的晶格区域，单价被设置为高，并且对于具有低关注度的区域，单价被设置为低。

广告商基于该广告等级定义来确定等级，并且将广告与作为标志牌广告的纹理图像、等级、预算等的数据一起登记到广告数据库。

图26示出了广告数据库的示例性登记数据。

如图26所示，广告数据库将用于获取作为标志牌广告的纹理图像的数据的URL、初始预算、预算余额和等级彼此相关联地登记。

将广告与自由视点视频内容一起分发的自由视点视频分发服务器将登记到广告数据库的广告叠加在内容上，将广告发送至用户(观看者)侧的观看设备，并且在显示单元上显示广告。

在该广告提供处理中，自由视点视频分发服务器根据预定算法来执行广告选择和广告输出位置确定处理。

在广告输出位置确定处理中，显示广告的图像的纹理以替换满足与广告的等级对应的关注度的晶格(该晶格根据热图而确定)的表面。

此外，以一秒的每个显示时间从预算中减去单价，并且当预算用完(变为零)时从广告数据库中移除对应的广告。

注意，代替将广告图像绘制为晶格表面的纹理，可以设置广告，以使得放置广告图像的矩形的中心接触下述点：在该点处，晶格的外接球体的球面上的法线与观看者的头部位置对准，并且使得广告的向上方向与观看者的头部上方方向对准。

在该示例中，预算全部在服务器侧被消耗，但是可以仅当基于从客户端传输的观看状态信息的注视点和FoV确定广告实际上“被观看”或“已进入视野”时才进行计费。

图27是示出被配置成执行本实施例的信息处理系统的示例性配置的图。

与上述图15类似，作为示例性观看设备70，除了如参照图1描述的PC 71以及被配置成显示由PC 71呈现的图像的HMD 72的组合之外，图27还示出了PC 73和便携式终端(智能电话)74。

在图27所示的信息处理系统中，自由视点视频分发服务器30将广告嵌入内容102发送至观看者设备70。

广告嵌入内容102嵌入有基于参照图26描述的广告数据库中记录的URL而获取的广告信息(包括广告数据的纹理信息)。

注意，参照图26描述的广告数据库存储数据存储在图27所示的广告数据库101中。

将广告与自由视点视频内容一起分发的自由视点视频分发服务器30将下述广告嵌入内容102发送至用户(观看者)侧的观看设备70，并且在显示单元上显示下述广告嵌入内容102：在该广告嵌入内容102中，登记到广告数据库101的广告被叠加在内容上。

在该广告提供处理中，自由视点视频分发服务器30根据预定算法来执行广告选择和广告输出位置确定处理。

下面参照图28所示的流程图描述由作为信息处理装置的自由视点视频分发服务器30执行的广告选择处理和广告输出位置确定处理、广告提供处理的序列。

下面描述图28所示的流程图中的每个步骤处的处理。

注意，在假设已经生成上面参照图6描述的注视点位置热图作为与提供给用户侧的内容对应的注视点位置热图的情况下，执行图28所示的流程。

(步骤S501)

首先，在步骤S501处，信息处理装置(自由视点视频分发服务器30)产生原始内容的副本，并且将该副本设置为广告嵌入内容D的初始值。

原始内容是由自由视点视频分发服务器30发送至观看设备70的内容，并且是自由视点视频内容。

(步骤S502)

随后在步骤S502处，信息处理装置产生通过在T秒的间隔内对注视点热图求平均而获得的注视点位置转换热图列表M(k)。

T是预定的固定值，并且例如是5秒至15秒等。通过以T秒的间隔将整个内容划分n次来获得n+1个部分。

k是注视点位置转换热图列表M(k)的列表元素参数，并且

k＝0,1,...,n。

(步骤S503)

随后在步骤S503处，信息处理装置对注视点位置转换热图列表M(k)的列表元素参数k进行初始化，换言之，执行如下的参数初始化处理：

k＝0

(步骤S504)

随后在步骤S504处，信息处理装置确定注视点位置转换热图列表M(k)的列表元素参数k是否大于参数最大值n。

在k>n成立的情况下，确定处理已经结束，并且处理结束。

在k>n不成立的情况下，处理进行到步骤S505。

(步骤S505)

随后在步骤S505处，信息处理装置在注视点位置转换热图列表M(k)的所有晶格之中选择具有最大关注度的晶格Lmax。

换言之，选择具有最大数目的注视点的晶格Lmax。

(步骤S506)

随后在步骤S506处，信息处理装置确定Lmax的关注度F是否包括在广告等级定义列表中。

如上参照图14描述的那样，热图的输出值被设置在0到1.0的范围内。

另一方面，参照图25描述的广告等级定义列表的关注度的设置值被设置为0到1.0。

在如图25所示的情况下，在广告等级定义列表中始终包括关注度，但是可以取决于广告等级定义列表的内容而不包括关注度。

在步骤S506处，确定是否存在被设置为以下关注度的广告等级定义列表的条目，该关注度与在步骤S505处选择的在注视点位置转换热图列表M(k)的所有晶格之中具有最大关注度的晶格Lmax的热图输出值匹配。

在存在匹配条目的情况下，处理进行到步骤S507，但在没有匹配条目的情况下，处理进行到步骤S512。

(步骤S507)

在步骤S506处，在确定存在被设置为以下关注度的广告等级定义列表的条目的情况下，处理进行到步骤S507：该关注度与注视点位置转换热图列表M(k)的所有晶格之中具有最大关注度的晶格Lmax的热图输出值匹配。

在步骤S507处，信息处理装置从广告等级定义列表中选择被设置为与Lmax的热图输出值匹配的关注度的广告等级定义列表的条目，并且获取设置给该条目的等级R和单价P。

(步骤S508)

随后在步骤S508处，信息处理装置针对具有等于R的“等级”以及等于或大于P的“预算余额”的广告A来搜索广告数据库(换言之，存储图26所示的数据的广告数据库)。

(步骤S509)

随后在步骤S509处，信息处理装置确定是否提取了广告A作为步骤S508处的搜索的结果。

具体地，确定是否了提取具有等于R的“等级”以及等于或大于P的“预算余额”的广告A。

在提取了广告A的情况下，处理进行到步骤S510，但是在未提取广告A的情况下，处理进行到步骤S512。

(步骤S510)

在步骤S509处，在提取了具有等于R的“等级”以及等于或大于P的“预算余额”的广告A的情况下，处理进行到步骤S510。

在步骤S510处，信息处理装置将具有与从注视点位置转换热图列表M(k)中选择的晶格Lmax的位置和尺寸相同的位置和尺寸的立方体C添加到从Kt起t秒内的内容D的部分。

内容D是在步骤S501处生成的原始内容的副本。

(步骤S511)

随后在步骤S511处，信息处理装置从广告数据库中选择作为满足条件的广告而被提取的广告A的URL，并且通过使用URL获取广告数据。

此外，所获取的广告数据作为要结合到在步骤S510处生成的立方体C的纹理而被设置到内容D。

此外，更新广告数据库，使得通过从广告A的“预算余额”中减去P而获得的值是“预算余额”的新值。

(步骤S512)

随后在步骤S512处，信息处理装置执行注视点位置转换热图列表M(k)的列表元素参数k的更新处理。换言之，

k＝k+1

执行上述参数更新，并且基于更新的参数执行在步骤S504处开始的处理。

在步骤S504处，在注视点位置转换热图列表M(k)的列表元素参数k大于参数最大值n的情况下，换言之，在k>n成立的情况下，确定处理已经结束，并且处理结束。

此外，生成的“广告嵌入内容D”被存储在内容数据库中，使得可以分发所生成的“广告嵌入内容D”来替换原始内容。

[2-(e).根据关注度执行图像质量控制的实施例]

下面描述根据关注度执行图像质量控制的实施例。

具体地，例如，基于观看状态分析结果来控制编码比特率。执行编码控制，以使得基于热图以较高的比特率对内容中具有高关注度的对象的纹理进行编码，并且以低比特率对内容中吸引较少关注的对象的纹理进行编码。

图29是示出执行本实施例的信息处理系统的示例性配置的图。

与上述图15类似，作为示例性观看设备70，除了如参照图1描述的PC 71以及被配置成显示由PC 71呈现的图像的HMD 72的组合之外，图29还示出了PC 73和便携式终端(智能电话)74。

在图29所示的信息处理系统中，自由视点视频分发服务器30将编码控制内容131发送至观看者设备70。

编码控制内容131是通过执行下述编码控制而生成的内容：该编码控制使得基于例如基于观看状态信息52生成的注视点位置热图，以较高的比特率对内容中具有高关注度的对象的纹理进行编码，并且以低比特率对内容中吸引较少关注的对象的纹理进行编码。

注意，被配置成对每个内容区域执行这样的编码处理的服务器是图29所示的转码服务器121，并且存储作为结果获得的编码内容的数据库是图29所示的转码内容数据库122。

转码服务器121通过使用例如注视点位置热图来确定具有高关注度的内容区域和具有低关注度的内容区域，该注视点位置热图是基于针对自由视点视频内容生成的观看状态信息而生成的，并且转码服务器121利用下述设置执行重新编码：具有高关注度的内容区域中的对象的纹理的比特率为高。重新编码的内容被存储在转码内容数据库122中。

自由视点视频分发服务器30将从转码内容数据库122获取的编码控制内容131发送至观看者设备70。

下面参照图30所示的流程图描述由作为信息处理装置的转码服务器1210执行的自由视点视频内容重新编码处理的序列。

下面描述图30所示的流程图中的每个步骤处的处理。

注意，在假设已经生成上面参照图6描述的注视点位置热图作为与提供给用户侧的内容对应的注视点位置热图的情况下，执行图30所示的流程。

此外，假设预先在内容中的整个空间中以均匀比特率对作为由转码服务器1210执行的重新编码的目标的自由视点视频内容提供了重新编码处理。

(步骤S601)

首先，在步骤S601处，信息处理装置(转码服务器121)获取处理目标内容(自由视点视频内容)的所有回放时间对应(所有帧对应)的注视点位置热图H。

注视点位置热图是上面参照图6和图12至图14描述的热图，并且是下述热图：在该热图中，表示了根据内容中的关注度的数据。

(步骤S602)

随后在步骤S602处，信息处理装置执行与所有回放时间对应的(与所有帧对应的)注视点位置热图H的标准化处理，并且生成通过将该标准化数据映射到纹理空间而获得的注视点映射信息M。

注视点映射信息M可以通过获取标准化的注视点位置热图H的三维晶格中包括的多边形的顶点数据并且参考来自该数据的纹理坐标来获得。

注意，纹理对应于例如在内容中包括的每个对象或每个区域的图像，并且具有以时间序列方式改变的值。

(步骤S603)

随后在步骤S603处，信息处理装置基于注视点映射信息M来计算纹理区域的观看比率p。观看比率p对应于相对于整个内容的观看量(注视点的数目的总量)的、每个晶格的观看率(该晶格中的注视点的数目)。

注意，在不存在观看日志的情况下，可以执行假设p对于所有纹理相同的处理。

(步骤S604)

随后在步骤S604处，信息处理装置基于纹理区域的观看比率p，计算所有内容构成帧中的每个纹理的观看概率P。

可以通过累积所有回放时间处的p并且将累积的p除以回放时间的采样的数目来计算观看概率P。

(步骤S605)

随后在步骤S605处，信息处理装置根据作为预先定义的目标的总比特率B以及纹理的观看概率P，确定应用于每个纹理的编码的比特率。

可以用B×P简单地计算每个纹理的比特率，但是期望提供下限的设置以防止显著的图像质量劣化。

(步骤S606)

随后在步骤S606处，信息处理装置根据在步骤S605处确定的每个纹理的比特率执行内容中包括的所有纹理的重新编码处理，并且将这些纹理存储在转码内容数据库122中。

(步骤S607)

随后在步骤S607处，信息处理装置更新用于记录对应于内容的每个纹理的比特率的有效比特率列表。

注意，有效比特率列表与内容一起存储在转码内容数据库122中。

自由视点视频分发服务器30将从转码内容数据库122获取的编码控制内容131发送至观看者设备70。注意，在这种情况下，上述有效比特率列表作为内容的元数据被发送。

通过该处理，通过网络将下述图像内容发送至观看设备：在该图像内容中，仅具有高关注度的区域变为高图像质量数据，而具有低关注度的区域具有低图像质量。因此，数据传输效率增加，并且可以防止由于网络延迟引起的内容的回放延迟。

注意，尽管在上述处理中，描述了改变纹理的比特率的示例，但是比特率改变目标不限于纹理，而是可以是例如模型数据。

下面参照图31所示的流程图描述由客户端侧的观看设备70执行的内容输出处理的序列。

由观看设备70侧的被配置成执行内容呈现的信息处理装置执行图31所示的流程。

在信息处理装置处激活的回放应用执行以每帧进行绘制的处理。

在以60fps呈现内容的情况下，以每1/60秒重复执行图31所示的流程的步骤，直到内容回放被用户停止或结束(绘制最后帧)为止。

(步骤S621)

首先，在步骤S621处，信息处理装置确定是否输入了比特率改变请求。

在输入了比特率改变请求的情况下，处理进行到步骤S622，或者在未输入比特率改变请求的情况下，处理进行到步骤S623。

注意，用于记录内容的每个纹理的比特率的有效比特率列表作为元数据与内容一起被获取。

(步骤S622)

在输入了比特率改变请求的情况下，在步骤S622处，信息处理装置改变内容获取源，以获取具有根据请求而改变的比特率的图像帧。与比特率列表类似，获取内容的URL作为元数据。

(步骤S623)

随后在步骤S623处，信息处理装置获取回放帧。

(步骤S624)

随后在步骤S624处，信息处理装置呈现在步骤S623处获取的帧的内容。

通过这些处理，客户端侧的观看设备可以显示具有与来自用户(观看者)的请求相对应的图像质量的内容。

[2-(f).基于观看状态分析结果执行计费处理的实施例]

下面描述执行基于观看状态分析结果的计费处理的实施例。

具体地，例如，基于注视点位置热图计算每个图像区域的观看率，以高价格对具有高观看率的受欢迎的图像区域的回放进行计费，但是以低价格对不受欢迎的图像区域的回放进行计费。该实施例使得能够自动设置内容的观看价格。

例如，从热图获取视点位置和注视点位置(或FoV中心区域)的受欢迎度和关注度，根据获取的数据和每帧的观看者的观看状态信息来计算观看价格，并且执行计费。

图32示出了以下附图。

(1)视点位置受欢迎度对应单价设置数据

(2)注视点(或FoV中心)关注度对应单价设置数据

(1)视点位置受欢迎度对应单价设置数据是内容ID、视点位置的受欢迎度和单价的对应数据。

基于从观看状态信息生成的视点位置热图来计算视点位置的受欢迎度。

(2)注视点(或FoV中心)关注度对应单价设置数据是内容ID、注视点(或FoV中心)的关注度和单价的对应数据。

基于从观看状态信息生成的注视点位置热图来计算注视点(或FoV中心)的关注度。

根据单价设置数据和内容帧速率(例如，60fps或30fps)来计算每帧的观看计费价格。例如，当内容具有30fps的比特率、一定时间处视点位置具有0.4的受欢迎度并且注视点具有0.7的关注度时，该时间处的帧的观看价格可以被计算成(0.1+1)/30＝0.037日元(在最后一位数四舍五入)。当以这种方式计算每帧的观看价格的总和时，可以对整个内容的观看进行计费。

图33是示出被配置成基于观看状态分析结果执行计费处理的信息处理系统的示例性配置的图。

与上述图15类似，作为示例性观看设备70，除了如参照图1描述的PC 71以及被配置成显示由PC 71呈现的图像的HMD 72的组合之外，图33还示出了PC 73和便携式终端(智能电话)74。

在图33所示的信息处理系统中，上面参照图32描述的以下数据被存储在计费信息数据库141中。

(1)视点位置受欢迎度对应单价设置数据

(2)注视点(或FoV中心)关注度对应单价设置数据

自由视点视频分发服务器30基于在计费信息数据库141中存储的这些数据，对每个用户(观看者)执行计费处理。

下面参照图34所示的流程图描述由作为信息处理装置的自由视点分发服务器30执行的内容观看价格计算的序列。

下面描述图34所示的流程图中的每个步骤处的处理。

(步骤S701)

首先，在步骤S701处，信息处理装置(自由视点视频分发服务器30)重置“观看价格S”。

“观看价格S”是用于针对作为处理目标的指定内容计算作为处理目标的指定用户(观看者)的观看价格的变量。

在步骤S701处，信息处理装置重置“观看价格S”以设置S＝0，换言之，观看价格＝0。

(步骤S702)

随后在步骤S702处，信息处理装置获取与作为处理目标的指定内容的内容ID以及作为处理目标的指定用户(观看者)的观看者ID匹配的所有观看状态信息列表L(k)。

k是用于标识观看状态信息列表L(k)的列表元素的列表元素标识参数，并且k＝0,1,2,...,n。

(步骤S703)

随后在步骤S703处，信息处理装置执行列表元素标识参数的初始化处理。

k＝0

被设置。

(步骤S704)

随后在步骤S704处，信息处理装置确定列表元素标识参数k是否大于最大值n。

在k>n成立的情况下，确定内容观看价格计算处理已经结束，并且处理结束。

在k>n不成立的情况下，确定内容观看价格计算处理尚未结束，并且处理进行到步骤S705。

(步骤S705)

随后在步骤S705处，信息处理装置获取与观看状态信息列表L(k)的观看价格计算时间匹配的指定内容的视点位置(头部位置)热图Mp和注视点位置热图Mq。

(步骤S706)

随后在步骤S706处，信息处理装置确定与观看状态信息列表L(k)的头部位置(视点位置)坐标P对应的视点位置(头部位置)热图Mp的晶格Lp，并且获取与视点位置对应的受欢迎度Rp。

(步骤S707)

随后在步骤S707处，信息处理装置基于视点位置受欢迎度数据来获取与受欢迎度Rp对应的单价Vp。单价是每秒的价格。

该处理是使用以下数据的单价计算处理

(1)视点位置受欢迎度对应单价设置数据

这在上面参照图32的(1)进行了描述。

(步骤S708)

随后在步骤S708处，信息处理装置更新观看价格S。

具体地，通过以下计算公式来计算观看价格。

S＝S+Vp/(帧速率)

该计算值S被设置为更新后的新观看价格S。

(步骤S709)

随后在步骤S709处，信息处理装置根据观看状态信息列表L(k)的头部位置坐标P和视线方向来计算注视点位置Q。

该注视点位置计算处理与上面参照图5描述的处理对应。

(步骤S710)

随后在步骤S710处，信息处理装置确定注视点位置Q是否存在于内容中。

在注视点位置Q存在的情况下，处理进行到步骤S711，但是在注视点位置Q不存在的情况下，处理进行到步骤S714。

(步骤S711)

在步骤S710处，在确定注视点位置Q存在于内容中的情况下，随后在步骤S711处，信息处理装置获取与注视点位置Q对应的注视点位置热图Mq的晶格Lq并且获取其注视点的受欢迎度Rq。

(步骤S712)

随后在步骤S712处，信息处理装置基于注视点(或FoV中心)关注度对应单价设置数据来获取与受欢迎度Rq对应的单价Vq。单价是每秒的价格。

该处理是使用以下数据的单价计算处理

(1)注视点(或FoV中心)关注度对应单价设置数据

这在上面参照图32的(2)进行了描述。

(步骤S713)

随后在步骤S713处，信息处理装置更新观看价格S。

具体地，通过以下计算公式来计算观看价格。

S＝S+Vq/(帧速率)

该计算值S被设置为更新后的新观看价格S。

(步骤S714)

随后在步骤S714处，信息处理装置执行观看状态信息列表L(k)的列表元素参数k的更新处理。换言之，

k＝k+1

执行上述参数更新，并且基于更新的参数执行在步骤S704处开始的处理。

在步骤S704处，在观看状态信息列表L(k)的列表元素参数k大于参数最大值n的情况下，换言之，在k>n成立的情况下，确定处理结束，并且处理结束。

[2-(g).音乐会、电影等的观众的关注区域分析的实施例]

下面描述分析音乐会、电影等的观众的关注区域的实施例。

具体地，该实施例是下述实施例：例如，在音乐会、电影等的观众上安装视线检测仪器(例如，HMD)以获取和分析观众视线信息等。

如图35所示，例如，作为视线检测仪器(例如，HMD)的视线跟踪装置151安装在音乐会、电影等的观众150上，并且视线分析装置152基于来自视线跟踪装置151的输出来生成由观众150的视线位置(头部位置)和视线方向信息等组成的观看状态信息。

换言之，生成包括上面参照图3描述的数据的观看状态信息。

由视线分析装置152生成的观看状态信息52被发送至观看信息收集服务器40。

内容分发服务器30可以基于在观看信息记录数据库41中存储的观看状态信息来生成上述头部位置(视点位置)热图和注视点位置热图。

此外，可以通过使用这些热图来执行根据上述实施例(A)至(F)中的每一个的处理。

注意，在图35所示的配置中，视线分析装置152生成观看状态信息52，但是来自视线跟踪装置151的输出可以直接被发送至视线信息收集服务器40，并且可以在视线信息收集服务器40处生成观看状态信息52。

此外，对于其中例如记录有音乐会观众和人群的自由视点视频，当检测内容中的人的视线以计算热图时，可以在不获取直接观看内容的观看者的视线信息的情况下实现与上述处理类似的处理。在这种情况下，通过对内容中的观看者执行分析来生成观看状态信息。

[3.信息处理装置的示例性硬件配置]

下面参照图36描述被配置成执行根据上述实施例的处理的服务器、客户端侧的PC、观看设备等中包括的信息处理装置以及服务器的示例性硬件配置。

中央处理单元(CPU)301用作数据处理单元，其被配置成根据在只读存储器(ROM)302和存储单元308中存储的计算机程序执行各种处理。例如，CPU 301执行根据以上在实施例中描述的序列的处理。随机存取存储器(RAM)303存储例如由CPU 301执行的计算机程序和数据。CPU 301、ROM 302和RAM 303通过总线304彼此连接。

CPU 301通过总线304与输入输出接口305连接，并且输入输出接口305与包括各种开关、键盘、鼠标、麦克风等的输入单元306以及包括显示器、扬声器等的输出单元307连接。CPU 301响应于通过输入单元306输入的命令而执行各种处理，并且将处理的结果输出至例如输出单元307。

与输入输出接口305连接的存储单元308由例如硬盘等实现，并且存储由CPU 301执行的计算机程序和各种数据。通信单元309用作通过诸如因特网或局域网的网络进行数据通信的发送接收单元，并且还用作广播波的发送接收单元，并且执行与外部装置的通信。

与输入输出接口305连接的驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器(如存储卡)的可移动介质311，以执行数据记录或读取。

注意，数据编码或解码可以被执行为作为数据处理单元的CPU 301的处理，但是可以提供作为用于执行编码处理或解码处理的专用硬件的编解码器。

[4.本公开配置的概述]

已经参照具体实施例描述了本公开的实施例。然而，不言而喻，本领域技术人员可以在不脱离本公开的主旨的情况下对实施例进行修改和替换。即，本发明已经以例示的形式被公开，并且不应当被限制性地解释。为了判断本公开的主旨，应该考虑权利要求的范围。

注意，本说明书中公开的技术可以具有以下配置。

(1)一种信息处理装置，包括数据处理单元，所述数据处理单元被配置成：

获取关于观看内容的多个用户的视点位置的信息；以及

生成示出用户的视点位置的分布状态的视点位置热图。

(2)根据(1)所述的信息处理装置，其中，所述数据处理单元还：

获取关于所述多个用户在内容上的注视点位置的信息；以及

生成示出用户的注视点位置的分布状态的注视点位置热图。

(3)根据(2)所述的信息处理装置，其中，所述数据处理单元计算观看内容的用户的视线方向与内容中的显示对象之间的交点作为注视点位置，并且生成所述注视点位置热图。

(4)根据(1)至(3)中任一项所述的信息处理装置，其中，

所述内容是允许观察与视点位置或视线方向中的至少一个相对应的视频的自由视点视频内容，以及

所述数据处理单元基于来自设置于观看设备的传感器的输出，获取包括关于视点位置的信息的视点状态信息。

(5)根据(4)所述的信息处理装置，其中，所述视点状态信息是至少将观看内容的每个用户的视点位置或视线方向作为时间序列数据进行记录的信息。

(6)根据(5)所述的信息处理装置，其中，所述视点位置是用户的头部位置。

(7)根据(1)至(6)中任一项所述的信息处理装置，其中，所述数据处理单元通过使用以下中的至少一个热图来生成包括具有高分布率的视点位置或注视点位置的推荐视点信息：

示出观看内容的用户的视点位置的分布状态的视点位置热图；或

(8)根据(7)所述的信息处理装置，其中，所述数据处理单元向内容观看侧的客户端发送所述推荐视点信息以及允许观察与视点位置或视线方向中的至少一个相对应的视频的自由视点视频内容。

(9)根据(1)至(8)中任一项所述的信息处理装置，其中，所述数据处理单元通过使用以下中的至少一个热图来生成内容的场景切换点信息：

(10)根据(9)所述的信息处理装置，其中，所述数据处理单元通过将场景切换点估计为所述视点位置热图或所述注视点位置热图的时间序列数据具有大改变量的切换点而生成所述场景切换点信息。

(11)根据(9)或(10)所述的信息处理装置，其中，所述数据处理单元向内容观看侧的客户端发送所述场景切换点信息以及允许观察与视点位置或视线方向中的至少一个相对应的视频的自由视点视频内容。

(12)根据(1)至(11)中任一项所述的信息处理装置，其中，所述数据处理单元通过使用示出观看内容的用户的注视点位置的分布状态的注视点位置热图来设置与内容区域对应的广告价格，并且根据所设置的广告价格来执行广告输出控制。

(13)根据(12)所述的信息处理装置，其中，所述数据处理单元：

基于所述注视点位置热图来生成将高广告价格设置给具有高注视点分布率的内容区域的广告等级定义信息；以及

通过使用所生成的广告等级定义信息来执行广告输出控制。

(14)根据(1)至(13)中任一项所述的信息处理装置，其中，所述数据处理单元向内容观看侧的客户端发送通过使用注视点位置热图执行与内容区域对应的编码控制而生成的编码控制内容，其中，所述注视点位置热图示出观看内容的用户的注视点位置的分布状态。

(15)根据(1)至(14)中任一项所述的信息处理装置，其中，所述数据处理单元通过使用以下中的至少一个热图来针对每个内容区域执行计费处理：

(16)一种信息处理系统，包括服务器和客户端，其中，

所述服务器向所述客户端发送允许观察与视点位置或视线方向中的至少一个相对应的视频的自由视点视频内容，

所述客户端生成包括观看内容的用户的视点位置和视线方向的时间序列数据的观看状态信息，并将所述观看状态信息发送至所述服务器，以及

所述服务器从多个客户端接收所述观看状态信息，并且生成以下中的至少一个热图：

(17)根据(16)所述的信息处理系统，其中，所述服务器计算观看内容的用户的视线方向与内容中的显示对象之间的交点作为注视点位置，并且生成所述注视点位置热图。

(18)一种信息处理装置，被配置成：

执行从服务器接收允许观察与视点位置或视线方向中的至少一个相对应的视频的自由视点视频内容以及显示所述自由视点视频内容的处理；以及

还生成包括观看所述自由视点视频内容的用户的视点位置和视线方向的时间序列数据的观看状态信息，并且将所述观看状态信息发送至所述服务器。

(19)一种在信息处理装置处执行信息处理的信息处理方法，其中，所述信息处理装置的数据处理单元：

获取关于观看内容的多个用户的视点位置的信息；以及

生成示出用户的视点位置的分布状态的视点位置热图。

(20)一种使信息处理装置执行信息处理的计算机程序，所述计算机程序使所述信息处理装置的数据处理单元执行以下处理：

生成示出用户的视点位置的分布状态的视点位置热图的处理。此外，说明书中描述的一系列处理可以通过硬件、软件或二者的组合来实现。在通过软件执行处理的情况下，可以将记录处理序列的程序安装在并入专用硬件的计算机的存储器中并执行该程序，或者将程序安装在能够执行各种处理的通用计算机中并执行该程序。例如，程序可以被预先记录在记录介质中。除了从记录介质安装到计算机之外，程序还可以经由诸如局域网(LAN)、因特网等的网络来接收并且安装在诸如内置硬盘的记录介质上。

应当注意，说明书中描述的各种处理不仅根据描述按时间序列执行，而且可以根据用于执行处理的装置的处理能力或根据需要并行或单独地执行。此外，在本说明书中，术语“系统”指的是多个装置的逻辑组配置，并且不限于每个配置的装置处于相同壳体中的系统。

工业适用性

如上所述，利用根据本公开的实施例的配置，生成示出观看内容的用户的视点位置的分布状态的视点位置热图，以使得能够通过使用该热图来进行内容和广告分发控制。

具体地，例如，服务器向客户端发送允许观察与视点位置和视线方向相对应的视频的自由视点视频内容。客户端生成包括观看内容的用户的视点位置和视线方向的时间序列数据的观看状态信息，并且将观看状态信息发送至服务器。服务器从多个客户端接收观看状态信息，并且生成示出观看用户的视点位置的分布状态的视点位置热图以及示出观看用户的注视点位置的分布状态的注视点位置热图。此外，例如，根据这些热图来执行内容分发控制和广告分发控制。

附图标记列表

10 用户(观看者)

20 观看设备

21 PC

30 自由视点视频分发服务器

31 自由视点视频内容数据库

40 观看信息收集服务器

41 观看信息记录数据库

51 内容(自由视点视频内容)

52 观看状态信息

56 显示对象

57 观看者视线方向

58 注视点

61 推荐视点信息

70 观看设备

71 PC

72 HMD

73 PC

74 便携式终端(智能电话)

81 场景切换点信息

101 广告数据库

102 广告嵌入内容

121 转码服务器

122 转码内容数据库

131 编码控制内容

141 计费信息数据库

151 视线追踪装置

152 视线分析装置

301 CPU

302 ROM

303 RAM

304 总线

305 输入输出接口

306 输入单元

307 输出单元

308 存储单元

309 通信单元

310 驱动器

311 可移动介质

Claims

1.一种信息处理装置，包括数据处理单元，所述数据处理单元被配置成：

获取关于观看内容的多个用户的视点位置的信息；以及

生成示出用户的视点位置的分布状态的视点位置热图。

2.根据权利要求1所述的信息处理装置，其中，所述数据处理单元还：

获取关于所述多个用户在内容上的注视点位置的信息；以及

生成示出用户的注视点位置的分布状态的注视点位置热图。

3.根据权利要求2所述的信息处理装置，其中，所述数据处理单元计算观看内容的用户的视线方向与内容中的显示对象之间的交点作为注视点位置，并且生成所述注视点位置热图。

4.根据权利要求1所述的信息处理装置，其中，

5.根据权利要求4所述的信息处理装置，其中，所述视点状态信息是至少将观看内容的每个用户的视点位置和视线方向作为时间序列数据进行记录的信息。

6.根据权利要求5所述的信息处理装置，其中，所述视点位置是用户的头部位置。

7.根据权利要求1所述的信息处理装置，其中，所述数据处理单元通过使用以下中的至少一个热图来生成包括具有高分布率的视点位置或注视点位置的推荐视点信息：

8.根据权利要求7所述的信息处理装置，其中，所述数据处理单元向内容观看侧的客户端发送所述推荐视点信息以及允许观察与视点位置或视线方向中的至少一个相对应的视频的自由视点视频内容。

9.根据权利要求1所述的信息处理装置，其中，所述数据处理单元通过使用以下中的至少一个热图来生成内容的场景切换点信息：

10.根据权利要求9所述的信息处理装置，其中，所述数据处理单元通过将场景切换点估计为所述视点位置热图或所述注视点位置热图的时间序列数据具有大改变量的切换点而生成所述场景切换点信息。

11.根据权利要求9所述的信息处理装置，其中，所述数据处理单元向内容观看侧的客户端发送所述场景切换点信息以及允许观察与视点位置或视线方向中的至少一个相对应的视频的自由视点视频内容。

12.根据权利要求1所述的信息处理装置，其中，所述数据处理单元通过使用示出观看内容的用户的注视点位置的分布状态的注视点位置热图来设置与内容区域对应的广告价格，并且根据所设置的广告价格来执行广告输出控制。

13.根据权利要求12所述的信息处理装置，其中，所述数据处理单元：

通过使用所生成的广告等级定义信息来执行广告输出控制。

14.根据权利要求1所述的信息处理装置，其中，所述数据处理单元向内容观看侧的客户端发送通过使用注视点位置热图执行与内容区域对应的编码控制而生成的编码控制内容，其中，所述注视点位置热图示出观看内容的用户的注视点位置的分布状态。

15.根据权利要求1所述的信息处理装置，其中，所述数据处理单元通过使用以下中的至少一个热图来针对每个内容区域执行计费处理：

16.一种信息处理系统，包括服务器和客户端，其中，

17.根据权利要求16所述的信息处理系统，其中，所述服务器计算观看内容的用户的视线方向与内容中的显示对象之间的交点作为注视点位置，并且生成所述注视点位置热图。

18.一种信息处理装置，被配置成：

19.一种在信息处理装置处执行信息处理的信息处理方法，其中，所述信息处理装置的数据处理单元：

获取关于观看内容的多个用户的视点位置的信息；以及

生成示出用户的视点位置的分布状态的视点位置热图。

20.一种使信息处理装置执行信息处理的计算机程序，所述计算机程序使所述信息处理装置的数据处理单元执行以下处理：