CN106227329B - 信息处理装置、信息处理方法及系统 - Google Patents

Abstract

本发明公开一种信息处理装置、信息处理方法及系统。根据第一显示设备的位置和方向生成虚拟物体的图像。在设置了第一模式的情况下，在第一显示设备和第二显示设备上显示虚拟物体的生成图像。在设置了不同于第一模式的第二模式的情况下，在第二显示设备上显示虚拟物体的静止图像。在显示虚拟物体的静止图像期间，基于观察所述第二显示设备的用户输入的指令选择静止图像中虚拟物体的一部分。基于虚拟物体的所选择部分来更新显示在所述第二显示设备上的虚拟物体的图像。

Description

信息处理装置、信息处理方法及系统

技术领域

本发明涉及一种信息处理装置、信息处理方法及系统，特别涉及一种用于呈现混合现实的技术。

背景技术

在制造汽车、飞机等的工业中，存在缩短设计处理时期以及削减成本的需求。满足该需求的一种技术为利用虚拟空间无缝合成现实空间的混合现实(MR，mixed reality)系统。混合现实系统能够将开发中的产品作为重叠于现实世界上的计算机图形(CG)图像而显示。这样，从自由的视点来核对和检查该产品，能够在不制作全尺寸模型(full-scalemodel)的情况下检查设计等。

在混合现实系统中，包括诸如摄像机等图像传感设备以及一体化的显示器的头戴式显示器(HMD，head-mounted display)被用作图像显示设备。HMD存在各种形式，其中一个示例为视频穿透法(video see-through method)。该方法以将虚拟空间的图像叠加在图像传感设备拍摄的现实空间的图像上的方式来显示根据安装在HMD中的图像传感设备的位置和方向而生成的虚拟空间的图像。虚拟空间的图像的示例包括利用CG描绘的虚拟物体以及字符信息。也存在利用光学穿透法的图像显示设备。该方法在佩戴在体验者的头部的光学穿透显示器上显示根据观察者的视点的位置和方向而生成的虚拟空间的图像。

在制造工业中，在设计处理期间，经常会有很多人进行审查。在使用混合现实系统的审查中，通过组合HMD和诸如平板电脑等手持式信息终端来配置该系统，以允许许多人来体验混合现实空间(通过合成虚拟空间和现实空间而创造的空间)。在该系统中，佩戴HMD的人观察到的混合现实空间的图像被同时分布并显示在多个平板电脑画面上。这样就允许多个人同时共享佩戴HMD的人所看到的视野并参与到设计和检查中。

日本JP特开2006-293604号公报公开了一种利用混合现实系统的协作工作的示例。在该示例中，多个远程参与者共享作业者所体验的混合现实空间，并且由于在改变视点的同时他们无缝地感知现实物体和虚拟物体，从而实现了协作工作。

另一方面，Makita等人的“Mixed Reality Navigation on a Tablet Computerfor Supporting Machine Maintenance in Wide-area Indoor Environment”，Proc.ofICCServ2014，pp.41-47，2014公开了一种在导航系统中在增强现实(AR，augmentedreality)显示模式和虚拟现实(VR)显示模式之间的显示切换的技术。该技术通过使用户能够恰当掌握周围情况从而能够支持用户的行动。此外，商用图像库已配设有这样的功能：即通过逆透视投影变换(reverse perspective projection conversion)而获得画面(显示的图像的平面)上任意点与虚拟空间中构成三维模型的部件间的对应。

假定是这样的情况：即在混合现实系统中，在平板电脑正与HMD用户共享图像期间，平板电脑用户指定在平板电脑的画面上显示的虚拟物体的部件。在此情况下，由于HMD用户根据自己意愿改变了视点的位置和方向，因此正共享图像的平板电脑用户不能针对虚拟物体而控制视点的位置和方向。就是说，平板电脑的显示画面发生变化，这种变化与平板电脑用户的意图无关，这使得难以准确指定期望的部件。

发明内容

鉴于上述问题提出了本发明，本发明提供这样一种技术：当佩戴HMD或类似头戴式显示设备的用户观察到的混合现实空间的图像被在其他设备上共享及显示时，使得能够轻松并准确地在其他设备的显示画面上指定共享图像中的虚拟物体。

根据本发明的一方面，提供了一种连接到第一显示设备和第二显示设备的信息处理装置，所述信息处理装置包括：生成单元，被配置为根据所述第一显示设备的位置和方向生成虚拟物体的图像；显示控制单元，被配置为：在设置第一模式的情况下，使所述第一显示设备和所述第二显示设备显示所述生成单元生成的所述虚拟物体的图像，以及，在设置了与所述第一模式不同的第二模式的情况下，使所述第二显示设备显示所述虚拟物体的静止图像；选择单元，被配置为在所述虚拟物体的静止图像的显示期间，基于正观察所述第二显示设备的用户输入的指令而选择所述静止图像中的所述虚拟物体的一部分；以及更新单元，被配置为基于所述虚拟物体的被选择部分而更新所述第二显示设备显示的所述虚拟物体的图像。

根据本发明的第二方面，提供了一种由连接到第一显示设备和第二显示设备的信息处理装置执行的信息处理方法，所述信息处理方法包括：根据所述第一显示设备的位置和方向生成虚拟物体的图像；在设置第一模式的情况下，使所述第一显示设备和所述第二显示设备显示所述虚拟物体的生成图像，以及，在设置了与所述第一模式不同的第二模式的情况下，使所述第二显示设备显示所述虚拟物体的静止图像；在所述虚拟物体的静止图像的显示期间，基于正观察所述第二显示设备的用户输入的指令而选择所述静止图像中的所述虚拟物体的一部分；以及基于所述虚拟物体的被选择部分而更新所述第二显示设备显示的所述虚拟物体的图像。

根据本发明的第三方面，提供了一种系统，所述系统包括：第一显示设备；第二显示设备；以及连接到第一显示设备和第二显示设备的信息处理装置，所述信息处理装置包括：生成单元，被配置为根据所述第一显示设备的位置和方向生成虚拟物体的图像；显示控制单元，被配置为：在设置第一模式的情况下，使所述第一显示设备和所述第二显示设备显示所述生成单元生成的所述虚拟物体的图像，以及，在设置了与所述第一模式不同的第二模式的情况下，使所述第二显示设备显示所述虚拟物体的静止图像；选择单元，被配置为在所述虚拟物体的静止图像的显示期间，基于正观察所述第二显示设备的用户输入的指令而选择所述静止图像中的所述虚拟物体的一部分；以及更新单元，被配置为基于所述虚拟物体的被选择部分而更新所述第二显示设备显示的所述虚拟物体的图像。

根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。

附图说明

图1示出了系统的示例性结构。

图2示出了混合现实空间的图像的共享。

图3A至3D示出了平板终端设备的画面的转换。

图4例示了步骤S912的处理。

图5是系统的示例性功能结构的框图。

图6A和6B是系统执行的处理的流程图。

图7A至7C例示了虚拟部件的指定。

图8是系统的示例性功能结构的框图。

图9A和9B是系统执行的处理的流程图。

图10是根据第三实施例的系统的示例性功能结构的框图。

具体实施方式

以下将参照附图详细描述本发明的实施例。注意，下文所述的实施例是本发明的具体实施例的示例，代表权利要求中描述的结构的具体工作示例。

第一实施例

根据本实施例的信息处理装置连接到第一显示设备和第二显示设备，根据第一显示设备的位置和方向生成虚拟物体的图像，在设置了第一模式的情况下使第一显示设备和第二显示设备显示虚拟物体的生成图像，在设置了与第一模式不同的第二模式的情况下使第二显示设备显示虚拟物体的静止图像，在所述虚拟物体的所述静止图像的显示期间，基于正观察所述第二显示设备的用户输入的指令而选择所述静止图像中的所述虚拟物体的一部分；以及基于所述虚拟物体的被选择部分而更新所述第二显示设备显示的所述虚拟物体的图像。

首先，将利用图1描述根据本实施例的系统的示例性结构。如图1中所示，根据本实施例的系统包括HMD 150、160，HMD控制设备110、120，场景数据管理服务器130、无线LAN接入点170以及平板终端设备180、190。

HMD 150、160是头戴式显示设备的示例，并在头上佩戴HMD 150、160的用户的眼前呈现通过将现实空间的图像与虚拟空间的图像合成而获得的混合现实空间的图像。

HMD控制设备110、120分别控制HMD 150、160的基本操作，包括对HMD 150、160的电源管理和由HMD 150、160执行的通信，并执行与HMD 150、160的无线或有线数据通信。

场景数据管理服务器130保持构建虚拟空间(场景)所需的数据(场景数据)131。注意，HMD控制设备110、120及场景数据管理服务器130可以是如图1所示的分离设备，或者可以构成一个一体化设备。能被用作HMD控制设备110、120及场景数据管理服务器130的设备的示例包括普通个人计算机(PC)。

无线LAN接入点170用作针对平板终端设备180、190的无线LAN接入点，并且平板终端设备180、190经由无线LAN接入点170执行与场景数据管理服务器130和HMD 150、160(经由HMD控制设备110、120)的数据通信。

平板终端设备180、190包括触摸画面，并具有在触摸画面上显示各种类型的信息以及在触摸画面上检测用户的操作(接触)的功能。注意，平板终端设备180、190可以是具有接受来自用户的各种指令的功能和显示各种类型信息的功能的任意设备。

如图1中所示，平板终端设备180、190和无线LAN接入点170经由无线LAN连接，并且HMD控制设备110、120、场景数据管理服务器130及无线LAN接入点170以使其能够彼此执行数据通信的方式连接到网络。

在本实施例中，HMD 150/160拍摄现实空间的图像、利用场景数据131并根据HMD150/160的位置和方向生成虚拟空间的图像，通过将拍摄到的现实空间的图像与生成的虚拟空间的图像合成而生成混合现实空间的图像，显示混合现实空间的生成图像，并将混合现实空间的生成图像发送给与HMD 150/160相关联的平板终端设备180、190中的一者或二者。这样，例如，在平板终端设备180的显示画面上显示与平板终端设备180相关联的HMD上显示的混合现实空间的图像，从而平板终端设备180能够与HMD共享混合现实空间的图像。现在利用图2描述HMD与平板终端设备之间的混合现实空间的图像的共享。

用户230在头部佩戴HMD，并且在HMD的画面上显示通过将包括虚拟物体220的混合现实空间投射到虚拟画面231上而获得的投影图像。标记211、212被配置在现实空间的墙壁和地板上以获得HMD的位置和方向，这里将假定HMD拍摄现实空间的图像，并利用所拍摄图像中示出的标记来获得其位置和方向。

在佩戴在用户230头部的HMD上所显示的混合现实空间的图像也被发送给与HMD相关联的平板终端设备250，并被显示在平板终端设备250的显示画面251上。这样就允许用户240在显示画面251上核对(共享)用户230观察到的混合现实空间的图像。

图5示出了场景数据管理服务器130、HMD 150/160以及平板终端设备180/190的示例性功能结构。注意，在图5中，为了简单起见，省略了HMD控制设备110、120，并且HMD 150/160直接与场景数据管理服务器130及平板终端设备180/190执行数据通信。然而，在实际中，如图1中所示，HMD 150/160经由HMD控制设备110/120而与场景数据管理服务器130及平板终端设备180/190执行数据通信。现在将根据图6A和6B的流程图描述图5中示出的功能单元所执行的处理。

<步骤S621>

HMD 150/160中包括的图像传感单元522拍摄现实空间的图像。

<步骤S622>

HMD 150/160中包括的获取单元524获取HMD 150/160的位置和方向。可以从各种可想到的方法中选择获取HMD 150/160的位置和方向的方法。例如，如图2所示，可以在现实空间中配置标记，并且可以利用通过在步骤S621中对配置有标记的现实空间拍摄而获取的图像中所示的标记(或自然特征)来获得HMD 150/160的位置和方向。此外，可以基于传感器(例如红外传感器、磁性传感器、超声波传感器、光学传感器以及陀螺仪)的测量结果来获得HMD 150/160的位置和方向。此外，利用图像中的标记和传感器的测量结果来获得HMD 150/160的位置和方向。注意，这里提及的“HMD 150/160的位置和方向”表示“世界坐标系(现实空间中的一个点充当原点，且在原点处彼此正交的三个轴被视为x-轴、y-轴以及z-轴的坐标系”)中图像传感单元522的位置和方向”，在下文中可以被称为“视点的位置和方向”。

<步骤S624>

图像合成单元525首先利用“在步骤S630中获取单元526从场景数据管理服务器130处获取(下载)的场景数据131”构建虚拟空间。场景数据131是定义虚拟空间的数据，例如构建虚拟空间的虚拟物体的数据(绘制虚拟物体必需的形状、纹理的数据)、虚拟物体的位置和方向的数据以及定义照亮虚拟空间的光源的数据。接下来，图像合成单元525生成从具有步骤S622中获取的位置和方向的视点来观看的虚拟空间的图像。由于生成从位置和方向的视点来观看的虚拟空间的图像的技术是已知的，因此将省略对该技术的描述。

<步骤S625>

图像合成单元525通过将步骤S624中生成的虚拟空间的图像叠加在步骤S621中通过图像传感单元522拍摄的现实空间的图像上来生成混合现实空间的图像。由于生成混合现实空间的图像的技术是已知的，因此将省略对该技术的描述。

<步骤S626>

图像合成单元525将步骤S625中生成的混合现实空间的图像输出到显示单元523，从而使得显示单元523显示图像。显示单元523被附装到HMD 150/160，以便位于头上佩戴HMD 150/160的用户的眼前。这样，步骤S625中生成的混合现实空间的图像能够被呈现在头上佩戴HMD150/160的用户的眼前。

<步骤S627>

图像发送单元528将步骤S625中由图像合成单元525生成的混合现实空间的图像发送给与HMD 150/160相关联的平板终端设备180、190中的一者或二者。充当通过HMD 150/160生成的混合现实空间的图像的发送目的地的平板终端设备可以事先设置，或者可以由HMD 150/160和/或平板终端设备在任意定时设置。这种设置可以在HMD控制设备110/120中配置，以便HMD控制设备110/120将混合现实空间的图像从HMD 150/160发送给通过该设置指定的发送目的地。图像发送单元528可以根据JPEG、H.264等对混合现实空间的图像编码，然后发送所编码的图像。可以利用诸如RTP等流协议(streaming protocol)来发送混合现实空间的图像。

<步骤S651>

控制单元590确认MR模式(共享模式)和VR模式中的哪一个被设置为平板终端设备180/190的操作模式。切换平板终端设备180/190的操作模式的方法并不限于特定方法，可以从各种可想到的方法中选择。例如，当显示单元536和输入单元537构成触摸画面时，在显示单元536上显示用于切换至MR模式的按钮图像(MR模式按钮图像)和用于切换至VR模式的按钮图像(VR模式按钮图像)。如果输入单元537检测到用户在触摸画面的MR模式按钮图像上的轻击，则控制单元590将平板终端设备180/190的操作模式切换为MR模式。另一方面，如果输入单元537检测到用户在触摸画面的VR模式按钮图像上的轻击，则控制单元590将平板终端设备180/190的操作模式切换为VR模式。这种模式切换请求能够在用于检测用户输入事件的单独处理(未例示)中检测。

如果平板终端设备180/190的操作模式为MR模式，则处理推进至步骤S652，而如果操作模式为VR模式，则处理推进至步骤S660。

<步骤S652>

图像接收单元534接收从图像发送单元528发送的混合现实空间的图像。注意，当接收到的混合现实空间的图像被编码后，将接收到的图像解码。

<步骤S653>

生成单元535通过将步骤S652中接收到的混合现实空间的图像转换成适合显示单元536的图像来生成显示画面。例如，根据显示单元536的分辨率转换步骤S652中接收到的混合现实空间的图像的尺寸。可选择地，在本步骤中，可以将包括显示区域和操作区域的对话画面生成为显示画面，使得在显示区域中显示混合现实空间的图像，在操作区域中配置允许各种操作的按钮等。

<步骤S654>

生成单元535在显示单元536上显示步骤S653中生成的显示画面。因此，显示单元536显示与步骤S626中显示在HMD上的混合现实空间的图像具有相同内容的图像，从而与HMD共享混合现实空间的图像。

<步骤S660>

图像接收单元534停止接收从图像发送单元528发送的混合现实空间的图像的操作。注意，当操作模式为VR模式并且已停止图像共享时，可以跳过步骤S660的处理。

<步骤S661>

如果输入单元537检测到表示用户已执行用于改变在平板终端设备180/190上可局部控制的视点(局部视点)的位置和方向的操作输入的输入事件，则处理推进至步骤S662。如果输入单元537检测到表示用户已执行用于指定在显示单元536上显示的虚拟物体的一部分(部件)的操作输入的输入事件，则处理推进至步骤S665。如果没有检测到输入事件，则处理推进至步骤S663。

<步骤S663>

生成单元535首先利用“在步骤S640中获取单元532从场景数据管理服务器130处获取(下载)的场景数据131”构建虚拟空间。然后，生成单元535生成从局部视点观看的虚拟空间的图像。注意，控制单元590从HMD处获取即将切换为VR模式之前的HMD(与平板终端设备180/190相关联)的位置和方向，并将它们设置为紧接在切换为VR模式后的局部视点的位置和方向。在该设置中，不仅可以设置位置和方向，也可以设置诸如视角等其他参数。可以通过HMD控制设备110/120来管理包括HMD 150/160的位置、方向和视角的参数，在此情况下控制单元590从HMD控制设备110/120获取包括HMD 150/160的位置、方向和视角的参数。

<步骤S664>

生成单元535在显示单元536上显示步骤S663中生成的虚拟空间的图像。

<步骤S662>

输入单元537根据用于改变局部视点的位置和方向的用户操作(例如，涉及显示单元536的画面上的拖拽、放大、缩小等的操作)来改变局部视点的位置和方向。之后，在步骤S663中生成基于改变后的位置和方向的虚拟空间的图像，并且在步骤S664中在显示单元536上显示基于改变后的位置和方向的虚拟空间的图像。

例如，假定是这样的情况：被设置为MR模式的平板终端设备的显示单元536显示如图3A中所示的通过将包括标记311的现实空间的图像与包括虚拟物体312的虚拟空间的图像合成而获得的混合现实空间的图像。在此情况下，如果平板终端设备的操作模式被切换为VR模式，则在随后的步骤S664中，如图3B所示，显示单元536显示从具有与图3A中相同的视点位置和方向的局部视点来看时的虚拟物体312的图像。注意，在VR模式中，不以叠加的方式显示现实空间的图像。在被设置为VR模式的平板终端设备上，用户能够执行用于改变局部视点的位置和方向的操作，并且如果用户实际执行了用于改变局部视点的位置和方向的操作，则根据改变操作来改变局部视点的位置和方向，并且显示单元536基于具有改变后的位置和方向的局部视点来显示虚拟物体的图像。这样，无论相关联的HMD的位置和方向如何改变，在平板终端设备上，视点的位置和方向都能够独立地改变，并且在显示单元536上能够浏览虚拟物体的所产生的图像。

<步骤S665>

获取单元538在用户指示(例如轻击)的位置处指定在显示单元536的显示画面上显示的虚拟部件(构成虚拟物体)。该指定处理并不限于特定方法，可以从各种类型的可想到处理中选择。例如，首先，由于虚拟画面上的位置能被表达为三维坐标，并且显示单元536的显示画面上的位置与虚拟画面(注意，虚拟画面被配置为这样的平面：即该平面在局部视点的视线方向上离局部视点的位置有规定的距离，并且在该平面上，视线方向充当法线方向；能够从局部视点的位置和方向中获得世界坐标系统的虚拟画面的位置和方向，并且基于显示单元536的画面尺寸、视角等来设置虚拟画面的尺寸(宽度和高度)和上文引用的“规定的距离”)上的位置之间的关系具有一对一的对应，因此，在虚拟画面上，与显示单元536的显示画面上的指定位置对应的位置(三维坐标)被指定。然后，穿过指定位置和局部视点的位置的直线与虚拟物体之间的交叉点被检索；如果没有交叉点，则没有虚拟部件被显示在指定位置处，而如果有交叉点，则从交叉点中指定最靠近局部视点的位置的交叉点，并且包括所指定交叉点的虚拟部件被指定为“用户指定的部件”。

然后，获取单元538从在步骤S640中被获取单元532获取的场景数据131中获取被指定为“用户指定的部件”的虚拟部件的唯一的识别信息(例如，虚拟部件的唯一的ID)。注意，当虚拟空间中存在多个虚拟物体时，该识别信息充当用于唯一指定已被指定为“用户指定的部件”的虚拟部件和该虚拟部件所属的虚拟物体的信息。

<步骤S666>

发送单元539向场景数据管理服务器130发送在步骤S665中由获取单元538从场景数据131中获取的识别信息，即充当“用户指定的部件”的虚拟部件的识别信息。

<步骤S667>

控制单元590将平板终端设备180/190的操作模式从VR模式切换为MR模式。当平板终端设备180/190的操作模式已被切换为MR模式时，图像接收单元534重新开始接收从图像发送单元528发送的混合现实空间的图像的操作。

<步骤S611>

接收单元513接收在步骤S666中从发送单元539发送的识别信息。

<步骤S614>

改变单元514处理场景数据131中与步骤S611中由接收单元513接收到的识别信息对应的虚拟部件的数据，从而与识别信息对应的虚拟部件在视觉上可与其他虚拟部件区别开。例如，与识别信息对应的虚拟部件的颜色被变为与其他虚拟部件的颜色不同的颜色，从而与识别信息对应的虚拟部件被强调(highlight)。

<步骤S615>

共享单元515将场景数据131发送给HMD 150/160和平板终端设备180/190。

例如，如图3B所示，如果用户轻击正被显示在平板终端设备的显示画面上的虚拟物体312的前灯，则通过上述处理更新前灯的数据，从而该前灯，即被轻击的虚拟部件，在视觉上可与其他虚拟部件区别开；作为结果，如图3C所示，前灯333被强调。在轻击位置处显示光标334。在切换为MR模式之后，如图3D所示，在混合现实空间的图像中前灯333被强调。如上文所述，在所有平板终端设备间共享的场景数据131被更新以强调前灯333，因此这种对前灯333的强调被反映在所有HMD和平板终端设备上观察到的混合现实空间的图像中。

在图6A和6B的流程图的处理中，尽管如图3D所示，在MR模式下进行这种强调，但也可以如图3C所示在VR模式下进行这种强调。

注意，本实施例中使用的HMD可以被诸如平板电脑等信息终端设备代替，或者可以被安装在固定位置处的相机代替。

根据上文描述的本实施例，在HMD和平板终端设备共享混合现实空间的图像的系统中，在观察虚拟物体时能够在平板终端设备上独立地设置视点，并且能够在平板终端设备上指定虚拟部件以将指定的虚拟部件呈现给其他观察混合现实空间的人；这样能够促进使用上述多人参与的系统的协作作业。

注意，可以由HMD控制设备来执行上述描述中由HMD执行的处理的一部分，例如生成虚拟空间的图像和生成混合现实空间的图像。就是说，上述描述中由一个设备执行的处理的一部分可以由其他设备来执行。通常，关于处理和设备间的对应性的系统设计、要使用的设备数量等并不限于图5中示出的结构，可以基于各种能想到的结构，只要能实现等同于或超过第一实施例中描述的处理的处理即可。这同样适用于第二及后续实施例。

<第一变形例>

在第一实施例中，在VR模式下改变局部视点的位置和方向允许从各种角度观察虚拟物体。为了实现类似的效果，在切换为VR模式后，在保持视点的位置和方向固定(保持即将转换为VR模式之前的HMD的位置和方向)的同时，虚拟物体自身可以被移动/旋转。在此情况下，平板终端设备通过使用从场景数据管理服务器130下载的场景数据构建虚拟空间、然后改变由场景数据限定的虚拟物体的位置和方向，从而可以移动/旋转虚拟物体。

<第二变形例>

第二实施例

在本实施例中，当在平板终端设备上从MR模式切换为VR模式后，利用切换为VR模式之前从HMD接收到的混合现实空间的图像(静止图像)来指定虚拟部件。以下的描述将集中在与第一实施例的不同之处，在以下描述中，除非另有特殊说明，否则均假定本实施例与第一实施例类似。

也就是说，根据本实施例的系统是包括图像显示设备、保持虚拟物体的数据的保持设备以及基于该数据显示包括虚拟物体的图像的混合现实空间的图像的显示设备。在该系统中，在设置第一模式的情况下，图像显示设备从显示设备获取混合现实空间的图像，并显示所获取的图像。在从第一模式切换为第二模式后，图像显示设备显示在切换前从所显示的设备获取的混合现实空间的图像，获取用户在显示在第二模式下的混合现实空间的图像上指定的位置，并将该指定位置发送给保持设备。保持设备接收该指定位置，指定构成虚拟物体的部分中与指定位置对应的部分，并更新该指定部分的数据。

首先，将利用图7A至7C描述虚拟部件的指定。平板终端设备保持从HMD接收到的混合现实空间的最新帧图像，并在切换为VR模式后，如图7A所示，显示保持在该点处的混合现实空间的图像(在切换前从HMD接收到的混合现实空间的图像)。同样，在本实施例中，在VR模式期间停止从HMD接收混合现实空间的图像。通过在显示画面上针对显示在显示画面上的混合现实空间的图像执行放大操作、缩小操作或平移操作(拖拽)，用户能够放大、缩小或平移显示在平板终端设备的显示画面上的混合现实空间的图像(静止图像)。在图7B中，从HMD接收到的混合现实空间的图像的一部分被以放大方式显示。如图7B所示，如果用户在显示画面上轻击期望的虚拟部件723(在轻击位置处显示光标722)，则与第一实施例类似，如图7C所示，被轻击的虚拟部件723随后被强调。

图8示出了根据本实施例的系统的示例性功能结构。现在将根据图9A和9B的流程图描述该系统的功能单元所执行的处理。

注意，步骤S921至S930的处理与之前描述的步骤S621至S630的处理类似，因此将省略对这些步骤的描述。另外，步骤S951至S960以及步骤S967的处理与之前描述的步骤S651至S660以及步骤S667的处理类似，因此将省略对这些步骤的描述。

<步骤S961>

如果输入单元537检测到表示用户已执行用于例如放大、缩小或平移显示在显示画面上的混合现实空间的图像的操作输入(显示画面上的手势输入，例如捏小/捏大操作)的输入事件，则处理推进至步骤S962。如果输入单元537检测到表示用户已执行用于指定显示在显示单元536上的虚拟物体的一部分(部件)的操作输入的输入事件，则处理推进至步骤S965。如果没有检测到输入事件，则处理推进至步骤S964。

<步骤S962>

生成单元535根据用于放大、缩小或平移混合现实空间的图像的用户操作(例如，显示单元536的画面上的拖拽操作、放大/缩小操作等)来放大、缩小或平移显示在显示单元536的显示画面上的混合现实空间的图像。

<步骤S964>

生成单元535在显示单元536上显示混合现实空间的图像。在紧接在转换至VR模式之后的步骤S964中，在显示单元536上显示在即将转换为VR模式之前由图像接收单元534从HMD接收到的混合现实空间的图像(静止图像)。

<步骤S965>

获取单元538获取已由用户在显示单元536的显示画面上指定(例如轻击)的位置。

<步骤S966>

发送单元539将在步骤S965中由获取单元538获取的指定位置发送给场景数据管理服务器130。

<步骤S911>

接收单元513接收在步骤S966中从发送单元539发送的指定位置。

<步骤S912>

指定单元817指定在步骤S911中接收单元513所接收的指定位置处显示的虚拟部件(构成虚拟物体)。该指定处理并不限于特定方法，可以从各种类型的可想到处理中选择。图4示出了该可想到处理的一个示例。

例如，假定用户已在平板终端设备的画面450上轻击虚拟物体451的前灯以指定前灯，并且轻击位置452是I(Iu，Iv)。该位置452是基于这样的坐标系I(u，v)：即画面450的左上角的位置充当原点(0，0)，并且分别沿水平方向和垂直方向定义u-轴和v-轴。

接下来，在虚拟画面430上获得与位置452对应的位置431，虚拟画面430被配置为这样的平面：即在视点441的视线方向θ(α，β，γ)上，该平面离佩戴在用户440的头部上的HMD的视点441的位置V(Vx，Vy，Vz)有规定的距离，并且在该平面上，视线方向充当法线方向。这里，位置V(Vx，Vy，Vz)表示世界坐标系统的x坐标、y坐标及z坐标，视线方向θ(α，β，γ)表示围绕x-轴、y-轴及z-轴的旋转角度。注意，可以利用其他方法来表达视点方向。

能够从视点441的位置和方向V，θ中获得世界坐标系中虚拟画面430的位置和方向。基于图像传感单元522拍摄的图像的尺寸和显示单元536的画面尺寸、视角等来设置虚拟画面430的尺寸(宽度和高度)和上文引用的“规定的距离”。

假定是这样的情况：即显示在平板终端设备的画面450上的混合现实空间的图像未被放大、缩小或平移(例如紧接在切换至VR模式之后)；在此情况下，例如，假如虚拟画面430的垂直和水平尺寸为H×W(像素)，画面450的垂直和水平尺寸为h×w(像素)，则画面450上与位置452I(Iu，Iv)对应的位置431I’(Iu’，Iv’)能被唯一指定为Iv’＝H/h×Iv以及Iu’＝W/w×Iu。这里，位置431I’(Iu’，Iv’)是基于虚拟画面坐标系(坐标系I’(u’，v’)，在该系统中，虚拟画面430的左上角的位置充当原点(0，0)，并且分别沿水平方向和垂直方向定义u’-轴和v’-轴)。

另一方面，如果显示在平板终端设备的画面450上的混合现实空间的图像已被放大、缩小或平移，则画面450显示虚拟画面430上的窗口(具体为具有与放大/缩小对应的尺寸或已通过平移操作而平移的窗口)内的图像(实际上，现实空间的图像被叠加在该图像上)，从而能够以上述方式指定与位置452对应的窗口内位置。

例如，假若垂直画面430的垂直和水平尺寸为H×W(像素)，画面450的垂直和水平尺寸为h×w(像素)，应用于画面450上的混合现实空间的原始图像(在转换为VR模式后显示在画面450上的混合现实空间的图像)的放大/缩小的比率(放大/缩小率)为R(0<R)，虚拟画面430上的窗口的左上角的位置为(a，b)且画面450上的位置452为(p，q)，则能够基于以下表达式来获得位置431(x，y)。

x＝a+W×p/(w×R)

y＝b+H×q/(h×R)

如上文所述，即使已对混合现实空间的图像应用放大、缩小或平移操作，由于虚拟画面430上的位置与平板终端设备的画面450上的位置一一对应，因此也能唯一获得与位置452对应的虚拟画面430上的位置431。也就是说，在虚拟画面坐标系中，能够唯一获得与位置452对应的位置431的二维坐标I’(Iu’，Iv’)。

此外，由于虚拟画面430上的各个位置也可以用三维坐标表达，因此能够进行以下指定：获得穿过世界坐标系中的位置431的三维坐标S(Sx，Sy，Sz)和视点441的位置V(Vx，Vy，Vz)的直线与虚拟物体420的交叉点，并将所获得的交叉点中最靠近视点441的位置V(Vx，Vy，Vz)的交叉点421的三维坐标P(Px，Py，Pz)指定为“与用户在画面450上指定的位置452对应的虚拟物体420上的位置”。

<步骤S914>

改变单元514处理场景数据131中的在步骤S912中被指定的虚拟部件(指定虚拟部件)的数据，从而指定虚拟部件在视觉上与其他虚拟部件区别开。例如，在步骤S912中指定的虚拟部件的颜色被变为与其他虚拟部件的颜色不同的颜色，从而指定虚拟部件被强调。

<步骤S915>

共享单元915将场景数据131发送给HMD 150/160。

<变形例>

在第二实施例中，显示单元536显示在即将转换至VR模式之前由图像接收单元534从HMD处接收到的一个静止图像(混合现实空间的图像)；可选择地，显示单元536可以显示在转换至VR模式的时间之前的规定时段的时间与转换时间之间(或是在转换时间之前的规定时段的时间与转换时间之后的规定时段的时间之间)、由图像接收单元534从HMD接收到的多个静止图像(混合现实空间的图像)，或者可以显示已由用户利用输入单元537从多个静止图像中选择的静止图像。

第三实施例

如第一实施例中所述，数个设备被一体化。例如，如图10中所示，HMD 150/160和场景数据管理服务器130可以被一体化为一个HMD 150/160。不言而喻，图10中示出的HMD150/160的结构可以与HMD控制设备110/120的结构一体化。这在第一实施例中已提及。

第四实施例

图5、8和10中示出的功能单元可以完全由硬件构成，或者可以部分由软件构成。例如，在图5中示出的场景数据管理服务器130的情况下，接收单元513、共享单元515以及改变单元514(以及在图8的情况下的指定单元817)可以被实施为计算机程序。在此情况下，该计算机程序被存储在场景数据管理服务器130的存储器中，并且由场景数据管理服务器130的CPU执行该计算机程序。类似地，例如，在图5中示出的HMD 150/160的情况下，获取单元526、获取单元524、图像合成单元525以及图像发送单元528可以被实施为计算机程序。在此情况下，该计算机程序被存储在HMD 150/160的存储器中，并且由HMD 150/160的CPU执行该计算机程序。类似地，例如，在图5中示出的平板终端设备180/190的情况下，图像接收单元534、生成单元535、获取单元538、发送单元539以及获取单元532可以被实施为计算机程序。在此情况下，该计算机程序被存储在平板终端设备180/190的存储器中，并且由平板终端设备180/190的CPU执行该计算机程序。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (13)

1.一种连接到第一显示设备和第二显示设备的信息处理装置，所述信息处理装置包括：

生成单元，被配置为根据所述第一显示设备的位置和方向生成虚拟物体的图像；

显示控制单元，被配置为：

在设置第一模式的情况下，使所述第一显示设备和所述第二显示设备显示所述生成单元根据第一显示设备的位置和方向生成的所述虚拟物体的图像，以及，

在设置了与所述第一模式不同的第二模式的情况下，使第一显示设备显示生成单元根据第一显示设备的位置和方向生成的所述虚拟物体的图像，以及使所述第二显示设备显示根据局部视点的位置和方向生成的所述虚拟物体的静止图像，局部视点由用户控制并且与第一显示设备不同；

选择单元，被配置为在所述虚拟物体的静止图像的显示期间，基于正观察所述第二显示设备的用户输入的指令而选择所述静止图像中的所述虚拟物体的一部分；以及

更新单元，被配置为基于所述虚拟物体的被选择部分而更新所述第二显示设备显示的所述虚拟物体的图像。

2.根据权利要求1所述的信息处理装置，其中，所述第一显示设备被佩戴在观察所述第一显示设备的用户的头上。

3.根据权利要求1所述的信息处理装置，其中，所述第一显示设备包括图像传感单元。

4.根据权利要求3所述的信息处理装置，所述信息处理装置还包括：合成单元，被配置为通过将所述图像传感单元拍摄的图像与所述虚拟物体的图像合成而生成合成图像，其中，

在设置了所述第一模式的情况下，所述显示控制单元使所述第一显示设备和所述第二显示设备显示所述合成图像。

5.根据权利要求1所述的信息处理装置，其中，通过在所述第二显示设备的显示画面上的接触操作来输入用户的指令。

6.根据权利要求1所述的信息处理装置，其中，在设置了所述第二模式的情况下，所述显示控制设备使所述第二显示设备显示与具有设置所述第二模式时的所述第一显示设备的位置和方向的局部视点对应的所述虚拟物体的静止图像。

7.根据权利要求1所述的信息处理装置，其中，在设置了所述第二模式的情况下，所述显示控制单元基于所述第一显示设备的位置和方向的改变而使所述第一显示设备显示所述虚拟物体的图像。

8.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：被配置为在设置所述第二模式期间接受观察所述第二显示设备的用户的指令的单元，所述指令针对包含在放大、缩小、旋转和平移中的至少一个处理。

9.根据权利要求1所述的信息处理装置，其中，所述选择单元利用所述第一显示设备的位置和方向和基于用户指令的指定位置，从所述虚拟物体中指定与所述指定位置对应的部分。

10.根据权利要求1所述的信息处理装置，其中，所述更新单元更新所述虚拟物体的图像，从而所述虚拟物体的被选择部分被强调。

11.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：被配置为在设置了所述第二模式期间从观察所述第二显示设备的用户处接受用于更新视点的位置和方向的更新指令的单元，其中，

所述显示控制单元使所述第二显示设备从与所述更新指令对应的视点显示所述虚拟物体的图像。

12.一种由连接到第一显示设备和第二显示设备的信息处理装置执行的信息处理方法，所述信息处理方法包括：

根据所述第一显示设备的位置和方向生成虚拟物体的图像；

在设置第一模式的情况下，使所述第一显示设备和所述第二显示设备显示生成步骤中根据第一显示设备的位置和方向生成的所述虚拟物体的图像，以及，

在设置了与所述第一模式不同的第二模式的情况下，使第一显示设备显示生成步骤中根据第一显示设备的位置和方向生成的所述虚拟物体的图像，以及使所述第二显示设备显示根据局部视点的位置和方向生成的所述虚拟物体的静止图像，局部视点由用户控制并且与第一显示设备不同；

在所述虚拟物体的静止图像的显示期间，基于正观察所述第二显示设备的用户输入的指令而选择所述静止图像中的所述虚拟物体的一部分；以及

基于所述虚拟物体的被选择部分而更新所述第二显示设备显示的所述虚拟物体的图像。

13.一种信息处理系统，所述信息处理系统包括：

第一显示设备；

第二显示设备；以及

连接到所述第一显示设备和所述第二显示设备的信息处理装置，其中，

所述信息处理装置包括：

生成单元，被配置为根据所述第一显示设备的位置和方向生成虚拟物体的图像；

显示控制单元，被配置为：

在设置第一模式的情况下，使所述第一显示设备和所述第二显示设备显示所述生成单元根据第一显示设备的位置和方向生成的所述虚拟物体的图像，以及，

在设置了与所述第一模式不同的第二模式的情况下，使第一显示设备显示生成单元根据第一显示设备的位置和方向生成的所述虚拟物体的图像，以及使所述第二显示设备显示根据局部视点的位置和方向生成的所述虚拟物体的静止图像，局部视点由用户控制并且与第一显示设备不同；

选择单元，被配置为在所述虚拟物体的静止图像的显示期间，基于正观察所述第二显示设备的用户输入的指令而选择所述静止图像中的所述虚拟物体的一部分；以及

更新单元，被配置为基于所述虚拟物体的被选择部分而更新所述第二显示设备显示的所述虚拟物体的图像。