[go: up one dir, main page]

CN104520905A - 三维环境共有系统及三维环境共有方法 - Google Patents

三维环境共有系统及三维环境共有方法 Download PDF

Info

Publication number
CN104520905A
CN104520905A CN201380039943.9A CN201380039943A CN104520905A CN 104520905 A CN104520905 A CN 104520905A CN 201380039943 A CN201380039943 A CN 201380039943A CN 104520905 A CN104520905 A CN 104520905A
Authority
CN
China
Prior art keywords
dimensional
processing apparatus
image processing
image pickup
coordinate space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380039943.9A
Other languages
English (en)
Inventor
森下幸司
永井克幸
野田尚志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corp
Original Assignee
Japan Electrical Scheme Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Electrical Scheme Innovation Corp filed Critical Japan Electrical Scheme Innovation Corp
Publication of CN104520905A publication Critical patent/CN104520905A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

第一图像处理装置具备：取得部，从第一摄像部取得第一摄像图像；检测部，从该第一摄像图像中检测已知的通用实际对象；设定部，基于通用实际对象，设定三维坐标空间；以及发送部，将该三维坐标空间的三维位置信息向第二图像处理装置发送，第二图像处理装置具备：取得部，从第二摄像部取得第二摄像图像；检测部，从该第二摄像图像中检测已知的上述通用实际对象；设定部，基于该通用实际对象，设定与在第一图像处理装置中设定的三维坐标空间相同的三维坐标空间；接收部，从第一图像处理装置接收上述三维位置信息；以及处理部，使用该三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。

Description

三维环境共有系统及三维环境共有方法
技术领域
本发明涉及计算机上的三维环境实现技术。
背景技术
近年来，3DCG(三维计算机图形学)或扩展现实(AR)等那样的在计算机上实现三维环境的技术广泛地实用化。AR技术在经由智能手机等便携设备的相机或头戴式显示器(HMD)而得到的现实世界上的对象物上重叠显示虚拟对象、数据。通过这样的显示技术，用户能够视觉确认三维影像。
在下述专利文献1中提出了如下的方案：使用深度检测相机进行场景内的用户的识别及跟踪，根据其结果，将模拟该用户的移动的虚拟实境模拟动画(avatar animation)显示于该场景内。而且，在下述专利文献2中提出了如下的技术：不需要臂罩或手套等附加装备，而向用户提供自然的三维环境下的计算机交互经验。在该提案中，在与用户相对的位置设置深度相机，与利用该深度相机拍摄到的用户一起将插入有虚拟对象的图像显示于显示器，并检测该用户与虚拟对象之间的交互。
现有技术文献
专利文献
专利文献1：日本特表2011-515736号公报
专利文献2：日本专利第4271236号公报
发明内容
发明要解决的课题
然而，上述各专利文献中提出的方法只不过使用由1台的摄像装置拍摄的摄像图像来实现计算机上的三维环境，完全没有想到使用由多个摄像装置拍摄的多个摄像图像的情况。
本发明鉴于上述那样的情况而完成，提供一种在对从不同的位置及不同的方向拍摄到的各摄像图像进行处理的多个图像处理装置之间共有1个三维环境的技术。
用于解决课题的方案
在本发明的各方案中，为了解决上述课题而分别采用以下的结构。
第一方案关于包括第一图像处理装置及第二图像处理装置的三维环境共有系统。第一图像处理装置具备：第一图像取得部，从第一摄像部取得第一摄像图像；第一对象检测部，从由该第一图像取得部取得的第一摄像图像中检测已知的通用实际对象；第一坐标设定部，基于由该第一对象检测部检测的通用实际对象，设定三维坐标空间；以及发送部，将该三维坐标空间的三维位置信息向第二图像处理装置发送。第二图像处理装置具备：第二图像取得部，从第二摄像部取得第二摄像图像，所述第二摄像部配置在与第一摄像部不同的位置及不同的朝向，且摄像区域与第一摄像部至少局部重复；第二对象检测部，从由该第二图像取得部取得的第二摄像图像中检测已知的上述通用实际对象；第二坐标设定部，基于由该第二对象检测部检测的上述通用实际对象，设定与在第一图像处理装置中设定的三维坐标空间相同的三维坐标空间；接收部，从第一图像处理装置接收所述三维位置信息；以及对象处理部，使用由该接收部接收的三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
本发明的第二方案关于通过第一图像处理装置及第二图像处理装置执行的三维环境共有方法。三维环境共有方法包括：第一图像处理装置从第一摄像部取得第一摄像图像，从取得的第一摄像图像中检测已知的通用实际对象，基于检测的通用实际对象，设定三维坐标空间，将该三维坐标空间的三维位置信息向第二图像处理装置发送，第二图像处理装置从配置成与第一摄像部不同的位置及不同的朝向且摄像区域与第一摄像部至少局部重复的第二摄像部取得第二摄像图像，从取得的第二摄像图像中检测已知的上述通用实际对象，基于检测的通用实际对象，设定与在第一图像处理装置中设定的三维坐标空间相同的三维坐标空间，从第一图像处理装置接收三维位置信息，使用接收的三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
此外，作为本发明的其他方案，优选使各计算机分别实现上述第一方案包含的各结构的程序，或者优选记录有这样的程序的计算机可读取的记录介质。该记录介质包括非暂时性的有形的介质。
发明效果
根据上述各方案，能够提供一种在对从不同的位置及不同的方向拍摄到的各摄像图像进行处理的多个图像处理装置之间共有1个三维环境的技术。
附图说明
上述目的及其他目的、特征及优点通过以下叙述的优选实施方式及附随于其的以下的附图而更为明确。
图1是概念性地表示第一实施方式的三维环境共有系统的硬件结构例的图。
图2是表示第一实施方式的三维环境共有系统的利用方式的例子的图。
图3是表示HMD的外观结构的例子的图。
图4是概念性地表示第一实施方式的传感器侧装置的处理结构例的图。
图5是概念性地表示第一实施方式的显示侧装置的处理结构例的图。
图6是表示显示于HMD的合成图像的例子的图。
图7是表示第一实施方式的三维环境共有系统的动作例的序列图。
图8是概念性地表示第二实施方式的三维环境共有系统的硬件结构例的图。
图9是概念性地表示第二实施方式的第一图像处理装置的处理结构例的图。
图10是概念性地表示第二实施方式的第二图像处理装置的处理结构例的图。
图11是表示第二实施方式的三维环境共有系统的动作例的序列图。
具体实施方式
以下，说明本发明的实施方式。此外，以下列举的各实施方式分别是例示，本发明没有限定为以下的各实施方式的结构。
本实施方式的三维环境共有系统包括第一图像处理装置及第二图像处理装置。第一图像处理装置具有：第一图像取得部，从第一摄像部取得第一摄像图像；第一对象检测部，从由该第一图像取得部取得的第一摄像图像中检测已知的通用实际对象；第一坐标设定部，基于由该第一对象检测部检测的通用实际对象，设定三维坐标空间；以及发送部，将该三维坐标空间的三维位置信息向第二图像处理装置发送。第二图像处理装置具备：第二图像取得部，从第二摄像部取得第二摄像图像，所述第二摄像部配置成与第一摄像部不同的位置及不同的朝向，且从摄像区域与第一摄像部至少局部重复；第二对象检测部，从由该第二图像取得部取得的第二摄像图像中检测已知的上述通用实际对象；第二坐标设定部，基于由该第二对象检测部检测的上述通用实际对象，设定与在第一图像处理装置中设定的三维坐标空间相同的三维坐标空间；接收部，从第一图像处理装置接收上述三维位置信息；以及对象处理部，使用由该接收部接收的所述三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
本实施方式的三维环境共有方法通过第一图像处理装置及第二图像处理装置来执行。本三维环境共有方法包括：第一图像处理装置从第一摄像部取得第一摄像图像，从取得的第一摄像图像中检测已知的通用实际对象，基于检测的通用实际对象，设定三维坐标空间，将该三维坐标空间的三维位置信息向第二图像处理装置发送，第二图像处理装置从配置成与第一摄像部不同的位置及不同的朝向且摄像区域与第一摄像部至少局部重复的第二摄像部取得第二摄像图像，从取得的第二摄像图像中检测已知的所述通用实际对象，基于检测的通用实际对象，设定与在第一图像处理装置中设定的三维坐标空间相同的三维坐标空间，从第一图像处理装置接收三维位置信息，使用接收的三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
在本实施方式中，在第一图像处理装置中从第一摄像部取得第一摄像图像，在第二图像处理装置中从第二摄像部取得第二摄像图像。在此，第二摄像部配置成与第一摄像部不同的位置及不同的朝向，且摄像区域与第一摄像部至少局部重复。由此，第一摄像图像及第二摄像图像是通过从不同的位置及不同的方向分别拍摄现实世界的某空间或某被摄体而得到的图像。
在本实施方式中，在第一图像处理装置及第二图像处理装置中，从第一摄像图像及第二摄像图像，分别检测已知的通用实际对象，基于分别检测到的通用实际对象，分别设定通用的三维坐标空间。通用实际对象是指配置于现实世界的图像或物体，称为AR(AugmentedReality)标记等。本实施方式只要是从该通用实际对象无论参照方向如何都能够恒定地得到某基准点及来自该基准点的相互正交的3个方向即可，没有限制该通用实际对象的具体的形态。第一图像处理装置及第二图像处理装置预先保持关于该通用实际对象表示的形状、尺寸、颜色等的信息，使用这样的已知的信息，从各图像中检测通用实际对象。而且，三维坐标空间表示由三维坐标表示的三维空间。
这样，根据本实施方式，通过使用通用实际对象，在第一图像处理装置及第二图像处理装置间能够共有1个三维坐标空间。在本实施方式中，这样共有的三维坐标空间的三维位置信息从第一图像处理装置向第二图像处理装置传送，在第二图像处理装置中，使用该接收到的三维位置信息，对与第二摄像图像合成的虚拟三维对象数据进行处理。
从第一图像处理装置向第二图像处理装置发送的三维位置信息是例如第一摄像图像及第二摄像图像这双方包含的现实世界的被摄体相关的位置信息。该三维位置信息使用第一图像处理装置及第二图像处理装置中共有的三维坐标空间来表示，因此根据本实施方式，能够生成与第二摄像图像包含的该被摄体配置成任意的位置关系的虚拟三维对象。
另外，该三维位置信息也可以是关于与第一摄像图像合成的虚拟三维对象的位置信息。这种情况下，由第二图像处理装置生成的数据所对应的虚拟三维对象配置在第一图像处理装置及第二图像处理装置所共有的该三维坐标空间的在第一图像处理装置中与第一摄像图像合成的虚拟三维对象相同的位置。因此，若将各虚拟三维对象与第一摄像图像及第二摄像图像分别合成，并将各合成图像分别向各用户提示，则各用户能够得到从各方向分别观察1个虚拟三维对象那样的感觉。
以下，更详细地说明上述实施方式。
[第一实施方式]
〔装置结构〕
图1是概念性地表示第一实施方式的三维环境共有系统1的硬件结构例的图。第一实施方式的三维环境共有系统1大体具有传感器侧结构和显示侧结构。传感器侧结构由三维传感器(以后，记作3D传感器)8及传感器侧装置10形成。传感器侧装置10相当于本发明的第一图像处理装置。显示侧结构由头戴式显示器(以后，记作HMD)9及显示侧装置20形成。显示侧装置20相当于本发明的第二图像处理装置。以后，将三维适当省略地记作3D。
图2是表示第一实施方式的三维环境共有系统1的利用方式的例子的图。如图2所示，3D传感器8配置在能够检测对象者(用户)的特定部位的位置。特定部位是对象者为了操作显示于HMD9的虚拟3D对象而使用的身体的一部分。本实施方式没有限制该特定部位。该对象者的特定部位表示通过3D传感器8得到的3D信息中包含的二维图像的被摄体，因此有时也称为特定被摄体。HMD9安装于对象者(用户)的头部，使对象者视觉确认与对象者的视线对应的视线影像和与该视线影像合成的虚拟3D对象。
3D传感器8检测为了对象者的特定部位的检测等而利用的3D信息。3D信息包括通过可视光得到的对象者的二维图像和距3D传感器8的距离(深度)的信息。即，3D传感器8像例如Kinect(注册商标)那样通过可视光相机及距离图像传感器来实现。距离图像传感器也被称为深度传感器，从激光器将近红外光的图案向对象者照射，根据利用检测近红外光的相机拍摄该图案而得到的信息，计算从距离图像传感器到对象者的距离(深度)。此外，3D传感器8自身的实现方法不受限制，3D传感器8可以通过使用多个可视光相机的三维扫描方式来实现。而且，在图1中，3D传感器8由1个要素图示，但是3D传感器8也可以由拍摄对象者的二维图像的可视光相机及检测距对象者的距离的传感器等多个设备来实现。3D传感器8除了深度信息之外，也取得二维图像，因此也能够被称为摄像部。3D传感器8相当于本发明的第一摄像部。
图3是表示HMD9的外观结构的例子的图。在图3中，示出被称为视频透视(Video See-Through)型的HMD9的结构。在图3的例子中，HMD9具有2个视线相机9a及9b和2个显示器9c及9d。各视线相机9a及9b分别拍摄与用户的各视线对应的各视线图像。由此，HMD9也可以称为摄像部。各显示器9c及9d配置成覆盖用户的视野的大部分的形态，并显示在各视线图像中合成了虚拟3D对象所得到的合成3D图像。HMD9相当于本发明的第二摄像部。
传感器侧装置10及显示侧装置20分别具有通过总线等而相互连接的CPU(Central Processing Unit，中央处理器)2、存储器3、通信装置4、输入输出接口(I/F)5等。存储器3是RAM(Random Access Memory，随机存取存储器)、ROM(Read Only Memory，只读存储器)、硬盘、便携型存储介质等。
传感器侧装置10的输入输出I/F5与3D传感器8连接，显示侧装置20的输入输出I/F5与HMD9连接。输入输出I/F5与3D传感器8之间、及输入输出I/F5与HMD9之间以能够通过无线进行通信的方式连接。各通信装置4通过无线或有线与其他装置(传感器侧装置10、显示侧装置20等)进行通信。本实施方式没有限制这样的通信的方式。而且，传感器侧装置10及显示侧装置20的具体的硬件结构也不受限制。
〔处理结构〕
<传感器侧装置>
图4是概念性地表示第一实施方式的传感器侧装置10的处理结构例的图。第一实施方式的传感器侧装置10具有3D信息取得部11、第一对象检测部12、第一基准设定部13、位置计算部14、状态取得部15及发送部16等。上述各处理部例如通过利用CPU2执行存储于存储器3的程序来实现。而且，该程序也可以从例如CD(Compact Disc，光盘)、存储卡等那样的便携型记录介质或网络上的其他计算机经由输入输出I/F5来安装，并存储于存储器3。
3D信息取得部11逐次取得由3D传感器8检测到的3D信息。3D信息取得部11相当于本发明的第一图像取得部。
第一对象检测部12从由3D信息取得部11取得的3D信息中检测已知的通用实际对象。通用实际对象是配置于现实世界中的图像或物，也称为AR(Augmented Reality，增强现实)标记等。本实施方式只要是无论参照方向如何，都能够从该通用实际对象中恒定地取得某基准点及来自该基准点的相互正交的3个方向即可，该通用实际对象的具体的形态不受限制。第一对象检测部12预先保持该通用实际对象所表示的形状、尺寸、颜色等的信息，使用这样的已知的信息，从3D信息中检测通用实际对象。
第一基准设定部13基于由第一对象检测部12检测的通用实际对象，设定3D坐标空间，并计算该3D坐标空间内的3D传感器8的位置及朝向。例如，第一基准设定部13设定以从通用实际对象提取的基准点为原点并将来自该基准点的相互正交的3方向设为各轴的3D坐标空间。第一基准设定部13通过对关于通用实际对象的已知的形状及尺寸(相当于本来的形状及尺寸)与从3D信息提取的通用实际对象所表示的形状及尺寸(相当于来自3D传感器8的视觉表现)的比较，计算3D传感器8的位置及朝向。第一基准设定部13相当于本发明的第一坐标设定部。
位置计算部14使用通过3D信息取得部11逐次取得的3D信息，逐次计算对象者的关于特定部位的上述3D坐标空间上的3D位置信息。在第一实施方式中，位置计算部14具体而言如下计算该3D位置信息。位置计算部14首先从由3D信息取得部11取得的3D信息中提取对象者的特定部位的3D位置信息。在此提取的3D位置信息对应于3D传感器8的相机坐标系。因此，位置计算部14基于通过第一基准设定部13计算的3D传感器8的位置、朝向以及3D坐标空间，将3D传感器8的相机坐标系所对应的3D位置信息转换成由第一基准设定部13设定的3D坐标空间上的3D位置信息。该转换是从3D传感器8的相机坐标系向基于上述通用实际对象而设定的3D坐标系的转换。
在此，应检测的对象者的特定部位可以为多个。例如，可能存在利用对象者的双手作为多个特定部位的方式。这种情况下，位置计算部14从通过3D信息取得部11取得的3D信息中分别提取多个特定部位的3D位置信息，并将该各3D位置信息分别转换成3D坐标空间上的各3D位置信息。而且，特定部位是对象者为了操作显示于显示部的虚拟3D对象而使用的身体的一部分，因此具有一定程度的面积或体积。由此，通过位置计算部14计算的3D位置信息可以是该特定部位中的某1点的位置信息，也可以是多点的位置信息。
状态取得部15取得对象者的特定部位的状态信息。该特定部位与在位置计算部14中设为检测对象的特定部位相同。本实施方式在能够检测的范围内，没有限制该状态信息可表示的状态的数目。而且，在利用多个特定部位的情况下，状态取得部15分别取得与各特定部位相关的状态信息。
状态取得部15例如预先分别保持该特定部位的应识别的各状态所对应的图像特征信息，通过对从由3D信息取得部11取得的3D信息所包含的二维图像中提取的特征信息与该预先保持的各图像特征信息的比较，取得该特定部位的状态信息。而且，状态取得部15也可以从由安装于该特定部位的应变传感器(未图示)得到的信息中取得该特定部位的状态信息。而且，状态取得部15也可以从来自对象者的手所操作的输入鼠标(未图示)的信息，取得该状态信息。而且，状态取得部15也可以通过识别由麦克风(未图示)得到的声音来取得该状态信息。
发送部16将与对象者的特定部位相关的、由位置计算部14计算出的该3D坐标空间上的3D位置信息及由状态取得部15取得的状态信息向显示侧装置20传送。
<显示侧装置>
图5是概念性地表示第一实施方式的显示侧装置20的处理结构例的图。第一实施方式的显示侧装置20具有视线图像取得部21、第二对象检测部22、第二基准设定部23、虚拟数据生成部24、操作确定部25、对象处理部26、图像合成部27及显示处理部28等。上述各处理部例如通过利用CPU2执行存储于存储器3的程序来实现。而且，该程序也可以从例如CD(Compact Disc)、存储卡等那样的便携型记录介质、网络上的其他计算机经由输入输出I/F5来安装，并存储于存储器3。
视线图像取得部21从HMD9取得对象者的特定部位所映现的视线图像。该特定部位也与在传感器侧装置10设为检测对象的特定部位相同。在本实施方式中，由于设置有视线相机9a及9b，因此视线图像取得部21分别取得与左眼及右眼分别对应的各视线图像。此外，各处理部对于左眼及右眼所对应的两视线图像分别同样地进行处理，因此在以下的说明中，以1个视线图像为对象进行说明。视线图像取得部21相当于本发明的第二图像取得部。
第二对象检测部22从由视线图像取得部21取得的视线图像中检测已知的通用实际对象。该通用实际对象与通过上述传感器侧装置10检测到的对象相同。第二对象检测部22的处理与上述传感器侧装置10的第一对象检测部12同样，因此这里省略详细说明。此外，视线图像中包含的通用实际对象与通过3D传感器8得到的3D信息包含的通用实际对象的摄像方向不同。
第二基准设定部23基于由第二对象检测部22检测的通用实际对象，设定由传感器侧装置10的第一基准设定部13设定的3D坐标空间，且分别计算HMD9的位置及朝向。关于第二基准设定部23的处理，与传感器侧装置10的第一基准设定部13同样，因此这里省略详细说明。通过第二基准设定部23设定的3D坐标空间也基于与通过传感器侧装置10的第一基准设定部13设定的3D坐标空间相同的通用实际对象来设定，因此结果是，3D坐标空间在传感器侧装置10与显示侧装置20之间共有。第二基准设定部23相当于本发明的第二坐标设定部。
虚拟数据生成部24通过第二基准设定部23生成配置在与传感器侧装置10共有的3D坐标空间内的虚拟3D对象数据。虚拟数据生成部24可以与该虚拟3D对象数据一起生成配置虚拟3D对象的虚拟3D空间的数据。
操作确定部25从传感器侧装置10接收与对象者的特定部位相关的该3D坐标空间上的3D位置信息及状态信息，并基于该状态信息与3D位置信息的变化的组合，从多个预定处理之中确定由对象处理部26执行的1个预定处理。操作确定部25相当于本发明的接收部。3D位置信息的变化根据在上次的处理时得到的与3D位置信息的关系来计算。而且，在利用多个特定部位(例如，双手)的情况下，操作确定部25根据从传感器侧装置10取得的多个3D位置信息，计算多个特定部位间的位置关系，并基于计算出的多个特定部位间的位置关系的变化及多个状态信息，从多个预定处理之中确定1个预定处理。多个预定处理包括移动处理、旋转处理、放大处理、缩小处理及功能菜单的显示数据的附加处理等。
更具体而言，操作确定部25确定如下的预定处理。例如，在对象者的特定部位为单手的情况下，操作确定部25确定使对象者的单手移动在该单手维持特定状态(例如握持状态)期间的该单手的直线移动量所对应的距离量的处理。而且，操作确定部25在单手维持特定状态期间的该单手的移动前后，在距虚拟3D对象的特定点的距离未改变的情况下，作为预定处理，以将对象者的单手与虚拟3D对象的特定点连结的线段的立体角变化量来确定以虚拟3D对象的该特定点为基准点的旋转处理。在此的虚拟3D对象的特定点例如是中心点。而且，操作确定部25计测状态信息和三维位置信息不变化的期间，在该计测到的期间超过预定期间的情况下，确定向配置虚拟3D对象的虚拟3D空间的数据附加功能菜单的显示数据的处理。
在对象者的多个特定部位为双手的情况下，操作确定部25确定如下的预定处理。操作确定部25以对象者的双手维持特定状态(例如，握持状态)的状态下的该双手间的距离的变化量所对应的放大率来确定以对象者的单手的位置为基准点的放大处理。而且，操作确定部25以对象者的双手维持特定状态(例如，握持状态)的状态下的该双手间的距离的变化量所对应的缩小率来确定以对象者的单手的位置为基准点的缩小处理。而且，操作确定部25以对象者的双手维持特定状态(例如，握持状态)的状态下的将该双手间连结的线段的立体角变化量来确定以对象者的单手的位置为基准点的旋转处理。
而且，操作确定部25根据对象者的特定部位的三维位置信息，判定以虚拟3D对象为基准的预定3D范围内是否存在该特定部位，根据其判定结果，决定对象处理部26是否可以执行预定处理。具体而言，操作确定部25在特定部位存在于预定3D范围内的情况下，使对象处理部26执行该预定处理，在特定部位存在于预定3D范围外的情况下，使对象处理部26不执行该预定处理。该预定3D范围内是否存在特定部位的判定模拟了对象者的特定部位是否接近虚拟3D对象的判定。在本实施方式中，使用该预定3D范围来决定是否执行预定处理，由此能提高对象者的直观的操作感。
操作确定部25可以检测对象者的特定部位从上述预定3D范围内向上述预定3D范围外的移动，确定移动前后的上述预定3D范围内的位置与上述预定3D范围外的位置之间的移动距离及移动方向所对应的移动处理或旋转处理来作为该预定处理。由此，通过对于虚拟3D对象的操作即将成为不可能之前的操作，对象者能够使虚拟3D对象惰性地移动或旋转。这样的惰性的操作可以通过设定来切换有效和无效。
操作确定部25分别保持用于识别上述那样的各预定处理的ID，通过选择预定处理所对应的ID，实现预定处理的确定。操作确定部25向对象处理部26交付所选择的ID，由此使对象处理部26执行该预定处理。
对象处理部26对于由虚拟数据生成部24生成的虚拟3D对象数据，应用通过操作确定部25确定的预定处理。对象处理部26实现能够执行支持的多个预定处理。
图像合成部27基于由第二基准设定部23计算的HMD9的位置、朝向及3D坐标空间，向由视线图像取得部21取得的视线图像合成由对象处理部26实施了预定处理后的虚拟3D对象数据所对应的虚拟3D对象。此外，由图像合成部27进行的合成处理只要利用扩展现实(AR)等所使用的公知的方法即可，因此这里省略说明。
显示处理部28将由图像合成部27得到的合成图像显示于HMD9。在本实施方式中，对象者的各视线所对应的2个视线图像分别如上述那样被处理，因此显示处理部28将各视线图像和合成的各合成图像分别显示于HMD9的显示器9c及9d。
图6是表示HMD9上显示的合成图像的例子的图。图6的例子所示的合成图像包括虚拟3D空间所包含的平面VA上配置的球形的虚拟3D对象VO。用户一边通过HMD9观察该图像，一边移动自身的双手，由此能够操作该图像所包含的虚拟3D对象VO。在图6中，虽然例示了球形的虚拟3D对象VO，但是虚拟3D对象的形状等不受限制。
〔动作例〕
以下，使用图7来说明第一实施方式的三维环境共有方法。图7是表示第一实施方式的三维环境共有系统1的动作例的序列图。
传感器侧装置10从3D传感器8逐次取得3D信息(S71)。传感器侧装置10对于预定的帧率的该3D信息如下进行动作。
传感器侧装置10从该3D信息中检测通用实际对象(S72)。
接着，传感器侧装置10基于检测到的通用实际对象，设定3D坐标空间，并计算该3D坐标空间内的3D传感器8的位置及朝向(S73)。
而且，传感器侧装置10使用该3D信息，计算对象者的特定部位的3D位置信息(S74)。而且，传感器侧装置10基于在工序(S73)中计算的3D传感器8的位置、朝向及3D坐标空间，将在工序(S74)中计算的3D位置信息转换成在工序(S73)中设定的3D坐标空间上的3D位置信息(S75)。
而且，传感器侧装置10取得与对象者的特定部位相关的状态信息(S76)。
传感器侧装置10关于对象者的特定部位，将在工序(S75)中得到的3D位置信息及在工序(S76)中得到的状态信息向显示侧装置20发送(S77)。
在图7中，为了便于说明，示出了3D信息的取得(S71)和状态信息的取得(S76)顺序地执行的例子，但是在特定部位的状态信息从3D信息以外得到的情况下，工序(S71)及(S76)并行执行。在图7中，示出了工序(S72)及(S73)以3D信息的预定的帧率执行的例子，但是工序(S72)及(S73)可以仅在校准时执行。
另一方面，显示侧装置20与3D信息的取得(S71)非同步地从HMD9逐次取得视线图像(S81)。显示侧装置20对于预定的帧率的该视线图像如下进行动作。
显示侧装置20从该视线图像检测通用实际对象(S82)。
接着，显示侧装置20基于检测到的通用实际对象，设定3D坐标空间，并计算该3D坐标空间内的HMD9的位置及朝向(S83)。
显示侧装置20生成在设定的3D坐标空间内配置的虚拟3D对象数据(S84)。
显示侧装置20当从传感器侧装置10接收到与对象者的特定部位相关的3D位置信息及状态信息时(S85)，根据该特定部位的3D位置信息的变化及状态信息的组合，确定与对象者的手势对应的预定处理(S86)。在特定部位存在多个的情况下，显示侧装置20根据多个特定部位间的位置关系的变化与多个状态信息的组合，确定预定处理。
显示侧装置20对于在工序(S84)中生成的虚拟3D对象数据，应用在工序(S86)中确定的预定处理(S87)。接着，显示侧装置20将实施了预定处理后的虚拟3D对象数据所对应的虚拟3D对象与视线图像进行合成(S88)，生成显示数据。
显示侧装置20将通过该合成而得到的图像显示于HMD9(S89)。
在图7中，为了便于说明，示出了顺序地执行对于从传感器侧装置10发送的与对象者的特定部位相关的信息的处理(工序(S85)至工序(S87))、虚拟3D对象数据的生成处理(工序(S82)至工序(S84))的例子。然而，工序(S85)至工序(S87)、工序(S82)至工序(S84)并行执行。而且，在图7中，示出了工序(S82)至(S84)以视线图像的预定的帧率执行的例子，但是工序(S82)至(S84)也可以仅在校准时执行。
〔第一实施方式的作用及效果〕
在第一实施方式中，分别设置用于得到对象者的视线图像的HMD9和用于得到对象者的特定部位的位置的3D传感器8。由此，根据第一实施方式，能够在可准确地测定对象者的特定部位的3D位置的位置上配置3D传感器8。这是因为，当距测定对象的距离未分离到一定程度时，可能存在无法准确地测定测定对象的位置的3D传感器8。
在第一实施方式中，根据使用通用实际对象通过分别设置的传感器(3D传感器8及HMD9)得到的信息在各传感器之间设定通用的3D坐标空间。这样，根据第一实施方式，在对从不同位置及不同方向拍摄到的二维图像(包含于3D信息)及视线图像进行处理的3D传感器8及HMD9之间能够共有1个三维环境。
并且，使用该通用的3D坐标空间，判定对象者的特定部位的位置，并生成及处理虚拟3D对象数据。而且，在第一实施方式中，使用通用的3D坐标空间，判定在以虚拟3D对象为基准的预定3D范围内是否存在对象者的特定部位，根据其判定结果来决定是否能够对该虚拟3D对象进行操作。因此，根据第一实施方式，能够使对象者直观地识别虚拟3D对象与自身的特定部位的位置的关系，其结果是，能够给对象者带来仿佛直接接触那样的对虚拟3D对象的直观的操作感。
此外，在上述第一实施方式中，根据与对象者的特定部位相关的位置变化及状态的组合，对虚拟3D对象数据应用了预定处理，但也可以不考虑状态。这种情况下，不需要传感器侧装置10的状态取得部15，从传感器侧装置10向显示侧装置20发送的信息可以仅是与对象者的特定部位相关的3D位置信息。
[第二实施方式]
第二实施方式的三维环境共有系统1向通过多个对象者(用户)所分别安装的各HMD9拍摄的各视线图像分别合成虚拟3D对象，并将各合成图像分别显示于HMD9，由此能够实现多个用户间的虚拟3D对象的共有。
〔装置结构〕
图8是概念性地表示第二实施方式的三维环境共有系统1的硬件结构例的图。第二实施方式的三维环境共有系统1具有第一图像处理装置30、第二图像处理装置40以及2个HMD9。第一图像处理装置30与HMD9(#1)连接，第二图像处理装置40与HMD9(#2)连接。
在第二实施方式中，HMD9(#1)相当于本发明的第一摄像部，HMD9(#2)相当于本发明的第二摄像部。这样，在第二实施方式中，通过各用户所安装的HMD9(#1)及(#2)分别拍摄各用户的视线图像。以后，将通过HMD9(#1)拍摄到的视线图像记作第一视线图像，将通过HMD9(#2)拍摄像到的视线图像记作第二视线图像。此外，第一图像处理装置30及第二图像处理装置40具有与第一实施方式的显示侧装置20同样的硬件结构，因此这里省略说明。
〔处理结构〕
<第一图像处理装置>
图9是概念性地表示第二实施方式的第一图像处理装置30的处理结构例的图。第二实施方式的第一图像处理装置30具有第一视线图像取得部31、第一对象检测部32、第一基准设定部33、虚拟数据生成部34、第一图像合成部35、第一显示处理部36及发送部37等。上述各处理部例如通过利用CPU2执行存储于存储器3的程序来实现。而且，该程序也可以从例如CD(Compact Disc)、存储卡等那样的便携型记录介质、网络上的其他计算机经由输入输出I/F5来安装，并存储于存储器3。
第一视线图像取得部31取得由HMD9(#1)拍摄到的第一视线图像。第一对象检测部32对该第一视线图像进行处理。第一视线图像取得部31、第一对象检测部32及第一基准设定部33的详细处理与第一实施方式的视线图像取得部21、第二对象检测部22及第二基准设定部23同样，因此这里省略说明。第一视线图像取得部31相当于本发明的第一图像取得部，第一基准设定部33相当于本发明的第一坐标设定部及第一基准设定部。
虚拟数据生成部34基于由第一基准设定部33设定的3D坐标空间，生成配置在该3D坐标空间内的虚拟3D对象数据。虚拟数据生成部34也可以与该虚拟3D对象数据一起生成配置虚拟3D对象的虚拟3D空间的数据。虚拟3D对象数据包括与虚拟3D对象相关的三维位置信息、朝向信息、形状信息、颜色信息等。
第一图像合成部35基于通过第一基准设定部33计算出的HMD9(#1)的位置、朝向及3D坐标空间，将通过虚拟数据生成部34生成的虚拟3D对象数据所对应的虚拟3D对象向通过第一视线图像取得部31取得的第一视线图像进行合成。
第一显示处理部36将通过第一图像合成部35生成的合成图像显示于HMD9的显示器9c及9d。
发送部37将通过虚拟数据生成部34生成的虚拟3D对象数据包含的三维位置信息向第二图像处理装置40发送。在此，也可以发送虚拟3D对象数据其本身。
<第二图像处理装置>
图10是概念性地表示第二实施方式的第二图像处理装置40的处理结构例的图。第二实施方式的第二图像处理装置40具有第二视线图像取得部41、第二对象检测部42、第二基准设定部43、接收部44、对象处理部45、第二图像合成部46、第二显示处理部47等。上述各处理部例如通过利用CPU2执行存储于存储器3的程序来实现。而且，该程序也可以从例如CD(Compact Disc)、存储卡等那样的便携型记录介质、网络上的其他计算机经由输入输出I/F5来安装，并存储于存储器3。
第二视线图像取得部41取得由HMD9(#2)拍摄的第二视线图像。第二对象检测部42对该第二视线图像进行处理。此外，第二视线图像取得部41、第二对象检测部42及第二基准设定部43的详细处理与第一实施方式的视线图像取得部21、第二对象检测部22及第二基准设定部23同样，因此这里省略说明。第二视线图像取得部41相当于本发明的第二图像取得部，第二基准设定部43相当于本发明的第二坐标设定部及第二基准设定部。
接收部44接收从第一图像处理装置30发送的3D坐标空间的3D位置信息。如上所述，接收部44也可以接收虚拟3D对象数据。
对象处理部45使用由接收部44接收到的三维位置信息，对与第二视线图像合成的虚拟3D对象数据进行处理。例如，对象处理部45对于已经保持的虚拟3D对象数据，反映其接收到的三维位置信息。已经保持的三维位置信息以外的虚拟3D对象数据既可以从第一图像处理装置30取得，也可以从其他装置取得，还可以预先保持。
第二图像合成部46基于HMD9(#2)的位置、朝向及3D坐标空间，将由对象处理部45处理后的虚拟3D对象数据所对应的虚拟3D对象与第二视线图像进行合成。
第二显示处理部47将由第二图像合成部46得到的合成图像显示于HMD9的显示器9c及9d。
〔动作例〕
以下，使用图11来说明第二实施方式的三维环境共有方法。图11是表示第二实施方式的三维环境共有系统1的动作例的序列图。
通过第一图像处理装置30执行的工序(S111)至工序(S113)与通过第二图像处理装置40执行的工序(S 121)至工序(S 123)仅处理对象(第一视线图像及第二视线图像)不同，而内容相同。而且，工序(S111)至工序(S113)及工序(S121)至工序(S 123)的内容自身也与上述图7的工序(S81)至工序(S83)同样。即，第一图像处理装置30使用由HMD9(#1)拍摄的第一视线图像，计算HMD9(#1)的位置、朝向及3D坐标空间，第二图像处理装置40使用由HMD9(#2)拍摄的第二视线图像，计算HMD9(#2)的位置、朝向及3D坐标空间。
接着，第一图像处理装置30生成配置于3D坐标空间的虚拟3D对象数据(S114)。第一图像处理装置30将该数据表示的虚拟3D对象的3D位置信息向第二图像处理装置40发送(S115)。在此发送的虚拟3D对象的3D位置信息使用3D坐标空间表示。
第一图像处理装置30将由HMD9(#1)拍摄到的第一视线图像和与该数据对应的虚拟3D对象进行合成(S 116)，并将该合成图像显示于HMD9(#1)(S117)。
另一方面，第二图像处理装置40当从第一图像处理装置30接收到3D位置信息时(S 124)，将接收到的3D位置信息反映到该虚拟3D对象数据中(S125)。
第二图像处理装置40将该虚拟3D对象与通过HMD9(#2)拍摄到的视线图像进行合成(S 126)，并将该合成图像显示于HMD9(#2)(S127)。
此外，在图11的例子中，从第一图像处理装置30向第二图像处理装置40仅发送三维位置信息，但也可以将通过工序(S114)生成的虚拟3D对象数据从第一图像处理装置30向第二图像处理装置40发送。这种情况下，第二图像处理装置40使用接收到的虚拟3D对象数据，生成表示应向第二视线图像合成的形态的虚拟3D对象数据。
〔第二实施方式的作用及效果〕
这样，在第二实施方式中，向2位用户安装HMD9(#1)及(#2)，通过各HMD9分别拍摄不同的视线图像。并且，使用各视线图像包含的通用实际对象，在各HMD9间设定通用的3D坐标空间。这样，根据第二实施方式，在对从不同位置及不同方向拍摄到的视线图像进行处理的HMD9(#1)及(#2)间能够共有1个三维环境。
在第二实施方式中，使用该通用的3D坐标空间，生成虚拟3D对象数据，将该数据所对应的虚拟3D对象与第一视线图像合成，并通过一方的HMD9显示该合成图像。另一方面，将该虚拟3D对象的至少3D位置信息从第一图像处理装置30向第二图像处理装置40发送，将反映了该3D位置信息的虚拟3D对象向第二视线图像合成，并通过另一方的HMD9显示该合成图像。
这样，在第二实施方式中，使用各视线图像来设定通用的3D坐标空间，并使用该通用的3D坐标空间将虚拟3D对象向各视线图像合成，因此在视线图像间，能够使映出的实际世界的3D空间一致，并且能够在该实际世界的3D空间中模拟性地配置虚拟3D对象。由此，根据第二实施方式，安装HMD9的各用户不仅能够共有1个虚拟3D对象，而且能够感觉到其实际存在于通过各视线图像视觉确认的实际世界的3D空间内。
在上述第二实施方式中，表示了2组HMD9及图像处理装置，但是三维环境共有系统1也可以由3组以上的HMD9及图像处理装置构成。这种情况下，能够在3位以上的用户中共有虚拟3D对象。
[变形例]
在上述第一实施方式及第二实施方式中，如图3所示，HMD9对应于对象者(用户)的双眼，具有视线相机9a及9b以及显示器9c及9d，但是也可以具有一个视线相机及一个显示器。这种情况下，1个显示器可以配置成覆盖对象者的单眼的视野，也可以配置成覆盖对象者的双眼的视野。这种情况下，虚拟数据生成部24及虚拟数据生成部34只要使用周知的3DCG技术来生成虚拟3D对象数据，以便能够将虚拟3D空间所包含的显示物通过3DCG显示即可。
另外，在上述第一实施方式及第二实施方式中，为了得到视线图像而使用了视频透视型的HMD9，但也可以使用光学透视(OpticalSee-Through)型的HMD9。这种情况下，只要在HMD9设置半透明反射镜的显示器9c及9d，并在该显示器9c及9d上显示虚拟3D对象即可。但是，这种情况下，将用于得到在对象者的视线方向上检测通用实际对象用的图像的相机设置在HMD9的不会遮挡对象者的视野的部位。
此外，在上述说明所使用的序列图中，依次记载了多个工序(处理)，但是本实施方式中执行的工序的执行顺序并不局限于该记载的顺序。在本实施方式中，图示的工序的顺序在内容上不会造成障碍的范围内能够变更。
另外，上述各实施方式及各变形例在内容不相反的范围内能够组合。例如，作为将第一实施方式与第二实施方式组合的方式，三维环境共有系统1在第二实施方式的结构中可以包含第一实施方式中所示的至少1个传感器侧装置10。这种情况下，第一图像处理装置30及第二图像处理装置40从至少1个传感器侧装置10分别取得各用户的特定部位的3D位置信息，通过该3D位置信息能够将与各视线图像合成的各虚拟3D对象如第一实施方式那样分别操作。
本申请主张以在2012年7月27日提出申请的日本专利申请特愿2012-167102为基础的优先权，并将其公开的全部援引于此。

Claims (7)

1.一种三维环境共有系统，包括第一图像处理装置及第二图像处理装置，其特征在于，
所述第一图像处理装置具备：
第一图像取得部，从第一摄像部取得第一摄像图像；
第一对象检测部，从由所述第一图像取得部取得的所述第一摄像图像中检测已知的通用实际对象；
第一坐标设定部，基于由所述第一对象检测部检测的所述通用实际对象，设定三维坐标空间；以及
发送部，将所述三维坐标空间的三维位置信息向所述第二图像处理装置发送，
所述第二图像处理装置具备：
第二图像取得部，从第二摄像部取得第二摄像图像，所述第二摄像部配置成与所述第一摄像部不同的位置及不同的朝向，且摄像区域与所述第一摄像部至少局部重复；
第二对象检测部，从由所述第二图像取得部取得的所述第二摄像图像中检测已知的所述通用实际对象；
第二坐标设定部，基于由所述第二对象检测部检测的所述通用实际对象，设定与在所述第一图像处理装置中设定的所述三维坐标空间相同的三维坐标空间；
接收部，从所述第一图像处理装置接收所述三维位置信息；以及
对象处理部，使用由所述接收部接收的所述三维位置信息，对与所述第二摄像图像合成的虚拟三维对象数据进行处理。
2.根据权利要求1所述的三维环境共有系统，其中，
所述第一图像处理装置还具备：
第一基准设定部，基于由所述第一对象检测部检测的所述通用实际对象，计算所述第一摄像部的位置及朝向；
第一图像合成部，基于所述第一摄像部的位置、朝向及所述三维坐标空间，将配置在所述三维位置信息所对应的所述三维坐标空间内的位置上的虚拟三维对象与所述第一摄像图像进行合成；以及
第一显示处理部，将由所述第一图像合成部得到的合成图像显示于第一显示部，
所述第二图像处理装置还具备：
第二基准设定部，基于由所述第二对象检测部检测的所述通用实际对象，计算所述第二摄像部的位置及朝向；
第二图像合成部，基于所述第二摄像部的位置、朝向及所述三维坐标空间，将由所述对象处理部处理后的虚拟三维对象数据所对应的虚拟三维对象与所述第二摄像图像进行合成；以及
第二显示处理部，将由所述第二图像合成部得到的合成图像显示于第二显示部。
3.根据权利要求1所述的三维环境共有系统，其中，
所述第一摄像部是三维传感器，
所述第一图像取得部除所述第一摄像图像外还从所述第一摄像部取得所述第一摄像图像所对应的深度信息，
所述第一图像处理装置还具备：
第一基准设定部，基于由所述第一对象检测部检测的所述通用实际对象，计算所述第一摄像部的位置及朝向；和
位置计算部，使用所述第一摄像图像及所述深度信息，取得所述第一摄像图像所包含的特定被摄体的三维位置信息，基于由所述第一基准设定部计算的所述第一摄像部的位置、朝向及所述三维坐标空间，将所述取得的特定被摄体的三维位置信息转换成所述三维坐标空间的三维位置信息，
所述第二图像处理装置还具备：
第二基准设定部，基于由所述第二对象检测部检测的所述通用实际对象，计算所述第二摄像部的位置及朝向；
第二图像合成部，基于所述第二摄像部的位置、朝向及所述三维坐标空间，将由所述对象处理部处理后的虚拟三维对象数据所对应的虚拟三维对象与所述第二摄像图像进行合成；以及
第二显示处理部，将由所述第二图像合成部得到的合成图像显示于第二显示部。
4.一种三维环境共有方法，通过第一图像处理装置及第二图像处理装置来执行，其特征在于，所述三维环境共有方法包括：
所述第一图像处理装置，
从第一摄像部取得第一摄像图像，
从所述取得的第一摄像图像中检测已知的通用实际对象，
基于所述检测的通用实际对象，设定三维坐标空间，
将所述三维坐标空间的三维位置信息向所述第二图像处理装置发送，
所述第二图像处理装置，
从配置成与所述第一摄像部不同的位置及不同的朝向且摄像区域与所述第一摄像部至少局部重复的第二摄像部取得第二摄像图像，
从所述取得的第二摄像图像中检测已知的所述通用实际对象，
基于所述检测的通用实际对象，设定与在所述第一图像处理装置中设定的所述三维坐标空间相同的三维坐标空间，
从所述第一图像处理装置接收所述三维位置信息，
使用所述接收的三维位置信息，对与所述第二摄像图像合成的虚拟三维对象数据进行处理。
5.根据权利要求4所述的三维环境共有方法，其中，
所述三维环境共有方法还包括：
所述第一图像处理装置，
基于所述检测的通用实际对象，计算所述第一摄像部的位置及朝向，
基于所述第一摄像部的位置、朝向及所述三维坐标空间，将配置在所述三维位置信息所对应的所述三维坐标空间内的位置上的虚拟三维对象与所述第一摄像图像进行合成，
将通过所述合成而得到的合成图像显示于第一显示部，
所述第二图像处理装置，
基于所述检测的通用实际对象，计算所述第二摄像部的位置及朝向，
基于所述第二摄像部的位置、朝向及所述三维坐标空间，将所述处理后的虚拟三维对象数据所对应的虚拟三维对象与所述第二摄像图像进行合成，
将通过所述合成而得到的合成图像显示于第二显示部。
6.根据权利要求4所述的三维环境共有方法，其中，
所述第一摄像部是三维传感器，
所述三维环境共有方法还包括：
所述第一图像处理装置，
从所述第一摄像部取得所述第一摄像图像所对应的深度信息，
基于所述检测到的通用实际对象，计算所述第一摄像部的位置及朝向，
使用所述第一摄像图像及所述深度信息，取得所述第一摄像图像所包含的特定被摄体的三维位置信息，
基于所述第一摄像部的位置、朝向及所述三维坐标空间，将所述取得的特定被摄体的三维位置信息转换成所述三维坐标空间的三维位置信息，
所述第二图像处理装置，
基于所述检测的通用实际对象，计算所述第二摄像部的位置及朝向，
基于所述第二摄像部的位置、朝向及所述三维坐标空间，将所述处理后的虚拟三维对象数据所对应的虚拟三维对象与所述第二摄像图像进行合成，
将通过所述合成而得到的合成图像显示于第二显示部。
7.一种程序，使所述第一图像处理装置及所述第二图像处理装置执行权利要求4～6中的任一项所述的三维环境共有方法。
CN201380039943.9A 2012-07-27 2013-03-08 三维环境共有系统及三维环境共有方法 Pending CN104520905A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012167102 2012-07-27
JP2012-167102 2012-07-27
PCT/JP2013/001519 WO2014016986A1 (ja) 2012-07-27 2013-03-08 ３次元環境共有システム及び３次元環境共有方法

Publications (1)

Publication Number Publication Date
CN104520905A true CN104520905A (zh) 2015-04-15

Family

ID=49998733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039943.9A Pending CN104520905A (zh) 2012-07-27 2013-03-08 三维环境共有系统及三维环境共有方法

Country Status (6)

Country Link
US (1) US20150213649A1 (zh)
EP (1) EP2879098A4 (zh)
JP (1) JP5843340B2 (zh)
CN (1) CN104520905A (zh)
HK (1) HK1205326A1 (zh)
WO (1) WO2014016986A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346182A (zh) * 2017-01-23 2018-07-31 发那科株式会社 信息显示系统
CN108961197A (zh) * 2018-06-27 2018-12-07 联想(北京)有限公司 一种对象合成方法及装置
CN112689854A (zh) * 2018-11-30 2021-04-20 多玩国株式会社 动画合成装置、动画合成方法以及记录介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2879022A4 (en) * 2012-07-27 2016-03-23 Nec Solution Innovators Ltd THREE-DIMENSIONAL USER INTERFACE DEVICE AND THREE-DIMENSIONAL OPERATING PROCESS
JP6290020B2 (ja) * 2014-07-11 2018-03-07 Kddi株式会社 画像処理装置、画像処理方法、およびプログラム
CN105491416B (zh) * 2015-11-25 2020-03-03 腾讯科技（深圳）有限公司 增强现实的信息传输方法和装置
KR102609450B1 (ko) * 2016-05-09 2023-12-04 삼성전자주식회사 전자 장치 및 전자 장치의 전자 문서 출력 방법
JP6429829B2 (ja) * 2016-05-25 2018-11-28 キヤノン株式会社 画像処理システム、画像処理装置、制御方法、及び、プログラム
KR102087414B1 (ko) 2017-04-11 2020-03-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 계층화된 증강 엔터테인먼트 경험
US10444932B2 (en) * 2018-01-25 2019-10-15 Institute For Information Industry Virtual space positioning method and apparatus
WO2019229301A1 (en) * 2018-06-01 2019-12-05 Immersal Oy Solution for generating virtual reality representation
EP3584692A1 (en) * 2018-06-19 2019-12-25 InterDigital CE Patent Holdings Sharing virtual content in a mixed reality scene
US20200021668A1 (en) * 2018-07-13 2020-01-16 Merge Labs, Inc. Dynamic augmented reality collaboration system using a trackable three-dimensional object
EP3640767B1 (de) * 2018-10-17 2024-09-11 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
WO2021177132A1 (ja) * 2020-03-06 2021-09-10 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN112614191B (zh) * 2020-12-16 2024-05-24 江苏智库智能科技有限公司 基于双目深度相机的装卸位置检测方法、装置和系统
CN113206989A (zh) * 2021-03-31 2021-08-03 聚好看科技股份有限公司 一种三维通信系统中人物模型的定位方法及设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3363861B2 (ja) * 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
JP4491598B2 (ja) * 2003-10-27 2010-06-30 独立行政法人産業技術総合研究所 画像表示システム
WO2005043218A1 (ja) * 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha 画像表示装置
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
KR101335346B1 (ko) * 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
JP4816789B2 (ja) * 2009-11-16 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
EP2348383B1 (en) * 2009-12-31 2017-07-12 Sony Computer Entertainment Europe Limited System and method of virtual interaction
CN102792339B (zh) * 2010-03-17 2016-04-27 索尼公司 信息处理装置、信息处理方法
US20120117514A1 (en) * 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
KR101459175B1 (ko) * 2010-12-23 2014-11-07 주식회사 케이티 이동하는 가상 이미지를 공유하는 단말 장치 및 시스템과 그 방법
US8736583B2 (en) * 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8854282B1 (en) * 2011-09-06 2014-10-07 Google Inc. Measurement method
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THAMMATHIP PIUMSOMBOON ET AL.: ""Poster:Physically-based Natural Hand and Tangible AR Interaction for face-to-face Collaboration on a Tabletop"", 《3D USER INTERFACES(3DUI),2012 IEEE SYMPOSIUM ON》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346182A (zh) * 2017-01-23 2018-07-31 发那科株式会社 信息显示系统
US10540816B2 (en) 2017-01-23 2020-01-21 Fanuc Corporation Information display system
CN108961197A (zh) * 2018-06-27 2018-12-07 联想(北京)有限公司 一种对象合成方法及装置
CN112689854A (zh) * 2018-11-30 2021-04-20 多玩国株式会社 动画合成装置、动画合成方法以及记录介质

Also Published As

Publication number Publication date
EP2879098A1 (en) 2015-06-03
JPWO2014016986A1 (ja) 2016-07-07
WO2014016986A1 (ja) 2014-01-30
EP2879098A4 (en) 2016-03-16
HK1205326A1 (zh) 2015-12-11
US20150213649A1 (en) 2015-07-30
JP5843340B2 (ja) 2016-01-13

Similar Documents

Publication Publication Date Title
CN104520905A (zh) 三维环境共有系统及三维环境共有方法
CN104508600A (zh) 三维用户界面装置及三维操作方法
CN104662587B (zh) 三维用户界面装置以及三维操作方法
KR101295714B1 (ko) 3차원 증강 현실 제공 장치 및 방법
JP6619871B2 (ja) 媒介現実コンテンツの共有
US9536350B2 (en) Touch and social cues as inputs into a computer
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
CN107820593A (zh) 一种虚拟现实交互方法、装置及系统
US9846942B2 (en) Method and system for determining a pose of camera
TW201835723A (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
WO2014141504A1 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
EP2977924A1 (en) Three-dimensional unlocking device, three-dimensional unlocking method and program
WO2013028813A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
Jia et al. 3D image reconstruction and human body tracking using stereo vision and Kinect technology
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
JP2022550644A (ja) パススルー視覚化
CN102508548A (zh) 一种电子信息设备的操作方法及系统
KR102199772B1 (ko) 3차원 모델 데이터 생성 방법
JP2013168120A (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
KR20110136017A (ko) 홀로그램 객체를 표시하는 증강현실 장치
EP3971683A1 (en) Human body portion tracking method and human body portion tracking system
KR20160099981A (ko) 패턴을 가지는 입체표식기를 이용한 복수 사용자를 포함하는 쌍방향 인식이 가능한 가상현실 장치
WO2018173205A1 (ja) 情報処理システム、その制御方法、及びプログラム
Nakamura et al. A Mutual Motion Capture System for Face-to-face Collaboration.
Deldjoo Wii remote based head tracking in 3D audio rendering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1205326

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150415

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1205326

Country of ref document: HK