[go: up one dir, main page]

CN108027653B - 虚拟环境中的触觉交互 - Google Patents

虚拟环境中的触觉交互 Download PDF

Info

Publication number
CN108027653B
CN108027653B CN201680052621.1A CN201680052621A CN108027653B CN 108027653 B CN108027653 B CN 108027653B CN 201680052621 A CN201680052621 A CN 201680052621A CN 108027653 B CN108027653 B CN 108027653B
Authority
CN
China
Prior art keywords
virtual
real object
real
data
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680052621.1A
Other languages
English (en)
Other versions
CN108027653A (zh
Inventor
L·沙皮拉
X·B·帕洛斯
J·A·费尔南德兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108027653A publication Critical patent/CN108027653A/zh
Application granted granted Critical
Publication of CN108027653B publication Critical patent/CN108027653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了触觉虚拟现实(VR)和/或混合现实(MR)体验。本文中所描述的技术包括从传感器接收数据，并且访问物理存在于真实场景中的真实对象的位置和方向。而且，本文中所描述的技术包括至少部分地基于真实对象的位置和方向来标识真实对象，并且使得与真实对象相对应的图形元素被渲染在VR和/或MR显示设备的显示器上。可以至少部分地基于VR和/或MR应用来确定图形元素。本文中所描述的技术包括确定与真实对象的交互，并且使得与图形元素相关联的功能分别在经由VR和/或MR显示设备渲染的VR或MR环境中被执行。

Description

虚拟环境中的触觉交互
背景技术
计算系统可以帮助生成包括虚拟现实(VR)环境和/或混合现实(MR)环境的新环境。虚拟现实(VR)是一种沉浸式体验，其模拟真实环境或想象环境中的物理存在。例如，VR环境可以经由VR显示设备使得具有计算机生成的图形(例如，狗、城堡等)的物理真实世界的人物沉浸在计算机生成的虚拟场景中。混合现实(MR)是一种融合现实世界和虚拟世界的混合现实体验。MR是一种产生MR环境的技术，其中物理真实世界的人物和/或物理真实世界场景中的对象与虚拟计算机生成的人物和/或对象实时共存。例如，MR环境可以在经由MR显示设备观看的物理真实世界场景中使用计算机生成的图形(例如，狗、城堡等)来增强物理现实世界场景和/或物理真实世界的人物。
发明内容
描述了触觉虚拟现实(VR)和/或混合现实(MR)体验。本文中所描述的技术包括从传感器接收数据，并且访问物理存在于真实场景中的真实对象的位置和方向。而且，本文中所描述的技术包括至少部分地基于真实对象的位置和方向来标识真实对象，并且使得与真实对象相对应的图形元素被渲染在VR和/或MR显示设备的显示器上。可以至少部分地基于VR和/或MR应用来确定图形元素。本文中所描述的技术包括确定与真实对象的交互，并且使得与图形元素相关联的功能分别在经由VR和/或MR显示设备渲染的VR或MR环境中被执行。
应当理解，上文所描述的主题可以被实现为计算机控制的装置、计算机过程、计算系统或者诸如计算机可读存储介质之类的制品。这些和各种其他特征将通过阅读下面的具体实施方式和相关附图的回顾而变得清楚。
提供本发明内容是为了以简化形式介绍下文在具体实施方式中进一步描述的技术选择。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在使用本发明内容来限制所要求保护的主题的范围。而且，所要求保护的主题不限于解决本公开的任何部分中指出的任何或全部缺点的实现方式。
附图说明
参考附图阐述了具体实施方式，其中附图标记的最左边的数字标识附图标记首次出现的图。在相同或不同的图中使用相同的附图标记表示相似或相同的项目或特征。
图1是示出了用于向用户提供触觉VR体验和/或MR体验的示例环境的示意图。
图2A是示出了头戴式VR和/或MR显示设备的示例的示意图。
图2B是示出了头戴式VR和/或MR显示设备的示例的示意图。
图3是示出了用于使得至少部分地基于确定与真实场景中的真实对象的交互来在VR环境中执行与虚拟对象相关联的功能的示例过程的流程图。
图4是示出了至少部分地基于从传感器接收的数据来标识真实对象的示例过程的流程图。
图5是示出了用于至少部分地基于确定与真实场景中的两个真实对象的交互来用VR环境中的第三图形元素替换第一图形元素和第二图形元素的示例过程的流程图。
图6是示出了用于将新真实对象引入到本文中所描述的技术中的示例过程的流程图。
图7A是示出了真实场景中的真实对象的示例的示意图。
图7B是示出了在与第一VR应用相关联的VR环境中渲染的对应虚拟对象的示例的示意图。
图7C是示出了在与第一VR应用相关联的VR环境中渲染的对应虚拟对象的示例的示意图。
图8A是示出了真实场景中的真实对象的示例的示意图。
图8B是示出了与第二VR应用相关联的VR环境的示例的示意图。
图8C是示出了在与第二VR应用相关联的VR环境中渲染的对应虚拟对象的示例的示意图。
具体实施方式
本文中所描述的技术旨在向用户提供触觉虚拟现实(VR)和/或混合现实(MR)体验。在示例中，触觉VR体验是其中用户能够在VR环境中经由他自己的身体而移动，可以在VR环境中看到他自己和/或他自己的各部分，以及可以通过触摸并且在真实世界中与简单的熟悉的日常真实对象一起玩来与VR环境交互的体验，这些真实对象与VR环境中的虚拟对象相对应。备选地，触觉MR体验是其中用户能够在MR环境中经由他自己的身体而移动，可以在MR环境中看到他自己和/或他自己的各部分，以及可以通过触摸并且在真实世界中与简单的熟悉的日常真实对象一起玩来与MR环境交互的体验，这些真实对象可以通过MR环境中的虚拟对象进行增强。
为了本讨论的目的，物理的真实世界对象(“真实对象”)或物理的真实世界的人员(“真实人员”和/或“真实人物”)分别描述物理存在于物理真实世界场景(“真实场景”)中的对象或人员。基于真实对象的移动模式和/或用户和/或用户设备的移动，真实对象和/或真实人员可以移入和移出视野。虚拟的计算机生成的内容(“虚拟内容”)可以描述由一个或多个计算设备生成的内容以生成虚拟的计算机生成的环境(“虚拟环境”、“VR环境”或“MR环境”)。在至少一个示例中，虚拟内容可以包括一个或多个像素，每个像素具有共同呈现在显示器上的相应颜色或亮度，以便表示虚拟环境中的人物、对象等。虚拟内容可以经由本文中所描述的技术在VR设备或MR设备的显示器上渲染。在附加示例和/或备选示例中，虚拟内容可以包括计算机生成的内容，诸如声音、视频、全球定位系统(GPS)内容等。
在一些示例中，如本文中所描述的，虚拟对象可以与真实对象相对应。也就是说，在一些示例中，单独的虚拟对象可以映射到单独的真实对象，并且可以移动、跟踪和/或响应于与单独的真实对象一致的交互。在这样的示例中，虚拟对象可以包括表示真实对象的几何结构和/或表面细节的虚拟元素。虚拟元素本身可能不包括图形内容。附加地和/或备选地，虚拟对象可以包括可以在虚拟元素的顶部上渲染的图形元素。图形元素可以包括一个或多个像素，每个像素具有共同呈现在显示器上的相应颜色或亮度，以便表示映射到真实对象并且移动/跟踪真实对象的对象等。图形元素可以取决于VR和/或MR应用。也就是说，在虚拟元素保持不变的同时，图形元素可以基于不同的VR和/或MR应用而改变。
在至少一个示例中，本文中所描述的技术包括从传感器接收数据。如下文更详细描述的，数据可以包括跟踪与真实场景中的用户和真实对象的位置和方向相关联的数据，其中用户中的至少一个用户物理存在于该真实场景中。至少部分地基于接收数据，本文中所描述的技术可以包括确定物理存在于真实场景中的用户经由交互而与物理存在于真实场景中的真实对象进行交互。在一些示例中，真实对象可以与唯一标识符相关联。该技术还包括访问与真实对象相对应的虚拟元素。在一些示例中，虚拟元素可以与唯一标识符相关联。虚拟元素可以映射到真实对象，使得虚拟元素具有与真实对象相同的三维几何结构，并且虚拟元素表示真实对象的几何结构和/或表面细节。在一些示例中，一个或多个图形元素还可以与唯一标识符相关联。在至少一个示例中，与真实对象相对应的虚拟对象可以包括虚拟元素和一个或多个图形元素中的图形元素。图形元素可以依据与VR应用相关联的虚拟环境而改变。该技术可以包括经由VR设备的显示器将图形元素在虚拟环境的虚拟环境中渲染。本文中所描述的技术包括确定与真实对象的交互，并且使得在经由VR显示设备渲染的VR环境中执行与图形元素相关联的功能和交互。在其中多于一个用户在虚拟环境中交互的示例中，虚拟对象可以基于相应用户的观看视角(例如，真实场景内的VR设备的位置)而被呈现给单独的用户。
为了说明的目的，具体实施方式描述了VR环境中的触觉交互的各种示例。然而，如上文所描述的，本文中所描述的技术还可以适用于MR环境。在MR环境中，与真实对象相对应的虚拟对象可以在真实场景而非虚拟场景中在MR显示器上渲染。因而，本文中所描述的技术可以适用于分别提供触觉VR体验或触觉MR体验的VR环境和MR环境两者。
本文中所描述的技术可以用于使得用户能够和与VR环境中的虚拟对象相对应的真实对象进行交互。如上文所描述的，虚拟对象(特别是虚拟对象的图形元素)可以至少部分地基于不同的VR应用而改变。如上文所描述的，虚拟元素可以表示真实对象的几何结构和/或表面细节。图形元素可以在虚拟元素的顶部上被渲染，并且可以至少部分地基于不同的VR应用而改变。VR应用中的每个VR应用都可以提供不同的VR环境/场景/体验/等等。也就是说，单个真实对象可以用于各种VR应用，并且可以与每个VR应用中的不同虚拟内容相关联。
在至少一个示例中，虚拟环境可以是虚拟玩具房间，其尺寸与用户所在的真实房间相匹配。虚拟玩具房间可以与玩具房间VR应用相关联。真实房间周围可以设置一个或多个真实块。在虚拟玩具房间中，在与真实房间中的一个或多个真实块相同的位置中可以有一个或多个虚拟块。虚拟块可以表示真实块的替代。也就是说，虚拟块可以表示与真实块相对应的虚拟对象。在至少一个示例中，真实块中的单独的真实块可以用作其他虚拟体验的关口。比如，每个关口块可以显示为发光透明块，其内存在微型世界。微型世界可以表示每个对应块所引导的虚拟体验。这个示例可以让儿童(和成年人)在真实环境中自由移动，并且和与虚拟环境中的虚拟对象相对应的真实对象进行交互。
在至少一个示例中，用户可以通过与上文所描述的关口块中的一个关口块进行交互来进入虚拟村庄。用户可以从俯瞰虚拟村庄的巨人的角度来观看虚拟村庄。虚拟村庄中的虚拟房屋可以是真实块的替代。也就是说，虚拟房屋可以表示与单独的真实块相对应的虚拟对象。用户可以与单独的真实块交互，并且改变与单独的真实块相对应的虚拟内容的外观。也就是说，至少部分地基于交互，与对应于单独的真实块的虚拟对象相关联的图形元素可以改变。比如，如果用户摇动真实块，那么虚拟房屋就可以从农舍变成联排别墅。在一些示例中，由于真实块被放置在真实地面上，所以虚拟生活可以围绕与真实块相对应的虚拟房屋而发生。虚拟生活的形式可以是树木、路牌和生活在其中的小人物。
在一些示例中，真实块中的一些真实块可以与用户可以与之交互的虚拟工具相对应。也就是说，虚拟工具可以表示与单独的真实块相对应的虚拟对象。比如，一些虚拟工具可能会影响VR环境中的天气。在至少一个示例中，用户可以摇动真实块以使得虚拟雪和/或虚拟雨从对应的虚拟工具落下。也就是说，基于与真实块的摇动交互，与真实块相对应的虚拟对象可以在VR环境中执行相关联的功能。在另一示例中，虚拟工具可以是虚拟爆炸设备，其在确定用户投掷真实块时，可以炸毁虚拟森林。也就是说，基于与真实块的投掷交互，与真实块相对应的虚拟对象可以在VR环境中执行相关联的功能。又一虚拟工具可以表示一对虚拟双目镜，其基于确定用户将真实块向上移动到用户的眼睛，可以使得用户能够看到虚拟宇宙。也就是说，基于与真实块的交互，使得真实块被确定为在用户的眼睛的阈值距离内，与真实块相对应的虚拟对象可以在VR环境中执行相关联的功能。
在一些示例中，用户可以堆叠真实块以使与真实块相对应的虚拟内容改变。比如，如果用户堆叠两个或更多个真实块，则虚拟房屋可以改变为虚拟多层公寓建筑物。下文对附加示例和/或备选示例进行描述。
附加真实对象和/或备选真实对象可以被集成到真实场景中，从而可以经由与真实对象相对应的虚拟内容被集成到VR环境中。如上文所描述的，相同或相似的示例可以应用于MR环境中。
在附加示例和/或备选示例中，电路的虚拟图可以与构建VR应用的电路相关联。虚拟场景的中心可以包括具有缺失部件(诸如开关、电池和灯泡)的电路的虚拟图。虚拟块中的几个虚拟块可以显示为透明立方体，其中缺失部件(例如，开关、电池或灯泡)中的单个缺失部件在其内浮动。用户可以了解电力的基本知识和/或电路图的约定，并且可以将包括缺失部件的虚拟块放置在与电路中的缺失部件相对应的位置中。每个部件都可以附接到目标功能，当虚拟对象接触其目标时，该目标功能举起匹配的布尔标志。也就是说，至少部分地基于确定虚拟块进入虚拟电路图中标识的目标的阈值距离内，可以在VR环境中实现目标功能。由于在虚拟电路中放置了正确部件，所以虚拟电路关闭并且开始工作。比如，虚拟灯泡可以照亮，虚拟引擎可以开始运行等。
在附加示例和/或备选示例中，用户可以设计虚拟赛道并且在虚拟赛道上驾驶虚拟汽车。虚拟赛道可以与赛道VR应用相关联。真实块中的几个真实块可以被定义为关键点(闭合样条的控制点)，并且可以在它们之间创建虚拟赛道(作为样条)。附加真实对象可以与VR环境中的虚拟方向盘相对应。虚拟方向盘可以具有附接的旋转功能。当用户拿起并且旋转真实对象时，虚拟汽车可以启动，并且用户可以通过与真实对象交互来在虚拟障碍物和真实障碍物之间导航。
图1是示出了用于向用户提供触觉VR体验和/或MR体验的示例环境100的示意图。更具体地，示例环境100可以包括服务提供方102、一个或多个网络104、一个或多个用户106(例如，用户106A、用户106B等)、以及与一个或多个用户106相关联的一个或多个设备108(例如，设备108A、设备108B等)。在VR体验的情景中对图1进行描述；然而，环境100也可以适用于MR体验。
服务提供方102可以是便于跟踪真实场景中的用户106和真实对象以使得用户106能够参与触觉VR体验的任何实体、(多个)服务器、平台、控制台、计算机等。服务提供方102可以可能通过运行设备108或其他位于远处的设备上的一些模块而在非分布式计算环境中实现，或者可以在分布式计算环境中实现。如所示出的，服务提供方102可以包括一个或多个服务器110，其可以包括一个或多个处理单元(例如，(多个)处理器112)和计算机可读介质114(诸如存储器)。在各种示例中，服务提供方102可以从传感器接收数据。至少部分地基于接收数据，服务提供方102可以经由交互来确定物理存在于真实场景中的用户(例如，用户106A、用户106B等)与物理存在于真实场景中的真实对象交互。服务提供方102可以访问与真实对象相对应的虚拟元素、以及与可以依据与不同VR应用相关联的虚拟环境而改变的真实对象相对应的图形元素。服务提供方102可以经由VR设备(例如，设备108A、设备108B等)的显示器来渲染虚拟环境中的一个虚拟环境中的图形元素，和/或使得图形元素经由VR设备(例如，设备108A、设备108B等)的显示器在虚拟环境中的一个虚拟环境中渲染。在其中多于一个用户在虚拟环境中交互的示例中，可以基于相应用户的观看角度(例如，真实场景内的VR设备的位置)将虚拟内容呈现给单独的用户106。
在一些示例中，网络104可以是本领域中已知的任何类型的网络，诸如因特网。此外，设备108可以以任何方式(诸如通过全局或本地有线或无线连接(例如，局域网(LAN)、内联网、蓝牙等)通信地耦合到网络104。网络104可以便于(多个)服务器110和与一个或多个用户106相关联的设备108之间的通信。
示例支持其中由一个或多个服务器110表示的(多个)设备可以包括一个或多个计算设备，其在集群或另一集群配置中操作以共享资源、平衡负载、提高性能、提供失败切换支持或冗余、或用于其他目的。由一个或多个服务器110表示的(多个)设备可以表示但不限于台式计算机、服务器计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机、可穿戴式计算机、植入式计算设备、电信设备、汽车计算机、支持网络的电视机、瘦客户端、终端、游戏控制台、游戏设备、工作站、媒体播放器、数字录像机(DVR)、机顶盒、相机、包括在计算设备中的集成部件、电器或者任何其他类型的计算设备。由一个或多个服务器110表示的(多个)设备可以包括具有诸如经由总线与计算机可读介质114可操作地连接的一个或多个处理单元(例如，处理器112)的任何类型的计算设备，该总线在一些实例中可以包括以下各项中的一项或多项：系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线、以及各种本地总线、外围总线和/或独立总线。
备选地或附加地，本文中所描述的功能可以至少部分地由一个或多个硬件逻辑部件(诸如加速器)来执行。例如但不限于，可以使用的说明性硬件逻辑部件类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SoC)、复杂可编程逻辑器件(CPLD)等。可以被包括在一个或多个服务器110中的(多个)设备可以进一步包括一个或多个输入/输出(I/O)接口，其耦合到总线以允许(多个)设备以与其他设备(诸如输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等))通信。(多个)这样的网络接口可以包括一个或多个网络接口控制器(NIC)或其他类型的收发器设备以通过网络发送和接收通信。
(多个)处理单元(例如，(多个)处理器112)可以表示例如CPU型处理单元、GPU型处理单元、HPU型处理单元、现场可编程门阵列(FPGA)、另一类数字信号处理器(DSP)或其他硬件逻辑部件，其在一些实例中可以由CPU驱动。例如但不限于，可以使用的说明性硬件逻辑部件类型包括专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。在各种示例中，如上文所阐述的并且在以下公开中进一步详细解释的，(多个)处理单元(例如，(多个)处理器112)可以执行一个或多个模块和/或过程以使得(多个)服务器110执行多种功能。附加地，(多个)处理单元(例如，(多个)处理器112)中的每个处理单元可以具有其自己的本地存储器，其还可以存储程序模块、程序数据、和/或一个或多个操作系统。
在至少一个配置中，(多个)服务器110的计算机可读介质114可以包括便于在服务提供方102和一个或多个设备108之间的交互的部件。这些部件可以表示在计算设备上执行的代码的片段。例如，计算机可读介质114可以包括输入模块116、标识模块117、交互模块118、建模模块120、呈现模块122、一个或多个应用124、数据库125等。在至少一些示例中，模块可以经由至少一个处理单元(例如，(多个)处理器112)被实现为计算机可读指令、各种数据结构等，以提供触觉VR和/或MR经验。执行这些操作的功能可以被包括在多个设备或单个设备中。
在一些示例中，多个用户106可以在相同的真实场景中交互。多个用户106中的单独的用户可以具有VR或MR设备108，并且多个用户106中的其他单独的用户可能没有设备108，但仍可以与真实对象和其他用户106交互。在涉及多个用户106的示例中，执行本文中所描述的操作的功能可以在针对所有用户106集中的单个设备或设备组上执行。
依据(多个)服务器110的确切配置和类型，计算机可读介质114可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以任何方法或技术实现用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的易失性存储器、非易失性存储器、和/或其他持久和/或辅助计算机存储介质、可移除和不可移除计算机存储介质。计算机存储器是计算机存储介质的示例。因此，计算机存储介质包括有形和/或物理形式的介质，其被包括在作为设备的一部分或在设备外部的设备和/或硬件部件中，其包括但不限于随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、相变存储器(PRAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、光卡或其他光存储介质、微型硬盘驱动器、存储卡、盒式磁带、磁带、磁盘存储装置、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附接存储装置、存储区域网络、托管计算机存储装置或任何其他存储器、存储设备、和/或可以用于存储和维护信息以供计算设备访问的存储介质。
相比之下，通信介质可以体现计算机可读指令、数据结构、程序模块、或经调制的数据信号(诸如载波或其他传输机制)中的其他数据。术语“经调制的数据信号”意指具有以对信号中的信息进行编码的这种方式设置或改变其特点中的一个或多个特点的信号。这样的信号或载波等可以在有线介质(诸如有线网络或直接有线连接)上和/或无线介质(诸如声学、RF、红外和其他无线介质)上传播。如本文中所定义的，计算机存储介质不包括通信介质。也就是说，计算机存储介质不包括仅由经调制的数据信号、载波或传播信号本身组成的通信介质。
输入模块116被配置为从一个或多个输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)接收数据。在至少一个示例中，一个或多个输入外围设备可以在整个VR和/或MR体验中持续地感测数据，因而，输入模块116可以在整个VR和/或MR体验中连续地从一个或多个输入外围设备接收数据。在一些示例中，一个或多个输入外围设备可以被集成到一个或多个服务器110和/或其他机器和/或设备108中。比如，在这样的示例中，输入模块116可以从集成到一个或多个服务器110和/或其他机器和/或设备108中的一个或多个传感器接收数据。在其他示例中，一个或多个输入外围设备可以通信地耦合到一个或多个服务器110、和/或其他机器和/或设备108。比如，在这样的示例中，如上文所描述的，可以从与经由网络104通信地耦合到一个或多个服务器110的真实对象相关联的传感器接收数据。一个或多个输入外围设备可以与单个设备(例如，
Figure BDA0001593154130000121
Perceptual Computing SDK 2013、LEAP
Figure BDA0001593154130000122
等)或单独的设备相关联。
如上文所描述的，在至少一个示例中，输入模块116可以从跟踪设备接收数据，该跟踪设备可以包括光学跟踪设备(例如，
Figure BDA0001593154130000123
Figure BDA0001593154130000124
)、磁跟踪设备、声学跟踪设备、陀螺跟踪设备、机械跟踪系统、深度相机(例如，
Figure BDA0001593154130000125
RealSense等)、惯性传感器(例如，
Figure BDA0001593154130000126
XSENS等)、前述的组合等。跟踪设备可以基本上实时地输出体积数据流、骨架数据流、视角数据流等。体积数据流、骨架数据流、视角数据流等可以由输入模块116基本上实时地接收。
体积数据可以与用户(例如，用户106A、用户106B等)的身体和/或真实对象所占据的空间体积相对应。骨架数据可以与用于近似在一些示例中与用户(例如，用户106A、用户106B等)的身体和/或真实对象相对应的骨架的数据相对应，并且随着时间而跟踪骨架的移动。与用户(例如，用户106A、用户106B等)的身体相对应的骨架可以包括节点阵列，其与被连接以表示人体的多个人体关节(例如，肘、膝、髋等)相对应。视角数据可以与从两个或更多个视角收集的数据相对应，该数据可以用于从特定视角确定用户(例如，用户106A、用户106B等)的身体和/或对象的轮廓。
体积数据、骨架数据和视角数据的组合可以用于分别确定与用户106和/或真实对象相对应的身体表示和/或对象表示。身体表示和/或对象表示可以近似用户(例如，用户106A、用户106B等)的身体形状和/或真实对象的对象形状。也就是说，与特定用户(例如，用户106A)相关联的体积数据、与特定用户(例如，用户106A)相关联的骨架数据、以及与特定用户(例如，用户106A)相关联的视角数据可以用于确定表示特定用户(例如，用户106A)的身体表示。类似地，与特定真实对象相关联的体积数据、与特定真实对象相关联的骨架数据、以及与特定真实对象相关联的视角数据可以用于确定表示特定真实对象的对象表示。对象表示可以与本文中所描述的虚拟元素相对应。交互模块118可以使用身体表示和/或对象表示来确定用户106和/或真实对象之间的交互。
在至少一个示例中，除了体积数据、骨架数据和/或视角数据之外，输入模块116还被配置为接收与用户106及其身体在全球坐标系统中的位置(例如，位置数据)和方向(例如，方向数据)相关联的数据。在一些示例中，全局坐标系可以与真实场景的几何结构对齐。附加地，输入模块116被配置为接收与真实对象在全局坐标系中的位置(例如，位置数据)和方向(例如，方向数据)相关联的数据。
输入模块116被配置为接收与至少一个用户(例如，用户106A、用户106B等)物理所在的真实场景相关联的数据。如上文所描述的，输入模块116可以被配置为从与一个或多个服务器和/或其他机器110和/或用户设备108相关联的映射设备接收数据。如上文所描述的，映射设备可以包括相机和/或传感器。相机可以包括图像相机、立体相机、trulight相机等。传感器可以包括深度传感器、颜色传感器、声学传感器、图案传感器、重力传感器等。相机和/或传感器可以基本上实时地输出数据流。数据流可以基本实时地由输入模块116接收。数据可以包括表示相机和/或传感器可观察的真实场景的运动图像数据和/或静止图像数据。附加地，数据可以包括深度数据。
深度数据可以表示可由传感器和/或相机以及传感器和/或相机观察的真实场景中的真实对象之间的距离。深度数据可以至少部分地基于红外(IR)数据、trulight数据、立体数据、光和/或图案投影数据、重力数据、声学数据等。在至少一个示例中，深度数据流可以从IR传感器(例如，飞行时间等)导出，并且可以被表示为代表真实场景的点云。点云可以表示与三维坐标系(例如，全局坐标系)中配置的真实对象的表面和/或真实场景相关联的数据点集合或深度像素集合。深度像素可以映射到网格中。深度像素的网格可以指示真实场景中的真实对象距离相机和/或传感器有多远。与从相机和/或传感器可观察到的空间体积相对应的深度像素的网格可以被称为深度空间。(设备108中的)渲染模块130可以利用深度空间来确定如何渲染与真实对象相对应的虚拟内容。
标识模块117被配置为确定真实对象的标识。在至少一个示例中，标识模块117可以访问由输入模块116接收的数据。在一些示例中，标识模块117可以确定与每个真实对象相关联的位置数据和/或方向数据。在其他示例中，标识模块117可以访问来自输入模块116的位置数据和/或方向数据。在这样的示例中，输入模块116可以直接从与真实对象相关联的传感器接收位置数据和/或方向数据。位置数据指示全局坐标系中的真实对象的位置。方向数据指示全局坐标系中的真实对象的方向。至少部分基于位置数据和方向数据，标识模块117可以标识真实对象。每个真实对象都可以与唯一标识符相关联。如下文所描述的，与每个唯一标识符相关联的数据(例如，位置数据、方向数据、跟踪数据、功能数据等)、虚拟元素、图形元素等可以被存储在数据库125中。
附加地和/或备选地，标识模块117可以确定可以被引入到环境100的真实对象的标识。例如，用户(例如，用户106A)可以获取新玩具并且可以期望将新玩具引入到环境100中，使得用户(例如，用户106A)可以在VR环境中玩新玩具。在这样的示例中，标识模块117可以访问来自与新真实对象相关联的输入模块116的数据。如上文所描述的，标识模块117可以基于体积数据、骨架数据和视角数据的组合来接收、访问或确定新真实对象的几何结构。标识模块117可以将唯一标识符指派给新真实对象。如上文所描述的，建模模块120可以生成映射到真实对象的几何结构的虚拟元素，并且标识模块117可以将唯一标识符与虚拟元素相关联。更进一步地，标识模块117可以对新真实对象执行语义识别以确定真实对象的身份。比如，至少部分基于执行语义识别，标识模块117可以确定真实对象是方向盘、模型车、动物、厨房用具等。建模模块120可以生成与语义识别的结果相对应的图形元素，并且标识模块117可以将图形元素与唯一标识符相关联。附加地和/或备选地，标识模块117可以将与图形元素相对应的功能或语义识别的结果指派给唯一标识符。
交互模块118被配置为确定用户(例如，用户106A)是否与真实对象交互和/或引起与真实对象的交互。至少部分地基于与用户106相对应的身体表示和/或对象表示，交互模块118可以确定用户(例如，用户106A)与真实对象交互和/或引起与真实对象的交互。交互模块118可以至少部分地基于确定用户(例如，用户106A)的位置和旋转以及真实对象的位置和旋转，来确定用户(例如，用户106A)与真实对象交互和/或引起与真实对象的交互。如上文所描述的，在VR和/或MR体验期间，输入模块116可以连续地接收数据，和/或确定与真实场景中的每个用户(例如，用户106A)和/或真实对象的位置和旋转相关联的数据。与每个用户(例如，用户106A)和/或真实对象的位置和旋转相关联的数据可以用于确定派生特性，以及每个用户(例如，用户106A)和/或真实对象与其他用户106和/或真实对象的关系。派生特性可以包括真实场景的校准的真实地板上方的真实对象的高度、真实对象的中心与用户(例如，用户106A)的身体的一部分(例如，左手、右手等)之间的距离、真实对象的位置随时间(例如，速度)的改变、真实对象的旋转位置随时间(例如，旋转速度)的改变等。
交互模块118可以利用上文所描述的派生特性来确定与真实对象的交互。交互可以包括摇动交互、轻敲交互、握持交互、踢打交互、旋转交互、堆叠交互、对齐交互等。附加地和/或备选地，确定交互可以包括确定用户(例如，用户106A)在特定身体部位(例如，眼睛等)的阈值距离内移动真实对象，确定用户(例如，用户106A)在真实地板上设置真实对象等。
交互模块118可以至少部分地基于在一段时间期间访问与真实对象的位置相关联的(例如，位置数据)数据来确定摇动交互。如上文所描述的，在一些示例中，输入模块116可以接收和/或确定位置数据，并且位置数据可以与对应于真实对象的唯一标识符相关联地存储在数据库125中。交互模块118可以访问位置数据，并且可以将主分量分析应用于与对应于真实对象的位置数据相关联的值。主分量分析可以分析在该时间段期间真实对象沿着全局坐标系中的轴(例如，x轴、y轴、z轴)中的每个轴的移动。至少部分地基于确定在该时间段期间沿着第一轴移动的真实对象是大于在该时间段期间沿着另外两个轴移动的真实对象的阈值量，并且确定该时间段期间的若干个过零点(例如，真实对象的位置与轴交叉)高于过零点的预定阈值，交互模块118可以确定用户(例如，用户106A)正在摇动真实对象。至少部分基于确定用户(例如，用户106A)正在摇动真实对象，交互模块118可以确定可以由与真实对象相对应的虚拟对象执行的各种功能。比如，在非限制性示例中，至少部分地基于确定用户(例如，用户106A)正在摇动真实对象，与种子箱相对应的虚拟对象可以在VR环境中撒播种子。
在一些示例中，功能可以基于交互和/或VR应用。比如，功能可以基于摇动交互的速度(例如，如在一时间段内由若干个过零点所确定的)、在摇动交互之前发生的若干个摇动交互等。比如，与真实对象的第一摇动交互可以与第一功能相关联，并且与真实对象的第二摇动交互可以与第二不同功能相关联。或者，以被确定为高于预定阈值的速率的摇动交互可以与第一功能相关联，并且以被确定为低于预定阈值的速率的摇动交互可以与第二不同功能相关联。更进一步地，以被确定为高于第一预定阈值的速率的摇动交互可以与第一功能相关联，并且以被确定为高于第二预定阈值的速率的摇动交互可以与第二不同功能相关联。
在另一示例中，交互模块118可以确定轻敲交互。比如，交互模块118可以利用存储在数据库125中的派生特性和数据来监视用户(例如，用户106A)的手的速度。在至少一个示例中，交互模块118可以确定当用户(例如，用户106A)的手靠近真实对象并且具有低于阈值的速度时，用户(例如，用户106A)轻敲真实对象。至少部分地基于确定用户(例如，用户106A)轻敲真实对象，交互模块118可以确定可以由与真实对象相对应的虚拟对象执行的各种功能。各种功能可以基于VR应用、与轻敲交互相关联的力、真实对象上的轻敲交互的位置等。比如，在非限制性示例中，至少部分地基于确定用户(例如，用户106A)轻敲真实对象，可以用与虚拟对象相对应的另一图形元素来替换与虚拟对象相对应的图形元素。作为非限制性示例，表示房屋的图形元素可以用表示工具箱的图形元素来替换。房屋和工具箱可以与相同VR应用相关联。
在又一示例中，交互模块118可以确定握持交互。比如，交互模块118可以访问由输入模块116接收的和/或存储在数据库125中的数据，以确定用户(例如，用户106A)的手之间的距离。交互模块118可以访问和/或确定真实对象的物理尺寸，并且至少部分地基于确定用户(例如，用户106A)的手之间的距离在真实对象的物理尺寸的阈值内，交互模块118可以确定用户(例如，用户106A)正在握持真实对象。
在一些示例中，至少部分地基于确定用户(例如，用户106A)正在握持真实对象，交互模块118可以检测可以触发各种功能的附加交互和/或备选交互。如上文所描述的，各种功能可以基于交互应用和/或VR应用。
比如，至少部分地基于确定用户(例如，用户106A)正在握持真实对象，交互模块118可以检测到用户(例如，用户106A)在身体的一部分(例如，眼睛、头部、耳朵等)的阈值距离内移动真实对象。至少部分基于检测到用户(例如，用户106A)在身体的一部分(例如，眼睛、头部、耳朵等)的阈值距离内移动真实对象，交互模块118可以确定不同的功能。比如，至少部分基于检测到用户(例如，用户106A)在用户(例如，用户106A)的眼睛的阈值距离内移动真实对象，交互模块118可以确定双目功能。双目功能可以使得用户(例如，用户106A)能够看到先前未在显示器上渲染的新虚拟内容，诸如夜空、太阳系、云系统等。或者，至少部分基于检测到用户(例如，用户106A)在用户(例如，用户106A)的耳朵中的一个耳朵的阈值距离内移动真实对象，交互模块118可以确定声音功能。
在附加示例或备选示例中，至少部分地基于检测到用户(例如，用户106A)正在握持真实对象、并且确定用户(例如，用户106A)移动通过出现在VR显示器上的虚拟开口(例如，门户)，交互模块118可以确定门户功能。门户功能可以使得用户能够进入新虚拟环境，访问虚拟菜单等。
在至少一个示例中，交互模块118可以访问位置数据以确定第一真实对象在第二真实对象的阈值距离内、和/或第一真实对象相对于第二真实对象的位置。比如，第一真实对象可以堆叠在第二真实对象的顶部上。或者，第一真实对象可以与第二真实对象对齐。在一些情况下，可以确定两个或更多个真实对象被堆叠和/或对齐。至少部分地基于确定用户(例如，用户106A)堆叠和/或对齐真实对象，交互模块118可以确定可以由与真实对象相对应的虚拟对象执行的各种功能。比如，在非限制性示例中，至少部分地基于确定用户(例如，用户106A)堆叠和/或对齐两个或更多个真实对象，可以用与堆叠和/或对齐的真实对象相对应的另一图形元素来替换与虚拟对象中的每个虚拟对象相对应的图形元素。也就是说，其他图形元素可以在与被堆叠和/或对齐的真实对象中的每个真实对象相对应的虚拟元素的顶部上渲染。在一些示例中，如下文所描述的，图形元素可以使用程序化建模来动态地生成。作为非限制性示例，基于分别确定两个或更多个真实对象被堆叠或对齐，表示房屋的图形元素可以用表示公寓建筑物或者购物中心的图形元素来替换。
建模模块120被配置为访问和/或生成与单独的真实对象相对应的虚拟元素和/或图形元素。在一些示例中，如上文所描述的，虚拟元素和/或图形元素对应于与真实对象相关联的唯一标识符。在这样的示例中，建模模块120可以通过访问数据库125来访问虚拟元素和/或图形元素。在其他示例中，建模模块120还可以被配置为生成虚拟元素和/或图形元素。比如，建模模块120可以利用体积数据、骨架数据和视角数据的组合来确定与真实对象相对应的对象表示(例如，虚拟元素)。附加地和/或备选地，建模模块120可以至少部分地基于程序化建模来生成图形元素。程序化建模使得建模模块120能够访问和/或接收与用户106和/或真实对象相关联的跟踪数据和/或深度数据，并且生成映射到虚拟环境中的真实对象和/或用户106的图形内容。如上文所描述的，图形元素可以取决于VR应用。比如，作为非限制性示例，真实对象(例如，块)可以与表示与第一VR应用相关联的第一虚拟环境中的房屋的图形元素相关联，但可以与表示与第二VR应用相关联的第二虚拟环境中的电池的图形元素相关联。也就是说，真实对象可以用于与多种VR应用相关联的多种虚拟环境中。在虚拟环境中渲染的虚拟内容可以基于VR应用而改变。
呈现模块122被配置为向设备108发送渲染数据以用于经由设备108呈现虚拟内容。呈现模块122可以访问与用于渲染虚拟内容的指令相关联的数据。指令可以由一个或多个应用124确定。
应用(例如，(多个)应用124)由程序员创建以完成特定任务。例如，应用(例如，(多个)应用124)可以向设备108的用户106提供实用、娱乐、教育和/或生产功能。应用(例如，(多个)应用124)可以被内置到设备(例如，电信、文本消息、时钟、相机等)或可以定制(例如，游戏、新闻、交通时间表、在线购物等)。如上文所描述的，(多个)应用124可以向用户106提供各种功能。
数据库125可以存储虚拟元素、图形元素、与对应于图形元素的功能相关联的数据、与位置数据相关联的数据、跟踪数据等等。在至少一个示例中，数据库125可以包括数据结构，其包括数据表、数据索引等。如上文所描述的，每个真实对象可以与唯一标识符相关联。数据库125可以将虚拟元素、图形元素、与对应于图形元素的功能相关联的数据、与位置数据相关联的数据、跟踪数据等映射到唯一标识符中的每个唯一标识符。比如，虚拟元素可以映射到唯一标识符。附加地，可以在虚拟元素的顶部上渲染的一个或多个图形元素可以被映射到唯一标识符。交互可以被映射到单独的图形元素。在一些示例中，交互中的每个交互可以具有可以被映射到图形元素和交互的功能。也就是说，与图形元素相关联的每个交互可以定义与图形元素相关联的特定功能。比如，如上文所描述的，在VR玩具房间应用中，响应于与真实块的特定交互(例如，摇动交互)，与真实块相关联的虚拟块可以使得虚拟雪或虚拟雨从VR环境中的虚拟块落下。
下文在表1中提供了可以存储在数据库125中的数据表的非限制性示例。附加数据结构和/或备选数据结构可以用于存储与真实对象中的每个真实对象相关联的数据。
表1
Figure BDA0001593154130000201
Figure BDA0001593154130000211
在一些示例中，一个或多个用户106可以操作对应的设备108(例如，用户设备108)以执行与设备108相关联的各种功能。(多个)设备108可以表示多种多样的设备类型，并且不限于任何特定类型的设备。(多个)设备108的示例可以包括但不限于固定计算机、移动计算机、嵌入式计算机或其组合。示例固定计算机可以包括台式计算机、工作站、个人计算机、瘦客户端、终端、游戏控制台、个人录像机(PVR)、机顶盒等。示例移动计算机可以包括膝上型计算机、平板计算机、可穿戴式计算机、植入式计算设备、电信设备、汽车计算机、便携式游戏设备、媒体播放器、相机等。示例嵌入式计算机可以包括支持网络的电视机，用于包括在计算设备中的集成部件、电器、微控制器、数字信号处理器或任何其他类型的处理设备等。在至少一个示例中，设备108可以包括VR/MR设备(例如，
Figure BDA0001593154130000212
系统、
Figure BDA0001593154130000213
等)。如下文在图2A和图2B的情景中描述的，VR/MR设备可以包括一个或多个传感器和VR/MR显示器。在图1中，设备108A和108B是可穿戴式计算机(例如，头戴式设备)；然而，设备108可以是如上文所描述的任何其他设备。
(多个)设备108可以包括耦合到总线的一个或多个输入/输出(I/O)接口，以允许(多个)设备与其他设备(诸如输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等))通信。如上文所描述的，在一些示例中，I/O设备可以被集成到一个或多个服务器110和/或其他机器和/或设备108中。在其他示例中，一个或多个输入外围设备可以通信地耦合到一个或多个服务器110和/或其他机器和/或设备108。一个或多个输入外围设备可以与单个设备(例如，
Figure BDA0001593154130000221
Perceptual Computing SDK 2013、LEAP
Figure BDA0001593154130000222
等)或独立设备相关联。
图2A和图2B是示出了头戴式VR和/或MR显示设备200的示例的示意图。如图2A所图示的，头戴式VR显示设备200可以包括一个或多个传感器202和显示器204。为了说明的目的，显示器204是透明的。然而，如图2B所图示的，显示器204可能不透明。如上文所描述的，一个或多个传感器202可以包括跟踪技术，其包括但不限于深度相机和/或传感器、惯性传感器、光学传感器等。附加地或备选地，一个或多个传感器202可以包括用于测量用户的心率、呼吸、皮肤电导、温度等的一个或多个生理传感器。
在一些示例中，如图2A所图示的，一个或多个传感器202可以安装在头戴式VR显示设备200上。一个或多个传感器202与内外感测传感器(也即，从第一人物视角捕捉信息的传感器)相对应。在附加示例或备选示例中，一个或多个传感器可以在头戴式VR显示设备200和/或设备108的外部。在这样的示例中，一个或多个传感器可以布置在房间中(例如，放置在整个房间内的各种位置中)，与设备相关联等。这样的传感器可以与外内感测传感器(也即从第三人物视角捕捉信息的传感器)相对应。在又一示例中，传感器可以在头戴式VR显示设备200的外部，但是可以与被配置为收集与用户(例如，用户106A、用户106B等)相关联的数据的一个或多个可穿戴式设备相关联。附加地和/或备选地，传感器可以在头戴式VR显示设备200的外部并且可以与单独的真实对象相关联。在这样的示例中，输入模块116可以直接从与真实对象相关联的传感器接收数据(例如，跟踪数据、位置数据、方向数据等)。
显示器204可以将虚拟内容呈现给VR环境中的一个或多个用户106。基于用户的视角和/或全局坐标系中的设备(例如，设备108A、设备108B等)的位置，虚拟内容可以对于不同的用户(例如，用户106A、用户106B等)而言显现不同。比如，基于用户(例如，用户106A、用户106B等)和/或设备(例如，设备108A、设备108B等)与虚拟对象的接近度，虚拟对象的大小可以不同。附加地或备选地，基于用户(例如，用户106A、用户106B等)和/或设备(例如，设备108A、设备108B等)的有利位置，虚拟对象的形状可以不同。比如，当用户(例如，用户106A、用户106B等)直视虚拟对象时，虚拟对象可以具有第一形状，并且当用户(例如，用户106A、用户106B等)侧视虚拟对象时，可以具有第二形状。
设备108可以包括一个或多个处理单元(例如，(多个)处理器126)、计算机可读介质128、至少包括渲染模块130、以及一个或多个应用132。如上文所描述的，一个或多个处理单元(例如，(多个)处理器126)可以表示相同的单元和/或执行与(多个)处理器112相同的功能。计算机可读介质128可以表示如上文所描述的计算机可读介质114。计算机可读介质128可以包括便于服务提供方102和一个或多个设备108之间的交互的部件。如上文所描述的，部件可以表示在计算设备上执行的代码片段。计算机可读介质128可以至少包括渲染模块130。设备108可以进一步包括(多个)应用132，其可以对应于与(多个)应用128相同的应用或可以为不同的应用。
在至少一个示例中，渲染模块130可以从呈现模块122接收渲染数据。渲染模块130可以利用渲染数据来经由设备(例如，设备108A、设备108B等)上的处理器126(例如，GPU)渲染虚拟内容。在其他示例中，呈现模块122可以渲染虚拟内容，并且可以将渲染的结果作为渲染数据发送到设备(例如，设备108A、设备108B等)。设备(例如，设备108A、设备108B等)可以在显示器204上呈现所渲染的虚拟内容。图1示出了可以在显示器204上呈现的所渲染的虚拟内容的示例。如所示出的，可以在显示器204上呈现与用户(例如，用户106A)的手相对应的虚拟对象134。另外，可以在显示器204上渲染与真实对象(例如，真实块)相对应的虚拟对象136(例如房屋)。图1所示的所渲染的虚拟内容的示例仅仅是渲染的虚拟内容的一个示例，并且可以在显示器204上渲染附加VR环境和/或备选VR环境。
上文所讨论的技术可以以硬件、软件或其组合来实现。在软件的情景中，操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，该计算机可执行指令当由一个或多个处理器执行时，配置设备以执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、部件、数据结构等。
图3是示出了用于使得至少部分地基于确定与真实场景中的真实对象的交互来在VR环境中执行与虚拟对象相关联的功能的示例过程300的流程图。应当理解，本文中关于图3和其他附图所描述的逻辑操作可以被实现为：(1)在计算系统上运行的计算机实现的动作或程序模块的序列，和/或(2)计算系统内的互连机器逻辑电路或电路模块。
依据计算系统的性能和其他要求，本文中所描述的各种部件的实现方式是个选择问题。因而，本文中所描述的逻辑操作被不同地称为操作、结构设备、动作或模块。这些操作、结构设备、动作和模块可以以软件、固件、专用数字逻辑及其任何组合来实现。还应当理解，可以执行比附图中所示和本文中所描述的更多或更少的操作。这些操作还可以并行或者以不同于本文中所描述的顺序来执行。这些操作中的一部分或全部操作还可能由特定标识的那些部件之外的部件来执行。
框302图示了从传感器接收数据。如上文所描述的，输入模块116可以从一个或多个输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)接收数据。如上文所描述的，输入模块116可以在整个VR和/或MR体验中连续地从一个或多个外围设备接收数据。
框304图示了标识真实对象。标识模块117被配置为确定真实对象的标识。如下文所描述的，图4图示了用于至少部分地基于从传感器接收的数据来标识真实对象的示例过程400。
框306图示了访问表示真实对象的虚拟元素。建模模块120被配置为访问和/或生成与单独的真实对象相对应的虚拟元素。如上文所描述的，至少部分地基于标识真实对象，建模模块120可以访问来自数据库125的虚拟元素。比如，在一些示例中，建模模块120可以利用与真实对象相关联的唯一标识符来访问与唯一标识符相关联的虚拟元素。在至少一个示例中，比如，如下文在图6的讨论中所描述的，如果真实对象被新引入到系统，则建模模块120可以生成表示真实对象的虚拟元素。
框308图示了访问表示真实对象的图形元素。建模模块120被配置为访问和/或生成与单独的真实对象相对应的图形元素。如上文所描述的，至少部分地基于标识真实对象，建模模块120可以访问来自数据库125的图形元素。比如，在一些示例中，建模模块120可以利用与真实对象相关联的唯一标识符以访问与唯一标识符相关联的图形元素。在至少一个示例中，比如，如下文在图6的讨论中所描述的，如果真实对象被新引入到系统，则建模模块120可以生成与真实对象相对应的一个或多个图形元素。
框310图示了使得在显示器上渲染与虚拟元素和图形元素相对应的虚拟对象。呈现模块122被配置为向设备108发送渲染数据以经由设备108呈现虚拟内容。呈现模块122可以访问与用于渲染虚拟内容的指令相关联的数据。该指令可以由一个或多个应用124确定。渲染模块130可以从服务提供方102接收渲染数据。在一些示例中，渲染模块130可以利用渲染数据来经由设备(例如，设备108A、设备108B等)上的处理器126(例如，GPU)来渲染虚拟内容。在其他示例中，呈现模块122可以渲染虚拟内容，并且可以将渲染的结果作为渲染数据发送给设备(例如，设备108A、设备108B等)。设备(例如，设备108A、设备108B等)可以在显示器204上呈现所渲染的虚拟内容。
框312图示了确定与真实对象的交互。交互模块118可以访问从输入模块116接收的数据以确定与真实对象的交互。在一些示例中，交互模块118可以在渲染虚拟对象之前访问由输入模块116接收的数据。在其他示例中，交互模块118可以在渲染虚拟对象之后访问由输入模块116接收的数据。交互模块118被配置为确定用户(例如，106A)是否交互、和/或引起与真实对象的交互。至少部分地基于与用户106相对应的身体表示和/或对象表示，交互模块118可以确定用户(例如，106A)与真实对象交互、和/或引起与真实对象的交互。如上文所描述的，交互模块118可以利用上文所描述的派生特性来确定与真实对象的交互。交互可以包括摇动交互、轻敲交互、握持交互、踢打交互、旋转交互、堆叠交互、对齐交互等。附加地和/或备选地，确定交互可以包括确定用户(例如，用户106A)在特定身体部位(例如，眼睛等)的阈值距离内移动真实对象，确定用户(例如，用户106A)在真实地板上设置真实对象等。
框314图示了确定与交互相关联的功能。交互模块118可以基于虚拟对象的图形元素来确定与虚拟对象相关联的功能。也就是说，交互模块118可以确定特定图形元素能够执行哪些功能。至少部分基于确定交互，交互模块118可以标识与交互相对应的功能中的功能。在至少一个示例中，交互模块118可以访问存储在数据库125中的数据以确定与交互相对应的功能。比如，至少部分基于确定用户(例如，用户106A)执行特定交互，交互模块118可以将特定交互映射到可以执行的对应功能。
框316图示了使得在VR环境中执行功能。至少部分地基于确定哪个功能可以被执行，交互模块118可以将数据发送到渲染模块130。渲染模块130可以利用该数据来在VR设备(例如，设备200)的显示器(例如，显示器204)上渲染新帧。至少部分基于渲染新帧，可以更新VR环境中的每个虚拟对象。结果，该功能可以由VR环境中的对应虚拟对象执行。如上文所描述的，功能可以是对与虚拟对象相关联的图形元素的改变、可以由虚拟对象执行的行为等。在附加示例和/或备选示例中，更新的帧可以由呈现模块122渲染，并且呈现模块122可以将渲染的结果发送到渲染模块130。
图4是示出了用于至少部分地基于从传感器接收的数据来标识真实对象的示例过程400的流程图。
框402图示了从传感器接收数据。如上文所描述的，输入模块116可以从一个或多个输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)接收数据。如上文所描述的，输入模块116可以在整个VR和/或MR体验内连续地从一个或多个外围设备接收数据。
框404图示了标识全局坐标系中的真实对象的位置和方向。在至少一个示例中，标识模块117可以访问由输入模块116接收的数据。在一些示例中，标识模块117可以确定与每个真实对象相关联的位置数据和/或方向数据。在其他示例中，标识可以访问来自输入模块116的位置数据和/或方向数据。在这样的示例中，如上文所描述的，输入模块116可以直接从与真实对象相关联的传感器接收位置数据和/或方向数据。
框406图示了至少部分地基于真实对象的位置和方向来标识真实对象。至少部分基于位置数据和方向数据，标识模块117可以标识真实对象。每个真实对象都可以与唯一标识符相关联。
附加过程和/或备选过程可以用于标识真实对象。比如，在一些示例中，真实对象可以用唯一配置中的标记来预先标记。唯一配置可以被映射到唯一标识符。传感器可以标识标记和唯一配置。基于标识唯一配置，标识模块117可以访问唯一标识符和/或与唯一标识符相关联的数据。如上文所描述的，数据可以与唯一标识符一起存储在数据库125中。比如，指示与唯一标识符相对应的真实对象的几何结构的数据可以与唯一标识符一起被存储。
图5是示出了用于至少部分地基于确定与真实场景中的两个真实对象的交互来用VR环境中的第三图形元素替换第一图形元素和第二图形元素的示例过程500的流程图。
框502图示了从传感器接收数据。如上文所描述的，输入模块116可以从一个或多个输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)接收数据。如上文所描述的，输入模块116可以在整个VR和/或MR体验内连续地从一个或多个外围设备接收数据。
框504图示了标识第二真实对象。如上文所描述的，至少部分基于位置数据和方向数据，标识模块117可以标识真实对象。在至少一个示例中，标识模块117可以确定第二真实对象不同于第一真实对象。比如，第二真实对象的位置和方向可以不同于第一真实对象的位置和方向。或者，第二真实对象可以具有唯一标记配置，该唯一标记配置将第二真实对象与第一真实对象区分开。可以采用用于标识第二真实对象的附加过程和/或备选过程。
框506图示了访问表示第二真实对象的第二虚拟元素。如上文所描述的，建模模块120被配置为访问和/或生成对应于单独的真实对象的虚拟元素和/或图形元素。在一些示例中，建模模块120可以利用与第二真实对象相关联的唯一标识符来访问表示真实对象的虚拟元素。在这样的示例中，如上文所描述的，建模模块120可以访问对应于与真实对象相关联的唯一标识符的虚拟元素和/或图形元素。在其他示例中，建模模块120还可以被配置为至少部分地基于程序化建模来生成图形元素。
框508图示了使得在显示器上渲染与第二虚拟元素相对应的第二图形元素。在一些示例中，建模模块120可以利用与第二真实对象相关联的唯一标识符来访问表示第二真实对象的第二图形元素。呈现模块122被配置为向设备108发送渲染数据以用于经由设备108呈现虚拟内容。呈现模块122可以访问与用于渲染虚拟内容(诸如第二图形元素)的指令相关联的数据。该指令可以由一个或多个应用124确定。渲染模块130可以从服务提供方102接收渲染数据。在一些示例中，渲染模块130可以利用渲染数据来经由设备(例如，设备108A、设备108B等)上的处理器126(例如，GPU)渲染虚拟内容。在其他示例中，呈现模块122可以渲染虚拟内容并且可以将渲染的结果作为渲染数据发送给设备(例如，设备108A、设备108B等)。如上文所描述的，设备(例如，设备108A、设备108B等)可以在显示器204上呈现所渲染的虚拟内容。
框510图示了确定第二真实对象被放置在第一真实对象的阈值距离内。交互模块118被配置为确定用户(例如，106A)是否交互、和/或引起与真实对象的交互。至少部分基于根据从传感器接收的数据导出的对象表示，交互模块118可以确定第一真实对象和对应的虚拟对象被放置在第二真实对象和对应的虚拟对象的阈值距离内。例如，在至少一个示例中，用户(例如，用户106A)可以将第一真实对象堆叠在第二真实对象的顶部上，或者可以将第二真实对象堆叠在第一真实对象的顶部上。在另一示例中，用户(例如，用户106A)可以将第一真实对象设置在第二真实对象的旁边。
框512图示了用与第一虚拟元素和第二虚拟元素相对应的第三图形元素来替换第一图形元素和第二图形元素。在至少一个示例中，至少部分地基于确定第二真实对象被放置在第一真实对象的阈值距离内，交互模块118可以确定发生了堆叠交互或对齐交互。结果，交互模块118可以向呈现模块122和/或渲染模块130发送数据，其指令呈现模块122和/或渲染模块130修改虚拟对象。在一些示例中，呈现模块122和/或渲染模块130可以用与第一虚拟元素和第二虚拟元素相对应的第三图形元素来替换第一图形元素和第二图形元素。比如，至少部分地基于确定堆叠交互，表示与单独的真实对象相对应的虚拟房屋的图形元素可以用表示多层办公建筑物的新图形元素来替换。或者，至少部分地基于确定对齐交互，表示与单独的真实对象相对应的虚拟房屋的图形元素可以用表示购物中心的新图形元素来替换。在每个示例中，新图形元素可以在第一虚拟元素和第二虚拟元素的顶部上渲染。
如上文所描述的，标识模块117可以确定可以被引入环境100的真实对象的标识。比如，标识模块117可以确定用户(例如，用户106A)期望集成到本文中所描述的技术中的新玩具的标识。图6是示出了用于将新真实对象引入到本文中所描述的技术中的示例过程600的流程图。
框602图示了从传感器接收数据。如上文所描述的，输入模块116可以从一个或多个输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)接收数据。如上文所描述的，输入模块116可以在整个VR和/或MR体验内连续地从一个或多个外围设备接收数据。
框604图示了确定真实对象的几何结构。如上文所描述的，标识模块117可以基于可以用于确定与真实对象相对应的对象表示的体积数据、骨架数据和视角数据的组合来确定新真实对象的几何结构。
框606图示了将唯一标识符指派给真实对象。标识模块117可以将唯一标识符指派给新真实对象。如上文所描述的，唯一标识符可以被存储在数据库125中。
框608图示了生成表示真实对象的虚拟元素。如上文所描述的，建模模块120可以生成映射到真实对象的几何结构的虚拟元素。
框610图示了将唯一标识符指派给虚拟元素。建模模块120可以将虚拟元素与数据库125中的唯一标识符相关联。
框612图示了对真实对象执行语义识别。标识模块117可以对新真实对象执行语义识别以确定真实对象的身份。比如，至少部分地基于执行语义识别，标识模块117可以确定真实对象是方向盘、模型车、动物、厨房用具等。
框614图示了将图形元素与唯一标识符相关联。在一些示例中，建模模块120可以生成与语义识别的结果相对应的图形元素，并且可以将图形元素与唯一标识符相关联。比如，如果语义识别输出真实对象是模型车的结果，则建模模块120可以生成与模型车的不同形状、样式、颜色等相关联的图形元素。或者，如果语义识别输出真实对象是球的结果，则建模模块120可以生成与不同球形对象相关联的图形元素。在其他示例中，建模模块120可以访问与为新真实对象生成的虚拟元素相对应的预先存在的图形元素。附加地和/或备选地，标识模块117可以将与图形元素相对应的功能或语义识别的结果指派给唯一标识符。
图7A、图7B、图7C、图8A、图8B和图8C是真实场景和/或VR环境的非限制性示例。如上文所描述的，在至少一个示例中，虚拟环境可以是虚拟玩具房间，其尺寸与用户(例如，用户106A)所在的真实房间相匹配。虚拟玩具房间可以与玩具房间VR应用相关联。真实房间周围可以设置一个或多个真实块。图7A是示出了真实场景中的真实对象702(诸如一个或多个真实块中的真实块)的示例的示意图700。如图7A中所示，各种其他真实对象704A、704B等也可以物理地存在于真实场景中。在图7A中，用户106正在与真实对象702交互。
在虚拟玩具房间中，在与真实房间中的一个或多个真实块相同位置中可以有一个或多个虚拟块。虚拟块可以表示真实块的替代。也就是说，虚拟块可以表示与真实块相对应的虚拟对象。图7B是示出了在与第一VR应用相关联的VR环境中渲染的对应虚拟对象708的示例的示意图706。在上文所引用的示例中，第一VR应用可以是正在生成虚拟村庄VR环境的玩具房间VR应用。在至少一个示例中，对应虚拟对象708可以表示上文所描述的一个或多个虚拟块中的虚拟块。在至少一个示例中，虚拟对象708与至少部分地基于第一VR应用确定的第一图形元素(例如，房屋)相关联。如图7B所图示的，虚拟对象710A和710B与图7A中的用户(例如，用户106A)的手的位置相对应。在附加示例和/或备选示例中，用户(例如，用户106A)可以由其位置可以使用逆向运动学来计算的化身来表示。用户(例如，用户106A)可以与真实对象702交互，以便使得与虚拟对象708相关联的图形元素改变、和/或触发与虚拟对象708相关联的功能。
图7B描绘了在VR显示器中渲染的虚拟内容。因而，与真实对象702相对应的虚拟对象708周围的区域可以由通过VR应用确定的虚拟内容构成。在MR环境中，虚拟对象708周围的区域中的至少一些区域可以是表示真实场景的虚拟内容和/或真实场景。
图7C是示出了在与第一VR应用(例如，玩具箱VR应用)相关联的VR环境中渲染的对应虚拟对象708的示例的示意图712。虚拟对象708可以与至少部分地基于第一VR应用而确定的第二图形元素(例如，一对双目镜)相关联。在图7C中，与虚拟对象708相对应的图形元素可以从如图7B所图示的表示房屋的图形元素改变到表示一对双目镜的图形元素。在至少一个示例中，如上文所描述的，与虚拟对象708相关联的图形元素可以至少部分地基于与真实对象702的交互而改变。该对双目镜可以与一个或多个功能相关联，该一个或多个功能不同于与房屋相关联的功能。该一个或多个功能可以至少部分基于与真实对象702的交互来触发。
图8A是示出了真实场景中的真实对象702的示例的示意图800。为了说明的目的，真实对象702是与图7A中所图示的相同的真实对象和相同的真实场景。然而，真实对象702不需要是相同的真实对象和/或相同的真实场景。如图8A所图示的，用户(例如，用户106A)正在与真实对象702交互。在上文所描述的示例中，电路构建VR应用可以在VR显示器上渲染电路的虚拟图。图8B是示出了与第二VR应用(例如，构建VR应用的电路)相关联的VR环境的示例的示意图802。VR环境的中心可以包括具有缺失部件的电路的虚拟图804。虚拟块806A、806B等中的几个虚拟块可以显示为其中缺失部件浮在其内的透明立方体。如图8B所图示的，用户(例如，用户106A)可以正在与表示真实对象702的虚拟对象806B交互。虚拟对象806B可以包括灯泡，并且缺失部件中的一个缺失部件可以是灯泡。
图8C是示出了在VR环境中渲染的对应虚拟对象806B的示例的示意图808，其中虚拟对象806B与至少部分地基于第二VR应用(例如，构建VR应用的电路)确定的图形元素相关联。在至少一个示例中，用户(例如，用户106A)可以了解电力的基础知识和/或电路图的约定，并且用户(例如，用户106A)可以与真实对象702交互以便将对应虚拟对象806B移动到与电路的虚拟图804中的缺失部件相对应的位置。每个部件都可以被附接到目标行为，其当虚拟对象接触其目标时，举起匹配的布尔标志。至少部分基于确定与灯泡相关联的虚拟块(例如，虚拟对象806B)进入在虚拟电路图中标识的目标的阈值距离内，目标行为可以在VR环境中实现。由于在虚拟电路中放置了正确部件，所以虚拟电路关闭并且开始工作。比如，虚拟灯泡可以照亮，虚拟引擎可以开始运行等。
A.一种系统，其包括：传感器；一个或多个处理器；存储器；以及一个或多个模块，其被存储在存储器中并且可由一个或多个处理器执行以执行操作，该操作包括：至少部分地基于第一数据来标识物理存在于真实场景中的真实对象，其中真实对象与唯一标识符相关联；访问与唯一标识符相对应的虚拟元素，该虚拟元素表示真实对象的几何结构或表面细节中的至少一者；访问与唯一标识符相对应的图形元素，该图形元素至少部分地基于虚拟现实应用而被确定；使得与虚拟元素和图形元素相对应的虚拟对象在虚拟现实场景中被渲染；从传感器接收第二数据；至少部分地基于第二数据来确定真实对象经由交互进行相互作用；确定与图形元素和交互相关联的功能；以及使得功能在虚拟现实场景中被执行。
B.根据段落A所述的系统，其中对于不同的虚拟现实应用，图形元素是不同的。
C.根据段落A或B所述的系统，其中对于不同的虚拟现实应用，功能是不同的。
D.根据段落A至C中的任一段落所述的系统，其中使得功能被执行包括：至少部分地基于交互，用新图形元素来替换图形元素。
E.根据段落A至D中的任一段落所述的系统，其中交互包括：摇动真实对象。
F.根据段落A至E中的任一段落所述的系统，其中交互包括：旋转真实对象。
G.根据段落A至F中的任一段落所述的系统，其中交互包括：轻敲真实对象。
H.根据段落A至G中的任一段落所述的系统，其中交互包括：将真实对象堆叠在一个或多个其他真实对象的顶部或底部上。
I.根据段落A至H中的任一段落所述的系统，其中交互包括：将真实对象放置在真实场景的地板上。
J.根据段落A至I中的任一段落所述的系统，其中交互包括：在用户身体上的预定位置的阈值距离内移动真实对象。
K.根据段落A至J中的任一段落所述的系统，其中传感器与真实对象相关联；从传感器接收第一数据包括：从与真实对象相关联的传感器接收分别指示真实对象的位置和方向的位置数据和方向数据；以及至少部分地基于位置数据和方向数据，来标识真实对象。
L.根据段落A至K中的任一段落所述的系统，其中传感器被集成到与用户相关联的设备或与真实场景相关联的外部设备中的至少一者中；该操作还包括：至少部分地基于从传感器接收到的第一数据，来确定分别指示真实对象的位置和方向的位置数据和方向数据；以及至少部分地基于位置数据和方向数据来标识真实对象。
M.一种计算机实现的方法，该方法包括：从传感器接收第一数据；至少部分地基于从传感器接收的第一数据，来访问物理存在于真实场景中的第一真实对象的位置和方向；至少部分地基于第一真实对象的位置和方向来标识第一真实对象；使得与第一真实对象相对应的第一图形元素在虚拟现实显示设备的显示器上被渲染，该第一图形元素至少部分地基于第一虚拟现实应用而被确定；从传感器接收第二数据；至少部分地基于第二数据来确定与第一真实对象的第一交互；以及使得执行与第一图形元素相关联的第一功能。
N.根据段落M所述的计算机实现的方法，其中第一功能包括：使得第二图形元素而不是第一图形元素在显示器上上被渲染，该第二图形元素至少部分地基于第一虚拟现实应用而被确定并且不同于第一图形元素。
O.根据段落M或N所述的计算机实现的方法，还包括：至少部分地基于第一交互来确定第一功能。
P.根据段落O所述的计算机实现的方法，还包括：从传感器接收第三数据；至少部分地基于第三数据来确定与第一真实对象的第二交互；至少部分地基于第二交互来确定与第一图形元素相关联的第二功能；以及使得执行与第一图形元素相关联的第二功能。
Q.根据段落M至P所述的计算机实现的方法，还包括：确定第一虚拟现实应用被终止；确定第二虚拟现实应用被激活；以及使得与第一真实对象相对应的第二图形元素在虚拟现实显示设备的显示器上被渲染，该第二图形元素至少部分地基于第二虚拟现实应用而被确定并且不同于第一图形元素。
R.根据段落M至Q中的任一段落所述的计算机实施的方法，还包括：至少部分地基于从传感器接收到的第一数据来确定物理存在于真实场景中的第二真实对象的位置和方向；至少部分地基于第二真实对象的位置和方向来标识第二真实对象；使得与第二真实对象相对应的第二图形元素在虚拟现实显示设备的显示器上被渲染，该第二图形元素至少部分地基于第一虚拟现实应用来确定；确定第二真实对象被放置在处于堆叠配置或对齐配置的第一真实对象的阈值距离内；以及用与第一真实对象和第二真实对象相对应的第三图形元素来替换第一图形元素和第二图形元素。
S.一个或多个计算机可读介质，其使用指令进行编码，该指令当由处理器执行时，配置计算机以执行根据段落M至R中的任一段落所述的方法。
T.一种设备，其包括一个或多个处理器和使用指令进行编码的一个或多个计算机可读介质，该指令当由一个或多个处理器执行时，配置计算机以执行根据段落M至R中的任一段落所述的计算机实现的方法。
U.一种计算机实现的方法，该方法包括：用于从传感器接收第一数据的装置；用于至少部分地基于从传感器接收到的第一数据来访问物理存在于真实场景中的第一真实对象的位置和方向的装置；用于至少部分地基于第一真实对象的位置和方向来标识第一真实对象的装置；用于使得与第一真实对象相对应的第一图形元素在虚拟现实显示设备的显示器上被渲染的装置，该第一图形元素至少部分地基于第一虚拟现实应用而被确定；用于从传感器接收第二数据的装置；至少部分地基于第二数据来确定与第一真实对象的第一交互；并且使得执行与第一图形元素相关联的第一功能。
V.根据段落U所述的计算机实现的方法，其中第一功能包括使得第二图形元素而不是第一图形元素在显示器上上被渲染，该第二图形元素至少部分地基于第一虚拟现实应用而被确定并且不同于第一图形元素。
W.根据段落U或V所述的计算机实现的方法，还包括用于至少部分地基于第一交互来确定第一功能的装置。
X.根据段落W所述的计算机实现的方法，还包括：用于从传感器接收第三数据的装置；用于至少部分地基于第三数据来确定与第一真实对象的第二交互的装置；用于至少部分地基于第二交互来确定与第一图形元素相关联的第二功能的装置；以及用于使得执行与第一图形元素相关联的第二功能的装置。
Y.根据段落U至X所述的计算机实现的方法，还包括：用于确定第一虚拟现实应用被终止的装置；用于确定第二虚拟现实应用被激活的装置；以及用于使得与第一真实对象相对应的第二图形元素在虚拟现实显示设备的显示器上被渲染的装置，该第二图形元素至少部分地基于第二虚拟现实应用来确定并且不同于第一图形元素。
Z.根据段落U至Y中的任一段落的计算机实现的方法，还包括：用于至少部分地基于从传感器接收到的第一数据来确定物理存在于真实场景中的第二真实对象的位置和方向的装置；用于至少部分地基于第二真实对象的位置和方向来标识第二真实对象的装置；用于使得与第二真实对象相对应的第二图形元素在虚拟现实显示设备的显示器上被渲染的装置，该第二图形元素至少部分地基于第一虚拟现实应用来确定；用于确定第二真实对象被放置在处于堆叠配置或对齐配置的第一真实对象的阈值距离内的装置；以及用与第一真实对象和第二真实对象相对应的第三图形元素来替换第一图形元素和第二图形元素。
AA.一个或多个计算机存储介质，其具有计算机可执行指令，该计算机可执行指令当由一个或多个处理器执行时，将一个或多个处理器配置为执行操作，该操作包括：从传感器接收第一数据；至少部分基于该数据来标识物理地位于真实环境中的真实对象；在虚拟现实环境中渲染与真实对象相对应的虚拟对象，该虚拟对象与以下各项相关联：表示真实对象的虚拟元素；与虚拟元素相对应的图形元素，该图形元素至少部分地基于不同的虚拟现实应用而改变；以及一个或多个功能，该一个或多个功能至少部分地基于不同的虚拟现实应用或与真实对象的不同交互中的至少一者而改变；从传感器接收第二数据；至少部分地基于第二数据来确定与真实对象的交互；以及至少部分地基于交互，使得在混合现实环境或虚拟现实环境中的至少一者中执行一个或多个功能。
AB.根据段落AA所述的一个或多个计算机存储介质，其中在渲染与虚拟现实环境中的真实对象相对应的虚拟对象之前，该操作还包括：至少部分地基于第一数据来确定真实对象的几何结构；为真实对象指派唯一标识符；生成映射到真实对象的几何结构的虚拟元素；将唯一标识符组指派给虚拟元素；对真实对象执行语义识别以确定真实对象的身份；至少部分地基于语义识别的结果，将一个或多个图形元素与唯一标识符相关联；至少部分基于标识真实对象，确定与真实对象相对应的唯一标识符；以及访问虚拟元素和一个或多个图形元素。
结论
尽管本公开可以使用特定于结构特征和/或方法动作的语言，但是本发明不限于在本文中所描述的具体特征或动作。相反，特定特征和动作被公开为实现同时提交的本发明A的说明性形式，其全部内容通过引用明确地并入本文。
如上文所描述的，尽管本公开描述了VR环境，但是本文中所描述的技术中的许多技术也可以用于使用MR设备而非VR设备的MR环境。

Claims (15)

1.一种系统，包括：
传感器；
一个或多个处理器；
存储器；以及
一个或多个模块，其被存储在所述存储器中并且可由所述一个或多个处理器执行以执行操作，所述操作包括：
从所述传感器接收第一数据；
至少部分地基于所述第一数据来标识物理存在于真实场景中的第一真实对象和第二真实对象；
确定所述真实场景中的所述第一真实对象的位置和所述第二真实对象的位置；
访问第一虚拟元素和第二虚拟元素，所述第一虚拟元素和所述第二虚拟元素表示所述第一真实对象和所述第二真实对象的几何结构或表面细节中的至少一者；
基于虚拟现实应用，使得分别与所述第一虚拟元素和所述第二虚拟元素相对应的第一虚拟对象和第二虚拟对象在虚拟现实场景中被渲染；
从所述传感器接收第二数据；
基于所述第二数据来检测所述第二真实对象被放置在所述真实场景中的所述第一真实对象的阈值距离内的第一交互；
响应于所述第一交互，使得呈现要被渲染在所述虚拟现实场景上的第三虚拟对象，来替换所述第一虚拟对象和所述第二虚拟对象；
从所述传感器接收第三数据；
基于所述第三数据来检测与所述第一真实对象的第二交互；
确定与所述第一虚拟对象和所述第二交互相关联的功能；以及
使得所述功能在所述虚拟现实场景中被执行，其中对于不同的虚拟现实应用，所述功能是不同的。
2.根据权利要求1所述的系统，其中对于不同的虚拟现实应用，所述第一虚拟元素是不同的。
3.根据权利要求1所述的系统，其中使得所述功能被执行包括：至少部分地基于所述第二交互，利用新的虚拟对象来替换所述第一虚拟对象。
4.根据权利要求1所述的系统，其中所述第二交互包括：摇动所述第一真实对象。
5.根据权利要求1所述的系统，其中所述第二交互包括：旋转所述第一真实对象。
6.根据权利要求1所述的系统，其中所述第二交互包括：轻敲所述第一真实对象。
7.根据权利要求1所述的系统，其中所述第二交互包括：将所述第一真实对象堆叠在一个或多个其他真实对象的顶部或底部上。
8.根据权利要求1所述的系统，其中所述第二交互包括：将所述第一真实对象放置在所述真实场景的地板上。
9.根据权利要求1所述的系统，其中所述第二交互包括：在用户身体上的预定位置的阈值距离内移动所述第一真实对象。
10.根据权利要求1所述的系统，其中从所述传感器接收所述第一数据还包括：
为所述第一真实对象和所述第二真实对象接收位置数据和方向数据。
11.根据权利要求1所述的系统，其中所述传感器被集成到与用户相关联的设备或与所述真实场景相关联的外部设备中的至少一者中。
12.根据权利要求1所述的系统，其中检测所述第一交互还包括：
检测所述第一真实对象和所述第二真实对象被堆叠或对齐。
13.一种计算机实现的方法，所述方法包括：
从传感器接收第一数据；
至少部分地基于从所述传感器接收的所述第一数据，来访问物理地存在于真实场景中的第一真实对象的位置和方向；
至少部分地基于所述第一真实对象的所述位置和所述方向来标识所述第一真实对象；
使得与所述第一真实对象相对应的第一图形元素在虚拟现实显示设备的显示器上被渲染，所述第一图形元素至少部分地基于第一虚拟现实应用而被确定；
从所述传感器接收第二数据；
至少部分地基于所述第二数据来确定与所述第一真实对象的第一交互；
至少部分地基于所述第一交互来确定第一功能；
使得与所述第一图形元素相关联的所述第一功能被执行；
确定所述第一虚拟现实应用被终止；
确定第二虚拟现实应用程序被激活；
使得与所述第一真实对象相对应的第二图形元素在所述虚拟现实显示设备的所述显示器上被渲染，所述第二图形元素至少部分地基于第二虚拟现实应用而被确定并且不同于所述第一图形元素；
从所述传感器接收第三数据；
至少部分地基于所述第三数据来确定与所述第一真实对象的第二交互；
至少部分地基于所述第二交互来确定与所述第一图形元素相关联的第二功能；以及
使得执行与所述第一图形元素相关联的所述第二功能。
14.根据权利要求13所述的计算机实现的方法，其中所述第一功能包括：使得第二图形元素而不是所述第一图形元素在所述显示器上被渲染，所述第二图形元素至少部分地基于所述第一虚拟现实应用而被确定并且不同于所述第一图形元素。
15.一个或多个计算机存储介质，具有计算机可执行指令，当所述计算机可执行指令由一个或多个处理器执行时，配置所述一个或多个处理器进行操作，所述操作包括：
从传感器接收第一数据；
至少部分地基于所述第一数据来标识物理存在于真实场景中的真实对象；
至少部分地基于所述第一数据来确定所述真实对象的几何结构；
为所述真实对象指派唯一标识符；
生成映射到所述真实对象的所述几何结构的虚拟元素；
将所述唯一标识符组指派给所述虚拟元素；
对所述真实对象执行语义识别以确定所述真实对象的身份；
至少部分地基于所述语义识别的结果，将一个或多个图形元素与所述唯一标识符相关联；
至少部分地基于标识所述真实对象，确定与所述真实对象相对应的所述唯一标识符；以及
访问所述虚拟元素和所述一个或多个图形元素；
渲染与虚拟现实环境中的所述真实对象相对应的虚拟对象，所述虚拟对象与以下各项相关联：
表示所述真实对象的所述虚拟元素；
与所述虚拟元素相对应的图形元素，所述图形元素至少部分地基于不同的虚拟现实应用而改变；以及
一个或多个功能，所述一个或多个功能至少部分地基于所述不同的虚拟现实应用或与所述真实对象的不同交互中的至少一者而改变；
从所述传感器接收第二数据；
至少部分地基于所述第二数据来确定与所述真实对象的交互；以及
至少部分地基于所述交互，使得在混合现实环境或虚拟现实环境中的至少一者中执行所述一个或多个功能。
CN201680052621.1A 2015-09-09 2016-09-05 虚拟环境中的触觉交互 Active CN108027653B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562216248P 2015-09-09 2015-09-09
US62/216,248 2015-09-09
US14/932,282 2015-11-04
US14/932,282 US9898869B2 (en) 2015-09-09 2015-11-04 Tactile interaction in virtual environments
PCT/US2016/050325 WO2017044398A1 (en) 2015-09-09 2016-09-05 Tactile interaction in virtual environments

Publications (2)

Publication Number Publication Date
CN108027653A CN108027653A (zh) 2018-05-11
CN108027653B true CN108027653B (zh) 2022-03-25

Family

ID=58190616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680052621.1A Active CN108027653B (zh) 2015-09-09 2016-09-05 虚拟环境中的触觉交互

Country Status (4)

Country Link
US (2) US9898869B2 (zh)
EP (1) EP3347795B1 (zh)
CN (1) CN108027653B (zh)
WO (1) WO2017044398A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12211159B2 (en) 2019-06-28 2025-01-28 Snap Inc. 3D object camera customization system
US12217374B2 (en) 2017-01-09 2025-02-04 Snap Inc. Surface aware lens

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898869B2 (en) 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
US10334076B2 (en) * 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
US10210661B2 (en) * 2016-04-25 2019-02-19 Microsoft Technology Licensing, Llc Location-based holographic experience
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
EP3559780B1 (en) 2016-12-21 2023-02-01 Telefonaktiebolaget LM Ericsson (PUBL) A method and arrangement for handling haptic feedback
JP2018116471A (ja) * 2017-01-18 2018-07-26 富士通株式会社 表示制御方法、装置及びプログラム
US10321109B1 (en) 2017-06-13 2019-06-11 Vulcan Inc. Large volume video data transfer over limited capacity bus
US10325409B2 (en) * 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
US10419716B1 (en) 2017-06-28 2019-09-17 Vulcan Technologies Llc Ad-hoc dynamic capture of an immersive virtual reality experience
US10269159B2 (en) * 2017-07-27 2019-04-23 Rockwell Collins, Inc. Neural network foreground separation for mixed reality
EP3476448B1 (de) * 2017-10-24 2021-12-08 VR Coaster GmbH & Co. KG Vr-vorrichtung zum erzeugen und darstellen einer virtuellen realität
CN108319369B (zh) * 2018-02-01 2021-04-27 网易（杭州）网络有限公司 驾驶交互方法、装置、存储介质及处理器
US11182964B2 (en) * 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US10950031B2 (en) 2018-05-14 2021-03-16 Apple Inc. Techniques for locating virtual objects relative to real physical objects
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US11733824B2 (en) * 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
CN109085931A (zh) * 2018-07-25 2018-12-25 南京禹步信息科技有限公司 一种虚实结合的交互式输入方法、装置和存储介质
EP3599539B1 (en) 2018-07-26 2023-08-23 Nokia Technologies Oy Rendering objects in virtual views
US11138350B2 (en) * 2018-08-09 2021-10-05 Zoox, Inc. Procedural world generation using tertiary data
US10725634B2 (en) * 2018-08-22 2020-07-28 Royal Caribbean Cruises Ltd. Virtual reality dining
US11030813B2 (en) * 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
CN111103967A (zh) * 2018-10-25 2020-05-05 北京微播视界科技有限公司 虚拟对象的控制方法和装置
US10824244B2 (en) 2018-11-19 2020-11-03 Facebook Technologies, Llc Systems and methods for transitioning between modes of tracking real-world objects for artificial reality interfaces
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
KR102760777B1 (ko) 2018-12-19 2025-02-03 삼성전자주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
US11501499B2 (en) 2018-12-20 2022-11-15 Snap Inc. Virtual surface modification
CN109767481A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 一种vr场景切换方法及装置
JP7274510B2 (ja) 2019-02-01 2023-05-16 マクセル株式会社 仮想オブジェクト表示装置及び仮想オブジェクト表示方法
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US10909405B1 (en) * 2019-03-04 2021-02-02 Facebook Technologies, Llc Virtual interest segmentation
EP3716014B1 (de) * 2019-03-26 2023-09-13 Siemens Healthcare GmbH Übertragen eines zustands zwischen vr-umgebungen
WO2020214484A1 (en) * 2019-04-15 2020-10-22 Ocelot Laboratories Llc Attenuating mode
US11107293B2 (en) * 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
CN113906370B (zh) * 2019-05-29 2024-08-02 苹果公司 为物理元素生成内容
CN112102499B (zh) * 2019-06-18 2024-08-30 卡兰控股有限公司 融合现实系统和方法
US10937218B2 (en) * 2019-07-01 2021-03-02 Microsoft Technology Licensing, Llc Live cube preview animation
CN110400375A (zh) * 2019-07-31 2019-11-01 陶峰 混合现实交互系统
US11189103B2 (en) * 2019-08-01 2021-11-30 Apple Inc. Visual search refinement for computer generated rendering environments
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US11307647B2 (en) 2019-09-11 2022-04-19 Facebook Technologies, Llc Artificial reality triggered by physical object
US11533434B2 (en) * 2019-09-18 2022-12-20 Google Llc Generating and rendering motion graphics effects based on recognized content in camera view finder
CN111144202B (zh) * 2019-11-14 2023-11-07 京东科技信息技术有限公司 一种对象控制方法、装置、系统、电子设备及存储介质
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
CN111273773B (zh) * 2020-01-17 2022-08-16 合肥工业大学 一种头戴式vr环境的人机交互方法及系统
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
CN112379771A (zh) * 2020-10-10 2021-02-19 杭州翔毅科技有限公司 基于虚拟现实的实时交互方法、装置、设备及存储介质
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11989846B2 (en) * 2021-01-26 2024-05-21 Meta Platforms Technologies, Llc Mixture of volumetric primitives for efficient neural rendering
US11676348B2 (en) 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
CN113961069B (zh) * 2021-09-30 2024-05-07 西安交通大学 适用于实物的增强现实交互方法、装置及存储介质
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11783555B2 (en) * 2021-11-16 2023-10-10 Peer Inc System and method for transferring content from one virtual environment to another
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US12198398B2 (en) 2021-12-21 2025-01-14 Snap Inc. Real-time motion and appearance transfer
US12223672B2 (en) 2021-12-21 2025-02-11 Snap Inc. Real-time garment exchange
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
JP2023180343A (ja) * 2022-06-09 2023-12-21 キヤノン株式会社 仮想空間管理システムとその方法
CN114795181B (zh) * 2022-06-23 2023-02-10 深圳市铱硙医疗科技有限公司 辅助儿童适应核磁共振检查的方法及装置
TWI824859B (zh) * 2022-11-30 2023-12-01 國立勤益科技大學 虛擬購物手勢操控系統
CN116430990A (zh) * 2023-02-23 2023-07-14 北京字跳网络技术有限公司 虚拟环境中的交互方法、装置、设备和存储介质
CN115981517B (zh) * 2023-03-22 2023-06-02 北京同创蓝天云科技有限公司 Vr多端协同交互方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422715A (en) 1993-03-11 1995-06-06 Clarke; Thomas L. Hybrid orthogonal localization and orientation system
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8600550B2 (en) 2003-12-12 2013-12-03 Kurzweil Technologies, Inc. Virtual encounters
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US8890813B2 (en) 2009-04-02 2014-11-18 Oblong Industries, Inc. Cross-user hand tracking and shape recognition user interface
JP4795091B2 (ja) * 2006-04-21 2011-10-19 キヤノン株式会社 情報処理方法および装置
US9891435B2 (en) 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US8660303B2 (en) 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
EP2506118A1 (en) * 2011-03-29 2012-10-03 Sony Ericsson Mobile Communications AB Virtual pointer
GB2501929B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US20140125698A1 (en) 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
US20140250397A1 (en) * 2013-03-04 2014-09-04 Honeywell International Inc. User interface and method
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射系统和方法
WO2016006946A1 (ko) * 2014-07-09 2016-01-14 정지연 증강현실 컨텐츠의 생성 및 재생 시스템과 이를 이용한 방법
US9898869B2 (en) 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970268A (zh) * 2013-02-01 2014-08-06 索尼公司 信息处理设备、客户端设备、信息处理方法以及程序

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12217374B2 (en) 2017-01-09 2025-02-04 Snap Inc. Surface aware lens
US12211159B2 (en) 2019-06-28 2025-01-28 Snap Inc. 3D object camera customization system

Also Published As

Publication number Publication date
US10445939B2 (en) 2019-10-15
EP3347795B1 (en) 2021-09-15
CN108027653A (zh) 2018-05-11
US9898869B2 (en) 2018-02-20
US20180190034A1 (en) 2018-07-05
US20170069134A1 (en) 2017-03-09
EP3347795A1 (en) 2018-07-18
WO2017044398A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
CN108027653B (zh) 虚拟环境中的触觉交互
Zhang et al. Recent developments in game-based virtual reality educational laboratories using the microsoft kinect
JP7095073B2 (ja) パーソナルトレーナーとしてのロボット
US9933851B2 (en) Systems and methods for interacting with virtual objects using sensory feedback
CN106484115B (zh) 用于增强和虚拟现实的系统和方法
CN104010706B (zh) 视频游戏的方向输入
US20170039986A1 (en) Mixed Reality Social Interactions
Tsai et al. Unity game engine: Interactive software design using digital glove for virtual reality baseball pitch training
WO2016010834A1 (en) User-generated dynamic virtual worlds
US20110309919A1 (en) Providing Directional Force Feedback In Freespace
Sra et al. Metaspace ii: Object and full-body tracking for interaction and navigation in social vr
Lee et al. A development of virtual reality game utilizing Kinect, Oculus Rift and smartphone
CN108983954B (zh) 基于虚拟现实的数据处理方法、装置以及系统
Loviscach Playing with all senses: Human–Computer interface devices for games
CN115997385B (zh) 基于增强现实的界面显示方法、装置、设备、介质和产品
US11651542B1 (en) Systems and methods for facilitating scalable shared rendering
CN204331627U (zh) 一种概念实物化识别塑造模拟系统
US20240112424A1 (en) Authoring systems and methods for enabling bidirectional binding of augmented reality with toys in real-time
US20240181350A1 (en) Registering hand-held non-electronic object as game controller to control vr object position, orientation, game state
Piumsomboon Natural hand interaction for augmented reality.
Zheng et al. Analysis and research on somatosensory controller
BASTOS Pinto
JP2019512173A (ja) マルチメディア情報を表示する方法及び装置
Lee et al. A Responsive Multimedia System (RMS): VR Platform for Immersive Multimedia with Stories
CN104516504A (zh) 概念实物化识别塑造模拟系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant