CN110520822B - 控制装置、信息处理系统、控制方法和程序 - Google Patents

Abstract

该控制设备：接收关于用户手指的运动的信息、和关于用户手的形状的信息；生成基于接收到的关于用户手指的运动的信息所确定的表示用户手的姿势的第一姿势信息；还生成基于接收到的关于用户手的形状的信息所确定的表示用户手的姿势的第二姿势信息；以及根据基于预定条件的标准，将生成的第一姿势信息与生成的第二姿势信息组合，从而生成和输出表示用户手的姿势的信息。

Description

控制装置、信息处理系统、控制方法和程序

技术领域

本发明涉及控制装置、信息处理系统、控制方法和程序。

背景技术

近年来，用于生成和呈现虚拟空间图像的虚拟现实(VR)设备得到了广泛的应用。虚拟现实设备检测用户的手和手指的实际运动，并将检测到的运动反映在虚拟空间中的对象的运动中。

对于这种处理，在过去，用于检测用户手的相机或其他设备被用于捕获用户手的图像、识别用户手的形状以及检测用户的手指是弯曲的或是伸展的。

发明内容

[技术问题]

然而，在用户处于从相机的位置看不到用户的手指的姿势的情况下，以及在用户的手在相机的视野之外的情况下，使用相机来检测用户的手的上述现有设备无法识别用户手指的形状并检测用户手指的状态。

本发明是针对上述情况而做出的。本发明的目的是提供能够增加检测到用户手的姿势的机会的控制装置、信息处理系统、控制方法和程序。

[问题的解决方案]

为了解决上述常规问题，提供了一种控制装置，包括：接收装置、第一姿势信息生成装置、第二姿势信息生成装置和姿势信息输出装置。接收装置接收关于用户手指的运动的信息和关于用户手的形状的信息。第一姿势信息生成装置根据接收到的关于用户手指的运动的信息生成指示用户手的姿势的第一姿势信息。第二姿势信息生成装置根据接收到的关于用户手的形状的信息生成指示用户手的姿势的第二姿势信息。姿势信息输出装置根据基于预定条件的标准，将生成的第一姿势信息与生成的第二姿势信息组合，并且生成和输出指示用户手的姿势的信息。

[发明的有益效果]

本技术使得能够增加检测到用户手的姿势的机会。

附图说明

图1是示出根据本发明的示例实施例的信息处理系统的示例配置的示意性框图。

图2描绘了示出根据本发明示例实施例的信息处理系统中使用的操作设备的示例的示意性透视图。

图3是示出根据本发明示例实施例的信息处理系统中包括的控制装置的示例的功能性框图。

图4描绘了示出根据本发明的示例实施例的信息处理系统执行的用户手部检测操作的图。

图5是示出根据本发明的示例实施例的信息处理系统执行的示例处理的流程图。

具体实施方式

现在将参照附图描述本发明的实施例。如图1所示，根据本发明实施例的信息处理系统1包括操作设备10L和10R(当这些操作设备不需要彼此区分时，下文中称为操作设备10)、显示设备20和控制装置30。操作设备10L和10R分别安装在用户的左手和右手。显示设备20安装在用户的头部。控制装置30以有线或无线方式通信地连接到操作设备10和显示设备20。

如图1示意性地所示，控制装置30包括控制部分31、存储部分32、操作接收部分33和显示控制部分34。

例如，如图2所示，操作设备10包括夹持部分11和操作部分12。操作设备10的前视图显示在图2中的(a)处，并且后视图显示在图2中的(b)处。夹持部分11基本上成形为类似于多边形柱。操作部分12从夹持部分11连续地形成。在图2的示例中，操作部分12包括正面上的传感器部分15和按钮操作部分16，并且包括背面上的手指传感器17和按钮18。此外，操作设备10包含控制电路19。

控制电路19包括诸如微型计算机的程序控制设备，并且根据存储在诸如存储器的装置中的程序运行。此外，控制电路19连接到传感器部分15、按钮操作部分16、手指传感器17和操作部分12的按钮18，例如从传感器部分15和按钮操作部分16接收诸如用户手指检测结果和操作指示信号的各种信号，并且将接收到的信号发送到控制装置30。控制电路19包括例如诸如蓝牙(注册商标)接口的无线通信接口或诸如通用串行总线(USB)或有线局域网(LAN)接口的有线通信接口，并且通过无线通信接口或有线通信接口向控制装置30发送各种信号、以及从控制装置30接收各种信号。

此外，在本实施例中，保持器14固定在操作设备10的左侧或右侧。例如，保持器14是环形柔性带。当操作本示例中描述的操作设备10时，用户将除拇指以外的四个手指穿过保持器14并使操作设备10的主体与拇指的底部接触。图2中的示例假设通过将操作设备10的右侧按压到用户的手掌上来保持操作设备10。此外，操作设备10的尺寸使得当用户通过将手指穿过保持器14自然地抓握操作设备10来握住操作设备10时，用户拇指的末端可以够到操作设备10的正面上的按钮操作部分16。也就是说，本实施例被配置使得例如当用户握住夹持部分11时，操作部分12中的至少一些按钮(包括按钮18)被布置在用户手指触及的范围内。

更具体地，当持有操作设备10的用户自然地握住操作设备10时，用户的食指与操作设备10上的按钮18相接触，并且用户通过使用用户手的手掌、中指、无名指和小指抓握夹持部分11。毋庸置疑的是，即使当用户在此状态下打开他/她手时，操作设备10也不会掉落，因为保持器14将操作设备10固定到用户手部。

传感器部分15布置在略低于用户拇指末端够到、并且当用户自然地抓握操作设备10时接近用户拇指的底部的位置。传感器部分15能够在朝向操作设备10的前面、沿着操作设备10的表面的法向为中心、并且从操作设备10的前面的左侧延伸到右侧的相对宽的角度范围上实现检测。传感器部分15在这样的角范围内检测用户的拇指。然后，传感器部分15检测检测到用户拇指的位置(在上述角范围内的角度)和传感器部分15与用户拇指之间的距离，并向控制电路19输出检测结果信息(包括关于上述检测到的位置和距离的信息)。传感器部分15可以是诸如相机、光学传感器、热电传感器或电容传感器的任何器件。

此外，手指传感器17布置在当用户自然地抓握操作设备10时用户的食指、中指、无名指和小指分别够到的位置。手指传感器17例如是产生指示手指是否接近的信息的电容传感器。手指传感器17的每一个生成指示手指是否接近的信息，并将生成的信息输出到控制电路19。在本示例实施例中，操作设备10实现根据本发明的第一检测装置。

显示设备20例如是要安装在用户的头部上的头戴式显示器(HMD)。显示设备20有线或无线地接收从控制装置30输出的图像数据，并且显示接收到的图像数据以将其呈现给用户。在本实施例的示例中，显示设备20可以包括左眼图像显示部分和右眼图像显示部分。左眼图像显示部分向用户的左眼呈现图像，右眼图像显示部分向用户的右眼呈现图像。左眼和右眼图像显示部分可以各自包括显示元件，诸如有机电致发光(EL)显示面板或液晶显示面板。在上述情况下，控制装置30生成并输出将由各个图像显示部分显示的左眼图像数据和右眼图像数据。在这种情况下，显示设备20使左眼图像显示部分输出用于显示目的的左眼图像数据，并且使右眼图像显示部分输出用于显示目的的右眼图像数据。

在本实施例中，显示设备20可以是非透明显示装置或透明显示装置。非透明显示装置不允许安装它的用户观看外部世界。透明显示装置允许安装它的用户观看通过将外部世界图像与要显示的图像组合而获得的图像。

此外，相机21包括在本实施例的示例中。相机21的视野在从显示设备20向前的方向中(在用户安装显示设备20时从用户的面部向前的方向中)。相机21重复地捕获用户前方的预定视野(FOV)内图像，并且将从所捕获的图像导出的图像数据顺序地输出到控制装置30。

控制装置30的控制部分31是诸如中央处理单元(CPU)的程序控制设备，并且根据存储部分32中存储的程序运行。在本实施例中，控制部分31接收从操作设备10发送的信息。此外，控制部分31接收从显示设备20发送的图像数据。当在接收到的图像数据中包括用户的手的捕获图像时，控制部分31执行检测手的形状的处理。也就是说，在本实施例的本示例中，显示设备20和控制部分31实现第二检测装置。

此外，控制部分31根据由操作设备10检测到的关于用户手指的运动的信息生成指示用户手的姿势的第一姿势信息(本示例中的信息包括指示除了拇指以外的用户手指是否与操作设备10弯曲地接触的信息、以及关于拇指的位置和到拇指的距离的信息)。另外，控制部分31根据从显示设备20发送的图像数据检测到的关于用户手的形状的信息生成指示用户手的姿势的第二姿势信息。

控制部分31根据基于预定条件的标准，通过组合如上所述生成的第一姿势信息和第二姿势信息，生成指示用户手的姿势的信息，并且输出生成的信息。作为示例，控制部分31在预定条件下选择第一姿势信息或第二姿势信息，并且输出所选择的姿势信息作为指示用户手的姿势的信息。

此外，控制部分31在诸如游戏的应用程序上执行处理，根据处理生成要由显示设备20显示的图像数据，并且将生成的图像数据输出到显示设备20。稍后将详细描述控制部分31的操作。

存储部分32例如是磁盘设备或存储器设备，并且存储要由控制部分31执行的程序。该程序可被提供在诸如数字多功能光盘只读存储器(DVD-ROM)的计算机可读、非暂时性记录介质上，并且存储在存储部分32中。此外，存储部分32用作控制部分31的工作存储器。

操作接收部分33与操作设备10有线或无线地通信。此外，操作接收部分33接收关于用户操作的信息和关于用户手指的运动的信息，由操作设备10输出的信息。然后，操作接收部分33将接收到的信息输出到控制部分31。

显示控制部分34与显示设备20无线或无线地通信，并向显示设备20发送从控制部分31输出的图像数据。此外，显示控制部分34接收由显示设备20上的相机21捕获的图像数据，从显示设备20输出的图像数据。然后，显示控制部分34将接收到的图像数据输出到控制部分31。

现在将描述控制装置30中的控制部分31的操作。在本实施例的某个示例中，如图3所示，控制部分31功能性地包括手部图像检测部分51、第一姿势信息生成部分52、第二姿势信息生成部分53、条件判定部分54、姿势信息输出部分55和图像数据生成处理部分56。

手部图像检测部分51顺序地接收由显示设备20上的相机21连续捕获的输入图像数据，并且将每个图像数据视为处理目标。如果被视为处理目标的图像数据包括用户手的捕获图像，则手部图像检测部分51执行检测用户手的形状的处理。更具体地，手部图像检测部分51从显示设备20上的相机21捕获的图像数据检测用户的左手被成像的范围以及用户的右手被成像的范围。如果用户的手被成像，则手部图像检测部分51生成指示用户手的手指关节的位置和检测的可靠性的信息。例如，手部图像检测部分51从预定的人手的骨骼模型和包含在被视为处理目标的图像数据中的手的图像生成指示骨骼模型的手指关节如何弯曲的信息(例如，该手指关节弯曲的角度和方向)、从骨骼模型估计用户手的形状、并生成指示手指关节位置和检测可靠性的信息。

对于未被成像并且不包括在被视为处理目标的图像数据中的用户手的手指，手部图像检测部分51可以输出指示手指关节的位置未知的信息。只要隐藏的手指被成像并且包括在紧接在上述捕获的图像数据之前捕获并从显示设备20接收的图像数据中，即使当用户手的手指被部分隐藏(例如，在由显示设备20上的相机21捕获的图像数据中被用户的手的背面)时，手部图像检测部分51假设手指的关节位置保持不变，并且估计和输出隐藏手指在被视为处理目标的图像数据中的关节位置。由于可以通过执行公知的处理来完成，这里将不详细描述该处理。

第一姿势信息生成部分52根据从操作设备10接收到的关于用户手指的运动的信息，生成指示用户手的姿势的第一姿势信息(本示例中的信息包括指示除了拇指以外的用户手指是否与操作设备10弯曲地接触的信息，以及关于拇指的位置和到拇指的距离的信息)。更具体地，第一姿势信息生成部分52生成指示用户的每个手指是伸展还是弯曲的第一姿势信息。例如，在用户的拇指位于靠近操作设备10的传感器部分15(即，与操作设备10的外壳接触)、用于检测用户的食指、中指和无名指的手指传感器17没有检测到相关联的手指接近、并且用于检测用户小指的手指传感器17检测到相关联的手指接近的情况下，第一姿势信息生成部分52生成第一姿势信息，其指示用户手的手指处于以下状态：

拇指：弯曲

食指：伸展

中指：伸展

无名指：伸展

小指：弯曲

如后所述，在第二姿势信息使用数值来表示关节弯曲的程度(手指打开的程度)(即，使用值“1.0”来表示手指伸展的状态，并且使用值“0.0”来表示手指弯曲到极限的状态)的情况下，第一姿势信息生成部分52可以相应地以数值的形式生成第一姿势信息。然而，在允许操作设备10的手指传感器17使用确定手指是弯曲的或是伸展的两级判定方法的情况下，第一姿势信息生成部分52仅输出指示手指伸展的状态的值“1.0”或指示手指弯曲到极限的状态的值“0.0”。例如，在前一示例的情况下，第一姿势信息生成部分52生成以下第一姿势信息：

拇指：0.0

食指：1.0

中指：1.0

无名指：1.0

小指：0.0

基于由手部图像检测部分51生成的指示例如手指关节的位置和手掌的位置和方向(手掌的法向)的信息，第二姿势信息生成部分53确定用户的每个手指是伸展的还是弯曲的。在本实施例的某一示例中，第二姿势信息生成部分53从手部图像检测部分51生成的指示例如手指关节的位置和手掌的位置的信息生成指示各个手指是伸展或弯曲(即，每个手指弯曲的程度)的第二姿势信息。更具体地，在第二姿势信息生成部分53已经确定用户已经通过伸展用户的食指和中指并适度弯曲其他手指形成了所谓字母V的情况下，第二姿势信息生成部分53生成以下信息(指示每个手指打开的程度的信息)作为第二姿势信息：

拇指：0.2

食指：1.0

中指：1.0

无名指：0.2

小指：0.1

在上述情况下，通过使用数值来表示弯曲率，即，值“1”指示手指伸展的状态，并且值“0”指示手指弯曲到极限的状态。

此外，在从手部图像检测部分51输出的信息指示某个手指的关节位置未知的情况下，第二姿势信息生成部分53输出指示手指是伸展或是弯曲是未知的信息(例如，输出负值)。

如前所述，在根据关于更早的图像数据的信息已经从手部图像检测部分51输出指示相关关节位置的信息的情况下，即使从显示设备20收到的最后图像数据中用户手指被部分隐藏，第二姿势信息生成部分53也基于已经输出的信息生成第二姿势信息。

条件判定部分54确定是否满足预定条件。更具体地，示例预定条件包括基于用户的手是否包括在显示设备20上的相机21的视野内的条件，也就是说，用户手的手指是否被成像并包括在显示设备20上的相机21捕获的图像数据中的条件。

在本实施例的某一示例中，手部图像检测部分51从显示设备20上的相机21捕获的图像数据检测用户左手被成像的范围和用户右手被成像的范围。此外，当执行检测手的手指的处理时，手部图像检测部分51执行列举成像手指的处理。由于可以通过使用执行公知的方法来完成，这里将不详细描述该处理。例如，如图4中的(a)处所示，在用户的手L1完全在显示设备20上的相机21的视野之外的情况下，遇到用户手的手指不被成像并且不包括在由显示设备20上的相机21捕获的图像数据中的情况。然而，这种情况并不限于上述情形。更具体地，如图4的(b)处所示的虽然用户的手L2包括在显示设备20上的相机21的视野内、但是用户的手L2的至少一部分被隐藏(例如，被用户的手L2的手掌)的情形也包含在用户手的手指不被成像并且不包括在由显示设备20上的相机21捕获的图像数据中的情况中(用户的手指不包括在显示设备20上的相机21的视野内的情况)。应当注意的是，为了便于说明，用户的手L2的隐藏手指实际上由图4的(b)处的虚线标记。

如上文所述，条件判定部分54列举由显示设备20上的相机21捕获的图像数据中包括的手指，断定成像的手指满足该条件并且未成像的手指不满足该条件，并且输出指示是否每个手指都满足该条件的信息。

姿势信息输出部分55根据从条件判定部分54输出的信息所定义的标准，将从第一姿势信息生成部分52输出的第一姿势信息与从第二姿势信息生成部分53输出的第二姿势信息组合，然后生成并输出指示用户手的姿势的信息。如前所述，姿势信息输出部分55参考从条件判定部分54输出的信息选择第一姿势信息或第二姿势信息，并且输出所选择的姿势信息作为指示用户手的姿势的信息。在本实施例的示例中，以单个手指为基础做出该选择。

更具体地，姿势信息输出部分55参考从条件判定部分54输出的条件，以指示手指是否被成像并包括在由显示设备20上的相机21捕获的图像数据中。对于被成像并且包括在由显示设备20上的相机21捕获的图像数据中的手指，姿势信息输出部分55选择并输出关于手指的信息，该信息包括在从第二姿势信息生成部分53输出的第二姿势信息中。对于未被成像并且不包括在由显示设备20上的相机21捕获的图像数据中的手指，姿势信息输出部分55选择并输出关于手指的信息，该信息包括在从第一姿势信息生成部分52输出的第一姿势信息中。

作为示例，让我们假设这样一个情况：向前看的用户将用户的左手移到用户的头部后面，并将用户的右手向前推，从而用用户的食指和中指形成字母V。在这种情况下，对于左手，条件判定部分54输出指示没有手指被成像并且包括在由显示设备20上的相机21捕获的图像数据中的信息(指示是否满足条件的信息)。对于右手，如图4中的(b)处所示，条件判定部分54输出指示拇指、无名指和小指未被成像并且不包括在由显示设备20上的相机21捕获的图像数据中的信息，并且输出指示食指和中指被成像并且包括在由显示设备20上的相机21捕获的图像数据中的信息。

然而，即使在上述情况下，也可以根据显示设备20上的相机21捕获的最后的图像数据输出指示右手的拇指、无名指和小指的每个关节的位置的信息。因此，第二姿势信息包括指示拇指、无名指和小指是弯曲的或是伸展的信息。

基于从条件判定部分54输出的关于条件的信息，姿势信息输出部分55输出包含在第一姿势信息中的关于左手的每个手指的信息、输出包含在第二姿势信息中的关于右手的食指和中指的信息、并且输出包含在第一姿势信息中的关于右手的其他手指的信息。

图像数据生成处理部分56使用从姿势信息输出部分55输出的信息来生成要在显示设备20上显示的图像数据。生成的图像数据可以表示例如虚拟角色的手的图像。图像数据生成处理部分56根据从姿势信息输出部分55输出的姿势信息来确定虚拟角色的手的形状(指示每个手指是弯曲还是伸展的信息)，在预定视野内布置该角色(例如，在与显示设备20上的相机21的视野相同的视野内)，并执行渲染以生成图像数据。由于可以通过使用执行公知的处理来完成，这里将不详细描述由图像数据生成处理部分56执行的处理。

<操作>

根据本发明的实施例的信息处理系统1具有上述配置，并且例如如下所述地进行操作。在下面的示例中，假设控制装置30执行绘图程序作为根据用户指令在虚拟三维空间(虚拟空间)内用于绘制图像的应用程序。假设根据绘图程序操作的控制装置30沿着用户右手指尖的运动轨迹(与真实空间中用户右手的指尖的运动轨迹相对应的虚拟空间中的运动轨迹)顺序地布置具有指定颜色的球，而用户左手的至少一个手指是弯曲的。还假设每个球的半径随着伸展的右手手指地数量的增加而增大。此外，假设根据绘图程序操作的控制装置30显示颜色选择菜单，并且当确定用户左手的所有手指都要伸展时提示用户选择颜色。当提示用户选择颜色时，控制装置30不执行沿着用户右手的指尖的运动轨迹布置具有指定颜色的球的处理。

在本实施例的上述示例中，用户将操作设备10L和10R分别安装到用户的左手和右手上。在下面的示例中，假设在用户右手的手指对齐和伸展的同时执行绘制。一般来说，用户在绘制期间主要是盯着用户右手的指尖。因此，假设显示设备20上的相机21捕获用户右手的图像。在这种情况下，用户的左手可在显示设备20上的相机21的视野之外。

如图5所示，控制装置30执行检测包括在由显示设备20上的相机21捕获的图像数据中的用户右手的形状的处理(S1)。控制装置30生成指示用户右手的每个手指的关节位置的信息(指示虚拟空间中的对应坐标)。

基于分别从操作设备10L和10R接收到的关于用户手指的运动的信息，控制装置30生成指示用户的左手和右手的姿势的第一姿势信息(S2)。

此外，控制装置30使用在步骤S1中生成的信息来确定包括在由显示设备20上的相机21捕获的图像数据中的用户右手的每个手指是伸展还是弯曲的，并且生成第二姿势信息(S3)，第二姿势信息是指示每个手指是是伸展或是弯曲的信息。在步骤S3中由控制装置30生成的信息指示用户左手的手指是弯曲还是伸展是未知的。

控制装置30确定用户的左手和右手的手指是否满足条件，即，用户的左手和右手的手指是否成像并且包括在由显示设备20上的相机21捕获的图像数据中(S4)。在这种情况下，如前所述，用户右手的手指已成像，而用户左手的手指未成像。因此，控制装置30确定用户右手的手指(即，从拇指到小指的右手手指)满足条件，并且确定用户左手的手指(即，从拇指到小指的左手手指)不满足条件。

然后，控制装置30参考指示手指是否被成像并包括在由显示设备20上的相机21捕获的图像数据中的条件。对于已成像并且包括在由显示设备20上的相机21捕获的图像数据中的手指，控制装置30选择并输出在步骤S3中生成并且包括在第二姿势信息中的关于手指的信息。对于未成像并且不包括在由显示设备20上的相机21捕获的图像数据中的手指，控制装置30选择并输出在步骤S2中生成并且包括在第一姿势信息中的关于手指的信息(S5：基于条件输出组合)。

换言之，在上述示例中，对于从拇指到小指的用户右手的所有手指，输出在步骤S3中生成的指示每个手指是伸展或是弯曲的信息，对于从拇指到小指的用户左手的所有手指，输出在步骤S2中生成的指示每个手指是伸展或是弯曲的信息。

这里，控制装置30确定是否生成输出以指示用户左手的其中一个手指弯曲(S6)。如果生成的输出指示其中一个手指弯曲(S6处的“是”)，则控制装置30不显示颜色选择菜单。当用户右手的所有手指(五个手指)伸展时，控制装置30在例如食指的指尖位置周围绘制具有与五个手指都伸展的状态相对应的半径并且具有最后选择的颜色(或当没有选择颜色时要使用的预定默认颜色)的球(S7：绘图处理)。然后，控制装置30返回到步骤S1并继续处理。

同时，如果在步骤S6中确定所有左手手指伸展(在S6处为“否”)，则控制装置30向显示设备20输出颜色选择屏幕，并提示用户选择颜色(S8：调色板显示)。当用户在这里选择颜色时，控制装置30执行设置以便将所选择的颜色用于下一个绘图，返回到步骤S1，并继续处理。

如上所述，对于被注视的手的指尖，本实施例使用例如由显示设备20上的相机21捕获的图像来判定手指是弯曲的或是伸展的，并且对于未被相机21成像的手指，本实施例使安装在手上的设备判定手指是弯曲还是伸展的。

如前所述，当基于图像数据确定手的姿势时，可以估计手的骨骼的形状。因此，可以数字地且精密地确定手指弯曲的程度。同时，例如，当使用包括例如电容传感器的操作设备10的手指传感器17时，可通过不超过两个或三个的电平来确定接近度或分离度。也就是说，基于图像数据的第二姿势信息通常使得能够比第一姿势信息更精确地估计手的形状。

在本实施例的本示例中，基于由显示设备20上的相机21获取的图像数据生成第二姿势信息。因此，可以相对高的精度确定用户注视的指尖的位置。同时，例如，基于例如操作设备10的手指传感器17来确定在用户视野之外的指尖的位置。因此，虽然这样的确定是以相对低的精度做出的，但是可以估计手的姿势。

<修改组合的示例>

上述描述假设，基于用户的每个手指是否被成像并包括在由显示设备20上的相机21捕获的图像数据中的条件，从基于由显示设备20上的相机21捕获的图像数据生成的第二姿势信息、以及从基于由安装在用户手上的设备检测到的信息生成的第一姿势信息选择性地获取关于每个手指的信息。然而，本实施例不限于以上。

例如，如前所述，当要基于由显示设备20上的相机21捕获的图像数据生成第二姿势信息时，在某些情况下，额外地获取关于估计骨架模型的形状的可靠性的信息。然后，可以将该可靠性与参数α一起使用，通过从值Fp和值Fr的加权平均来确定关于手指的姿势信息(表示打开程度的值)F，如下所示。当可靠性增加时，参数α接近值“1”，并且当可靠性减小时，参数α接近值“0”。值Fp包含在第一姿势信息中，以表示手指的打开程度。值Fr包含在第二姿势信息中，以表示同一手指的打开程度。

F＝(1-α)·Fp+α·Fr

在上述示例中，假设控制装置30从关于左右手中的每一个的可靠性的信息来计算相关联的手的参数α，并使用参数α从上述数值表达式来确定关于相关联的手的每个手指的姿势信息(指示手指打开度的值)F。

此外，不仅可以基于可靠性信息，还可以基于由相机21捕获的图像数据中的手的位置来校正参数α。例如，考虑到图像数据的外围可能受到相机21的光学系统的畸变的影响的事实，为了校正的目的，可以将在外围的预定范围内成像的手指的参数α降低到低可靠性值(在本示例中接近于“0”的值)。

<其他示例条件>

上述描述假设基于用户的每个手指是否被成像并且包括在由显示设备20上的相机21捕获的图像数据中的条件来组合第一姿势信息和第二姿势信息。然而，本实施例使用的条件不限于上述条件。

例如，确定组合模式的条件可以包括：关于由操作设备10检测到的关于用户手指的运动的信息与基于由显示设备20上的相机21捕获的图像数据检测到的关于用户手的形状的信息之间的时域变化的条件。

例如，基于统计量(例如，方差)σ1和统计量(例如，方差)σ2来确定是否满足上述条件。统计量σ1指示从由操作设备10检测到的信息导出的关于每个手指的打开度的信息在过去的预定时段内的离差。统计值σ2指示基于由显示设备20上的相机21捕获的图像数据获取的关于手指的打开度的信息在过去的预定时段内的离差。

换言之，如果关于某个手指的统计量σ1<σ2，则可以关于该手指输出包括第一姿势信息中打开度的姿势信息。同时，如果统计量为σ1≥σ2，则可以关于该手指输出包括第二姿势信息中打开度的姿势信息。

在上述示例中，指示波动的确定(频繁变化的值)的检测结果被作为不可靠的结果来处理。

此外，可以使用多个条件的组合。例如，如果关于某个成像的手指的上述统计量之间的差(即σ2-σ1)超过预定阈值，则对于该手指，可以输出包括第一姿势信息中打开度的姿势信息。这对应于关于成像的手指的确定相对大幅波动(频繁地发生值的变化)的情况，使得基于相关联的捕获图像数据的检测结果被作为不可靠的结果来处理。

<手部姿势信息的示例修改>

此外，指示手的姿势的信息不限于上述指示手指打开度的信息(指示关节弯曲或伸展的程度)。指示手的姿势的信息还可以包括，例如，关于手的方向(手掌的法向)和拇指的朝向的信息。

此外，在指示手的姿势的信息包括多个信息元素(例如，关于每个手指的打开度、手的朝向、拇指的朝向的信息)的情况下，可以根据预定条件以单个信息元素为基础来确定是使用包括在第一姿势信息中还是包括在第二姿势信息中的信息元素(或将对第一姿势信息和第二姿势信息的组合应用什么样的权重)。

作为示例，控制装置30可以以单个信息元素为基础，将指示第一姿势信息在过去的预定时段内离差的统计量(例如，方差)σ1与指示基于由显示设备20上的相机21捕获的图像数据获取的第二姿势信息在过去的预定时段内离差的统计量(例如，方差)σ2进行比较。如果关于某个信息元素的上述统计量σ1<σ2，则对于该信息元素，控制装置30可以输出包括第一姿势信息的值的姿势信息。同时，如果统计量σ1≥σ2，则对于该信息元素，控制装置30可以输出包括第二姿势信息的值的姿势信息。

在上面的示例中，即使当关于例如所有右手手指的打开度使用第二姿势信息的值时，也关于例如手的朝向使用第一姿势信息的值。

<相机位置>

上述描述假设用于捕获用作第二姿势信息的基础的图像数据的相机21被布置在从用户观看的显示设备20的前面。然而，本实施例不限于这种配置。相机21可可选地布置在显示设备20的中央或侧面顶部。此外，相机不必总是与显示设备20一起移动，而是可以布置在用户所在的房间中。此外，相机的数量不限于一个。可以布置多个相机21。

此外，相机21不必总是光学相机。一种替代是使用所谓的深度相机(获取指示到对象的距离的信息的相机)，诸如投射红外辐射以获取其灰度图像的相机。

<操作设备的其他示例>

操作设备10不限于上述装置。只要当用户打开用户的手指时其不会掉落并且能够测量用户手指的打开度，则可以使用任何操作设备10。例如，操作设备10可以是安装在用户手上用应变计或其它类似仪器来测量每个手指的打开度(手指关节弯曲的角度)的手套。

<显示模式的改变>

此外，本实施例不仅允许控制装置30改变基于关于用户手的姿势信息生成并输出到显示设备20的图像数据中包含的虚拟角色的手的形状，还允许控制装置30改变图像数据中对象的显示模式。例如，在从第一姿势信息或第二姿势信息中选择指示每个手指的打开度的信息的情况下，控制装置30可以以不同模式绘制手指。也就是说，控制装置30在基于从第一姿势信息中选择的信息确定了手指在虚拟空间中的位置后，可以在某个模式下绘制一个手指，并且在基于从第二姿势信息中选择的信息确定了手指在虚拟空间中的位置后，可以在不同模式下绘制另一个手指。更具体地，对于在基于从第一姿势信息中选择的信息确定了其在虚拟空间中的位置之后要绘制的手指，控制装置30可以将手指的图像与背景半透明地组合(α混合)。对于基于从第二姿势信息中选择的信息确定了其在虚拟空间中的位置之后要绘制的手指，控制装置30可以在不允许其穿过背景的情况下绘制手指。此外，例如，可以通过改变轮廓的颜色而不是选择性地执行或不执行半透明组合来使用不同的显示模式。

<处理中的反思>

在从第一姿势信息或第二姿势信息中选择指示每个手指的打开度的信息的情况下，根据本实施例的控制装置30可以在确定手指是否与虚拟空间中的对象相接触时使用不同的接触判定方法(所谓的碰撞判定)。更具体地，要应用于在基于从第一姿势信息中选择的信息确定了手指在虚拟空间中的位置之后绘制的手指的接触判定(碰撞判定)方法可以不同于要应用于在基于从第二姿势信息中选择的信息确定了手指在虚拟空间中的位置之后绘制的手指的接触判定(碰撞判定)方法。

换言之，在本实施例的某个示例中，对于基于具有相对低精度的判定结果来确定其在虚拟空间中的位置的手指(位置由前一示例中的第一姿势信息确定的手指)，当手指接触到对象的外接矩形平行六面体时，控制装置30可以确定手指与对象相接触而不考虑其形状。

此外，对于基于具有相对高精度的判定结果来确定其在虚拟空间中的位置的手指(位置由前一示例中的第二姿势信息确定的手指)，当手指接触到对象的外表面时，控制装置30确定手指与对象接触。

在上述示例中，例如，要应用于对象和用户不能视觉识别的手指(显示设备20上的相机21的视野之外的手指)之间的接触的接触判定方法不同于要应用于对象和用户能够视觉识别的手指(显示设备20上的相机21的视野之内的手指)之间的接触的接触判定方法。更具体地，将相对严格的接触判定方法应用于能够视觉识别的手指，而将简单的接触判定方法应用于不能视觉识别的手指。

<切换>

在本实施例的示例中，当其在虚拟空间中的位置由第一姿势信息确定的手指移动到相机21的视野中时，可想而知会发生切换，使得虚拟空间中的位置由第二姿势信息确定。在这种情况下，为了防止由于估计结果的差异而导致的手指以不自然的方式移动，控制装置30可以通过执行权重在先前位置和当前计算的位置之间随时间变化的加权平均，来做出到当前计算位置的逐渐移动的调整，以避免例如在关于手指和手的位置的信息与先前的位置信息之间的差异大于预定阈值时的突然改变。可通过使用公知的调整处理方法来做出上述调整。

<检测手和其他的位置>

控制装置30可以通过使用由操作设备10检测到的信息和由显示设备20上的相机21捕获的图像数据来生成和输出关于用户手的位置的信息。更具体地，在操作设备10输出关于用户手掌相对于重力方向的角度的信息的情况下，控制装置30根据从显示设备20上的相机21捕获的图像数据检测到的关于用户手掌相对于重力方向的角度的信息和关于用户手的位置的信息，生成并输出关于用户的手在真实空间中的位置的信息(例如，关于真实空间内设定的预定坐标系中用户的手的重心位置的信息)。此外，控制装置30生成并输出与关于用户的手的重心位置的信息相对应的虚拟空间中关于位置的信息。

如上所述，本实施例除了生成例如关于手指和手的姿势的信息外，还可以通过使用由操作设备10检测到的信息和由显示设备20上的相机21捕获的图像数据二者生成例如关于用户的姿势、以及每个关节的位置和旋转角的信息。

<状态的显示>

在本实施例中，控制装置30可以使用由显示设备20上的相机21捕获的图像数据来通知用户是否检测到用户的手指。可以通过将其呈现给显示设备20或者例如通过产生声音来发出通知。此外，当用户安装触觉感知产生设备时，控制装置30可以例如通过该设备产生触觉感知来来发出通知。

此外，控制装置30可以将基于关于用户手指的运动的信息生成并从操作设备10接收到的第一姿势信息与通过使用由显示设备20上的相机21捕获的图像数据生成的第二姿势信息进行比较，并发出指示第一姿势信息和第二姿势信息是否相互一致的通知。

更具体地，在第一姿势信息和第二姿势信息例如是指示每个手指的打开度的数字值的情况下，可以对数字值进行取整(向上或向下取整)、比较，并检查一致性。

此外，上述描述假设控制装置30生成关于用户手指的姿势的信息。然而，控制装置30可以使用通过在检测方法中使用相互不同的多个检测装置检测到的关于脚的状态(例如，脚踝的角度和脚趾的朝向)的信息(检测信息)和关于用户身体的状态(例如，姿势)的信息(检测信息)，而不是关于用户手指的姿势的信息，生成将通过在预定条件下组合多个获取的信息片段输出的指示脚的状态的信息和指示用户身体的状态的信息，并输出所述生成的信息。

[附图标记列表]

1 信息处理系统，

10 操作设备，

11 夹持部分，

12 操作部分，

14 夹持器，

15 传感器部分，

16 按钮操作部分，

17 手指传感器，

18 按钮，

19 控制电路，

20 显示设备，

21 相机，

30 控制装置，

31 控制部分，

32 存储部分，

33 操作接收部分，

34 显示控制部分，

51 手部图像检测部分，

52 第一姿势信息生成部分，

53 第二姿势信息生成部分，

54 条件判定部分，

55 姿势信息输出部分，

56 图像数据生成处理部分。

Claims (10)

1.一种控制装置，包括：

接收装置，其接收关于用户手指的运动的信息和关于用户手的形状的信息，运动信息是从操作设备上靠近所述用户手指的接近传感器提供的，形状信息是从包括所述用户手的至少一个的并且是由显示设备上的相机捕获的图像提供的；

第一姿势信息生成装置，其根据所述接收到的关于所述用户手指的运动的信息，生成指示所述用户手的姿势的第一姿势信息；

第二姿势信息生成装置，其根据所述接收到的关于所述用户手的形状的信息，生成指示所述用户手的姿势的第二姿势信息；以及

姿势信息输出装置，其根据基于预定条件的标准，对于每个手指，使用生成的第一姿势信息或生成的第二姿势信息，以基于所使用的信息生成和输出指示所述用户手的姿势的信息，

其中对于每个手指，所述姿势信息输出装置选择使用所述第一姿势信息或所述第二姿势信息，当手指在所述图像中不可见时选择使用所述第一姿势信息，当手指在所述图像中可见时选择使用所述第二姿势信息；以及

对于每个手指，所选择的姿势信息指示手指是伸展还是弯曲，以及如果手指是弯曲的，指示弯曲的程度。

2.根据权利要求1所述的控制装置，其中，

所述姿势信息输出装置在所述预定条件下选择第一检测装置检测到的关于所述用户手指的运动的信息或第二检测装置检测到的关于所述用户手的形状的信息，并且生成和输出指示所述用户手的姿势的信息。

3.根据权利要求1或2所述的控制装置，其中，

所述控制装置连接到所述第一检测装置和所述第二检测装置，所述第一检测装置安装在用户的手上并适于获取关于所述用户手指的运动的信息，所述第二检测装置布置在与所述第一检测装置不同的位置并适于检测在预定视野内所述用户手的形状，

所述接收装置不仅从所述第一检测装置接收关于所述用户手指的运动的信息，而且还从所述第二检测装置接收关于所述用户手的形状的信息，并且

所述预定条件包括基于所述用户手指是否包括在所述第二检测装置的视野内的条件。

4.根据权利要求1或2所述的控制装置，其中，

所述预定条件包括与关于所述用户手指的运动的信息和关于所述用户手的形状的信息之间的时域变化有关的条件。

5.根据权利要求1或2所述的控制装置，其中，

指示所述用户手的姿势的所述信息包括指示用户手的朝向、每个用户手指的打开程度和用户拇指的朝向中的至少一个的信息。

6.根据权利要求1或2所述的控制装置，还包括：

生成要呈现给所述用户的图像信息的装置，其中，

显示包含在所述生成的图像信息中的图像的模式基于指示所述用户手的姿势的所述生成的信息而改变。

7.一种信息处理系统，包括：

第一检测装置，其安装在用户的手上并且适于获取关于用户手指的运动的信息，运动信息是从操作设备上靠近所述用户手指的接近传感器提供的；

第二检测装置，其布置在与所述第一检测装置不同的位置并适于检测在预定视野内用户的手的形状，形状信息是从包括所述用户手的至少一个的并且是由显示设备上的相机捕获的图像提供的；以及

控制装置，其连接到所述第一检测装置和所述第二检测装置，并且适于根据由所述第一检测装置检测到的关于所述用户手指的运动的信息生成指示所述用户手的姿势的第一姿势信息，以及根据由所述第二检测装置检测到的关于所述用户手的形状的信息生成指示所述用户手的姿势的第二姿势信息，以及根据基于预定条件的标准，对于每个手指，使用生成的第一姿势信息或生成的第二姿势信息，以基于所使用的信息生成和输出指示所述用户手的姿势的信息，

其中对于每个手指，所述控制装置选择使用所述第一姿势信息或所述第二姿势信息，当手指在所述图像中不可见时选择使用所述第一姿势信息，当手指在所述图像中可见时选择使用所述第二姿势信息；以及

对于每个手指，所选择的姿势信息指示手指是伸展还是弯曲，以及如果手指是弯曲的，指示弯曲的程度。

8. 根据权利要求7所述的信息处理系统，其中，

所述第一检测装置还检测关于用户手相对于重力方向的角度的信息，并且

所述控制装置根据由所述第一检测装置检测到的信息和由所述第二检测装置检测到的信息生成和输出关于用户手的位置的信息。

9.一种控制装置的控制方法，其使用计算机以执行步骤：

由接收装置接收关于用户手指的运动的信息和关于用户手的形状的信息，运动信息是从操作设备上靠近所述用户手指的接近传感器提供的，形状信息是从包括所述用户手的至少一个的并且是由显示设备上的相机捕获的图像提供的；

由第一姿势信息生成装置根据所述接收到的关于所述用户手指的运动的信息生成指示所述用户手的姿势的第一姿势信息；

由第二姿势信息生成装置根据所述接收到的关于所述用户手的形状的信息生成指示所述用户手的姿势的第二姿势信息；以及

由姿势信息输出装置根据基于预定条件的标准，对于每个手指，使用生成的第一姿势信息或生成的第二姿势信息，以基于所使用的信息生成和输出指示所述用户手的姿势的信息，

其中对于每个手指，所述姿势信息输出装置选择使用所述第一姿势信息或所述第二姿势信息，当手指在所述图像中不可见时选择使用所述第一姿势信息，当手指在所述图像中可见时选择使用所述第二姿势信息；以及

对于每个手指，所选择的姿势信息指示手指是伸展还是弯曲，以及如果手指是弯曲的，指示弯曲的程度。

10.一种程序，使计算机用作：

接收装置，其接收关于用户手指的运动的信息和关于用户手的形状的信息，运动信息是从操作设备上靠近所述用户手指的接近传感器提供的，形状信息是从包括所述用户手的至少一个的并且是由显示设备上的相机捕获的图像提供的；

第一姿势信息生成装置，其根据所述接收到的关于所述用户手指的运动的信息生成指示所述用户手的姿势的第一姿势信息；

第二姿势信息生成装置，其根据所述接收到的关于所述用户手的形状的信息生成指示所述用户手的姿势的第二姿势信息；以及

姿势信息输出装置，其根据基于预定条件的标准，对于每个手指，使用生成的第一姿势信息或生成的第二姿势信息，以基于所使用的信息生成和输出指示所述用户手的姿势的信息，

其中对于每个手指，所述姿势信息输出装置选择使用所述第一姿势信息或所述第二姿势信息，当手指在所述图像中不可见时选择使用所述第一姿势信息，当手指在所述图像中可见时选择使用所述第二姿势信息；以及

对于每个手指，所选择的姿势信息指示手指是伸展还是弯曲，以及如果手指是弯曲的，指示弯曲的程度。

Images