CN113642488B - 物品定位方法和装置 - Google Patents

Abstract

提供了一种物品定位方法和装置。所述物品定位方法包括：识别用户的当前手势；当用户的当前手势被识别为拾取手势并且用户的拾取手中存在物品时，识别所述物品；在识别出所述物品之后，当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，确定所述物品的位置。

Description

物品定位方法和装置

技术领域

本申请涉及手势识别领域，更具体地，涉及一种物品定位方法和装置。

背景技术

在日常生活中，用户找寻物品需要花费一些时间，其中，电子类物品可以较容易地定位并且将位置信息数字化、系统化，但是非电子类物品很难直接定位并记录位置信息。目前，针对非电子类物品定位技术通常通过引导用户手动输入和更新位置信息或者通过在物品上添加电子元件来辅助实现物品位置的数字化。

然而，通过用户手动输入记录位置不够智能且无法在物品频繁变换位置时实时更新，而通过在物品上附加电子元件实时记录位置信息需要用户前期对物品进行较为繁琐的处理且限制了可以记录的物品数量。因此，目前的这些物品定位技术难以满足自然交互的需要。

发明内容

根据本发明的示例性实施例，提供了一种物品定位方法，包括：识别用户的当前手势；当用户的当前手势被识别为拾取手势并且用户的拾取手中存在物品时，识别所述物品；在识别出所述物品之后，当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，确定所述物品的位置。

识别用户的当前手势的步骤可包括：预先确定不同手势与无线保真(WIFI)信号数据之间的映射关系；基于当前WIFI信号波形数据来识别用户的当前手势。

所述物品定位方法还可包括：在用户的当前手势被识别为拾取手势或释放手势之后，获取用户的拾取手的图像；基于用户的拾取手的图像来确定用户的拾取手中是否存在所述物品。

识别所述物品的步骤可包括：基于所述图像来识别所述物品的信息。

所述物品的位置可基于超宽带(UWB)定位和接收信号强度(RSS)定位中的至少一个而被确定。

所述物品定位方法还可包括：响应于用户请求，向用户指示所述物品的位置。

所述物品可以为非电子类物品。

根据本发明的示例性实施例，提供了一种物品定位装置，包括：手势识别单元，被配置为识别用户的当前手势；物品识别单元，被配置为当用户的当前手势被识别为拾取手势并且用户的拾取手中存在物品时，识别所述物品；定位单元，被配置为在识别出所述物品之后，当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，确定所述物品的位置。

手势识别单元还可被配置为进行以下操作：预先确定不同手势与无线保真WIFI信号波形数据之间的映射关系；基于当前WIFI信号波形数据来识别用户的当前手势。

物品识别单元还可被配置为进行以下操作：在用户的当前手势被识别为拾取手势或释放手势之后，获取用户的拾取手的图像；基于用户的拾取手的图像来确定用户的拾取手中是否存在所述物品。

物品识别单元还可被配置为基于所述图像来识别所述物品的信息。

所述物品的位置可基于UWB定位和RSS定位中的至少一个而被确定。

所述物品定位装置还可包括：指示单元，被配置为响应于用户请求，向用户指示所述物品的位置。

所述物品可以为非电子类物品。

根据本发明的示例性实施例，提供了一种电子设备，包括存储器和处理器，存储器上存储有计算机可执行指令，当所述指令由处理器执行时，执行前述的方法。

根据本发明的示例性实施例，提供了一种计算机可读介质，其上存储有计算机可执行指令，当执行所述指令时，执行前述的方法。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的和特点将会变得更加清楚，其中：

图1是示出根据本发明示例性实施例的物品定位方法的流程图；

图2是示出根据本发明示例性实施例的WIFI手势识别的示意图；

图3是示出根据本发明示例性实施例的WIFI手势识别方法的示意图；

图4是示出根据本发明示例性实施例的UWB定位的示意图；

图5是示出根据本发明示例性实施例的RSS定位的示意图；

图6是示出根据本发明示例性实施例的确定物品的描述信息的示意图；

图7是示出根据本发明示例性实施例的物品定位的示意图；

图8是示出根据本发明另一示例性实施例的物品定位的示意图；

图9是示出根据本发明示例性实施例的物品定位装置的框图。

具体实施方式

现将详细参照本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指示相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图1是示出根据本发明示例性实施例的物品定位方法的示图。

参照图1，在步骤S110，可识别用户的当前手势。这里，仅作为示例而非限制，可通过WIFI信号波形数据分析用户动作，在不干预用户行为的前提下触发对目标物品的识别、记录和定位。基于WIFI信号波形数据的手势识别原理是不同的动作对WIFI信号波形数据造成影响。

图2是示出根据本发明示例性实施例的WIFI手势识别的示意图。如图2所示，可以将WIFI信号波形数据的变化与不同手势建立映射关系，根据WIFI信号波形数据中的信道状态信息(CSI)判断当前手势，并且可随后由相机的辅助下确认。因此，识别用户的当前手势的步骤可包括：预先确定不同手势与WIFI信号波形数据之间的映射关系；基于当前WIFI信号波形数据来识别用户的当前手势。这里，基于WIFI的手势识别可提前收集目标手势以及其他情况下的WIFI信号波形数据，提取WIFI信号波形数据特征并通过神经网络进行训练，然后利用训练好的神经网络对手势进行识别。

图3是示出根据本发明示例性实施例的WIFI手势识别方法的示意图。如图3所示，根据本发明示例性实施例的WIFI手势识别方法可包括：1.数据收集：在诸如房间内的不同位置收集各种手势(诸如，拾取手势、释放手势)以及无手势情况下的WIFI信号波形数据；2.数据去噪，对WIFI信号波形数据进行主成分分析，获取噪声最低的数据成分；3.特征提取，对数据进行时频分析，获取WIFI信号波形数据的时域和频域特征；4.模型训练，使用获取的WIFI信号波形数据的时域和频域特征通过诸如机器学习或者深度学习来训练神经网络；5.手势识别，利用训练好的神经网络，通过当前WIFI信号波形数据的时域和频域特征来获取当前手势。应注意，通过WIFI信号波形数据来识别用户的当前手势仅为实力而非限制，本领域技术人员完全可以采用其他的方法来识别用户的当前手势，诸如，相机图像手势识别、超声波探测手势识别等。

在步骤S120，当用户的当前手势被识别为拾取手势并且用户的拾取手中存在物品时，可识别所述物品。此外，当用户的当前手势被识别为非拾取手势的其他手势时，继续进行手势检测。这里，该步骤可进一步包括：在用户的当前手势被识别为拾取手势(或下面的步骤S130中的释放手势)之后，获取用户的拾取手的图像；基于用户的拾取手的图像来确定用户的拾取手中是否存在所述物品。这里，可将用户的当前手势被识别为拾取手势并且用户的拾取手中存在物品的情况判定为一次有效的拾取动作，并可将用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品的情况判定为一次有效的释放动作。此外，识别所述物品的步骤可包括基于所述图像来识别所述物品的信息，诸如名称、位置描述信息等。这里，物品识别和位置描述信息生成可以通过诸如深度神经网络来进行并且可以达到实时计算，并且可预先进行深度神经网络的物品识别训练。此外，这里的物品可以而不限于为非电子类物品。

在步骤S130，在识别出所述物品之后，当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，可确定所述物品的位置。此外，当用户的当前手势被识别为非释放手势的其他手势时，继续进行手势检测。此外，可响应于用户请求向用户指示所述物品的位置，诸如，可通过语音、图形界面等向用户指示所述物品的位置。这里，仅作为示例而非限制，所述物品的位置可基于UWB定位和RSS定位中的至少一个而被确定。

图4是示出根据本发明示例性实施例的UWB定位的示意图。如图4的(a)所示，当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，可通过用户佩戴或持有的电子设备(诸如，移动电话、电子手表等)发送UWB信号，并通过其他配置有UWB芯片的电子设备作为UWB基站接收用户的电子设备发送的UWB信号以对用户的电子设备进行定位，随后根据电子设备预设的与手部的距离，将该定位位置加上对应的与手部的距离作为释放的物品的位置。更具体地，如图4的(b)所示，可首先对UWB基站进行时间同步，随后当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，可由用户佩戴或持有的电子设备发送UWB信号，随后UWB基站接收该UWB信号对用户的电子设备进行定位并将位置信息和接收的该UWB信号的信息发送到服务器，最后由服务器计算释放的物品的位置。这里，服务器进行的操作可同样由其他装置进行，诸如可由用户的电子设备或UWB基站进行。

图5是示出根据本发明示例性实施例的RSS定位的示意图。可基于附近的多个WIFI或蓝牙设备的RSS来计算用户的电子设备距WIFI或蓝牙设备的距离。如图5的(a)所示，利用RSS来进行定位主要有两种方法，即，三角定位算法和指纹算法。在三角定位算法中，可通过三个WIFI/蓝牙设备来对用户的电子设备进行定位，在指纹算法中，可预先确定位置与各个RSS的对应关系作为位置指纹库，并随后基于当前的各个RSS通过位置指纹库来确定用户的电子设备的位置。更具体地，如图5的(b)所示，可在用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，获取每个WIFI/蓝牙设备的RSS，并可分别通过三角定位算法或指纹算法来确定用户的电子设备的位置，并进而根据电子设备预设的与手部的距离来确定释放的物品的位置。

此外，还可在用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，基于用户的拾取手的图像来确定所述物品的信息，诸如位置描述信息等。图6是示出根据本发明示例性实施例的确定物品的描述信息的示意图。可基于用户的拾取手的图像通过诸如深度神经网络来确定图像中的目标物品，并确定与所述目标物品重合度最高的物体作为目标位置，并基于目标物品和目标位置来产生描述信息，诸如如图6所示的“[钥匙]在[桌子]上”。

图7是示出根据本发明示例性实施例的物品定位的示意图。

参照图7，针对指定的使用场景，可实时识别场景中用户的手势，在识别出用户与物品的行为交互(即，用户的当前手势被识别为拾取手势并且用户的拾取手中存在物品)时，获取物品的信息，并在用户的行为交互结束(即，用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品)时，记录物品的位置。更具体地，如图7的(a)所示，识别出用户的当前手势为拾取手势并且用户的拾取手中存在物品。如图7的(b)所示，通过相机识别用户的拾取手中的物品，并持续识别用户的手势。如图7的(c)所示，当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时确定所述物品的位置。如图7的(d)所示，响应于用户请求，向用户指示所述物品的位置。

图8是示出根据本发明另一示例性实施例的物品定位的示意图。

参照图8，针对指定的预定物品，在识别出所述预定物品时即开始持续的追踪所述预定物品的位置在空间中的变化，此时用户的行为交互集中表现在物品最终位置确认的时机。更具体地，如图8的(a)所示，识别出用户与所述预定物品存在行为交互(即，用户的当前手势被识别为拾取手势并且用户的拾取手中存在所述预定物品)。如图8的(b)所示，当用户的当前手势被识别为释放手势时，通过相机识别用户的拾取手中不存在所述预定物品。如图8的(c)所示，确定所述预定物品的位置。如图8的(d)所示，响应于用户请求，向用户指示所述预定物品的位置。

图9是示出根据本发明示例性实施例的物品定位装置的框图。

参照图9，根据本发明示例性实施例的物品定位装置900可包括手势识别单元910、物品识别单元920和定位单元930。

手势识别单元910可被配置为识别用户的当前手势。更具体地，手势识别单元910还可预先确定不同手势与无线保真WIFI信号波形数据之间的映射关系，并基于当前WIFI信号波形数据来识别用户的当前手势。

物品识别单元920可被配置为当用户的当前手势被识别为拾取手势并且用户的拾取手中存在物品时，识别所述物品。更具体地，物品识别单元920可基于所述图像来识别所述物品的信息。此外，物品识别单元920还可在用户的当前手势被识别为拾取手势或释放手势之后，获取用户的拾取手的图像，基于用户的拾取手的图像来确定用户的拾取手中是否存在所述物品。这里，所述物品可以为非电子类物品。

定位单元930可被配置为在识别出所述物品之后，当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，确定所述物品的位置。这里，所述物品的位置可基于超宽带UWB定位和接收信号强度RSS定位中的至少一个而被确定。

此外，根据本发明示例性实施例的物品定位装置900还可包括：指示单元，可被配置为响应于用户请求，向用户指示所述物品的位置。

此外，根据本发明的示例性实施例，还可提供一种电子设备，包括存储器和处理器，存储器上存储有计算机可执行指令，当所述指令由处理器执行时，执行前述的方法。根据本发明的示例性实施例，还可提供一种计算机可读介质，其上存储有计算机可执行指令，当执行所述指令时，执行前述的方法。

根据本发明的示例性实施例，可在家庭空间中使用已有的设备在不干预用户行为的前提下识别用户手势作为触发，根据多设备之间的位置信息交换定位移动设备的位置并计算常用物品(特别是非电子类物品)在空间中的具体位置信息，精准定位物品位置，从而可在用户需要时向用户指示物品的位置以辅助用户快速寻找到物品，并可准确高效的记录物品的位置，保证了系统工作的可靠性。

Claims (14)

1.一种物品定位方法，包括：

识别用户的当前手势；

当用户的当前手势被识别为拾取手势并且用户的拾取手中存在物品时，识别所述物品；

在识别出所述物品之后，当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，确定所述物品的位置，

其中，识别用户的当前手势的步骤包括：

在房间内的不同位置收集各种手势以及无手势情况下的无线保真WIFI信号波形数据；

对WIFI信号波形数据进行主成分分析，获取噪声最低的数据成分；

对噪声最低的数据成分进行时频分析，获取WIFI信号波形数据的时域和频域特征；

使用获取的WIFI信号波形数据的时域和频域特征来训练神经网络；以及

利用训练好的神经网络，通过当前WIFI信号波形数据的时域和频域特征来获取当前手势。

2.如权利要求1所述的物品定位方法，还包括：

在用户的当前手势被识别为拾取手势或释放手势之后，获取用户的拾取手的图像；

基于用户的拾取手的图像来确定用户的拾取手中是否存在所述物品。

3.如权利要求2所述的物品定位方法，其中，识别所述物品的步骤包括：

基于所述图像来识别所述物品的信息。

4.如权利要求1所述的物品定位方法，其中，所述物品的位置基于超宽带UWB定位和接收信号强度RSS定位中的至少一个而被确定。

5.如权利要求1所述的物品定位方法，还包括：

响应于用户请求，向用户指示所述物品的位置。

6.如权利要求1～5之一所述的物品定位方法，其中，所述物品为非电子类物品。

7.一种物品定位装置，包括：

手势识别单元，被配置为识别用户的当前手势；

物品识别单元，被配置为当用户的当前手势被识别为拾取手势并且用户的拾取手中存在物品时，识别所述物品；

定位单元，被配置为在识别出所述物品之后，当用户的当前手势被识别为释放手势并且用户的拾取手中不存在所述物品时，确定所述物品的位置，

其中，手势识别单元还被配置为进行以下操作：

在房间内的不同位置收集各种手势以及无手势情况下的无线保真WIFI信号波形数据；

对WIFI信号波形数据进行主成分分析，获取噪声最低的数据成分；

对噪声最低的数据成分进行时频分析，获取WIFI信号波形数据的时域和频域特征；

使用获取的WIFI信号波形数据的时域和频域特征来训练神经网络；以及

利用训练好的神经网络，通过当前WIFI信号波形数据的时域和频域特征来获取当前手势。

8.如权利要求7所述的物品定位装置，其中，物品识别单元还被配置为进行以下操作：

在用户的当前手势被识别为拾取手势或释放手势之后，获取用户的拾取手的图像；

基于用户的拾取手的图像来确定用户的拾取手中是否存在所述物品。

9.如权利要求8所述的物品定位装置，其中，物品识别单元还被配置为基于所述图像来识别所述物品的信息。

10.如权利要求7所述的物品定位装置，其中，所述物品的位置基于超宽带UWB定位和接收信号强度RSS定位中的至少一个而被确定。

11.如权利要求7所述的物品定位装置，还包括：

指示单元，被配置为响应于用户请求，向用户指示所述物品的位置。

12.如权利要求7所述的物品定位装置，其中，所述物品为非电子类物品。

13.一种电子设备，包括存储器和处理器，存储器上存储有计算机可执行指令，当所述指令由处理器执行时，执行前述权利要求1～6中任一项所述的方法。

14.一种计算机可读介质，其上存储有计算机可执行指令，当执行所述指令时，执行前述权利要求1～6中任一项所述的方法。