CN111984347B - 交互处理方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供一种交互处理方法、装置、设备及存储介质，本实施例通过在终端设备上设置包含动态视觉传感器摄像模组，获取所述摄像模组采集的DVS图像数据，并从DVS图像数据中识别出用于指示终端设备执行操作的目标对象，响应于与目标对象对应的操作指令，控制终端设备执行与该操作指令相匹配的操作，从而实现无需触摸和语音输入的情况下，也能与终端设备进行交互，产生的数据量少、且响应速度快。

Description

交互处理方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及交互处理方法、装置、设备及存储介质。

背景技术

随着科技的快速发展，各种电子设备不断涌现，例如个人计算机、平板电脑、智能手机等等。拥有自然交互方式的电子设备也受到越来越多人的青睐。因此，智能设备和使用者之间的交互就成为各大智能终端厂商的研发重点，出现了多种多样的在智能终端上实现与使用者操作交互的技术方案。然而，现有技术中大部分都是基于触摸或者语音进行人机交互，用户使用体验没有很大改变，在不方便进行触摸控制或语音控制等特殊情况下，用户无法对电子设备进行操作。

发明内容

为克服相关技术中存在的问题，本公开提供了交互处理方法、装置、设备及存储介质。

根据本公开实施例的第一方面，提供一种交互处理方法，所述方法应用于终端设备，所述终端设备设置有包括动态视觉传感器DVS的摄像模组，所述方法包括：

获取所述摄像模组采集的DVS图像数据；

从所述DVS图像数据中识别出用于指示终端设备执行操作的目标对象；

响应于与所述目标对象对应的操作指令，控制终端设备执行与所述操作指令相匹配的操作。

在一个实施例中，终端设备执行的操作至少包括点亮屏幕，所述获取所述摄像模组采集的DVS图像数据，包括：在终端设备的屏幕处于息屏状态时，获取所述摄像模组采集的DVS图像数据。

在一个实施例中，所述摄像模组配置有低分辨率模式、以及至少一个其他分辨率模式，所述摄像模组在低分辨率模式下处于工作状态的像素单元个数，少于所述摄像模组在其他分辨率模式下处于工作状态的像素单元个数，不同模式在预设模式切换条件满足时切换。

在一个实施例中，所述摄像模组以低分辨率模式处于常开状态，或者在终端设备的屏幕处于息屏状态时，所述摄像模组处于低分辨率模式。

在一个实施例中，所述预设模式切换条件包括以下任一种条件：

依据所述摄像模组在当前模式下采集到的DVS图像数据判定当前环境光的变化满足预设变化条件；

依据所述摄像模组在当前模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内存在待识别对象。

在一个实施例中，所述其他分辨率模式包括高分辨率模式，所述获取所述摄像模组采集的DVS图像数据，包括：获取所述摄像模组在高分辨率模式下采集的DVS图像数据；

所述方法还包括：

获取所述摄像模组在低分辨率模式下采集的低分辨率DVS图像数据；

在依据低分辨率DVS图像数据判定当前环境光的变化满足预设变化条件时，控制所述摄像模组从低分辨率模式切换至高分辨率模式。

在一个实施例中，所述其他分辨率模式包括中分辨率模式和高分辨率模式，所述获取所述摄像模组采集的DVS图像数据，包括：获取所述摄像模组在高分辨率模式下采集的DVS图像数据；

所述方法还包括：

获取所述摄像模组在低分辨率模式下采集的低分辨率DVS图像数据；

在依据低分辨率DVS图像数据判定当前环境光的变化满足预设变化条件时，控制所述摄像模组从低分辨率模式切换至中分辨率模式；

获取所述摄像模组在中分辨率模式下采集的中分辨率DVS图像数据；

在依据所述摄像模组在中分辨率模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内存在待识别对象时，控制所述摄像模组从中分辨率模式切换至高分辨率模式。

在一个实施例中，所述目标对象包括指定手势、指定人脸、和/或指定身体姿势。

在一个实施例中，预配置有目标对象与操作指令的映射关系，与操作指令相匹配的操作包括以下一种或多种：

在屏幕息屏状态下触发的解锁屏幕；

在屏幕息屏状态下触发的启动手电筒；

在屏幕息屏状态下触发的启动指定应用程序；

在屏幕息屏状态下触发的展示指定应用程序的指定页面；

在屏幕息屏状态下触发的展示指定应用程序的新消息；

在屏幕息屏状态下接听拨号方的电话。

根据本公开实施例的第二方面，提供一种交互处理装置，所述装置设于终端设备，所述终端设备设置有包括动态视觉传感器DVS的摄像模组，所述装置包括：

数据获取模块，用于获取所述摄像模组采集的DVS图像数据；

对象识别模块，用于从所述DVS图像数据中识别出用于指示终端设备执行操作的目标对象；

操作控制模块，用于响应于与所述目标对象对应的操作指令，控制终端设备执行与所述操作指令相匹配的操作。

在一个实施例中，终端设备执行的操作至少包括点亮屏幕，所述获取所述摄像模组采集的DVS图像数据，包括：在终端设备的屏幕处于息屏状态时，获取所述摄像模组采集的DVS图像数据。

在一个实施例中，所述摄像模组配置有低分辨率模式、以及至少一个其他分辨率模式，所述摄像模组在低分辨率模式下处于工作状态的像素单元个数，少于所述摄像模组在其他分辨率模式下处于工作状态的像素单元个数，不同模式在预设模式切换条件满足时切换。

在一个实施例中，所述预设模式切换条件包括以下任一种条件：

依据所述摄像模组在当前模式下采集到的DVS图像数据判定当前环境光的变化满足预设变化条件；

依据所述摄像模组在当前模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内存在待识别对象。

根据本公开实施例的第三方面，提供一种计算机设备，包括基于动态视觉传感器DVS的摄像模组、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上任一项所述方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

本实施例通过在终端设备上设置包含动态视觉传感器摄像模组，获取该摄像模组采集的DVS图像数据，并从DVS图像数据中识别出用于指示终端设备执行操作的目标对象，响应于与目标对象对应的操作指令，控制终端设备执行与该操作指令相匹配的操作，从而实现无需触摸和语音输入的情况下，也能与终端设备进行交互，且由于DVS图像数据仅包括亮度发生变化的像素单元的数据，因此，数据量低、且响应速度快。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种交互处理方法的流程图。

图2是本公开根据一示例性实施例示出的一种摄像模组设置位置示意图。

图3是本公开根据一示例性实施例示出的几种手势示意图。

图4是本公开根据一示例性实施例示出的另一种交互处理方法的流程图。

图5是本公开根据一示例性实施例示出的另一种交互处理方法的流程图。

图6是本公开根据一示例性实施例示出的一种交互处理装置的框图。

图7是本公开根据一示例性实施例示出的另一种交互处理装置的框图。

图8是本公开根据一示例性实施例示出的另一种交互处理装置的框图。

图9是本公开根据一示例性实施例示出的一种交互处理装置所在计算机设备的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

随着智能终端的广泛使用，越来越多的人离不开手机等终端设备。终端设备和使用者之间的交互就成为各大终端厂商的研发重点，出现了多种多样的在终端设备上实现与使用者操作交互的技术方案。例如，触摸屏幕上的人机交互方案，基于语音的人机交互方案等。在某些不方便进行触摸控制或语音控制等特殊情况下，用户无法对电子设备进行操作，影响用户体验。

鉴于此，本申请实施例提供一种交互方案，通过在终端设备上设置包含动态视觉传感器摄像模组，获取该摄像模组采集的DVS图像数据，并从DVS图像数据中识别出用于指示终端设备执行操作的目标对象，响应于与目标对象对应的操作指令，控制终端设备执行与该操作指令相匹配的操作，从而实现无需触摸和语音输入的情况下，也能与终端设备进行交互，且由于DVS图像数据包括检测到光强发生变化的像素单元的数据，因此，数据量低、且响应速度快。

本实施例提供的交互处理方法可以通过软件执行，也可以通过软件和硬件相结合或者硬件执行的方式实现，所涉及的硬件可以由两个或多个物理实体构成，也可以由一个物理实体构成。本实施例方法可以应用于具有所述摄像模组的电子设备。其中，电子设备可以是智能手机、智能学习机、平板电脑、笔记本电脑、PDA(Personal Digital Assistant，个人数字助理)等便携式设备，也可以是台式电脑等固定设备，还可以是智能手环、智能项链等可穿戴设备。

动态视觉传感器(Dynamic Vision Sensor，DVS)，也可以称为动态事件传感器，是一种模拟基于脉冲触发式神经元的人类视网膜的生物拟态视觉传感器。传感器内部具有由多个像素单元构成的像素单元阵列，其中每个像素单元只有在感应到光强变化时，才会响应并记录光强快速变化的区域。关于动态视觉传感器的具体组成此处不做过多阐述。DVS可以采用事件触发的处理机制，输出异步的事件数据流，事件数据流，例如，可以是光强变化信息(如，光强变化的时间戳和光强值)以及被触发像素单元的坐标位置。DVS的响应速度不再受传统的曝光时间和帧率限制，可以侦测到高达万帧/秒速率运动的高速物体；DVS具有更大的动态范围，在低光照或者高曝光环境下都能准确感应并输出场景变化；DVS功耗更低；由于DVS每个像素单元都是独立响应光强变化，因此DVS不会受运动模糊的影响。

摄像模组除了包括动态视觉传感器，还可以包括镜头、镜座、滤镜、电容、电阻等部件，以构成能采集图像数据的模组即可，在此不做限制。

在一个实施例中，以智能手机为例进行示例说明，本公开实施例的执行主体可以是智能手机，也可以是安装在智能手机中的系统服务。需要说明的是，所述智能手机只是本公开实施例所提供的其中一种应用示例，不应理解为本公开实施例所提供的技术方案只能应用于智能手机的场景下。

接下来结合附图对本公开实施例进行示例说明。

如图1所示，图1是本公开根据一示例性实施例示出的一种交互处理方法的流程图，包括以下步骤：

在步骤102中，获取摄像模组采集的DVS图像数据；

在步骤104中，从所述DVS图像数据中识别出用于指示终端设备执行操作的目标对象；

在步骤106中，响应于与所述目标对象对应的操作指令，控制终端设备执行与所述操作指令相匹配的操作。

该方法可以用于终端设备中，终端设备设置有包括动态视觉传感器DVS的摄像模组。所述摄像模组可以设置在终端设备的外表面部，以采集终端设备所处环境的图像数据。如设置在终端设备的正面或背面。在一个实施例中，摄像模组设置在终端设备的摄像头的周围区域。例如，摄像模组可以设置在前置摄像头的周围区域，或，摄像模组也可以设置在后置摄像头的周围区域。如图2所示，图2是本公开根据一示例性实施例示出的一种摄像模组设置位置示意图。该图以终端设备为智能手机为例，在智能手机前置摄像头的右侧设置有包括动态视觉传感器DVS的摄像模组。

视觉传感器采集场景中的事件数据，在场景发生变化时可以输出事件。例如，当场景中没有物体相对于终端设备运动时，动态视觉传感器中像素单元检测到的光强不会发生变化，当检测到场景中的某个物体相对于终端设备发生运动，会导致光线发生变化，因而触发像素事件，输出检测到光强发生变化的像素单元的事件数据流，该事件数据流中每个事件数据可以包括检测到亮度发生变化的像素单元的坐标位置和被触发时刻的时间戳信息。DVS图像数据可以由同一时间戳信息对应的事件数据构成。由于在动态视觉传感器中，对于单个像素点，只有接受光强度发生改变时，才会有事件(脉冲)信号输出。比如说亮度增加超过一个阈值，那么将增加一个该像素点亮度增加的事件。因此，DVS图像数据可以是部分图像数据，针对没有检测到光强度发生变化的像素单元没有事件数据。

在获得所述摄像模组采集的DVS图像数据后，可以从DVS图像数据中识别出用于指示终端设备执行操作的目标对象。

关于目标对象，目标对象是用于指示终端设备执行操作的对象。根据终端设备所需执行的操作，配置不同种类的目标对象。在一个示例中，终端设备执行的操作是身份验证成功后执行的操作，例如，解锁、支付、登录等操作。相应的，目标对象可以是用于进行身份验证的对象。例如，通过人脸识别进行身份验证的场景中，目标对象可以是指定人脸；又如，通过手势识别进行身份验证的场景中，目标对象可以是指定手势等。

在另一个示例中，终端设备执行的操作是某指定操作，例如，点亮屏幕，打开系统收藏夹，进入指定应用程序的指定页面，展示指定应用程序的新消息，锁屏状态下接听来电电话等操作。相应的，目标对象可以是与指定操作映射的对象。示例的，可以是指定部位的姿势。例如，指定手势或指定身体姿势等。指定手势可以是用手比划所确定的姿势。例如，可以是“六”手势、比心手势、“2”手势(也称为耶手势)、ok手势、点赞手势、手掌打开手势等，还可以是比划其他数字的手势。如图3所示，图3是本公开根据一示例性实施例示出的几种手势示意图。可以理解的是，该示意图仅示例出几种手势，实际上还可以是其他手势，例如，比划1、3、4等手势。每种手势还可以有多种变形，只要能表达相应手势含义即可，在此不做限制。指定身体姿势可以是举手姿势、叉腰姿势等。

在一个示例中，可以预先配置目标对象与操作指令的映射关系。操作指令可以是指示终端设备执行操作的指令。在一个例子中，目标对象与操作指令间可以是一一映射关系，以实现每个目标对象触发设备执行一种操作。在另一个例子中，目标对象与操作指令间也可以是多对一的映射关系，以实现多个目标对象触发设备执行一种操作。以手势为例，可以是连续多个手势对应一种操作指令。如，连续比划“3、2、1”三个手势，触发终端设备点亮屏幕，并解锁屏幕。

目标对象与操作指令的映射关系，可以是系统预先配置的，也可以是用户设置的。例如，提供映射关系设置服务，以供用户创建目标对象与操作指令的映射关系。

而关于如何从DVS图像数据中识别出目标对象，在一个示例中，可以利用机器学习的方式学习获得能识别目标对象的模型，在模型应用阶段，利用学习获得的模型从DVS图像数据中识别出目标对象。示例的，可以采用有监督学习的方式利用预设的训练样本进行模型训练，获得深度学习网络模型。训练样本可以是带标签的样本图像，标签可以指示出目标对象的位置以及类别。样本图像可以包括DVS图像数据，也可以包括传统的image sensor采集的图像。针对每种目标对象，可以包括不同拍摄角度、和/或不同变形条件下的样本图像，以便提高模型的识别率。示例的，可以利用图像信号处理(Image Signal Processing，ISP)单元进行图像处理。

应当理解的是，上述目标对象的识别方法仅为举例，而不应被理解为对本公开的任何限制，其他现有的或将来的识别目标对象的方法均可以适用本公开，均应包括在本公开的保护范围内。

关于终端设备执行的操作，可以是身份验证成功后的操作，也可以是预先指定的操作。例如，与操作指令相匹配的操作包括以下一种或多种：

点亮屏幕；

解锁屏幕；

启动手电筒；

启动指定应用；

展示指定应用的指定页面；

展示指定应用的新消息；

接听拨号方的电话。

其中，点亮屏幕，可以是控制屏幕从息屏状态切换至亮屏状态，息屏状态，可以是屏幕处于黑屏的状态。亮屏状态，可以是屏幕被点亮后所处的状态。

为了保证个人信息的安全性，用户往往会对终端设备进行锁屏处理，锁屏后需要通过诸如输入密码等解锁方式才能查看终端设备内容。本实施例可以通过识别出目标对象的方式实现自动解锁。

指定应用程序，可以是终端设备中已安装的应用程序，例如，可以是系统应用，也可以是第三方应用。例如，指定应用程序可以是系统收藏夹/照片应用。启动指定应用程序后，可以展示指定应用程序的首页/默认页。示例的，通过比心手势打开系统收藏夹，以查看系统收藏夹中的内容。

指定应用程序的指定页面，可以是用户期望快速查看到的页面，例如，可以是支付程序的支付页面。支付页面可以是包括付款码的页面。该指定应用程序可以是已经启动的应用程序，也可以是未启动的应用程序。针对已经启动的应用程序，可以是前台运行的应用程序，也可以是后台运行的应用程序。示例的，通过耶的手势打开支付程序的支付页面。

指定应用程序的新消息，可以是所有未读消息，也可以是接收时间最近的未读消息等，可以根据需求设置。该指定应用程序可以是已经启动的应用程序，也可以是未启动的应用程序。针对已经启动的应用程序，可以是前台运行的应用程序，也可以是后台运行的应用程序。示例的，可以通过OK手势打开微信新消息或未读短信。

关于接听拨号方的电话，目前，在接收到拨号方的拨号请求时，可以通过触摸接听按钮，以实现接听拨号方的电话，而本实施例通过识别目标对象的方式实现自动接通电话。

示例的，不管终端设备当前处于何种状态，在识别到目标对象后，可以触发终端设备执行与操作指令相匹配的操作。例如，终端设备当前处于息屏状态，可以从息屏状态开始完成与操作指令相匹配的操作。该实施例从息屏状态直接跳转执行相应操作，可以提高交互效率，给用户带来新的体验。又如，终端设备当前处于亮屏状态，可以从亮屏状态开始完成与操作指令相匹配的操作。

作为其中一种实施例，与操作指令相匹配的操作可以是从息屏状态开始触发的操作。例如，与操作指令相匹配的操作包括以下一种或多种：

在屏幕息屏状态下触发的解锁屏幕；

在屏幕息屏状态下触发的启动手电筒；

在屏幕息屏状态下触发的启动指定应用程序；

在屏幕息屏状态下触发的展示指定应用程序的指定页面；

在屏幕息屏状态下触发的展示指定应用程序的新消息；

在屏幕息屏状态下接听拨号方的电话。

可见，通过该实施例可以实现在黑屏时检测到目标对象而触发屏幕解锁、启动手电筒、启动指定应用程序、展示指定应用程序的指定页面、展示指定应用程序的新消息或接听拨号方的电话等操作，提高操作效率。

另外，上述示例的各操作可以进行组合，示例的，依据终端设备当前所处状态进行组合，例如，终端设备当前处于亮屏状态，则为了展示指定应用程序的指定页面，则可以先点亮屏幕、解锁屏幕，再展示指定应用程序的指定页面。若指定应用程序没有启动，则展示指定页面前，还可以先启动指定应用程序。可见，以上实施方式中的各种操作可以任意进行组合，只要特征之间的组合不存在冲突或矛盾即可。为了达到最终目的，可能还需要执行一些其他操作，在此省略，但应当理解的是，为了达到最终目标，中间不可缺少的操作也囊括在操作指令相匹配的操作中。另外，终端设备执行的操作包括但不限于上述操作，还可以是其他操作，在此不一一列举。

由上述实施例可见，本实施例通过在终端设备上设置包含动态视觉传感器的摄像模组，获取摄像模组采集的DVS图像数据，并从DVS图像数据中识别出用于指示终端设备执行操作的目标对象，响应于与目标对象对应的操作指令，控制终端设备执行与该操作指令相匹配的操作，从而实现无需触摸和语音输入的情况下，也能与终端设备进行交互，且存储数据量低、响应速度快。

以终端设备执行的操作至少包括点亮屏幕为例进行示例说明，如图4所示，图4是本公开根据一示例性实施例示出的另一种交互处理方法的流程图，该方法可以用于终端设备中，所述终端设备设置有包括动态视觉传感器DVS的摄像模组，包括以下步骤：

在步骤402中，在终端设备的屏幕处于息屏状态时，获取摄像模组采集的DVS图像数据；

在步骤404中，从所述DVS图像数据中识别出用于指示终端设备执行操作的目标对象，所述操作至少包括点亮屏幕；

在步骤406中，响应于与所述目标对象对应的操作指令，控制终端设备执行与所述操作指令相匹配的操作。

其中，图4与图1中相关技术相同，在此不一一赘述。

本实施例可以在终端设备的屏幕处于息屏状态下，通过目标对象触发终端设备执行相应操作。如，在息屏状态下通过比心手势打开系统收藏夹；在息屏状态下通过耶的手势打开支付程序的支付页面；在息屏状态下通过ok手势打开微信新消息或短信新消息；在息屏状态下通过“六”手势在锁屏来电时接听电话；在息屏状态下通过全手掌打开手势实现屏幕解锁等。该实施例从息屏状态直接跳转执行相应操作，可以提高交互效率，给用户带来新的体验。

在一个实施例中，为了减少摄像模组的功耗，可以为摄像模组配置不同功耗的模式，摄像模组在不同模式下采集到的图像数据的分辨率不同，因此，可以称为分辨率模式。摄像模组在不同模式下所消耗的功耗不同，因此，也可以称为功耗模式。摄像模组的不同分辨率模式可以由动态视觉传感器中处于开启状态(工作状态)的像素单元的个数划分。示例的，为摄像模组配置低分辨率模式(Low Resolution，LR)。摄像模组在低分辨率模式下仅部分像素单元处于工作状态。以视觉传感器能采集100万像素为例，可以将其中二十四分之一的像素单元开启，将剩余的像素单元关闭，以降低功耗。甚至可以控制指定个数的像素单元处于开启状态，其他处于关闭状态。摄像模组还配置有功耗高于低功耗的至少一个其他分辨率模式，摄像模组在低分辨率模式下处于工作状态的像素单元个数，少于摄像模组在其他分辨率模式下处于工作状态的像素单元个数。相应的，摄像模组在低分辨率模式下采集到的图像数据的分辨率，低于摄像模组在其他分辨率模式下采集到的图像数据的分辨率。

在一个实施例中，为了实现对目标对象的检测，摄像模组可以以低分辨率模式处于常开状态。在预设模式切换条件满足时，进行模式切换。例如，在终端设备息屏状态下，摄像模组处于低分辨率模式。

可见，在该实施例中，通过控制摄像模组以低分辨率模式处于常开状态，既可以保证实时检测，又可以降低功耗。

在另一个实施例中，在终端设备的屏幕处于息屏状态时，所述摄像模组处于低分辨率模式。而在终端设备的屏幕处于亮屏状态时，可以关闭摄像模组。

关于预设模式切换条件，可以包括预先设置的从低分辨率模式切换至其他分辨率模式的条件，或者其他分辨率模式间的切换条件，或者从其他分辨率模式切换至低分辨率模式的条件等。

在一个实施例中，预设模式切换条件包括依据所述摄像模组在当前模式下采集到的DVS图像数据判定当前环境光的变化满足预设变化条件。

关于预设变化条件，可以是预先设置的依据环境光的变化进行模式切换的条件。示例的，预设变化条件可以是当前环境光的光强变化值大于设定阈值。DVS图像数据中事件数据流可以包括光照强度，因此，可以根据至少两帧图像的光照强度判断当前环境光的光强变化值是否大于设定阈值。在另一个示例中，不仅当前环境光的光强变化值大于设定阈值，还可以结合DVS图像数据中检测到光照发生变化的像素单元的个数，判断当前环境光的变化是否满足预设变化条件。

该条件可以是低分辨率模式切换至其他分辨率模式的条件，在依据摄像模组在低分辨率模式下采集的DVS图像数据，可以判断当前环境光变化是否满足预设变化条件，在预设变化条件满足时，可以触发摄像模组切换至下一级模式，否则可以维持低分辨率模式。示例的，在切换条件满足时，可以向摄像模组发切换通知，以使摄像模组进行模式切换。

示例的，所述其他分辨率模式可以包括高分辨率模式(High Resolution，HR)。摄像模组在高分辨率模式下所有像素单元可以处于工作状态，以实现摄像模组在高分辨率模式采集到分辨率较高的图像数据。步骤102中获取所述摄像模组采集的DVS图像数据，可以包括：获取所述摄像模组在高分辨率模式下采集的DVS图像数据。相应的，所述方法还包括：

获取所述摄像模组在低分辨率模式下采集的低分辨率DVS图像数据；

在依据低分辨率DVS图像数据判定当前环境光的变化满足预设变化条件时，控制所述摄像模组从低分辨率模式切换至高分辨率模式。

在该实施例中，常开时，DVS处于低分辨率、低分辨率模式，只检测环境光的变化。当检测到环境光变化大于设定阈值时，触发DVS高分辨率模式，识别是否是目标对象，从而保证能实时检测，同时还能降低功耗。

在另一个实施例中，是否设置多个其他分辨率模式可以依据识别目标对象所需图像分辨率要求决定，例如，一个实施例中，不同类型的目标对象映射不同操作指令，某些目标对象的识别只需要中分辨率的图像即可，有些目标对象的识别需要高分辨率图像，则可以配置多种等级的分辨率模式。

是否设置多个其他分辨率模式还可以依据识别目标对象前是否有必要检测是否存在待识别对象来决定。示例的，某些场景中，可以先判断图像数据中是否存在待识别对象，再判断待识别对象是否为目标对象，从而提高识别准确率。存在待识别对象是进行目标对象识别的基础/前提。以目标对象为指定人脸为例，待识别对象为人脸，可以先判断图像数据中是否存在人脸，可以在确保存在人脸的情况下，再在判断人脸是否为指定人脸。以目标对象为身体姿势为例，待识别对象为人，可以先判断图像数据中是否存在人，在确保存在人的情况下，再判断该人的身体姿态。相应的，预设模式切换条件可以包括：依据所述摄像模组在当前模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内存在待识别对象。

其中，图像数据中存在待识别对象是进行目标对象识别的基础/前提。判断摄像模组的采集区域内是否存在待识别对象，可以是低分辨率模式切换至其他分辨率模式的切换条件，也可以是其他分辨率模式间的切换条件。

关于如何判断摄像模组的采集区域内是否存在待识别对象，在一个实施例中，可以依据图像数据中是否存在待识别对象的轮廓，来判断摄像模组的采集区域内是否存在待识别对象。可以理解的是，也可以采用其他手段判断摄像模组的采集区域内是否存在待识别对象，如采用相关技术中是否存在人脸/是否存在人的算法来判断摄像模组的采集区域内是否存在待识别对象。

示例的，所述其他分辨率模式包括中分辨率模式(Middle Resolution，MR)和高分辨率模式，摄像模组在低分辨率模式、中分辨率模式、高分辨率模式下处于工作状态的像素单元个数依次增多。步骤102中获取所述摄像模组采集的DVS图像数据，可以包括：获取所述摄像模组在高分辨率模式下采集的DVS图像数据。相应的，所述方法还包括：

获取所述摄像模组在低分辨率模式下采集的低分辨率DVS图像数据；

在依据低分辨率DVS图像数据判定当前环境光的变化满足预设变化条件时，控制所述摄像模组从低分辨率模式切换至中分辨率模式；

获取所述摄像模组在中分辨率模式下采集的中分辨率DVS图像数据；

在依据所述摄像模组在中分辨率模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内存在待识别对象时，控制所述摄像模组从中分辨率模式切换至高分辨率模式。

该实施例配置三个等级的分辨率模式，逐次切换，可以降低功耗。

关于其他分辨率模式切换至低分辨率模式的条件，可以是依据低分辨率DVS图像数据判定当前环境光的变化值小于或等于设定阈值；或者，依据所述摄像模组在中分辨率模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内不存在待识别对象；或者，控制终端设备执行与操作指令相匹配的操作后，且间隔预设延迟时间等。通过设置其他分辨率模式切换至低分辨率模式的条件，以保证摄像模组大部分时间处于低分辨率模式，进一步降低功耗。

应当理解的是，上述预设模式切换条件仅为举例，而不应被理解为对本公开的任何限制，其他现有的或将来的触发模式进行切换的条件可以适用本公开，均应包括在本公开的保护范围内。

以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。

以下以其中一种组合进行示例说明。

如图5所示，图5是本公开根据一示例性实施例示出的另一种交互处理方法的流程图，所述方法可以用于终端设备，所述终端设备设置有包括动态视觉传感器DVS的摄像模组，所述摄像模组配置有低分辨率模式和高分辨率模式，所述方法包括：

在步骤502中，获取所述摄像模组在低分辨率模式下采集的低分辨率DVS图像数据；

在步骤504中，依据低分辨率DVS图像数据，判断当前环境光的变化值是否大于设定阈值，若否，返回步骤502，若是，进入步骤506。

在步骤506中，控制所述摄像模组从低分辨率模式切换至高分辨率模式。

在步骤508中，获取所述摄像模组在高分辨率模式下采集的DVS图像数据；

在步骤510中，从所述DVS图像数据中识别出用于指示终端设备执行操作的目标对象；

在步骤512中，响应于与所述目标对象对应的操作指令，控制终端设备执行与所述操作指令相匹配的操作。

其中，图5与图1或图4中相关技术相同，在此不一一赘述。该实施例为摄像模组配置低分辨率模式LR和高分辨率模式HR，根据不同场景进行模式切换，对功率优化。

在一个示例中，可以将终端设备的操作限定为息屏状态下触发的操作，步骤502可以限定在终端设备的屏幕处于息屏状态下执行，而在终端设备的屏幕处于亮屏状态时，可以将摄像模组切换为低分辨率模式，或关闭摄像模组。该实施例利用DVS低功耗，可以实现息屏状态下目标对象识别，用户可以黑屏解锁，并且结合目标对象控制终端设备直接执行亮屏下的某指定操作。

与前述交互处理方法的实施例相对应，本公开还提供了交互处理装置、装置所应用的设备以及存储介质的实施例。

如图6所示，图6是本公开根据一示例性实施例示出的一种交互处理装置的框图，所述装置设于终端设备，所述终端设备设置有包括动态视觉传感器DVS的摄像模组，所述装置包括：

数据获取模块62，用于获取所述摄像模组采集的DVS图像数据；

对象识别模块64，用于从所述DVS图像数据中识别出用于指示终端设备执行操作的目标对象；

操作控制模块66，用于响应于与所述目标对象对应的操作指令，控制终端设备执行与所述操作指令相匹配的操作。

在一个实施例中，终端设备执行的操作至少包括点亮屏幕，所述获取所述摄像模组采集的DVS图像数据，包括：在终端设备的屏幕处于息屏状态时，获取所述摄像模组采集的DVS图像数据。

在一个实施例中，所述摄像模组配置有低分辨率模式、以及至少一个其他分辨率模式，所述摄像模组在低分辨率模式下处于工作状态的像素单元个数，少于所述摄像模组在其他分辨率模式下处于工作状态的像素单元个数，不同模式在预设模式切换条件满足时切换。

在一个实施例中，所述预设模式切换条件包括以下任一种条件：

依据所述摄像模组在当前模式下采集到的DVS图像数据判定当前环境光的变化满足预设变化条件；

依据所述摄像模组在当前模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内存在待识别对象。

在一个实施例中，所述摄像模组以低分辨率模式处于常开状态，或者在终端设备的屏幕处于息屏状态时，所述摄像模组处于低分辨率模式。

在一个实施例中，如图7所示，图7是本公开根据一示例性实施例示出的另一种交互处理装置的框图，该实施例在前述图6所示实施例的基础上，所述其他分辨率模式包括高分辨率模式，所述数据获取模块62用于：获取所述摄像模组在高分辨率模式下采集的DVS图像数据；

所述数据获取模块62还用于：获取所述摄像模组在低分辨率模式下采集的低分辨率DVS图像数据；

所述装置还包括模式切换模块70，用于在依据低分辨率DVS图像数据判定当前环境光的变化满足预设变化条件时，控制所述摄像模组从低分辨率模式切换至高分辨率模式。

在一个实施例中，如图8所示，图8是本公开根据一示例性实施例示出的另一种交互处理装置的框图，该实施例在前述图6所示实施例的基础上，所述其他分辨率模式包括中分辨率模式和高分辨率模式，所述数据获取模块62用于：获取所述摄像模组在高分辨率模式下采集的DVS图像数据；

所述数据获取模块62还用于：获取所述摄像模组在低分辨率模式下采集的低分辨率DVS图像数据；

所述装置还包括模式切换模块80，用于在依据低分辨率DVS图像数据判定当前环境光的变化满足预设变化条件时，控制所述摄像模组从低分辨率模式切换至中分辨率模式；

所述数据获取模块62还用于：获取所述摄像模组在中分辨率模式下采集的中分辨率DVS图像数据；

所述模式切换模块80还用于在依据所述摄像模组在中分辨率模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内存在待识别对象时，控制所述摄像模组从中分辨率模式切换至高分辨率模式。

在一个实施例中，所述目标对象包括指定手势、指定人脸、和/或指定身体姿势。

在一个实施例中，预配置有目标对象与操作指令的映射关系，与操作指令相匹配的操作包括以下一种或多种：

在屏幕息屏状态下触发的解锁屏幕；

在屏幕息屏状态下触发的启动手电筒；

在屏幕息屏状态下触发的启动指定应用程序；

在屏幕息屏状态下触发的展示指定应用程序的指定页面；

在屏幕息屏状态下触发的展示指定应用程序的新消息；

在屏幕息屏状态下接听拨号方的电话。

相应的，本公开还提供一种电子设备，所述设备包括基于动态视觉传感器DVS的摄像模组、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上任一项所述方法。

相应的，本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

本公开可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述装置中各个模块的功能和作用的实现过程具体详情见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

如图9所示，图9是本公开根据一示例性实施例示出的一种交互处理装置所在计算机设备的硬件结构图。该装置900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。

参照图9，装置900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。装置900还设置有包括动态视觉传感器的摄像模组，图9中未示出。

处理组件902通常控制装置900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在装置900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为装置900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为装置900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当装置900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当装置900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为装置900提供各个方面的状态评估。例如，传感器组件914可以检测到装置900的打开/关闭状态，组件的相对定位，例如所述组件为装置900的显示器和小键盘，传感器组件914还可以检测装置900或装置900中一个组件的位置改变，用户与装置900接触的存在或不存在，装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由装置900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

其中，当所述存储介质中的指令由所述处理器执行时，使得装置900能够执行上述任一种交互处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (8)

1.一种交互处理方法，其特征在于，所述方法应用于终端设备，所述终端设备设置有包括动态视觉传感器DVS的摄像模组，所述方法包括：

获取所述摄像模组采集的DVS图像数据；

从所述DVS图像数据中识别出用于指示终端设备执行操作的目标对象；

响应于与所述目标对象对应的操作指令，控制终端设备执行与所述操作指令相匹配的操作；

所述摄像模组配置有低分辨率模式、以及至少一个其他分辨率模式，所述摄像模组在低分辨率模式下处于工作状态的像素单元个数，少于所述摄像模组在其他分辨率模式下处于工作状态的像素单元个数，不同模式在预设模式切换条件满足时切换；所述摄像模组以低分辨率模式处于常开状态，或者在终端设备的屏幕处于息屏状态时，所述摄像模组处于低分辨率模式；

所述其他分辨率模式包括中分辨率模式和高分辨率模式，所述获取所述摄像模组采集的DVS图像数据，包括：获取所述摄像模组在高分辨率模式下采集的DVS图像数据；

所述方法还包括：

获取所述摄像模组在低分辨率模式下采集的低分辨率DVS图像数据；

在依据低分辨率DVS图像数据判定当前环境光的变化满足预设变化条件时，控制所述摄像模组从低分辨率模式切换至中分辨率模式；

获取所述摄像模组在中分辨率模式下采集的中分辨率DVS图像数据；

在依据所述摄像模组在中分辨率模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内存在待识别对象时，控制所述摄像模组从中分辨率模式切换至高分辨率模式。

2.根据权利要求1所述的方法，其特征在于，终端设备执行的操作至少包括点亮屏幕，所述获取所述摄像模组采集的DVS图像数据，包括：在终端设备的屏幕处于息屏状态时，获取所述摄像模组采集的DVS图像数据。

3.根据权利要求1或2所述的方法，其特征在于，所述目标对象包括指定手势、指定人脸、和/或指定身体姿势。

4.根据权利要求1或2所述的方法，其特征在于，预配置有目标对象与操作指令的映射关系，与操作指令相匹配的操作包括以下一种或多种：

在屏幕息屏状态下触发的解锁屏幕；

在屏幕息屏状态下触发的启动手电筒；

在屏幕息屏状态下触发的启动指定应用程序；

在屏幕息屏状态下触发的展示指定应用程序的指定页面；

在屏幕息屏状态下触发的展示指定应用程序的新消息；

在屏幕息屏状态下接听拨号方的电话。

5.一种交互处理装置，其特征在于，所述装置设于终端设备，所述终端设备设置有包括动态视觉传感器DVS的摄像模组，所述装置包括：

数据获取模块，用于获取所述摄像模组采集的DVS图像数据；

对象识别模块，用于从所述DVS图像数据中识别出用于指示终端设备执行操作的目标对象；

操作控制模块，用于响应于与所述目标对象对应的操作指令，控制终端设备执行与所述操作指令相匹配的操作；

所述摄像模组配置有低分辨率模式、以及至少一个其他分辨率模式，所述摄像模组在低分辨率模式下处于工作状态的像素单元个数，少于所述摄像模组在其他分辨率模式下处于工作状态的像素单元个数，不同模式在预设模式切换条件满足时切换；所述摄像模组以低分辨率模式处于常开状态，或者在终端设备的屏幕处于息屏状态时，所述摄像模组处于低分辨率模式；

所述其他分辨率模式包括中分辨率模式和高分辨率模式，所述数据获取模块用于：获取所述摄像模组在高分辨率模式下采集的DVS图像数据；

所述数据获取模块还用于：获取所述摄像模组在低分辨率模式下采集的低分辨率DVS图像数据；

所述装置还包括模式切换模块，用于在依据低分辨率DVS图像数据判定当前环境光的变化满足预设变化条件时，控制所述摄像模组从低分辨率模式切换至中分辨率模式；

所述数据获取模块还用于：获取所述摄像模组在中分辨率模式下采集的中分辨率DVS图像数据；

所述模式切换模块还用于在依据所述摄像模组在中分辨率模式下采集到的DVS图像数据，判定所述摄像模组的采集区域内存在待识别对象时，控制所述摄像模组从中分辨率模式切换至高分辨率模式。

6.根据权利要求5所述的装置，其特征在于，所述终端设备执行的操作至少包括点亮屏幕，所述获取所述摄像模组采集的DVS图像数据，包括：在终端设备的屏幕处于息屏状态时，获取所述摄像模组采集的DVS图像数据。

7.一种计算机设备，其特征在于，包括基于动态视觉传感器DVS的摄像模组、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至4任一项所述方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。