CN103250166A - 用于提供手部检测的方法和装置 - Google Patents

Abstract

一种用于提供手部检测的方法可以包括接收针对一系列图像帧的特征变换图像数据，确定表明该一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据，以及基于该非对称差异数据的交集来确定目标区域。还提供与该方法相对应的装置和计算机程序产品。

Description

用于提供手部检测的方法和装置

技术领域

本发明的实施例通常涉及用户接口技术，并且更加具体地涉及用于提供手部检测的方法和装置，例如用于视觉交互系统的手势分析。

背景技术

现代通信时代带动了有线和无线网络的巨大扩张。计算机网络、电视网络和电话网络正在经历由消费者需求激起的前所未有的技术扩张。无线和移动联网技术解决了相关的消费者需求，同时提供了信息传输的更多灵活性和即时性。

当前和未来联网技术继续方便信息传输的便利性和用户的方便性。存在增加信息传输的便利性和用户的方便性的需求的一个领域涉及简化用于HCI（人机交互）的人机接口。随着在计算设备和手持或者移动设备改善这种设备的能力的领域中的近来发展，下一代HCI已经在许多人的脑海中。而且，假设这些设备将倾向于增加其能力以在请求时相对快速地处理内容、创建内容、存储内容和/或接收内容，并且还假设诸如移动电话的移动电子设备经常面临显示器尺寸、文本输入速度和用户接口（UI）的物理体现的限制，在HCI情景中经常产生挑战。

而且，HCI的改善也可以增强用户乐趣并且在可以以其他方式呈现有效HCI改变的环境中开辟计算设备的用户接口的可能性。一种这样的改善涉及手势识别。与HCI中当前采用的诸如以小键盘和鼠标为例的其他交互性机制相比较，一些人会考虑手势识别以改善通信的自然性和便利性。这样，已经研究了某些应用以使得手势识别能够用作数字家庭设备中的命令控制器，能够用于文件/网页导航或者能够用作通常使用的遥控器的替代。然而，当前用于手势分析的机制通常很慢或者难于采用。假定下一代HCI的通用效用，手势分析的改善可能是期望的。

发明内容

因此提供一种方法、装置和计算机程序产品以支持将手部检测用于基于视觉的用户接口。在一些情况中，可以针对一系列图像帧的特征变换版本之间的非对称差异来分析该一系列图像帧。非对称差异可以形成用于确定可以检测手部或者其他移动对象的目标区域的基础。

在一个示例实施例中，提供一种提供手部检测的方法。该方法可以包括：接收针对一系列图像帧的特征变换图像数据，确定表明该一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据，以及基于非对称差异数据的交集来确定目标区域。

在另一示例实施例中，提供一种用于提供手部检测的装置。该装置可以包括至少一个处理器和包括计算机程序代码的至少一个存储器。该至少一个存储器和计算机程序代码可以配置成与该至少一个处理器一起使得装置至少执行：接收针对一系列图像帧的特征变换图像数据，确定表明该一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据，以及基于非对称差异数据的交集来确定目标区域。

在一个示例实施例中，提供一种用于提供手部检测的另一装置。该装置可以包括：用于接收针对一系列图像帧的特征变换图像数据的装置，用于确定表明该一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据的装置，以及用于基于非对称差异数据的交集来确定目标区域的装置。

在一个示例实施例中，提供一种用于提供手部检测的计算机程序产品。该计算机程序产品可以包括存储有计算机可执行程序代码指令的至少一个计算机可读存储介质。该计算机可执行程序代码指令可以包括用于接收针对一系列图像帧的特征变换图像数据，确定表明该一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据，以及基于非对称差异数据的交集来确定目标区域的程序代码指令。

本发明的实施例可以提供用于例如在移动或者固定环境中采用的方法、装置和计算机程序产品。这样，例如，计算设备用户可以享受与其各自的计算设备交互的改善能力。

附图说明

已经大概地描述了本发明的一些实施例，现在将参照未必按照比例绘制的附图，其中：

图1图示了可以采用本发明示例实施例的移动终端的方框图；

图2图示了根据本发明示例实施例的用于提供手部检测的装置的方框图；

图3（包括图3A到3I）图示了根据本发明示例实施例的用于识别目标区域的非对称帧差异的示例确定；

图4图示了根据采用对称方法的示例的一系列图像、相对应的变换图像帧，每一个各自帧和基准帧之间的差异表示，差异表示的交集以及相对应的结果；

图5图示了根据本发明示例实施例、针对非对称方法的一系列图像，相对应的变换图像帧，每一个各自帧和基准帧之间的差异表示、差异表示的交集以及相对应的结果；以及

图6是根据本发明示例实施例的、根据用于提供手部检测的示例性方法的流程图。

具体实施方式

以下将参照附图更加充分地描述本发明的一些实施例，其中示出了本发明的一些而非全部实施例。实际上，可以按照多种不同形式实施本发明的各种实施例并且本发明不应该被理解为局限于这里阐释的实施例；而是提供这些实施例以使得本公开将满足可申请的法律要求。类似的附图标记贯穿全文指代类似的元件。如这里使用的，可以互换使用术语“数据”、“内容”、“信息”以及类似术语以指代根据本发明一些实施例能够被传输、接收和/或存储的数据。因而，任何这种术语的使用不应该被用于限制本发明实施例的精神和范围。

此外，如这里使用的，术语“电路”指代（a）仅硬件电路实现（例如模拟电路和/或数字电路的实现）；（b）电路以及包括存储在一个或者多个计算机可读存储器上的软件和/或固件指令的组合，其一起工作以使装置执行这里描述的一个或者多个功能；以及（c）要求软件或者固件以操作的电路，即使该软件或者固件不物理存在，例如一个或多个微处理器或者一个或多个微处理器的一部分。“电路”的定义在这里应用于该术语的全部使用，包括在任何权利要求中的使用。作为进一步示例，如这里使用的，术语“电路”还包括包含一个或者多个处理器和/或其一个或多个部分以及相关软件和/或固件的实现。作为另一示例，这里使用的术语“电路”还例如包括基带集成电路或者用于移动电话的应用处理器集成电路或者服务器、蜂窝网络设备、其他网络设备和/或其他计算设备中的类似集成电路。

如这里定义的，“计算机可读存储介质”指代非瞬态物理存储介质（例如易失性或者非易失性存储器设备），其可以区别于指代电磁信号的“计算机可读传输介质”。

如上面表明的，本发明的一些实施例可以涉及提供一种机制，通过该机制，关于基于视觉的用户接口得到改善，例如通过手势分析。手部检测和/或定位在基于视觉的用户接口的更大主题内会是有用主题。然而，由于手部提供相对大的关节形状变化，与一些其他检测方法（例如面部检测方法）相比较，其具有相对较少的纹理（texture）特性，因此手部检测有时会难于实现。手部也会呈现相对大的亮度变化，这会使基于颜色的检测方法相对不稳定，从而进一步复杂化手部检测在基于视觉的用户接口开发中的使用。

本发明的一些实施例可以提供一种相对稳健的机制，通过该机制，能够实现基本上实时的手部检测和/或定位以用于对传入数据的视频流的手势分析。这样，即使在具有有限计算资源的设备上也可以执行相对简单且计算有效的手势分析。因而例如，使用一个或者多个手指，或者整个手部可以用于结合其他设备与移动设备用户接口进行交互。作为示例，电视机可以在其屏幕上呈现数据并且可以与照相手机（或者简单地为照相机）通信。照相手机可以聚焦于电视的屏幕并且通过用户在照相手机的视场内呈现手部手势、基于在“插和触摸”交互环境中识别的手部手势来支持交互。

图1图示了作为本发明一个示例实施例的可以得益于本发明实施例的移动终端10的方框图。然而应该理解，所示出以及以下描述的移动终端仅说明可以得益于本发明实施例的设备的一个类型，并且因此不应该被用于限制本发明实施例的范围。尽管出于示例目的可以图示并且在下面描述移动终端10的若干实施例，但是诸如便携式数字助理（PDA）、寻呼机、移动电视、游戏设备、所有类型的计算机（例如膝上型或者移动计算机）、照相机、音频/视频播放器、无线电、全球定位系统（GPS）设备或者前面提及的任何组合以及其他类型的通信系统的其他类型的移动终端可以容易地采用本发明实施例。甚至是固定设备也可以采用一些示例实施例。

移动终端10可以包括与发射器14和接收器16可操作通信的天线12（或者多个天线）。移动终端10可以进一步包括诸如控制器20或者其他处理硬件的装置，其控制分别从发射器14和接收器16提供信号和接收信号。信号可以包括根据可应用的蜂窝系统的空中接口标准的信令信息，和/或还可以包括与用户语音、接收的数据和/或用户生成的数据相对应的数据。就此而言，移动终端10可以能够利用一个或者多个空中接口标准、通信协议、调制类型和接入类型进行操作。作为示例，移动终端10可以能够根据多个第一代、第二代、第三代和/或第四代通信协议等等中的任意一个操作。例如，移动终端10可以能够根据第二代（2G）无线通信协议IS-136（时分多址（TDMA））、GSM（全球移动通信系统）和IS-95（码分多址（CDMA）），或者根据诸如通用移动电信系统（UMTS）、CDMA2000、宽带CDMA（WCDMA）和时分同步CDMA（TD-CDMA）的第三代（3G）无线通信协议，根据诸如E-UTRAN（演进的通用地面无线接入网络）的3.9G无线通信协议，根据第四代（4G）无线通信协议等等操作。作为可选（或者附加地），移动终端10可以能够根据非蜂窝通信机制操作。例如，移动终端10能够与无线局域网（WLAN）或者其他通信网络通信。

应当理解，诸如控制器20的装置可以包括实现移动终端10的音频和逻辑功能等等的电路。例如，控制器20可以包括数字信号处理器设备、微处理器设备和各种模数转换器、数模转换器和/或其他硬件支持电路。移动终端10的控制和信号处理功能根据其各自能力在这些设备之间分配。控制器20因而也可以包括功能性以在调制和传输之前对消息和数据进行卷积编码和交织。控制器20可以附加地包括内部语音编码器，并且可以包括内部数据调制解调器。进而，控制器20可以包括功能性以操作可以存储在存储器中的一个或者多个软件程序。例如，控制器20可以能够操作诸如传统网页浏览器的连接性程序。该连接性程序可以然后允许移动终端10例如根据无线应用协议（WAP）、超文本传输协议（HTTP）等等传输和接收Web内容，诸如基于位置的内容和/或其他网页内容。

移动终端10还可以包括用户接口，其包括诸如耳机或者扬声器24、振铃器22、麦克风26、显示器28的输出设备和用户输入接口，其可以耦合到控制器20。允许移动终端10接收数据的用户输入接口可以包括诸如小键盘30、触摸显示器（未示出）、麦克风或者其他输入设备的允许移动终端10接收数据的多个设备中的任意一个。在包括小键盘30的实施例中，小键盘30可以包括数字（0-9）和相关键（#，*），以及用于操作移动终端10的其他硬键和软键。可选地，小键盘30可以包括传统的QWERTY键区设置。小键盘30也可以包括具有相关联功能的各种软键。附加地或者可选地，移动终端10可以包括诸如游戏杆或者其他用户输入接口的接口设备。移动终端10进一步包括用于为用于操作移动终端10的各种电路供电并且可选地提供机械震动作为可检测输出的振动电池组的电池34。

在一些实施例中，移动终端10包括与控制器20通信的诸如照相机、视频和/或音频模块的媒体捕捉元件。媒体捕捉元件可以是用于捕捉图像、视频和/或音频以用于存储、显示或者传输的任何装置。例如，在媒体捕捉元件是照相机模块36的示例实施例中，照相机模块36可以包括能够根据所捕捉的图像形成数字图像文件的数码相机。这样，照相机模块36包括诸如镜头或者一个或多个其他光学部件的全部硬件以及用于根据捕捉的图像创建数字图像文件所需的软件。可选地，照相机模块36可以仅包括浏览图像所需的硬件，而移动终端10的存储器设备存储用于通过控制器20执行的根据捕捉的图像创建数字图像文件所需的软件形式的指令。在示例实施例中，照相机模块36可以进一步包括诸如辅助控制器20处理图像数据的协处理器的处理元件以及用于压缩和/或解压缩图像数据的编码器和/或解码器。编码器和/或解码器可以根据JPEG标准格式或者另一类似格式进行编码和/或解码。在一些情况下，照相机模块36可以向显示器28提供现场图像数据。而且，在示例实施例中，显示器28可以位于移动终端10的一侧上并且照相机模块36可以包括相对显示器28位于移动终端10相对侧上的镜头，以使得照相机模块36能够在移动终端10的一侧上捕捉图像并且向位于移动终端10另一侧的用户呈现这样图像的查看。

移动终端10可以进一步包括通常被称为智能卡的用户身份模块（UIM）38。UIM38典型地是具有内置处理器的存储器设备。UIM38可以例如包括订户身份模块（SIM）、通用集成电路卡（UICC）、通用订户身份模块（USIM）、可移除的用户身份模块（R-UIM）或者任何其他智能卡。UIM38典型地存储与移动订户相关的信息元素。除了UIM38，移动终端10可以装配有存储器。例如，移动终端10可以包括易失性存储器40，诸如包括用于数据临时存储的高速缓存区域的易失性随机访问存储器（RAM）。移动终端10还可以包括可以被嵌入和/或可移除的其他非易失性存储器42。非易失性存储器42可以附加或者可选地包括电可擦除可编程只读存储器（EEPROM）、闪存等等。存储器可以存储由移动终端10使用以实现移动终端10的功能的多条信息和数据中的任意一个。

图2图示了根据本发明示例实施例的用于提供手部检测的装置的示意性方框图。现在将参照图2描述本发明的示例实施例，其中显示了用于提供手部检测的装置50的某些元件。图2的装置50可以例如在移动终端10上使用。然而，装置50可以可选地在移动和固定的各种其他设备上采用。在一些情况下，可以在一个设备或者设备的组合上实施实施例。因此，本发明的一些实施例可以完全在单个设备（例如移动终端10）处实施，由分布式形式的多个设备实施或者由客户端/服务器关系的设备实施。而且，应该注意到，下面描述的设备或者元件可能不是强制的并且因而在某些实施例中可以省去一些。

现在参照图2，提供用于提供手部检测的装置。装置50可以包括或者以其他方式与处理器70、用户接口72、通信接口74和存储器设备76通信。在一些实施例中，处理器70（和/或协处理器或者辅助或者以其他方式与处理器70相关联的任何其他处理电路）可以经由总线与存储器设备76通信以用于在装置50的部件之间传递信息。存储器设备76可以例如包括一个或者多个易失性和/或非易失性存储器。换句话说，例如，存储器设备76可以是包括被配置以存储可由机器（例如类似处理器70的计算设备）获取的数据（例如比特）的逻辑门的电子存储设备（例如计算机可读存储介质）。存储器设备76可以被配置以存储信息、数据、应用、指令等等以用于支持装置执行根据本发明示例实施例的各种功能。例如，存储器设备76能够被配置以缓冲输入数据以供处理器70处理。附加地或者可选地，存储器设备76能够被配置以存储指令以供处理器70执行。

在一些实施例中，装置50可以例如是移动终端（例如移动终端10）或者被配置以采用本发明示例实施例的固定通信设备或计算设备。然而，在一些实施例中，装置50可以被实施为芯片或者芯片组。换句话说，装置50可以包括一个或者多个物理封装（例如芯片），其包括结构组件（例如基板）上的材料、部件和/或布线。结构组件可以对于包括在其上的部件电路提供物理强度、尺寸节约和/或电子相互作用限制。在一些情况下，装置50因此可以被配置以在单个芯片上或者作为单个“片上系统”实现本发明的实施例。这样，在一些情况下，芯片或者芯片组可以构成用于执行用于提供这里描述的功能性的一个或者多个操作的装置。

可以按照不同的方式具体化处理器70。例如，处理器70可以被实施为各种处理装置的一个或者多个，例如协处理器、微处理器、控制器、数字信号处理器（DSP）、具有或者不具有相关DPS的处理元件或者各种其他处理电路，包括例如以ASIC（专用集成电路）、FPGA（现场可编程门阵列）、微控制器单元（MCU）、硬件加速器、向量处理器、图形处理单元（GPU）、专用计算机芯片或者其他类似的硬件处理器为例的集成电路。这样，在一些实施例中，处理器70可以包括被配置以独立执行的一个或者多个处理核。多核处理器可以支持单个物理封装内的多处理。附加地或者可选地，处理器70可以包括经由总线串联配置的一个或者多个处理器以支持指令、流水线和/或多线程的独立执行。

在示例实施例中，处理器70可以被配置以执行存储在存储器设备76中或者以其他方式对于处理器70可访问的指令。附加地或者可选地，处理器70可以被配置以执行硬编码的功能性。这样，无论是通过硬件或者软件方法进行配置，或者通过硬件和软件方法的组合进行配置，处理器70在被进行相应配置时都可以代表能够执行根据本发明实施例的操作的实体（例如在物理上被具体化在电路中）。因而例如，在处理器70被实施为ASIC、FPGA等等时，处理器70可以是专门配置的硬件以用于进行这里描述的操作。可选地，作为另一示例，在处理器70被实施为软件指令的执行者时，指令可以专门配置处理器70以在执行指令时执行这里描述的算法和/或操作。然而在一些情况下，处理器70可以是适于通过用于执行这里描述的算法和/或操作的指令对处理器70进一步配置而实施本发明实施例的专门设备（例如移动终端、固定终端或者网络设备）的处理器。除其他之外，处理器70可以包括被配置以支持处理器70的操作的时钟、算术逻辑单元（ALU）和逻辑门等等。

同时，通信接口74可以是被配置以从/至网络和/或与装置50通信的任何其他设备或者模块接收和/或传输数据的诸如被实施为硬件或者硬件和软件的组合的设备或者电路的任意装置。为此，通信接口74可以例如包括天线（或者多个天线）和支持硬件和/或软件以用于使能与无线通信网络通信。在一些环境中，通信接口74可以可选地或者还支持有线通信。这样例如，通信接口74可以包括通信调制解调器和/或其他硬件/软件用于经由电缆、数字订户线路（DSL）、通用串行总线（USB）或者其他机制支持通信。

用户接口72可以与处理器70通信以在用户接口72处接收对用户输入的指示和/或向用户提供音频、视频、机械或者其他输出。这样，用户接口72可以例如包括键盘、鼠标、游戏杆、显示器、触摸屏、软键、麦克风、扬声器或者其他输入/输出机制。在装置50被实施为服务器或者一些其他网络设备的示例性实施例中，用户接口72可以被限制或者去除。然而，在装置被实施为通信设备（例如移动终端10）的实施例中，除了其他设备或元件之外，用户接口72可以包括扬声器、麦克风、显示器和键盘等的任一或全部。为此例如，处理器70可以包括被配置以控制用户接口的一个或者多个元件的至少一些功能的用户接口电路，例如扬声器、振铃器、麦克风、显示器等等。处理器70和/或包括处理器70的用户接口电路可以被配置以通过存储在处理器70可访问的存储器（例如存储器设备76等等）上的计算机程序指令（例如软件和/或固件）来控制用户接口的一个或者多个元件的一个或者多个功能。

在示例实施例中，处理器70可以被实施为，包括或者以其他方式控制特征差异分析器80。这样，在一些实施例中，可以说成处理器70引起、指导或者控制归属于这里描述的特征差异分析器80的各种功能的执行或者发生。特征差异分析器80可以是诸如根据软件或者以其他方式实施为硬件或者硬件和软件的组合操作的设备或电路的任何装置（例如在软件控制下操作的处理器70、被实施为被专门配置以执行这里描述的操作的ASIC或者FPGA的处理器70，或者其组合），从而配置该设备或者电路执行这里描述的特征差异分析器80的相对应功能。因而，在采用软件的实施例中，执行该软件的设备或者电路（例如在一个示例中为处理器70）形成与这样的装置相关联的结构。

在示例实施例中，特征差异分析器80可以通常被配置以执行在一些情况下可以包括如下操作的一系列操作中的任意一个或者全部：生成特征变换图像，确定帧之间的非对称差异，针对非对称差异执行重新二值化以及基于非对称差异之间的交集来提炼目标区域。在一些实施例中，代替生成特征变换图像，特征差异分析器80可以接收已经通过另一设备或者通过移动终端10的单独模块变换的特征变换图像数据。

因此例如，特征差异分析器80可以被配置以生成或者接收特征变换图像帧。在一些实施例中，图像帧可以是例如使用局部二值模式（LBP）纹理算子变换的特征。之后，可以分析图像帧以确定其间的非对称差异。基于这些差异，可以渐进式确定提炼的目标区域。

这样，在一些示例中，对于视频序列中预定间隔的帧I_c和{I_c-di|di≥1}可以确定变换的特征帧T_c和{T_c-di|di≥1}。如上面表明的，该变换可以是LBP和/或改性普查变换（MCT）。该变换可以使差异稳健或者不太受诸如亮度变化的干扰的影响。

在变换之后，可以以间隔di确定非对称差异D₀，D₁，……，D_i，……，其中D_i=T_c-T_c-di。特征差异分析器80然后可以被配置以利用自适应阈值机制重新二值化帧差异Mi。之后，可以根据

基于帧差异来提炼目标区域（TA）。

在一些实施例中，非对称帧差异确定可以用作识别发生移动的图像序列的区域的机制。而且，非对称帧差异确定的使用可以降低复杂性和计算成本，以使得在移动或者手持设备上更加容易实现特征差异分析器80。非对称帧差异确定在处理直接帧差异方面相对有能力，并且因此典型地不结合真实系统使用。然而在示例实施例中，帧差异可以是特征变换图像，并且因此，非对称帧差异可以相对好地工作。

为了标识目标区域（TA），诸如与T_c-d相对应的第一帧和与T_c相对应的第二帧之间的差异的单个帧差异可能不太够。因此，对称帧差异可以用于通过分析几个帧来确定目标区域（TA）。利用所确定的对称差异，目标区域（TA）可以作为二值化的帧差异的交集而被获得。然而，尽管目标区域（TA）或许能够在先前变换的帧（例如T_c-di）中而非在当前帧（例如T_c）中利用对称差异进行确定，这样一种机制可能会在处理中产生d1帧的延迟并且因此会不太期望在实时交互应用中使用。因此，本发明的一些实施例可以构建T_c-T_c-d1，T_c-T_c-d2，……，T_c-T_c-di，……形式的帧差异，以使得可以针对当前帧T_c获得目标区域（TA）。对称差异的处理因此可以涉及检查每一个连续帧之间的差异（例如第一帧和第二帧之间的差异，第二帧和第三帧之间的差异，第三帧和第四帧之间的差异等等）。同时，非对称差异的处理可以涉及比较每一个各自帧与公共帧（例如第一帧和第二帧之间的差异，第三帧和第一帧之间的差异，第四帧和第一帧之间的差异等等）。

因而例如，具有间隔di的几个帧可以用于按照T_c-T_c-d1，T_c-d1-T_c-d2，……，T_c-di-1-T_c-di，……的形式确定帧非对称差异，其中Ti代表LBP变换帧。包括图3A到图3L的图3图示了用于标识目标区域的非对称帧差异的示例确定。为此，图3A、图3B、图3C和图3D图示了示出具有在其上显示的各种项目的显示器的一系列帧（例如帧F_c-d3，F_c-d2，F_c-d1和F_c）。如在图3A到图3D中能够看出，存在指向图3A中的显示器的手部并且该手部在每一个随后帧中向下移动一些。图3E，图3F，图3G和图3H分别示出了在图3A，图3B，图3C和图3D中示出的图像帧的特征变换表示（例如T_c-d3，T_c-d2，T_c-d1和T_c）。特征差异分析器80可以被配置以确定这些特征变换表示之间的差异。因而例如，图3I可以代表T_c-d3和T_c之间的差异。换句话说，图3I可以代表图3E和图3H中的帧的表示之间的差异。图3J可以代表T_c-d2和T_c之间的差异。换句话说，图3J可以代表图3F和图3H中的帧的表示之间的差异。同时，图3K可以代表T_c-d1和T_c之间的差异。换句话说，图3K可以代表图3G和图3H中的帧的表示之间的差异。图3L则图示了二值化的帧差异的交集。换句话说，图3L图示了图3I，图3J和图3K中示出的表示的交集。因而，图3I，图3J和图3K的差异图像的交集提供了给出当前帧T_c中的手部位置的结果。相比于涉及对称差异的确定（其将确定相邻帧的每一个各自集合之间的差异并且因此确定T_c-d3和T_c-d2，T_c-d2和T_c-d1以及T_c-d1和T_c之间的差异），可以省去根据参照图3提供的示例提供的延迟。

在一些情形中，头部、手部或者一些其他身体部位的移动可能不是非常快的交互。因而，连续帧中这种对象的位置差异可能不是非常大。确定帧之间差异的对称方法的使用在这样的情况下可能不能提供非常有用的结果，因为随后帧中的小改变可能会不可检测。因而，除了创建延迟问题之外，对称方法可能由于连续帧的小改变而不能够检测一些交互。作为示例，图4图示了用于确定帧之间的差异的对称方法的使用。图4中的第一行图像84图示了一系列帧。第二行85示出了第一行图像84的特征变换表示。第三行86代表每一个连续帧之间的差异。能够看出，由于头部的移动在第一行图像84的一系列帧的每一个中的移动相对小，因此差异相对小。最后，第四行87图示了差异的交集结果并且第五行88示出了最终结果。再次，该交集的结果由于该移动并且因此每一个随后帧之间的改变很小而非常小。最终结果是几乎感觉不到的跟踪区域。

同时，非对称方法可以更加精确地检测移动区域，这是因为如上所述，在非对称地确定差异时考虑到较大的时间跨度（例如，差异不总是位于相邻帧之间，而是位于一系列帧和基准帧之间，基准帧诸如当前帧或者一系列帧中的最近帧）。关于图5示出了这种差别。

在实现中，汉明距离可以用于在LBP变换之后获得二值化帧差异信息。相对应的代码因此可以针对LBP值中的比特数量而不同。为了消除或者至少降低噪声干扰，如果帧差异中第i个像素处的汉明距离不大于1，则差异图像中的像素可以设置为零。因而例如，对于帧差异图像中的像素p：

$p=\left\{\begin{array}{ccc}1,& \mathrm{if}& {\mathrm{dist}}_{\mathrm{ham}}>1\\ 0,& & \mathrm{else}\end{array}\right.---\left(1\right)$

之后，可以确定非对称帧差异二值图像。然后可以重新二值化帧差异。在一些实施例中，可以采用局部自适应阈值机制以重新二值化帧差异图像。对于差异图像中像素pi处居中的m×m子窗口，将子窗口中的非零像素表示为n_non-zero，可以按照下面来设置差异图像中像素pi的新值：

$\mathrm{pi}=\left\{\begin{array}{ccc}1,& \mathrm{if}& n_{\mathrm{non}-\mathrm{zero}}>m^2/2\\ 0,& & \mathrm{else}\end{array}\right.---\left(2\right)$

图5示出了一系列图像（第一行91中），相对应的变换图像帧（第二行92中），每一个各自帧和参考帧（在该示例为T4）之间的差异表示（第三行93中），差异表示的交集（第四行94中）和相对应的结果（第五行95中）。可以根据帧差异T_c-T_c-d1，T_c-T_c-d2，……，T_c-T_c-di，……获得重新二值化的差异图像Mi。可以使用Mi的序列推导出提炼的目标区域（TA）。为此例如，可以根据Mi的交集推导出真实目标区域（TA）：

之后可以实现诸如填充图像中的小孔和去除噪声的其他后处理操作。输出（图5中标注为“结果”）提供了对目标区域（TA）的相对清晰指示，在该目标区域中发生了手部移动并且因此使得视觉系统能够集中于相对应区域上以用于手势检测或者其他基于视觉的接口操作。在图3和图5中，Dij=Diff（Ti，Tj）。通过将图5中的结果与图4中的结果进行比较可以看出，非对称差异的使用产生目标区域的更加清晰指示，因为非对称差异在连续帧之间经历小改变的情形中更加敏感。

本发明的一些实施例因此可以支持手部检测和/或定位用于在实时交互应用中使用，甚至在不具有相对无限处理资源的移动平台上使用。因此，以其他方式会在计算上高昂的基于帧差异的移动目标检测可以以相对经济的方式实现，同时仍然支持没有延迟地实现结果（例如，可以在没有任何延迟的情况下立即检测当前帧中的目标（手部）位置）。一些实施例也可以提供相对宽范围的速度响应（包括考虑帧之间的细微或者慢移动）。一些实施例也可以具有对由于照相机视角的移动产生的亮度变化的稳健抵抗，因为所使用的差异值可以根据LBP变换图像获得。

图6是根据本发明示例实施例的方法和程序产品的流程图。将理解，流程图的每一个方框，流程图中方框的组合可以通过各种方式实现，例如硬件、固件、处理器、电路和/或与包括一个或者多个计算机程序指令的软件执行相关联的其他设备。例如，上面描述的一个或者多个过程可以通过计算机程序指令实施。为此，实施上述过程的计算机程序指令可以由用户终端或者网络设备的存储器设备存储并且通过用户终端或者网络设备中的处理器执行。将意识到，任何这样的计算机程序指令可以被加载到计算机或者其他可编程装置（例如硬件）上以制造机器，以使得在计算机或者其他可编程装置上执行的指令创建用于实现在一个或者多个流程图方框中指定的功能的装置。这些计算机程序指令也可以被存储在可以指示计算机或者其他可编程装置按照特定方式运行的计算机可读存储器中，以使得存储在计算机可读存储器中的指令产生实现在一个或者多个流程图方框中指定的功能的制造产品。所述计算机程序指令也可以被加载到计算机或者其他可编程装置上以生成计算机实现的过程以使得在该计算机或者其他可编程装置上执行的指令实现在一个或者多个流程图方框中指定的功能。

因此，流程图的方框支持用于执行指定功能的模块组合以及用于执行指定功能的操作组合。也将理解，流程图的一个或者多个方框，以及流程图中方框的组合，能够通过执行指定功能的专用硬件基计算机系统，或者专用硬件和计算机指令的组合实现。

为此，如图6所示，根据本发明一个实施例的方法可以包括在操作100处接收针对一系列图像帧的特征变换图像数据，在操作110处确定表明一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据，以及在操作120处基于非对称差异数据的交集来确定目标区域。

在一些实施例中，如下面所述可以修改或者进一步放大上面的某些操作。而且，在一些实施例中，也可以包括附加的可选操作（其示例在图6中的虚线示出）。应该意识到，下面的修改、可选添加或者放大的每一个可以单独或者与这里描述的特征中的任意进行组合地包括上面的操作中。在一些实施例中，方法可以包括在操作115处重新二值化非对称差异数据。在一些情况下，确定目标区域包括基于重新二值化的非对称差异数据的交集来确定目标区域。在示例实施例中，重新二值化非对称差异数据包括使用局部自适应阈值进行重新二值化。在一些实施例中，接收特征变换图像数据可以包括接收使用局部二值模式（LBP）算子变换的数据。在示例实施例中，确定非对称差异数据可以包括确定多个帧的连续帧和当前帧的特征变换图像数据之间的差异。在一些情况下，接收特征变换图像数据可以包括接收表明在多个帧中的手部位置的数据。在一些示例中，确定目标区域可以包括确定在多个帧中发生对象的移动的区域。

在示例实施例中，用于执行上面图6的方法的装置可以包括被配置以执行上述操作（100-120）的一些或者每一个的处理器（例如处理器70）。处理器可以例如被配置以通过执行硬件实现的逻辑函数，执行存储的指令或者执行用于执行每一个操作的算法来执行操作（100-120）。可选地，装置可以包括用于执行上述操作的每一个的装置。为此，根据示例实施例，用于执行操作100-120的装置示例可以例如包括特征差异分析器80。附加地或者可选地，至少利用处理器70可以被配置以控制或者甚至被实施为特征差异分析器80的事实，用于执行指令或者执行用于处理上述信息的算法的处理器70和/或设备或者电路也可以形成用于执行操作100-120的示例装置。

在一些情况下，上述操作（100-120）以及任何修改可以在涉及方便访问至少一个接口以允许经由至少一个网络访问至少一个服务的方法中实现。在这样的情况下，可以说该至少一个服务可以至少执行操作100到120。

这里阐释的本发明的许多修改和其他实施例对于这些发明所涉及领域的得益于在前面描述和相关附图中提供的教导的技术人员来说显而易见。因此要理解，本发明不局限于所公开的特定实施例并且修改和其他实施例旨在被包括在所附权利要求的范围内。而且，尽管前面的描述和相关附图在元件和/或功能的某些示例组合的情景下描述了一些示例实施例，但是应该意识到，可以在不偏离所附权利要求的范围的情况下通过可选实施例提供元件和/或功能的不同组合。为此例如，也期望除了上面简要描述之外的元件和/或功能的不同组合在所附权利要求的一些中进行阐释。尽管这里采用了特定术语，但是仅在通常和描述性意义上而非出于限制目的来使用这些术语。

Claims (21)

1.一种方法，包括：

接收针对一系列图像帧的特征变换图像数据；

确定表明所述一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据；以及

基于所述非对称差异数据的交集来确定目标区域。

2.如权利要求1的方法，其中接收特征变换图像数据包括接收使用局部二值模式（LBP）算子变换的数据。

3.如权利要求1或者2的方法，其中确定非对称差异数据包括确定所述多个帧的连续帧和当前帧的特征变换图像数据之间的差异。

4.如权利要求1到3中的任意一项的方法，进一步包括重新二值化所述非对称差异数据。

5.如权利要求1到4中的任意一项的方法，其中确定所述目标区域包括基于重新二值化的非对称差异数据的交集来确定所述目标区域。

6.如权利要求1到5中的任意一项的方法，其中重新二值化所述非对称差异数据包括使用局部自适应阈值来进行重新二值化。

7.如权利要求1到6中的任意一项的方法，其中接收特征变换图像数据包括接收表明在所述多个帧中的手部位置的数据。

8.如权利要求1到7中的任意一项的方法，其中确定所述目标区域包括确定在所述多个帧中发生对象移动的区域。

9.一种装置，包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码配置成与所述至少一个处理器一起使得所述装置至少：

接收针对一系列图像帧的特征变换图像数据；

确定表明所述一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据；以及

基于所述非对称差异数据的交集来确定目标区域。

10.如权利要求9的装置，其中所述至少一个存储器和计算机程序代码配置成与所述至少一个处理器一起使得所述装置：通过接收使用局部二值模式（LBP）算子变换的数据来接收特征变换图像数据。

11.如权利要求9或者10的装置，其中所述至少一个存储器和计算机程序代码配置成与所述至少一个处理器一起使得所述装置：通过确定所述多个帧的连续帧和当前帧的特征变换图像数据之间的差异来确定非对称差异数据。

12.如权利要求9到11中的任意一项的装置，其中所述至少一个存储器和计算机程序代码配置成与所述至少一个处理器一起使得所述装置：重新二值化所述非对称差异数据。

13.如权利要求9到12中的任意一项的装置，其中所述至少一个存储器和计算机程序代码配置成与所述至少一个处理器一起使得所述装置：通过基于重新二值化的非对称差异数据的交集确定所述目标区域来确定所述目标区域。

14.如权利要求9到13中的任意一项的装置，其中所述至少一个存储器和计算机程序代码配置成与所述至少一个处理器一起使得所述装置：通过使用局部自适应阈值进行重新二值化来重新二值化所述非对称差异数据。

15.如权利要求9到14中的任意一项的装置，其中所述至少一个存储器和计算机程序代码配置成与所述至少一个处理器一起使得所述装置：通过接收表明在所述多个帧中的手部位置的数据来接收特征变换图像数据。

16.如权利要求9到15中的任意一项的装置，其中所述至少一个存储器和计算机程序代码配置成与所述至少一个处理器一起使得所述装置：通过确定在所述多个帧中发生对象移动的区域来确定所述目标区域。

17.如权利要求9到16中的任意一项的装置，其中所述装置是移动终端并且进一步包括被配置以方便用户控制所述移动终端的至少一些功能的用户接口电路。

18.一种计算机程序产品，包括存储有计算机可执行程序代码指令的至少一个计算机可读存储介质，所述计算机可执行程序代码指令包括在被执行时至少使所述装置执行如下的程序代码指令：

接收针对一系列图像帧的特征变换图像数据；

确定表明所述一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据；以及

基于所述非对称差异数据的交集来确定目标区域。

19.如权利要求18的计算机程序产品，进一步包括用于重新二值化所述非对称差异数据的程序代码指令。

20.如权利要求18或者19的计算机程序产品，其中用于确定所述目标区域的程序代码指令包括用于基于重新二值化的非对称差异数据的交集来确定所述目标区域的指令。

21.一种装置，包括：

用于接收针对一系列图像帧的特征变换图像数据的装置；

用于确定表明所述一系列图像帧的多个帧和基准帧的特征变换图像数据之间的差异的非对称差异数据的装置；以及

用于基于所述非对称差异数据的交集来确定目标区域的装置。

Images