CN102939617A - 姿势识别装置、姿势识别方法和程序 - Google Patents

Abstract

一种识别遮挡成像传感器（3）的前表面的姿势的姿势识别装置（1）配备有：第一检测单元（特征点检测单元（15）、特征点处理单元（17）），其检测当成像传感器的前表面被遮挡时和当成像传感器的前表面未被遮挡时的拍摄图像（Pa、Pb）之间的改变；以及第二检测单元（直方图计算单元（21）、直方图处理单元（23）），当在成像传感器的前表面被遮挡时拍摄图像时，检测拍摄图像的其中亮度值的梯度未达到阈值的区域。

Description

姿势识别装置、姿势识别方法和程序

技术领域

本发明涉及一种姿势识别装置、姿势识别方法和程序。

背景技术

当用户执行相关领域中的装置操作时，用户通常确认待操作的软件键或硬件键并且随后执行预定操作。因此，对于操作需要执行麻烦的工作并且难于在不确认键的情况下，例如在从键的远处观看时，执行操作。

然而，为了提高装置的可操作性，利用诸如手的物体遮挡传感器的姿势被视为被识别。该姿势操作使得用户能够在从键远处观看的同时执行操作，而无需麻烦的任务。

引用文献列表

专利文献

专利文献1：JP H7-146749A

非专利文献

非专利文献1：Ike等人的“Hand Gesture User Interface Using CellBroadband EngineTM”,Toshiba Review，Vol.62,No.6,pp.52to 55,2007

发明内容

技术问题

通常，通过从成像传感器的拍摄图像检测检测物体的形状，并且对检测结果执行模式识别的处理来执行姿势识别（参照非专利文献1）。因此，即使在试图识别利用诸如手等的物体遮挡成像传感器的前面的姿势之后，由于不能检测位于成像传感器的前面附近的物体的形状，因此仍不能适当地识别姿势。

此外，在一些情况下使用发射红外光的装置和接收红外光的装置来执行姿势识别（参照非专利文献1）。在该情况下，当从光发射装置发射的红外光被检测物体反射并且随后反射的红外光被光接收装置接收时，识别遮挡成像传感器的前面的物体。然而，除非使用诸如红外光发射装置和红外光接收装置的特殊装置，否则不能适当地识别姿势。

因此，本发明提供了一种能够在不使用任何特殊装置的情况下识别遮挡成像传感器的传感器表面的姿势的姿势识别装置、姿势识别方法和程序。

对问题的解决方案

根据本发明的一个方面，提供了一种识别遮挡成像传感器的前面的姿势的姿势识别装置，该姿势识别装置包括：第一检测单元，检测其中成像传感器的前面未被遮挡的状态和其中成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及第二检测单元，在其中成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中拍摄图像的亮度值的梯度小于阈值的区域。

第一检测单元可以基于拍摄图像中的特征点的跟踪结果来检测拍摄图像的改变。

第一检测单元可以检测在其中成像传感器的前面未被遮挡的状态下的拍摄图像中跟踪的特征点在其中成像传感器的前面被手遮蔽的状态下的拍摄图像中丢失。

第一检测单元可以确定在跟踪期间丢失的特征点与在预定时段中在多个拍摄图像中跟踪的特征点的比是否等于或大于阈值。

姿势识别装置可以进一步包括移动确定单元，其基于多个特征点的移动趋势来确定成像传感器的移动，并且预定时段可以被设定为其中成像传感器不移动的时段。

第二检测单元可以基于与拍摄图像相关的亮度值直方图的计算结果来检测其中拍摄图像的亮度值的梯度小于阈值的区域。

第二检测单元可以使用与在预定时段中的多个拍摄图像相关的亮度值直方图来确定通过将最大频率附近的频率和归一化为频率的总和而获得的值是否在预定时段期间等于或大于阈值。

第二检测单元可以基于与拍摄图像相关的边缘图像检测其中拍摄图像的亮度值的梯度小于阈值的区域。

第二检测单元可以使用与在预定时段中的多个拍摄图像相关的边缘图像来确定边缘图像中的边缘区域的比是否在预定时段期间小于阈值。

第一和第二检测单元可以针对拍摄图像的部分区域而非针对拍摄图像执行处理。

第一和第二检测单元可以针对从拍摄图像生成的分辨率小于拍摄图像的分辨率的灰阶图像执行处理。

姿势识别装置可以识别通过组合遮挡成像传感器的前面的姿势和暴露成像传感器的前面的姿势而提供的姿势。

姿势识别装置可以进一步包括成像传感器，其拍摄前面的图像。

此外，根据本发明的另一方面，提供了一种姿势识别方法，包括：检测其中成像传感器的前面未被遮挡的状态和其中成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及在其中成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中拍摄图像的亮度值的梯度小于阈值的区域。

此外，根据本发明的另一方面，提供了一种用于使计算机执行如下操作的程序：检测其中成像传感器的前面未被遮挡的状态和其中成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及在其中成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中拍摄图像的亮度值的梯度小于阈值的区域。这里，可以使用计算机可读存储介质提供程序，或者可以经由通信工具等提供程序。

本发明的有利效果

根据上述本发明，可以提供一种能够在不使用特殊装置的情况下识别遮挡成像传感器的传感器表面的姿势的姿势识别装置、姿势识别方法和程序。

附图说明

图1是根据本发明的实施例的姿势识别装置的概况的图示。

图2是根据第一实施例的姿势识别装置的主要功能配置的框图。

图3是姿势识别装置的主要操作顺序的流程图。

图4是遮挡姿势的识别顺序的流程图。

图5是在执行姿势之前的特征点的检测结果的示图。

图6是在执行姿势之前的灰阶图像和亮度值直方图的计算结果的示图。

图7是当成像传感器移动时的特征点的检测结果的示图。

图8是当执行姿势时的特征点的检测结果的示图。

图9是当执行姿势时的灰阶图像和亮度值直方图的计算结果的示图。

图10是根据第二实施例的姿势识别装置的主要功能配置的框图。

图11是遮挡姿势的识别顺序的流程图。

图12是在执行姿势之前的灰阶图像和边缘图像的示图。

图13是当执行姿势时的灰阶图像和边缘图像的示图。

图14是根据第一和第二实施例的修改示例的、当执行姿势时的特征点的检测结果的示图。

具体实施方式

在下文中，将参照附图详细描述本发明的优选实施例。注意，在这里的说明书和附图中，具有基本上相同的功能和结构的元件由相同的附图标记表示，并且重复的解释被省略。

[1.姿势识别装置1的概况]

首先，将参照图1描述根据本发明的实施例的姿势识别装置1的概况。

如图1中所示，姿势识别装置1能够在不使用特殊装置的情况下识别遮挡成像传感器3的传感器表面的姿势。在下文中，假设传感器面将在成像传感器3的前面形成。然而，传感器表面可以在另一表面中形成。

姿势识别装置1是信息处理装置，诸如个人计算机、电视机接收器、便携式信息终端或者移动电话。在姿势识别装置1中，从安装在姿势识别装置1上或者连接到姿势识别装置1的诸如视频相机的成像传感器3输入视频信号。下文将描述其中姿势识别装置1和成像传感器3分离配置的情况，但是姿势识别装置1和成像传感器3可以集成地配置。

当用户U在成像传感器3的前面执行预定动作时，姿势识别装置1基于从成像传感器3输入的视频信号识别姿势。姿势的示例包括利用诸如手的物体遮挡成像传感器3的前面的遮挡姿势以及使物体在成像传感器3的前面左右移动的拂动姿势。

例如，当姿势识别装置1被应用于音乐再现应用时，遮挡姿势对应于停止音乐再现的操作，并且左右轻拂姿势分别对应于再现前进和后退操作。当姿势被识别时，姿势识别装置1向用户U通知姿势的识别结果并且执行与识别的姿势对应的处理。

姿势识别装置1以如下顺序识别遮挡姿势。当用户U执行遮挡姿势时，检测其中成像传感器3的前面未被遮挡的状态下的（在执行姿势之前）拍摄图像Pa和其中成像传感器3的前面被遮挡的状态下的（在姿势时）拍摄图像Pb之间的拍摄图像的改变（第一检测）。从遮挡状态下的（在姿势时）拍摄图像Pb检测其中拍摄图像的亮度值i的梯度小于阈值的区域（第二检测）。

这里，当执行利用诸如手的物体遮挡成像传感器3的前面的姿势时，其中拍摄成像传感器3的前面的图像的图像Pa较之其中拍摄物体的图像Pb极大地改变。因此，检测到拍摄图像改变。此外，由于在其中接近地拍摄遮挡成像传感器3的前面的物体的拍摄图像Pb中亮度值i的梯度下降，因此检测到其中亮度值i的梯度小于阈值的区域。

因此，通过满足第一和第二检测条件，可以识别遮挡成像传感器3的前面的姿势。这里，由于成像传感器3检测拍摄图像改变以及亮度值i的梯度，因此成像传感器3可以不检测位于成像传感器3的前面附近的物体的形状。此外，由于基于成像传感器3的拍摄图像识别姿势，因此可以不使用特殊装置。

<第一实施例>

[2.姿势识别装置1的配置]

接下来，将参照图2描述根据第一实施例的姿势识别装置1的配置。

如图2中所示，根据第一实施例的姿势识别装置1包括帧图像生成单元11、灰阶图像生成单元13、特征点检测单元15、特征点处理单元17、传感器移动确定单元19、直方图计算单元21、直方图处理单元23、姿势确定单元25、运动区域检测单元27、运动区域处理单元29、识别结果通知单元31、特征点存储单元33、直方图存储单元35和运动区域存储单元37。

帧图像生成单元11基于从成像传感器3输入的视频信号生成帧图像。帧图像生成单元11可以安装在成像传感器3中。

灰阶图像生成单元13基于从帧图像生成单元11提供的帧图像生成分辨率低于帧图像的分辨率的灰阶图像M（其是灰阶图像的统称）。灰阶图像M被生成为通过将帧图像压缩到例如1/256的分辨率而获得的无色彩图像。

特征点检测单元15基于从灰阶图像生成单元13提供的灰阶图像M检测灰阶图像M中的特征点。例如，灰阶图像M中的特征点意指与成像传感器3拍摄的诸如物体的角的特征部分对应的像素图案。特征点的检测结果作为特征点数据临时存储在特征点存储单元33中。

特征点处理单元17将与数个先前紧邻的帧至数十个先前紧邻的帧对应的确定时段中包括的多个灰阶图像M设定为对象并且处理特征点数据。特征点处理单元17基于从特征点存储单元33读取的特征点数据根据灰阶图像M中的特征点。计算特征点的移动向量。移动向量在特征点的移动方向上聚类。

特征点处理单元17将在预定时段中的多个灰阶图像M设定为对象，计算跟踪期间丢失的特征点（丢失特征点）与在灰阶图像M中跟踪的特征点的比，并且将该比与预定阈值比较。预定时段被设定为比确定时段短。丢失特征点意指在预定时段的跟踪期间已丢失并且因此可不跟踪的特征点。丢失特征点的比较结果被提供给姿势确定单元25。

传感器移动确定单元19基于从特征点处理单元17提供的聚类结果确定成像传感器3（或者其上安装成像传感器3的姿势识别装置1）是否移动。传感器移动确定单元19计算指示给定方向上的移动的移动向量与特征点的移动向量的比并且将该比与预定阈值比较。当计算结果大于或等于预定阈值时，确定成像传感器3移动。当计算结果小于预定阈值时，确定成像传感器3不移动。传感器移动的确定结果被提供给姿势确定单元25。

基于从灰阶图像生成单元13提供的灰阶图像M，直方图计算单元21计算指示形成灰阶图像M的像素的亮度值i的频率分布的直方图H（其是直方图的统称）。直方图H的计算结果作为直方图数据被临时存储在直方图存储单元35中。

基于从直方图存储单元35读取的直方图数据，直方图处理单元23将预定时段中的多个灰阶图像M存储为对象并且计算具有给定亮度值i的像素的比。直方图处理单元23确定具有给定亮度值i的像素的比是否在预定时段期间大于或等于预定阈值。预定时段被设定为比确定时段短的时段。像素的比的确定结果被提供给姿势确定单元25。

从特征点处理单元17向姿势确定单元25提供丢失特征点的比较结果并且从直方图处理单元23向姿势确定单元25提供像素的比的确定结果。姿势确定单元25确定丢失特征点的比是否大于或等于预定阈值并且具有给定亮度值i的像素的比是否在预定时段期间大于或等于预定值。这里，当确定结果是肯定时，识别到遮挡姿势。遮挡确定结果被提供给识别结果通知单元31。仅当成像传感器3不移动时，姿势确定单元25基于从传感器移动确定单元19提供的成像传感器的移动的确定结果来识别遮挡姿势。

运动区域检测单元27基于从灰阶图像生成单元13提供的灰阶图像M之间的帧差异来确定运动区域。运动区域的检测结果作为运动区域数据被临时存储在运动区域存储单元37中。运动区域指的是指示物体在灰阶图像M中移动的区域。

运动区域处理单元29将预定时段中的多个灰阶图像设定为对象并且处理灰阶图像M的运动区域数据。基于从运动区域存储单元37读取的运动区域数据，运动区域处理单元29计算运动区域的中心位置并且计算运动区域在连续的灰阶图像M中的移动轨迹。预定时段被设定为比确定时段短。

上述姿势确定单元25基于从运动区域处理单元29提供的移动轨迹的计算结果来计算运动区域的移动量（或者按照需要，速度）。姿势确定单元25确定运动区域的移动量（或者按照需要，速度）是否满足预定参考。这里，当确定结果是肯定时，识别到轻拂姿势。轻拂姿势的确定结果被提供给识别结果通知单元31。

识别结果通知单元31基于从姿势确定单元25提供的确定结果向用户U通知姿势的识别结果。例如，通过连接到姿势识别装置1的显示器、扬声器等通知作为文本信息、图像信息、声音信息等的姿势的识别结果。

用于特征点处理、直方图处理和运动区域处理的预定时段可以被设定为相同的时段或者相对彼此略微移位的时段。此外，用于特征点处理、直方图处理和移动确定处理的预定阈值都是根据所需的检测精度而设定的。

特征点检测单元15和特征点处理单元17用作第一检测单元。直方图计算单元21和直方图处理单元23用作第二检测单元。特征点存储单元33、直方图存储单元35和运动区域存储单元37被配置为例如由处理器等控制的内部存储装置或者外部存储装置。

帧图像生成单元11、灰阶图像生成单元13、特征点检测单元15、特征点处理单元17、传感器移动确定单元19、直方图计算单元21、直方图处理单元23、姿势确定单元25、运动区域检测单元27、运动区域处理单元29和识别结果通知单元31被配置为例如包括诸如CPU或DSP的处理器的信息处理装置。

上述构成元件的至少一些功能可以被实现为诸如电路的硬件或者诸如程序的软件。当每个构成元件被实现为软件时，通过在处理器上执行的程序来实现每个构成元件的功能。

[3.姿势识别装置1的处理]

接下来，将参照图3至9描述根据第一实施例的姿势识别装置1的处理。

首先，将描述姿势识别装置1的整体处理。如图3中所示，姿势识别装置1执行识别遮挡姿势和轻拂姿势的识别处理（步骤S1）。后面将详细描述该识别处理。当识别到遮挡姿势或轻拂姿势时（S3或S5中的“是”），向用户U通知识别结果（S7）并且执行与识别姿势对应的处理（S8）。重复识别处理直至识别处理结束（S9）。当没有识别到姿势时，可以通知识别结果。

（遮挡姿势）

接下来，将描述识别遮挡姿势的识别处理。

当识别处理开始时，如图4中所示，帧图像生成单元11基于从成像传感器3输入的视频信号生成帧图像（S11）。可以针对每个帧生成帧图像或者可以通过间开视频信号按数个帧的间隔生成帧图像。

灰阶图像生成单元13基于从帧图像生成单元11提供的帧图像生成灰阶图像M（S13）。这里，通过使用分辨率低于帧图像的分辨率的灰阶图像M来执行检测处理，，可以高效地检测帧图像的改变和亮度值i的梯度。此外，通过使用无色彩图像，即使在其中阴影相对不足的环境下，仍可以以相对高的精度检测帧图像的改变和亮度值i的梯度。

特征点检测单元15基于从灰阶图像生成单元13提供的灰阶图像M检测灰阶图像M中的特征点（S15）。特征点的检测结果作为特征点数据与帧编号相关联地被临时存储在特征点存储单元33中，该特征点数据包括特征点的像素图案、检测位置等。

图5示出了在执行姿势之前的特征点的检测结果。在图5中所示的示例中，连同灰阶图像M1一起显示指示从图像检测到的多个特征点的标志C，该灰阶图像M1包括其中拍摄用户U的上身和背景的图像。如图5中所示，与用户U和背景的特征部分对应的像素图案被检测为特征点。

直方图计算单元21基于从灰阶图像生成单元13提供的灰阶图像M计算形成灰阶图像M的像素的亮度值i的直方图H（S17）。直方图H的计算结果作为直方图数据与帧编号相关联地被存储在直方图存储单元35中，该直方图数据指示亮度值i的频率分布。此外，当生成灰阶图像M时可以计算直方图H。

图6示出了在执行姿势之前的灰阶图像M1和亮度值直方图H1的计算结果。直方图H指示亮度值i的频率分布，其中水平轴表示亮度值i（刻度值）并且竖直轴表示亮度值i的频率hi。这里，可以使用下式的归一化索引r来表述亮度值i的分布。在直方图H上，假设hsum是频率hi的总和，imax是最大频率的亮度值i，并且w是最大频率的亮度值imax附近的预定范围。此外，根据所需的检测精度设定预定范围w。

归一化索引r是其中最大频率的亮度值imax附近的预定范围w中的频率hi的和利用频率的总和hsum进行归一化的索引。归一化索引r被计算为较大的值，因为灰阶图像M由具有给定亮度值i的像素形成，就是说，具有亮度值i的小梯度的区域的数目是较大的。

[数学式1]

$r=\frac{\underset{i=i_{\max }-w/2}{\overset{i_{\max }+w/2}{\mathrm{\&Sigma;}}}{h}_i}{h_{\mathrm{sum}}}$

这里，由于用户U的上身和背景被拍摄，因此图6中所示的灰阶图像M1由具有各种亮度值i的像素形成。因此，在直方图H1中，频率hi不集中在最大频率的亮度值imax附近的预定范围w中，并且因此在亮度值i的分布中识别到大的不规则。因此，在图6中所示的灰阶图像M1中，例如，计算归一化索引r=0.1。

在步骤S11至S17的处理中，与数个先前紧邻的帧至数十个先前紧邻的帧对应的确定时段（0.5秒等）中包括的多个灰阶图像M被设定为对象。例如，在第一确定时段中依次执行帧编号1至10的处理并且在第二确定时段中依次执行帧编号2至11的处理。特征点数据和直方图数据（包括运动区域数据）被临时存储以至少与确定时段对应。随后，当特定的确定时段中的多个对象图像被设定并且步骤S11至S17的处理完成时，执行步骤S19的后继处理。

特征点处理单元17首先基于从特征点存储单元33读取的特征点数据跟踪多个灰阶图像M中的特征点（S19）。通过基于连续的灰阶图像M中的像素图案指定相同的特征点来执行特征点的跟踪。特征点的跟踪结果可以被表述为特征点的移动轨迹。此外，在特征点的跟踪期间从灰阶图像M丢失的特征点被视为丢失特征点。

接下来，计算特征点的移动向量并且在特征点的移动方向上对移动向量聚类（S21）。特征点的移动向量被表述为在确定时段中在多个灰阶图像M中连结正被跟踪的特征点的移动开始点和移动结束点的直线或曲线。

传感器移动确定单元19基于从特征点处理单元17提供的聚类结果确定成像传感器3是否移动（S23）。首先，计算指示给定方向上的移动的移动向量与特征点的移动向量的比并且将该比与预定阈值（0.8等的比）比较。随后，当计算结果大于或等于预定阈值时，确定成像传感器3移动。当计算结果小于预定阈值时，确定成像传感器3不移动。

图7示出了当成像传感器3移动时的特征点的检测结果。图7中所示的灰阶图像M3是图5中所示的灰阶图像M1之后数个帧的灰阶图像M。在图7中所示的示例中，在成像传感器3在右下方向上移动时，灰阶图像M3中的特征点在左上方向上移动。特征点的移动被视为指示特征点连同灰阶图像M3的移动轨迹的标志C。这里，由于成像传感器3的移动，识别到大部分特征点在给定方向（左上倾斜）上移动。

这里，当确定成像传感器3移动时，将确定结果提供给姿势确定单元25。当成像传感器3移动时，姿势确定单元25确定成像传感器3未被遮挡，以便防止由于丢失特征点的错误检测而错误地识别遮挡姿势（S25）。

相反，当确定成像传感器3不移动时，执行如下处理。基于从特征点存储单元33读取的特征点数据，特征点处理单元17将预定时段中的多个灰阶图像M设定为对象，计算丢失特征点与在灰阶图像M中跟踪的特征点的比，并且将该比与预定阈值（0.8等的比）比较（S27）。就是说，将预定时段中丢失的特征点与在预定时段内检测到的特征点（在预定时段中继续检测到的特征点和中途丢失的特征点的总体）的比与预定阈值比较。

图8示出了当执行姿势时的特征点的检测结果的示例。在图8中所示的示例中，显示了其中拍摄到遮挡成像传感器3的前面的手的灰阶图像M2。在图8中所示的示例中，由于通过遮挡成像传感器3的前面隐藏了其中拍摄到用户U的上身和背景的图像，因此指示从图像检测到特征点的标志C丢失。

基于从直方图存储单元35读取的直方图数据，直方图处理单元23将预定时段中的多个灰阶图像M设定为对象并且计算具有给定亮度值i的像素的比。这里具有给定亮度值i的像素的比可以由上述归一化索引r表述。确定具有给定亮度值i的像素的比是否在预定时段中大于或等于预定阈值（其中r>0.7等）。

图9示出了当执行姿势时的灰阶图像M2和亮度值直方图H2的计算结果。这里，在图9中所示的灰阶图像M2中，拍摄到遮挡成像传感器3的前面的手。因此，具有给定亮度值i的像素被配置为充足的。

因此，在直方图H2中，频率hi集中在最大频率的亮度值imax附近的预定范围w中，并且因此在亮度值i的分布中没有识别到大的不规则。例如，在图9中所示的灰阶图像M2中，计算归一化索引r=0.8。当成像传感器3的前面在预定时段中被遮挡时，在预定时段中计算大的归一化索引r。因此，确定具有给定亮度值i的像素的比在预定时段中大于或等于预定阈值，就是说，在预定时段中存在许多其中亮度值i的梯度小于预定阈值的区域。

从特征点处理单元17向姿势确定单元25提供丢失特征点的比较结果并且从直方图处理单元23向姿势确定单元25提供像素的比的确定结果。随后，确定丢失特征点的比是否大于或等于预定阈值并且具有给定亮度值i的像素的比是否在预定时段期间大于或等于预定阈值。这里，当确定结果是肯定时，确定成像传感器3被遮挡（S31）并且识别到遮挡姿势。此外，当至少一个条件未被满足时，确定成像传感器3未被遮挡（S25）并且未识别到遮挡姿势。

识别结果通知单元31根据从姿势确定单元25提供的遮挡确定结果向用户U通知识别结果。此外，当识别到遮挡姿势时，执行相应的处理。

（轻拂姿势）

接下来，将描述识别轻拂姿势的识别处理。

运动区域检测单元27基于从灰阶图像生成单元13提供的灰阶图像M之间的帧差异来确定运动区域。就是说，通过获取连续的灰阶图像M中包括的改变区域来检测运动区域。运动区域的检测结果作为运动区域数据被临时存储在运动区域存储单元37中。

运动区域处理单元29将预定时段中的多个灰阶图像设定为对象并且处理灰阶图像M的运动区域数据。基于从运动区域存储单元37读取的运动区域数据计算运动区域的中心位置并且计算运动区域在连续的灰阶图像M中的移动轨迹。

姿势确定单元25基于从运动区域处理单元29提供的移动轨迹的计算结果来计算运动区域的移动量（或者按照需要，速度）。随后，姿势确定单元25首先确定运动区域的尺寸是否小于预定阈值，使得由成像传感器3的移动引起的运动不被识别为轻拂姿势（当成像传感器3移动时使整个拍摄图像移动）。接下来，确定运动区域的运动量是否大于或等于预定阈值，使得通过极小的移动量引起的运动不被识别为轻拂姿势。

接下来，确定运动区域的移动方向是否是预定方向。例如，当识别到左和右轻拂姿势时，考虑成像传感器3的可允许的误差，确定运动区域的移动方向是否可被识别为左或右方向。这里，当确定结果是肯定时，识别到轻拂姿势。将轻拂确定结果提供给识别结果通知单元31，向用户U通知轻拂确定结果，并且根据识别结果执行与轻拂姿势对应的处理。

<第二实施例>

[4.姿势识别装置2的配置和处理]

接下来，将参照图10至13描述根据第二实施例的姿势识别装置2。根据第二实施例的姿势识别装置2使用边缘图像E（其是边缘图像的统称）中的边缘区域A而非指示亮度值i的频率分布的直方图来识别遮挡姿势。下文将不再进行第一实施例的重复描述。

如图10中所示，姿势识别装置2包括边缘区域提取单元41和边缘区域处理单元43而非直方图计算单元21和直方图处理单元23。

边缘区域提取单元41基于从灰阶图像生成单元13提供的灰阶图像M生成边缘图像E并且从边缘图像E提取边缘区域A。例如，使用Sobel滤波器、Laplacian滤波器、LOG滤波器、Canny方法等来提取边缘区域A。边缘区域A的提取结果作为边缘区域数据被临时存储在边缘区域存储单元45中。

基于从边缘区域存储单元45读取的边缘区域数据，边缘区域处理单元43将预定时段中的多个边缘图像E设定为对象并且计算边缘图像E中的边缘区域A的比。随后，边缘区域处理单元43确定边缘区域A的比是否在预定时段期间小于预定阈值（0.1等）。此外，预定时段被设定为比确定时段短的时段，该确定时段与数个先前紧邻的帧至数十个先前紧邻的帧对应。边缘区域A的确定结果被提供给噪声确定单元25。

从特征点处理单元17向姿势确定单元25提供丢失特征点的比较结果并且从边缘区域处理单元43向姿势确定单元25提供边缘区域A的确定结果。随后，姿势确定单元25确定丢失特征点的比是否大于或等于预定阈值并且边缘区域A的比是否在预定时段期间小于阈值。

如图11中所示，边缘区域提取单元41基于从灰阶图像生成单元13提供的灰阶图像M生成边缘图像E并且提取边缘区域A（S41）。边缘区域A作为指示边缘图像E中的边缘区域A的比的边缘区域数据与帧编号相关联地存储在边缘区域存储单元45中（S41）。

基于从边缘区域存储单元45读取的边缘区域数据，边缘区域处理单元43将预定时段中的多个边缘图像E设定为对象并且确定边缘图像E中的边缘区域A的比是否在预定时段期间小于预定阈值（S43）。

图12示出了在执行姿势之前的灰阶图像M1和边缘图像E1。如图12中所示，边缘图像E是表示边缘区域A的图像，边缘区域A形成如下像素的边界，这些像素是在形成灰阶图像M的像素中的，其中存在亮度值i之间的大的差异的像素。这里，由于拍摄到用户U的上身和背景，因此图12中所示的边缘图像E1由具有各种亮度值i的像素形成。因此，在边缘图像E1中，存在许多具有不同亮度值i的像素，并且识别到许多形成具有不同亮度值i的像素的边界的边缘区域A。

另一方面，图13示出了当执行姿势时的灰阶图像M2和边缘图像E2。这里，在图13中所示的灰阶图像M2中，拍摄到遮挡成像传感器3的前面的手，并且因此包括许多具有给定亮度值i的像素。因此，在边缘图像E2中，不存在许多具有不同亮度值i的像素并且没有识别到许多其中形成存在亮度值i之间的大的差异的像素的边界的边缘区域A。此外，当在预定时段期间遮挡成像传感器3的前面时，生成在预定时段期间不包括许多边缘区域A的边缘图像E。因此，确定边缘区域A的比在预定时段期间小于预定阈值，就是说，存在许多亮度值i的梯度在预定时段期间小于预定阈值的区域。

从特征点处理单元17向姿势确定单元25提供丢失特征点的比较结果并且从边缘区域处理单元43向姿势确定单元25提供边缘区域的比的确定结果。随后，确定丢失特征点的比是否大于或等于预定阈值并且边缘区域A的比是否在预定时段期间小于预定阈值。这里，当确定结果是肯定时，确定成像传感器3被遮挡（S31）并且识别到遮挡姿势。

[修改示例]

接下来，将参照图14描述根据第一和第二实施例的修改示例的姿势识别装置。在这些修改示例中，使用与拍摄图像的部分区域对应的灰阶图像M而非与整个拍摄图像对应的灰阶图像M来识别遮挡姿势。下文将不再进行第一和第二实施例的重复描述。

在修改示例中，帧图像生成单元11或灰阶图像生成单元13生成与帧图像的部分区域对应的帧图像或灰阶图像M。这里，帧图像的部分区域意指当执行遮挡姿势时在成像传感器3的前面区域中利用诸如手的物体遮挡的区域。部分区域被预先设定为预定范围，诸如拍摄图像的上部分。

在该修改示例中，如图14中所示，如第一和第二实施例中的那样，对作为对象的帧图像的部分区域（图14中的区域F）执行第一和第二检测处理。就是说，部分区域被设定为对象，确定丢失特征点的比是否大于或等于预定阈值，并且具有给定亮度值i的像素的比是否在预定时段期间大于或等于预定阈值，或者边缘区域A的比是否在预定时段期间小于预定阈值。在图14中所示的示例中，拍摄图像的上部分被部分遮挡。在图14中所示的示例中，当执行姿势时呈现特征点的检测结果。然而，甚至在计算具有给定亮度值i的像素的比或者边缘区域的比时，帧图像的部分区域被设定为对象并且被处理。

因此，甚至在成像传感器3的前面未被完全遮挡时，仍可以通过部分遮挡预定范围来识别遮挡姿势。甚至在遮挡成像传感器3的物体中由于照明、日光等的影响而略微出现阴影时，仍可以识别遮挡姿势。

[5.总结]

根据本发明的实施例的姿势识别装置1和2以及姿势识别方法，如上文所述，检测拍摄图像（灰阶图像M）的改变和亮度值i的梯度。因此，由于可以不检测位于成像传感器3的前面附近的物体的形状并且基于成像传感器3的拍摄图像（灰阶图像M）来识别姿势，因此可以不使用特殊装置。因此，可以在不使用特殊装置的情况下识别遮挡成像传感器3的前面的姿势。

上文已参照附图描述了本发明的优选实施例，然而本发明显然不限于以上示例。本领域技术人员可以在所附权利要求的范围内找到各种变更和修改，并且应理解，这些变更和修改在本质上在本发明的技术范围内。

例如，已描述了其中识别遮挡成像传感器3的前面的遮挡姿势的情况。然而，可以识别组合遮挡成像传感器3的前面的姿势和暴露成像传感器3的前面的姿势的姿势。在该情况下，通过确定新检测到的特征点的比是否大于或等于预定阈值（0.8等的比）并且确定具有给定亮度值i的像素的比是否小于预定阈值（0.2等的比），来识别暴露成像传感器3的前面的姿势。

在以上描述中，已描述了其中将姿势识别装置1应用于音乐再现应用的情况。然而，姿势识别装置1可以应用于其中实现诸如移动图像的再现和停止或者菜单显示的滑动呈现或者开/关切换的轮转操作的应用，或者其中实现诸如再现模式改变的模式操作的应用。

附图标记列表

1、2 姿势识别装置

11 帧图像生成单元

13 灰阶图像生成单元

15 特征点检测单元

17 特征点处理单元

19 传感器移动确定单元

21 直方图计算单元

23 直方图处理单元

25 姿势确定单元

27 运动区域检测单元

29 运动区域处理单元

31 识别结果通知单元

33 特征点存储单元

35 直方图存储单元

37 运动区域存储单元

41 边缘区域提取单元

43 边缘区域处理单元

45 边缘区域存储单元

Pa、Pb 拍摄图像

M1、M2、M3、M4 灰阶图像

H1、H2 亮度值直方图

E1、E2 边缘图像

C 特征点标记

A 边缘区域

Claims (15)

1.一种姿势识别装置，包括：

第一检测单元，检测其中成像传感器的前面未被遮挡的状态和其中所述成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及

第二检测单元，在其中所述成像传感器的前面被遮挡的状态下的所述拍摄图像中，检测其中所述拍摄图像的亮度值的梯度小于阈值的区域。

2.根据权利要求1所述的姿势识别装置，

其中所述第一检测单元基于所述拍摄图像中的特征点的跟踪结果来检测所述拍摄图像的改变。

3.根据权利要求2所述的姿势识别装置，

其中所述第一检测单元检测在其中所述成像传感器的前面未被遮挡的状态下的所述拍摄图像中跟踪的所述特征点在其中所述成像传感器的前面被手遮蔽的状态下的所述拍摄图像中丢失。

4.根据权利要求3所述的姿势识别装置，

其中所述第一检测单元确定在跟踪期间丢失的所述特征点与在预定时段中在多个所述拍摄图像中跟踪的所述特征点的比是否等于或大于阈值。

5.根据权利要求4所述的姿势识别装置，进一步包括：

移动确定单元，其基于多个所述特征点的移动趋势来确定所述成像传感器的移动，

其中所述预定时段被设定为其中所述成像传感器不移动的时段。

6.根据权利要求1所述的姿势识别装置，

其中所述第二检测单元基于与所述拍摄图像相关的亮度值直方图的计算结果来检测其中所述拍摄图像的亮度值的梯度小于所述阈值的区域。

7.根据权利要求6所述的姿势识别装置，

其中所述第二检测单元使用与在所述预定时段中的多个所述拍摄图像相关的亮度值直方图来确定通过将最大频率附近的频率和归一化为频率的总和而获得的值是否在所述预定时段期间等于或大于阈值。

8.根据权利要求1所述的姿势识别装置，

其中所述第二检测单元基于与所述拍摄图像相关的边缘图像检测其中所述拍摄图像的亮度值的梯度小于所述阈值的区域。

9.根据权利要求8所述的姿势识别装置，

其中所述第二检测单元使用与在所述预定时段中的多个所述拍摄图像相关的所述边缘图像来确定所述边缘图像中的边缘区域的比是否在所述预定时段期间小于阈值。

10.根据权利要求1所述的姿势识别装置，

其中所述第一检测单元和所述第二检测单元针对所述拍摄图像的部分区域而非针对拍摄图像执行处理。

11.根据权利要求1所述的姿势识别装置，

其中所述第一检测单元和所述第二检测单元针对从所述拍摄图像生成的分辨率小于所述拍摄图像的分辨率的灰阶图像执行处理。

12.根据权利要求1所述的姿势识别装置，

其中识别通过组合遮挡所述成像传感器的前面的姿势和暴露所述成像传感器的前面的姿势而提供的姿势。

13.根据权利要求1所述的姿势识别装置，进一步包括：

所述成像传感器，其拍摄前面的图像。

14.一种姿势识别方法，包括：

检测其中成像传感器的前面未被遮挡的状态和其中所述成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及

在其中所述成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中所述拍摄图像的亮度值的梯度小于阈值的区域。

15.一种用于使计算机执行如下操作的程序：

检测其中成像传感器的前面未被遮挡的状态和其中所述成像传感器的前面被遮挡的状态之间的拍摄图像的改变；以及

在其中所述成像传感器的前面被遮挡的状态下的拍摄图像中，检测其中所述拍摄图像的亮度值的梯度小于阈值的区域。

Images