CN102081918B - 一种视频图像显示控制方法及视频图像显示器 - Google Patents

Abstract

本发明公开了一种视频图像显示控制方法和视频图像显示器，该视频图像显示控制方法通过实时采集显示设备前的场景，并从采集的实时场景图像中获取人体区域图像，再对该人体区域图像进行手势检测，并根据检测结果来确定该手势对应于手势数据库中的控制命令，最后输出该控制命令，视频图像显示器再根据该控制命令控制视频图像在显示设备上进行显示，从而完成用户与视频图像之间的主动交互，使得用户可以根据兴趣选择需要的信息，提高了用户与广告内容之间的交互效率，同时给用户带来全新体验。

Description

一种视频图像显示控制方法及视频图像显示器

技术领域

本发明涉及图像处理和人机交互领域，尤其涉及一种视频图像显示控制方法及视频图像显示器。

背景技术

近年来各类广告媒体竞争激烈，而数字看板作为一种全新的广告媒介首当其冲。数字看板作为一种广告媒体数字发展趋势下的产物，是一种通过终端显示设备发布各种广告信息的数字媒体系统，具有广告内容动态投放，满足个性化和差异化的自主服务，在特定的地点和时间对特定的人群进行广告信息播放的特性，因而获得了良好的广告效应，在商场、超市、酒店、医疗、影院以及其他人流汇聚的公共场所的市场应用潜力非常大，具有广阔市场前景。

当前的数字看板都是按预先设定的播放方式自动播放广告图片或视频动画片段，当行人路过时，只能看到当前看板所显示的内容，不能随自己的意愿看自己感兴趣的广告内容。如果想知道其他未显示的广告的内容，需要驻足等待较长的时间，这是一种被动接受和无法预知广告内容的交互方式，人们往往不能够很容易得到自己想要的有用的广告内容，这样广告的效应也就大打折扣。

发明内容

本发明要解决的主要技术问题是，提供一种视频图像显示控制方法及视频图像显示器。本发明实现了用户与视频图像之间的主动交互，让用户自己轻松选择感兴趣的信息，从而提高信息的交互效率。

为解决上述技术问题，本发明采用的技术方案如下：

一种视频图像显示控制方法，包括步骤：

A、采集显示设备前的实时场景图像；

B、对所述实时场景图像进行人体检测，并获取人体区域图像；

C、在所述人体区域图像中检测手势；

D、确定所述手势所对应的控制命令；

E、根据所述控制命令控制视频图像在显示设备上的显示。

其中，所述步骤B包括：将当前获取的实时场景图像帧与根据背景模型所得的参考图像进行比较从而检测到人体区域图像。

进一步地，所述检测人体区域图像的步骤包括：

将当前获取的实时场景图像帧与根据背景模型所得的参考图像进行像素级的减除操作，得到差分图像；

将所述差分图像进行二值化处理，得到二值化差分图像；

对所述二值化差分图像进行形态学处理；

将符合预定连通规则的二值化差分图像进行连通处理，获取连通区域；

判断各连通区域是否为噪声区，若是则删除；

将由最后留下的所有连通区域组成的区域图像作为人体区域图像，并输出所述人体区域图像。

进一步地，上述的方法还包括步骤：判断当前获取的实时场景图像帧中各像素点是否属于检测到的人体区域中的像素点，若是，则背景模型保持不变，否则更新背景模型。

其中，所述手势包括手掌的手形，所述步骤C包括：

对所述人体区域图像进行手掌目标检测，并获取手掌目标区域图像；

对所述手掌目标区域图像进行手形特征提取；

根据提取的所述手掌的手形特征和预先建立的手形分类器进行手形识别，判断所述手掌的手形是否为有效手形；

在步骤D中，当判断该手掌的手形为有效手形时，根据预先建立的手势数据库确定该有效手形对应的控制命令；或

所述手势包括手掌的手形和手掌的运动轨迹，所述步骤C包括：

对所述人体区域图像进行手掌目标检测，并获取手掌目标区域图像；

对所述手掌目标区域图像进行手形特征提取；

根据提取的该手掌的手形特征和预先建立的手形分类器进行手形识别，判断该手掌的手形是否为有效手形，当判断该手掌的手形为有效手形时，将该手掌标识为当前激活手掌；

检测当前激活手掌的运动轨迹，确定当前激活手掌的运动类型；

在步骤D中，在预先建立的手势数据库中，根据该有效手形和当前激活手掌的运动类型确定对应的控制命令；

在步骤E中，根据所述控制命令切换相应的视频图像或对当前显示的视频图像进行操作。

进一步地，对所述人体区域图像进行手掌目标检测的步骤包括：

对所述人体区域图像部分进行肤色检测，获取包含人脸、手臂或手掌区域图像；

根据预先建立的肤色检测模型得到手臂和/或手掌的区域图像；

在手臂和/或手掌的区域图像中检测出手掌。

进一步地，所述在手臂和/或手掌的区域图像中检测出手掌的步骤包括：

判断所述手臂和/或手掌的区域图像的长宽比是否大于2，若是，则判定该区域为手臂和手掌区域图像，否则为手掌区域图像；

当判定为手臂和手掌区域图像时，对所述手臂和手掌区域图像进行边缘检测，获取边缘信息，得到区域轮廓；

对所述区域轮廓进行最小外接椭圆拟合，获得所述外接椭圆的信息；

根据所述外接椭圆的信息，获取所述区域轮廓的方向信息，从而最终获取所述手臂和手掌的指向；

对已获取指向的所述手臂区域图像和手掌区域图像进行图像矫正，使得手臂和手掌指向为竖直向上；

在矫正后的所述手臂和手掌区域图像上进行手掌定位检测，获取手掌目标区域图像。

对应于上述的方法，本发明还提供一种视频图像显示器，包括：

摄像装置，用于采集显示设备前的实时场景图像；

人体检测装置，用于对所述实时场景图像进行人体检测，获取人体区域图像；

手势检测装置，用于在所述人体区域图像中检测手势；

控制命令确定装置，用于确定手势所对应的控制命令；

图像显示控制装置，用于根据所述控制命令控制视频图像在显示设备上的显示。

进一步地，所述人体检测装置用于将当前获取的实时场景图像帧与根据背景模型所得的参考图像进行比较从而检测到人体区域图像。

上述的视频图像显示器，还包括背景更新装置，用于判断当前获取的实时场景图像帧中各像素点是否属于检测到的人体区域中的像素点，若是则背景模型保持不变，否则更新背景模型。

其中，所述手势包括手掌的手形，所述手势检测装置包括：

手掌检测单元，用于对所述人体区域图像进行手掌目标检测，并获取手掌目标区域图像；

手形特征提取单元，用于对所述手掌目标区域图像进行手形特征提取；

手形识别单元，用于根据提取的该手掌的手形特征和预先建立的手形分类器进行手形识别，判断该手掌的手形是否为有效手形；

所述控制命令确定装置当判断该手掌的手形为有效手形时，根据预先建立的手势数据库确定该有效手形对应的控制命令；或

所述手势包括手掌的手形和手掌的运动轨迹，所述手势检测装置包括：

手掌检测单元，用于对所述人体区域图像进行手掌目标检测，并获取手掌目标区域图像；

手形特征提取单元，对所述手掌目标区域图像进行手形特征提取；

手形识别单元，根据提取的该手掌的手形特征和预先建立的手形分类器进行手形识别，判断该手掌的手形是否为有效手形，当判断该手掌的手形为有效手形时，将该手掌标识为当前激活手掌；

手掌跟踪单元，用于检测当前激活手掌的运动轨迹，确定当前激活手掌的运动类型；

所述控制命令确定装置用于在预先建立的手势数据库中，根据该有效手形和当前激活手掌的运动类型确定对应的控制命令；

所述图像显示控制装置根据所述控制命令切换相应的视频图像或对当前显示的视频图像进行操作。

本发明的有益效果是：

本发明的视频图像显示控制方法和视频图像显示器，通过对视频图像显示器前的场景进行采集，并提取其中的人体区域图像，再从该人体区域图像中提取用户相应的手势，从而根据该手势来确定其相应的控制命令，视频图像显示器再根据该控制命令控制相应的视频图像进行显示，从而完成了用户与视频图像之间的主动交互。用户通过本发明的方法和装置，能够根据自己感兴趣的内容主动地，选择性地查看。本发明采用的技术方案，使得用户与装置之间实现了主动交互，提高了视频图像与用户之间的交互效率，从而提高了视频图像自身的宣传效果同时给用户带来全新体验。

附图说明

图1为本发明视频图像显示器的一种实施例的框图；

图2为本发明视频图像显示器的另一种实施例的框图；

图3a为图1中手势检测装置的一种实施例的框图；

图3b为图1中手势检测装置的另一种实施例的框图；

图4为图1中手掌检测单元的一种实施例的示意图；

图5为本发明视频图像显示控制方法的一种实施例的流程图；

图6为图5中获取人体区域图像的流程图；

图7为图6中获取差分图像的流程图；

图8为图6中区域连通性分析的流程图；

图9为图7中更新背景模型的流程图；

图10为图5中手势检测的流程图；

图11为图10中手掌目标区域的获取的流程图；

图12为图11中手掌定位及获取的流程图；

图13为图11中确定手掌运动类型的流程图；

图14a、图14b、图14c、图14d、图14e和图14f为对应于图12手掌的定位与获取的一种实施例的示意图；

图15a、图15b、图15c、图15d、图15e、图15f、图15g、图15h和图15i为图13中激活手掌的运动类型分类的一种实施例的示意图；

图16为图6中确定控制命令的一种实施例的示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

近年来，计算机视觉技术已发展得日趋成熟并在很多领域得到广泛应用，在此背景下，通过计算机视觉来对人体的手形手势进行识别从而理解和解释人的动作行为，进而完成人机间的交互也成为了可能，本发明即是基于该计算机视觉技术的视频图像显示控制方法和视频图像显示器。

请参考图1，本发明的一种视频图像显示器的一种实施例，包括：摄像装置1、人体检测装置2、手势检测装置3、控制命令确定装置4和图像显示控制装置5，其中摄像装置1与人体检测装置2相连，该人体检测装置2与手势检测装置3相连，该手势检测装置3与控制命令确定装置4相连，控制命令确定装置4与图像显示控制装置5相连。其中，摄像装置1用于采集图像显示控制装置5前的实时场景图像，并发送给人体检测装置2；人体检测装置2用于对接收的实时场景图像进行人体检测，获取人体区域图像，并发送给手势检测装置3；手势检测装置3用于对接收的人体区域图像进行手势检测，并将该手势发送给控制命令确定装置4；控制命令确定装置4用于根据接收的手势确定对应的控制命令，并将该控制命令发送给图像显示控制装置5；图像显示控制装置5用于根据该控制命令控制视频图像在显示设备上的显示。

请参考图2，本发明的另一种实施例中，该视频图像显示器还包括：与人体检测装置2相连的背景更新装置6，用于判断当前获取的实时场景图像帧中各像素点是否属于检测到的人体区域图像中的像素点，若是则背景模型保持不变，否则更新背景模型。

请参考图3a，本发明的一种实施例中，当手势检测装置3检测的手势包括手掌的手形时，手势检测装置3包括：手掌检测单元31、手形特征提取单元32、和手形识别单元33，该手掌检测单元31与手形特征提取单元32相连，用于对人体检测装置2获取的人体区域图像进行手掌目标检测，并获取手掌目标图像，再发送给手形特征提取单元32；手形特征提取单元32与手形识别单元33相连，用于对接收的手掌目标图像进行手形特征提取，并发送给手形识别单元33；手形识别单元33与控制命令确定装置4相连，根据接收的手掌的手形和预先建立的手形分类器进行手形识别，判断该手掌的手形是否为有效手形，若有效，则控制命令确定装置4根据预先建立的手势数据库确定该有效数据库所对应的控制命令。图像显示控制装置5则根据该控制命令切换相应的视频图像或对当前显示的视频图像进行操作，当前显示的视频图像可以是未经用户切换过的视频图像，也可以是刚刚根据用户的手势切换后的视频图像。

请参考图3b，本发明的另一种实施例中，当手势检测装置3检测的手势包括手掌的手形和手掌的运动轨迹时，该手形检测装置3包括：手掌检测单元31、手形特征提取单元32、手形识别单元33以及与手形识别单元33相连的手掌跟踪单元34。当手形识别单元33判断手掌的手形为有效手形时，则将该手掌标识为激活手掌，并发送给手掌跟踪单元34和控制命令确定装置4；手掌跟踪单元34与控制命令确定装置4相连，用于检测接收的激活手掌的运动轨迹，并确定当前激活手掌的运动类型；控制命令确定装置4则根据该当前激活手掌的运动类型和有效手形，在预先建立的手势数据库中确定对应的控制命令。图像显示控制装置5则根据该控制命令切换相应的视频图像或对当前显示的视频图像进行操作。

请参考图4，本发明的一种实施例中，手掌检测单元31包括肤色检测模块311、人脸检测模块312和手掌目标获取模块313，其中肤色检测模块311与人脸检测模块312相连，根据人体肤色特征检测所获取的人体区域图像，并提取人脸、手掌和/或手臂区域；人脸检测模块312与手掌目标获取模块313相连，用于从已经获取的区域中将人脸区域检测出来，并将检测结果发送给手掌目标获取模块313，手掌目标获取模块313根据检测结果将人脸区域删除，并获取手掌目标区域图像。

请参考图4，当手势检测装置3检测的手势包括手掌的手形和手掌的运动轨迹时，该手掌目标获取模块313包括手掌识别子模块3131以及与其相连的手掌获取子模块3132，该手掌区域识别子模块3131用于从已经删除人脸区域的手掌和/或手臂区域中，判断该区域是否只包含手掌的区域，如是，则识别手掌目标区域图像，否则将该区域图像识别为手掌和手臂区域图像，并将其发送给手掌获取子模块3132，由手掌获取子模块3132从该手掌和手臂区域图像中获取手掌目标区域图像。

本发明的另一种实施例中，手掌检测单元31还包括与手掌目标获取模块313相连的手掌目标修正模块314，用于将手掌目标获取模块313获取的手掌目标区域图像进行区域连通性分析，从而得到完整的手掌目标区域图像。

基于以上的视频图像显示器，本发明提出一种视频图像显示控制方法。下面结合附图和具体实施例对本方法进行详细的说明。

请参考图5，一种视频图像显示控制方法包括步骤：

S1、采集显示设备前的实时场景图像。

S2、对该实时场景图像进行人体检测，并获取人体区域图像。

S3、在该人体区域图像中检测手势。

S4、确定该手势所对应的控制命令。

S5、根据该控制命令控制视频图像在显示设备上的显示。

在本发明的一种实施例中，当采集到一帧图像时，还将该图像进行缓存，因此本实施例中采集实时场景图像后还包括：步骤S6将采集的实时场景图像缓存在帧数据缓冲区中。

为了能够对图像数据进行很好的控制，从而保证数据采集和处理的流畅，本实施例中的帧数据缓冲区采用了视频流的双缓冲队列技术，从而将帧图像数据存入缓冲区和数据取出缓冲区分开。

在本发明的一种实施例中，为了得到更精确的图像，需要对采集的实时场景图像进行预处理，包括步骤：

S7、将采集的实时场景图像的颜色空间从RGB转换到HSV。

为了便于步骤S2中的人体检测，又由于肤色在颜色空间的分布相当集中，但会受到照明和人种的很大影响，为了减少肤色受照明强度影响，因此，本实施例中，将实时场景图像进行颜色空间转换到亮度与色度分离的某个颜色空间，然后放弃亮度分量。

因为HSV空间是以色彩的色调(Hue，H)，饱和度(Saturation，S)和亮度(Value，V)三要素来表示的，属于非线性色彩表示系统。HSV色彩表示方法同人对色彩的感知一致，且在HSV空间中，人对色彩的感知较均匀，因此，HSV空间适合于人的视觉特性的色彩空间，将RGB空间转换为HSV后，使得信息结构更加紧凑，各个分量的独立性增强，颜色信息丢失少。因此，本实施例中采用HSV颜色空间。

当然本实施例中的颜色空间模型还可以是其他颜色空间，例如YCbCr等。

将RGB空间到HSV空间的转换关系如下，设R、G、B在[0，1]之间：

V＝Max(R，G，B)

S8、将进行颜色空间转换后的图像进行了去噪处理，本实施例中采用中值滤波的方式对该图像进行去噪处理

由于步骤S1采集的实时场景图像中存在噪声等，因此，为了更好的得到的图像，需要将该图像进行去噪处理。

请参考图6，在本发明的一种实施例中，步骤S2中人体检测，并获取人体区域图像包括步骤：

S21、将当前获取的实时场景图像帧与根据背景模型所得的参考图像进行像素级的减除操作，得到差分图像。

S22、将该差分图像进行二值化处理，得到二值化差分图像。

S23、对该二值化差分图像进行形态学处理。

在某些情况下，如摄像机拍摄的方向与人体运动方向基本一致时，得到的初步的差分二值化图像中包含了一些黑洞和噪声点，因此需要将初步得到的差分二值化图像做形态学处理。

在本发明的一种实施例中，步骤S23形态学处理包括：采用腐蚀操作去除该对二值化差分图像中孤立的噪声点，采用膨胀操作填充该二值化差分图像中空洞部分。其中，腐蚀操作和膨胀操作的结构元素取长宽分别为3的十字形结构元素。

S24、将符合预定连通规则的二值化差分图像进行连通处理，从而获取连通区域。

由于进行二值化处理后的图像中包含了一些零散的区域或者像素点，因此，需要通过区域连通性分析将符合预定规则的图像进行连通处理。在本实施例中，步骤S24中预定连通规则采用8-连通规则，当然该预定规则还可以是其他连通规则，例如4-连通规则。

S25、判断各个连通区域的面积内像素个数总和是否小于设定阈值，如是则将该连通区域视为噪声区，并删除该连通区域，则最后留下的所有连通区域组成的区域图像即为人体区域图像，输出该人体区域图像。其中设定阈值可根据经验设置。

由于在直接检测手势过程中，提取的手掌区域图像中往往会存在噪声，并且这些噪声很接近手掌，从而影响对手势的判断。为了得到更加精确的手势，本发明采用了首先进行了人体检测，再检测手势，从而在进行人体检测过程中将噪声去除，使得检测出的手势更加精确。

由于人体可能在不断地运动，相对于每一次采集的场景图像其背景图像也在改变，为了得到更加精确的背景图像，就需要将背景模型进行更新。

因此，在本发明的另一种实施例中，步骤S2还包括步骤：

S26、判断当前获取的实时场景图像中个像素点是否属于检测到的人体区域中的像素点，如是则背景模型保持不变，否则更新背景模型。

请参考图7，本发明的一种实施例中，步骤S21包括步骤：

S211、获取预处理后的图像。

S212、判断当前背景模型是否已经建立，如是则执行步骤S213，否则执行步骤S214。

S213、将当前获取的预处理后的帧图像f_k(x，y)中各像素点的像素值，与对应于根据背景模型所得的背景参考图像b_k(x，y)中各像素点的像素值进行减除操作，得到差分图像D_k(x，y)，则有D_k(x，y)＝|f_k(x，y)-b_k(x，y)|。

S214、为每个像素点建立一个用单高斯分布表示的模型B＝[μ，δ²]，其中μ为均值，δ²为方差。

S215、输出差分图像。

在本发明的一种实施例中，步骤S22中将差分图像进行二值化处理为：

S221、预先设置一个图像分割阈值T＝kδ，将差分图像的每点的像素值和预设阈值进行比较，预设阈值可根据经验设置，或根据已有的自适应算法计算出来。本实施例中阈值T设为当前像素点像素值的标准差的3倍大小。

S222、将差分图像中的各个像素点的像素值与该分割阈值T进行比较，并根据比较结果来将该差分图像进行分割，从而得到二值化差分图像

$M_k(x,y)=\left\{\begin{array}{ccc}1& \mathrm{foreground}& D_k(x,y)>T\\ 0& \mathrm{background}& \mathrm{otherwise}\end{array}\right..$

本实施例中采用当前像素点的像素值大于该阈值T，则将其像素值设置为1；当前像素点的像素值小于等于该阈值T，则将其像素值设置为0，从而将差分图像进行了二值化，即得到二值化差分图像。

当然，本实施例中的可以将像素值大于阈值的像素点设置为0，将像素值小于等于阈值的像素点设置为1也是可以的。

请参考图8，本发明的一种实施例中，步骤S24中对二值化差分图像进行连通区域性分析包括步骤：

S241、按照从上至下，从左至右的顺序对当前二值化差分图像进行扫描。

S242、判断当前像素点是否为前景点，如是，则将其标记为一个新的ID，否则执行步骤S241。

这里的前景点为对应于当前真实场景中由人体运动的出现所引起的像素值变化的像素点。

S243、判断该前景点的8-连通方向上的像素点是否为前景点，如是，则将其标记为相同的ID，并加入栈Stack。

S244、判断完上述8个像素点后，检查栈是否为空，若非空则将栈顶元素弹出，若为空则结束扫描，并执行步骤S246。

S245、对弹出的像素点继续上面的8-连通判断，不断地重复上面的过程，直至栈为空，得到了具有相同ID的前景区域。

S246、当整个图像扫描结束后，就得到了所有的连通区域，并且每个连通区域都拥有唯一的标识ID。

请参考图9，本实施例中的步骤S26更新背景模型包括步骤：

S261、获取前景掩膜，即获取像素值为1的像素点。

S262、判断该像素点是否为属于步骤S26中获取的人体区域中的像素点，如是，则执行步骤S263，否则执行步骤S264。

S263、保持背景像素点的统计模型的参数不变。本实施例中设当前帧图像为I_i，α为学习速率，μ为均值，δ为标准差，其背景更新公式为：

μ_i+1＝μ_i

${{\mathrm{\δ}}_{i+1}}^2={{\mathrm{\δ}}_i}^2.$

S264、对背景像素点的统计模型的参数进行更新，则有背景更新公式：

μ_i+1＝(1-α)μ_i+αI_i

${{\mathrm{\δ}}_{i+1}}^2=(1-\mathrm{\α}){{\mathrm{\δ}}_i}^2+\mathrm{\α}{(I_i-{\mathrm{\μ}}_i)}^2,$

其中，在本实施例中学习速率α可以设为0.002，当然也可以设为其他值。

请参考图10，在本发明的一种实施例中，当步骤S3中的手势包括手掌的手形时，步骤S3包括：

S31、对已经获取人体区域进行手掌目标检测，并获取手掌目标区域图像。

S32、对该手掌目标区域图像进行手形特征提取。

S33、根据该提取的手形特征和预先建立的手形分类器进行手形识别，判断该手掌的手形是否为有效手形，则执行步骤S4。

请参考图11，本发明的一种实施例中，步骤S31中进行手掌目标检测并获取手掌目标区域图像包括步骤：

S311、对获取的人体区域图像进行肤色检测，获取包含人脸、手掌或手臂区域图像。

因为人体皮肤的色调分布在一定的范围内，可以通过肤色特征将人脸和手臂手掌部分从人体区域中提取出来。

由于肤色在颜色空间的分布相当集中，但会受到照明和人种的很大影响，为了减少肤色受照明强度影响，因此，本实施例在步骤S6中将场景图像进行了图像颜色空间转换为HSV，从而将亮度与色度分离。同时，为避免同一镜头内亮度变化以及其他引起的亮度变化的影响，因而本实施例中，在步骤S311中进行肤色检测时放弃亮度分量，只选择图像的H分量作为检测依据。

再根据肤色在H分量上聚类性分割肤色像素，即根据统计分析定出HSV空间的阈值，并根据该阈值进行肤色区域的分割，从而将人脸、手掌和/或手臂区域区分出来。

S312、从上述区域图像中选取一个区域。

S313、根据预先建立的人脸模型对该区域进行人脸检测，如检测出人脸则将该区域丢弃，并执行步骤S314，否则输出该手掌和/或手臂区域图像，并执行步骤S315。

S314、判断是否还有待检测区域，如是，则执行步骤S313，否则结束操作。

S315、如果判断该区域图像的长宽比不大于2，则判定该区域图像为手掌目标区域图像，并执行步骤S317；否则判定该区域为手掌和手臂区域图像，并执行步骤S316。

S316、采用手掌定位算法对该手掌和手臂区域中的手掌进行定位，并获取该手掌区域。

为了获得完整的手掌区域图像，本发明的一种实施例中，步骤S315中还包括：

当判定为手掌区域图像时，则执行步骤S318：对该手掌区域图像进行区域连通性分析，从而获得完整的手掌区域图像，再执行步骤S317；

当判定为手掌和手臂区域图像时，在执行步骤S316之前执行步骤S318，即对该手掌和手臂区域图像进行区域连通性分析，从而获得完整手掌和手臂区域图像。

在本实施例中，该连通区域分析采用8连通规则进行连通处理：判断原始帧图像中的种子点坐标上的像素与周围8个相邻像素点的H分量的值是否小于设定阈值，如是，则被视为属于同一类像素，加入到连通区域中，得到完整的手掌和/或手臂区域图像。

在本实例中采用了人脸检测来删除人脸区域。其中人脸检测包括两种方法：

一是基于知识的人脸检测方法：通过检测出不同人脸面部特征的位置，然后根据一些知识规则来定位人脸，因为人脸的局部特征的分布总是存在一定的规律，例如眼睛总是在对称分布在人脸上半部分等，所以可以利用一组描述人脸局部特征分布的规则来进行人脸检测、自上而下和自下而上的两种检测策略。

二是基于表象的方法：由于人脸具有统一的结构模式，并且分类器的实现可以采用不同的策略，如采用神经网络的方法和传统的统计方法等。因此，首先通过学习，在大量训练样本集的基础上建立一个能对人脸和非人脸样本进行正确识别的分类器，然后检测图像进行全局扫描，用分类器检测扫描到的图像窗口是否包含人脸，若有，则给出人脸所在的位置。

在本发明的一种实施例中，人脸检测采用了基于表象的方法，包括：S313a、离线采集大量人脸图像样本；S313b、再提取人脸的多维特征向量，并采用PCA方法(Principal Component Analysis，主成分分析)降维；S313c、利用提取的该特征向量对神经网络进行训练得到人脸分类器；S313d、再根据上述特征向量在人脸分类器中对该人体区域图像进行人脸检测；S313e、如检测为人脸，则将人脸区域删除，从而得到手掌和/或手臂区域图像。

请参考图12，本发明的一种实施例中，步骤S316中进行手掌定位并获取包括步骤：

S316a、采用Canny算子对该手掌和手臂区域图像进行边缘检测，获取边缘信息，得到区域轮廓，如图14a所示。

S316b、对该区域轮廓进行最小外接椭圆拟合，获得该外接椭圆信息，包括：长轴、短轴、与水平轴的夹角angle，如图14b所示。

S316c、根据该外接椭圆的长轴和与水平轴的夹角angle获取该区域轮廓的方向信息，从而最终获取其中的手臂和手掌的指向，如图14c所示。

S316d、通过图像几何空间坐标变换对该已获得指向的区域进行图像矫正，使得手臂和手掌指向为竖直向上，如图14d所示。

S316e、对矫正后的手臂和手掌区域进行手掌定位检测，并获取手掌目标区域图像。

如图14e和图14f所示，本实施例中采用手掌定位算法对手掌进行定位，具体为：对该手掌和手臂区域的边缘像素进行垂直方向上的投影操作，找到手掌所在端；再对该手掌和手臂区域的所有像素进行垂直方向上的投影操作，并从手掌所在端开始寻找投影坐标轴上的峰值点；将该峰值点后出现的谷点作为手臂与手掌的分割点；根据该分割点对该手掌和手臂区域进行垂直方向上的分割，从而去除手臂获取手掌部分，即获得手掌目标区域图像。

S317、输出手掌目标区域图像，并执行步骤S32对该手掌目标区域图像进行手形特征提取。

请参考图10，在本发明的一种实施例中，如果步骤S3中的手势包括手掌的手形时，则进行手形特征提取后，步骤S33包括：根据提取的手形特征和预先建立的手形分类器进行手形识别，判断该手掌的手形是否有效，如有效则执行步骤S4：根据预先建立的手势数据库确定该有效手形对应的控制命令，否则丢弃该手形。

请参考图13，在本发明的另一种实施例中，如果步骤S3中的手势包括手掌的手形和手掌的运动轨迹时，进行手形特征提取后，步骤S33还包括：将该手掌标识为激活手掌，并跟踪当前激活手掌的运动轨迹，以确定当前激活手掌的运动类型。

当判定当前手掌的手形有效时，则执行步骤S4：在预先建立的手势数据库中，根据当前激活手掌的运动类型确定相应的控制命令。

最后执行步骤S5：根据确定的控制命令切换相应的视频图像或者对当前视频图像进行操作。

本发明的一种实施例中，手势分为静止和运动，当为静止的手势时，则根据有效手形来获取相应的控制命令；当手势为运动的则需要先确定其运动类型，然后根据手掌的运动类型和/或有效手形来获取相应的控制命令。其中，运动又包括了向上、向下、向左或者向右等。

有效手形：N1、左五指手掌、右五指手掌，如图15c所示；N2、左五指手掌、右拳头，如图15d所示；N3、左五指手掌、右一指手掌，如图15e所示；N4、左一指手掌、右五指手掌，如图15f所示。

运动类型：向左运动包括M1、单只五指手掌向左移动，如图15b所示；向右运动包括M2、单只五指手掌向右移动，如图15a所示；向左向右运动包括M3、左五指手掌向左移动，右五指手掌向右移动，如图15g所示，以及M4、左五指手掌向右移动，右五指手掌向左移动，如图15h所示；动静结合：NAM、左五指手掌静止不动、右一指手掌移动，如图15i所示。

当然本实施例中运动类型还可以是其他的。

如图13所示，本发明的一种实施例中，其中手形分类器的建立和训练包括：离线采集大量手形图像样本集；提取其中的手形特征；再利用获得的手形特征对神经网络进行训练获得手形的分类器。

本实施例中，上述的每个样本集为代表不同的手形的图像模板；上述的手形特征包括：手形轮廓、手形曲度、手形周长、手形面积、手形凸凹度，手形边缘垂直投影、手形边缘水平投影。当然本实施例中的手形特征还可以是其他的特征。本实施例中的神经网络采用了三层神经网络模型，当然也可以使用其他神经网络模型。

请参考图16，本发明的一种实施例中，步骤S4确定控制命令包括：

S41、获取步骤S3标识的激活手掌的运动类型。

S42、根据该激活手掌的运动类型，在预先建立的手形手势数据库中查找对应的手势，若在该数据库中成功找到对应的手势，则获取与该手势相对应的命令，否则不做任何动作。该命令包括该手势要完成的操作和操作的对象。

S43、判断该操作对象为视频动画文件或是图片文件，若为视频动画文件，则执行步骤S44，若为图像文件则执行步骤S45。

S44、理解并解释该手势，并输出相应的控制命令，例如：

若当前激活手掌的手势为M1时，则其对应于手势数据库中的控制命令为切换为播放上一个视频动画文件，并输出相应的控制命令；

若当前激活手掌的手势为M2时，则该手势理解为播放下一个视频动画文件，并输出相应的控制命令；

若当前激活手掌的手势为N1时，则该手势理解为播放当前视频动画文件，并输出相应的控制命令；

若当前激活手掌的手势为N2时，则该手势理解为暂停播放当前视频动画文件，并输出相应的控制命令；

若当前激活手掌的手势为N3时，则该手势理解为快进播放当前视频动画文件，并输出相应的控制命令；

若当前激活手掌的手势为N4时，则该手势理解为快退播放当前视频图像，并输出相应的控制命令。

S45、理解并解释该手势，并输出相应的控制命令，例如：

若当前激活手掌的手势为M1时，则该手势理解为显示上一张图片，输出相应的控制信号；

若当前激活手掌的手势为M2时，则该手势理解为显示下一张图片，输出相应的控制命令；

若当前激活手掌的手势为M3时，则该手势理解为放大图片，输出相应的控制命令；

若当前激活手掌的手势为M4时，则该手势理解为缩小图片，输出相应的控制命令；

若当前激活手掌的手势为NAM时，则该手势理解为移动图片，输出相应的控制命令。

通过本发明的视频图像显示控制方法，用户只需要做出相应的手势，包括静止或者运动的手势，以选择需要的视频图像进行显示，或者对当前显示视频图像进行操作，使得用户与视频图像显示器之间实现了主动交互，提高了视频图像与用户之间的交互效率。

上述一种视频图像显示控制方法可用于视频广告图片或动画的显示，也可用于其它图片或动画的显示。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种视频图像显示控制方法,其特征在于，包括步骤：

A、采集显示设备前的实时场景图像；

B、将当前获取的实时场景图像帧与根据背景模型所得的参考图像进行比较从而检测到人体区域图像；

C、在所述人体区域图像中检测手势，所述手势包括手掌的手形和手掌的运动轨迹，对所述人体区域图像进行手掌目标检测，并获取手掌目标区域图像；对所述手掌目标区域图像进行手形特征提取；根据提取的该手掌的手形特征和预先建立的手形分类器进行手形识别，判断该手掌的手形是否为有效手形，当判断该手掌的手形为有效手形时，将该手掌标识为当前激活手掌；检测当前激活手掌的运动轨迹，确定当前激活手掌的运动类型；

D、在预先建立的手势数据库中，根据该有效手形和当前激活手掌的运动类型确定对应的控制命令；

E、根据所述控制命令切换相应的视频图像或对当前显示的视频图像进行操作。

2.如权利要求1所述的方法，其特征在于，所述检测人体区域图像的步骤包括：

将当前获取的实时场景图像帧与根据背景模型所得的参考图像进行像素级的减除操作，得到差分图像；

将所述差分图像进行二值化处理，得到二值化差分图像；

对所述二值化差分图像进行形态学处理；

将符合预定连通规则的二值化差分图像进行连通处理，获取连通区域；

判断各连通区域是否为噪声区，若是则删除；

将由最后留下的所有连通区域组成的区域图像作为人体区域图像，并输出所述人体区域图像。

3.如权利要求2所述的方法，其特征在于，还包括步骤：判断当前获取的实时场景图像帧中各像素点是否属于检测到的人体区域中的像素点，若是则背景模型保持不变，否则更新背景模型。

4.如权利要求1所述的方法，其特征在于，对所述人体区域图像进行手掌目标检测的步骤包括：

对所述人体区域图像部分进行肤色检测，获取包含人脸、手臂或手掌区域图像；

根据预先建立的肤色检测模型得到手臂和手掌、或手掌区域图像；

在手臂和手掌、或手掌区域图像中检测出手掌。

5.如权利要求4所述的方法，其特征在于，所述在手臂和手掌、或手掌区域图像中检测出手掌的步骤包括：

判断所述手臂和手掌、或手掌区域图像的长宽比是否大于2，若是，则判定该区域为手臂和手掌区域图像，否则为手掌区域图像；

当判定为手臂和手掌区域图像时，对所述手臂和手掌区域图像进行边缘检测，获取边缘信息，得到区域轮廓；

对所述区域轮廓进行最小外接椭圆拟合，获得所述外接椭圆的信息；

根据所述外接椭圆的信息，获取所述区域轮廓的方向信息，从而最终获取所述手臂和手掌的指向；

对已获取指向的所述手臂区域图像和手掌区域图像进行图像矫正，使得手臂和手掌指向为竖直向上；

在矫正后的所述手臂和手掌区域图像上进行手掌定位检测，获取手掌目标区域图像。

6.一种视频图像显示器，其特征在于包括：

摄像装置，用于采集显示设备前的实时场景图像；

人体检测装置，用于将当前获取的实时场景图像帧与根据背景模型所得的参考图像进行比较从而检测到人体区域图像；

手势检测装置，用于在所述人体区域图像中检测手势，所述手势包括手掌的手形和手掌的运动轨迹，所述手势检测装置包括：

手掌检测单元，用于对所述人体区域图像进行手掌目标检测，并获取手掌目标区域图像；

手形特征提取单元，对所述手掌目标区域图像进行手形特征提取；

手形识别单元，根据提取的该手掌的手形特征和预先建立的手形分类器进行手形识别，判断该手掌的手形是否为有效手形，当判断该手掌的手形为有效手形时，将该手掌标识为当前激活手掌；

手掌跟踪单元，用于检测当前激活手掌的运动轨迹，确定当前激活手掌的运动类型；

控制命令确定装置，用于在预先建立的手势数据库中，根据该有效手形和当前激活手掌的运动类型确定对应的控制命令；

图像显示控制装置，用于根据所述控制命令切换相应的视频图像或对当前显示的视频图像进行操作。

7.如权利要求6所述的视频图像显示器，其特征在于还包括背景更新装置，其用于判断当前获取的实时场景图像帧中各像素点是否属于检测到的人体区域中的像素点，若是则背景模型保持不变，否则更新背景模型。

Images