CN104156689B - 一种对目标对象的特征信息进行定位的方法和设备 - Google Patents
一种对目标对象的特征信息进行定位的方法和设备 Download PDFInfo
- Publication number
- CN104156689B CN104156689B CN201310177961.5A CN201310177961A CN104156689B CN 104156689 B CN104156689 B CN 104156689B CN 201310177961 A CN201310177961 A CN 201310177961A CN 104156689 B CN104156689 B CN 104156689B
- Authority
- CN
- China
- Prior art keywords
- target object
- information
- area
- shape
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 description 19
- 210000004709 eyebrow Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种对目标对象的特征信息进行定位的方法和设备,内容包括:对包含目标对象的图像帧进行划分,确定目标对象区域,利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息,对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,提高了初定位的精度;而且对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息,提高了对目标对象的特征信息进行定位的精确度。
Description
技术领域
本发明涉及图像处理领域,尤其涉及一种对目标对象的特征信息进行定位的方法和设备。
背景技术
随着科学技术的发展,人们的安全意识不断增加,大多数公共场合内部署了大量的摄像设备,利用部署的摄像设备实时获取公共场合内发生的一切事情,并对突发事件发生后产生的纠纷提供证据材料,同时也能够再现案件发生时的情形。但是,由于部署的大量的摄像设备的像素不是特别高,采集到的目标对象的特征信息(例如:人的面部特征)相对比较模糊,无法满足用户的要求。
在现有技术中,对目标对象的特征信息进行定位的方式包括但不限于:基于先验规则方式、基于几何形状信息方式、基于色彩信息方式以及基于外观信息方式等。
具体地,所述先验规则方式是利用目标对象的特征信息的一般特点的经验描述进行定位,例如:人物脸部区域的双眼信息、嘴巴信息等特征信息,其亮度一般低于周边区域,但是此种方式无法解决如何将人们直观印象表述为可应用的代码化规则,以及如何处理规则的精确度与普适度之间的矛盾的问题;
所述几何形状信息方式是利用目标对象的特征信息的几何形状特征进行定位,但是此种方式受外界因素影响较大,得到的特征信息的准确性较差;
由于所述色彩信息方式对光照条件和图像采集设备的特性要求较高,导致易受环境因素的干扰,精度不稳定;
由于所述外观信息方式在应用时运算量较大,难以与对直观的物理特征建立联系,仅适用局部灰度信息也很难对目标对象的特征信息进行定位。
此外,现有技术中对目标对象的特征信息进行定位的方式只限于对图片信息进行定位,利用adaboost算法对指定的图像信息进行初定位,这样获取的目标对象的特征信息较少;再次利用ASM算法对该指定的图像信息进行细定位,进一步对该指定的图像信息进行细化,由于细定位是在初定位的基础上进行的,而初定位获取的目标对象的特征信息较少,这样导致细定位误差增加,目标对象的特征信息的定位精度降低,造成设备资源的浪费。
发明内容
本发明实施例提供了一种对目标对象的特征信息进行定位的方法和设备,用于解决现有技术中目标对象的特征信息的定位精度降低,造成设备资源的浪费的问题。
一种对目标对象的特征信息进行定位的方法,包括:
对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域;
利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息;
对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,并对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息;
将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息。
一种对目标对象的特征信息进行定位的设备,包括:
划分模块,用于对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域;
中心点位置信息确定模块,用于利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息;
区域位置信息确定模块,用于对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,并对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息;
特征信息整合模块,用于将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息。
本发明有益效果如下:
本发明实施例通过对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域,利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息,对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,提高了初定位的精度,为后续精确定位做出铺垫;而且对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息,这样进一步提高了对目标对象的特征信息进行定位的精确度。
附图说明
图1为本发明实施例一的一种对目标对象的特征信息进行定位的方法的流程示意图;
图2为眼睛与眉毛的相似图;
图3为张嘴和闭嘴的相似图;
图4为本发明实施例二的一种对目标对象的特征信息进行定位的方法的流程示意图;
图5为本发明实施例三的一种对目标对象的特征信息进行定位的设备的结构示意图。
具体实施方式
为了实现本发明的目的,本发明实施例提供了一种对目标对象的特征信息进行定位的方法和设备,通过对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域,利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息,对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,提高了初定位的精度,为后续精确定位做出铺垫;而且对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息,这样进一步提高了对目标对象的特征信息进行定位的精确度。
下面结合说明书附图对本发明各个实施例进行详细描述。
实施例一:
如图1所示,为本发明实施例一的一种对目标对象的特征信息进行定位的方法的流程示意图,所述方法包括:
步骤101:对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域。
其中,一个目标对象区域内包含了一个目标对象。
具体地,在步骤101中,对包含目标对象的图像帧进行划分,包括:
首先,利用adaboost算法对接收到的图像帧进行计算,得到所述图像帧中每一个目标对象所占区域的区域信息。
其中,所述区域信息中包括了位置信息和目标对象所占区域的大小信息。
假设待定位的目标对象为人脸信息,接收到的图像帧为视频图像信息,利用adaboost算法对接收到的视频图像帧进行检测,得到所述视频图像帧信息中包含人脸的区域信息:face Rects={face Rect1,face Rect2,...face Recti,...,face Rectn},其中,face Recti={xi,yi,widthi,heighi}中的{xi,yi}为第i个人脸的区域信息的位置信息,{widthi,heighi}为第i个人脸所占区域的大小信息。
其次,利用所述目标对象所占区域的位置信息和所述目标对象所占区域的大小信息,计算所述目标对象所占区域的中心点坐标信息。
还以上述假设为例,根据第i个目标对象所占区域的{xi,yi}和目标对象所占区域的{widthi,heighi},计算得到第i个目标对象所占区域的中心点坐标信息为face Recti的中心点坐标信息为
第三,将计算得到的所述目标对象所占区域的中心点坐标信息和存储的已定位特征信息的目标对象所占区域的中心点坐标信息进行欧氏距离计算,并将计算得到的距离值与设定的数值进行比较。
其中,所述存储的已定位特征的目标对象所占区域的中心点坐标信息是根据相对于接收到的图像帧的前一帧图像帧进行目标对象的特征信息定位时得到的。
具体地,还以上述假设为例,存储的已定位特征的人脸所占区域的特征信息为feature=(x1,y1,x2,y2,...,xm,ym),计算得到已定位特征的目标对象所占区域的中心点坐标信息为(x′,y′),即
第四,根据比较结果,确定接收到的图像帧中确定的目标对象区域是未定位特征信息的目标对象区域还是已定位特征信息的目标对象区域。
具体地,当计算得到的距离值大于设定的数值时,确定接收到的图像帧中确定的所述目标对象区域是未定位特征信息的目标对象区域;
当计算得到的距离值不大于设定的数值时,确定接收到的图像帧中确定的所述目标对象区域是已定位特征信息的目标对象区域。
较优地,在确定接收到的图像帧中确定的目标对象区域是已定位特征信息的目标对象区域之后,所述方法还包括:
首先,将确定的已定位特征信息的目标对象区域缩放至N*N大小,以及将存储的已定位特征信息的目标对象所占区域缩放至N*N大小。
其中,N为自然数。
这样保证确定的已定位特征信息的目标对象区域和存储的已定位特征信息的目标对象所占区域能够在同一像素大小情况下进行后续的匹配操作,提高匹配操作的精度。
其次,计算确定出的目标对象区域与存储的目标对象区域之间的相似度T。
具体地,通过以下方式计算确定出的目标对象区域与存储的目标对象区域之间的相似度T:
其中,p(x,y)和q(x,y)分别是存储的目标对象区域和确定出的目标对象区域,ε是常量,范围是[0,255],且ε值越大,两个区域的相似数目s越大。
第三,判断计算得到的相似度是否小于设定的相似度值,若是,则认定确定出的目标对象区域和存储的目标对象区域是同一目标对象区域;
否则,认定确定出的目标对象区域是需要重新定位特征信息的目标对象区域,即为定位特征信息的目标对象区域。
其中,所述设定的相似度值的确定方法包括但不限于:θ*N2,其中,N2是图像大小,θ是相似度,范围在[0,1],当取0时,则所有判断操作都不成功,当取1时,则所有判断操作都成功。
较优地,需要说明的是,确定设定的数值的方法包括但不限于:
其中,W为LK算法中目标对象的窗口大小值,Level为对该目标对象的窗口进行缩放的次数。
由此可见,若d值过大,则可能会将不同目标对象的特征信息与同一目标对象区域实现匹配;若d值过小,则可能会将同一目标对象的特征信息和该目标对象区域不能实现匹配,也就是说d值的大小要保证同一目标对象的特征信息与该目标对象区域实现唯一匹配。
步骤102:利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息。
具体地,在步骤102中,首先,在确定出未定位特征信息的目标对象区域之后,目标对象的特征信息的搜索范围也需要确定,当搜索范围过小时,将出现检测不到目标对象的情况;当搜索范围过大,将增加系统的计算量且误检率相对较高,因此,搜索范围的确定是基于统计的方式得到的,其中,W和H分别是目标对象所占区域的宽和高,如下表(1)所示:
起点x坐标 | 起点y坐标 | 宽度 | 高度 | |
特征信息1 | W/8 | H/8 | W/2 | H/2 |
特征信息2 | W/2-W/8 | H/8 | W/2 | H/2 |
特征信息3 | W/4 | H/2 | W/2 | H/2 |
表(1)
其次,针对一个特征信息,利用特征信息分类器在确定的搜索范围内查找所述目标对象的特征信息。
具体地,以目标对象是人脸为例,此时特征信息为眉毛、眼睛、鼻子和嘴巴。通过大量实践数据得知,由于在截取眼睛样本时,闭眼与细眉有几分相似,如图2所示,眼睛分类器若仅截取眼睛作为训练样本,难免会出现将细眉检测为眼睛,尤其是图像采集时出现眼睛闭合的情况的频率较高,因此,截取眼睛样本时应与眉毛一起截取,这样提高定位眼睛的精度,有助于后续算法的处理。
同样的道理,利用嘴巴分类器在截取嘴巴样本时,由于嘴巴变化较大,尤其是张嘴和闭嘴,如图3所示,降低了定位嘴巴的精度,但是相对与嘴巴而言,鼻尖的变化较小,因此,将嘴巴与鼻尖一同截取,这样提高嘴巴的检测精度。
下面以左眼是特征信息为例,扫描左眼以及左眉所占区域,确定左眼、左眉的中心点centerPoint、最大点maxPoint、最小点minPoint,则截取左眼就是以centerPoint为中心,(maxPoint-minPoint)为宽度和高度进行截取,这样可以保证眉毛和眼睛都能被截取出来。
同理的方式截取出右眼和右眉。
嘴巴截取与眼睛的截取方式相似,计算鼻尖以及所有嘴巴的坐标点信息,得到截取的中心点centerPoint、最大点maxPoint、最小点minPoint,则截取嘴巴就是以centerPoint为中心,(maxPoint-minPoint)为宽度和高度进行截取,这样可以保证嘴巴和鼻子都能被截取出来。
对截取的样本,大小统一缩放到20*20,采用最基本的Haar特征,其中,特征总数为78460,训练后分别得到左眼分类器、右眼分类器和嘴巴分类器。并利用得到的不同分类器在确定的范围内进行搜索,得到左眼、右眼和嘴巴的位置,由于训练样本的截取是将眼睛和眉毛放在一起进行截取的,因此确定的眼睛和嘴巴的中心点位置信息,并非是眼睛和嘴巴的真实的中心点位置,而是眼睛和眉毛的中心点位置信息,嘴巴和鼻尖的中心点位置信息。
步骤103:对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,并对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息。
具体地,在步骤103中,利用ASM训练算法对确定的中心点位置信息进行仿射变换运算,具体地,利用ASM训练算法得到目标对象内待定位特征信息所占区域的平均形状,并进一步地进行仿射变换(包括:旋转、缩放和平移变换)计算,得到该目标对象内待定位特征信息所占区域的初始位置信息。
并对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息。
较优地,针对步骤101中确定出的已定位特征信息的目标对象区域,由于特征信息在不同视频图像帧信息中纹理不同,相同的目标对象的特征信息在不同视频图像帧信息中所占区域是不同的,因此,可以利用已定位特征信息的相邻前一视频图像帧信息中定位的每一个特征信息的光流值,计算接收到的图像帧信息中已定位特征信息的目标对象区域内的每一个特征信息的光流值。
具体地,通过以下的LK光流算法计算得到:
令 则
其中,Ix1和Iy1表示在当前图像帧信息中目标对象区域内图像点(x1,y1)处x方向的梯度和y方向的梯度,It表示当前图像帧信息的时间方向的梯度,即前后图像点对应的位置之差,u和v是待求的每一个特征信息的光流值,u表示水平方向的光流速度,v表示垂直方向的光流速度。
在得到每一个特征信息的光流值后,利用投票的方式,对得到的特征信息的位置信息进行调整。
具体地,由于单点计算出的光流值存在精度误差、病态、稳定性等问题,通过计算该特征信息点的周围像素能够避免这些问题,计算出该特征信息点及周边像素点的光流值后,通过投票的方式选择票数最多的角度和长度作为该特征信息的位置信息。
步骤104:将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息。
具体地,在步骤104中,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,包括:
首先,根据得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息,确定所述目标对象区域的形状信息。
例如:shape={(x1,y1),(x2,y2),......,(xn,yn)},其中,{(x1,y1),(x2,y2),......,(xn,yn)}为得到的位置信息。
shape={(x1,y1),(x2,y2),......,(xn,yn)}也可以是特征信息的初始形状信息。
其次,根据预设的特征信息的形状信息与形状大小信息之间的对应关系,得到确定的所述目标对象区域的形状信息对应的形状大小信息。
具体地,通过以下方式建立特征信息的形状信息shape和形状大小信息S之间的对应关系:
其中,shape={(x1,y1),(x2,y2),......,xn(yn,{(x1,y1),(x2,y2),......,(xn,yn)}为得到的位置信息,
需要说明的是,初始形状信息可以得到的初始形状信息的大小信息。
第三,判断得到的所述目标对象区域的形状信息对应的形状大小信息是否满足设定的形状大小的条件,若得到的所述目标对象区域的形状信息对应的形状大小信息满足设定条件时,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,确定出所述目标对象的特征信息;
若得到的所述目标对象区域的形状信息对应的形状大小信息不满足设定的形状大小的条件时,对得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行调整,并继续执行根据调整后的位置信息确定所述目标对象区域的形状信息的操作。
具体地,所述设定的形状大小的条件为:得到的形状大小信息的范围是【初始形状大小信息*约束因子】~【初始形状大小信息*(2-约束因子)】。
即S∈[S0*θ,S0*(2-θ)],其中,约束因子θ=0.9。
较优地,若得到的形状大小信息不满足设定的形状大小的条件时,对得到的位置信息进行调整,具体包括:
首先,当得到的形状大小信息小于【初始形状大小信息*约束因子】时,将得到的每一个位置信息增加【初始形状大小信息*约束因子】与得到的形状大小信息的商值。
例如:当Si小于S0*θ,说明当前特征信息的形状过小,调用Scale(shapei,S0*θ/Si)对形状大小进行约束。
其中:s=S0*θ/Si。
其次,当得到的形状大小信息大于【初始形状大小信息*(2-约束因子)】时,将得到的每一个位置信息增加【初始形状大小信息*(2-约束因子)】与得到的形状大小信息的商值。
例如:若Si大于S0*(2-θ),说明当前特征信息的形状过大,调用Scale(shapei,S0*(2-θ)/Si)对形状大小进行约束。
其中:s=S0*(2-θ)/Si。
通过本发明实施例一的方案,对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域,利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息,对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,提高了初定位的精度,为后续精确定位做出铺垫;而且对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息,这样进一步提高了对目标对象的特征信息进行定位的精确度。
实施例二:
如图4所示,为本发明实施例二的一种对目标对象的特征信息进行定位的方法的流程示意图,本发明实施例二是与本发明实施例一在同一构思下的定位方法,具体包括:
步骤201:对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域,并对确定的目标对象区域进行判断,若所述目标对象区域是已定位特征信息的目标对象区域,则执行步骤202;否则,执行步骤206。
其中,一个目标对象区域内包含了一个目标对象。
具体地,在步骤201中,对包含目标对象的图像帧进行划分,包括:
首先,利用adaboost算法对接收到的图像帧进行计算,得到该图像帧中每一个目标对象所占区域的区域信息。
其中,所述区域信息中包括了位置信息和目标对象所占区域的大小信息。
假设待定位的目标对象为人脸信息,接收到的图像帧为视频图像帧,利用adaboost算法对接收到的视频图像帧进行检测,得到所述视频图像帧中包含的人脸的区域信息:face Rects={face Rect1,face Rect2,...face Recti,...,face Rectn},其中,face Recti={xi,yi,widthi,heighi}中的{xi,yi}为第i个人脸的区域信息的位置信息,{widthi,heighi}为第i个人脸所占区域的大小信息。
其次,利用所述目标对象所占区域的位置信息和所述目标对象所占区域的大小信息,计算所述目标对象所占区域的中心点坐标信息。
还以上述假设为例,根据第i个目标对象所占区域的{xi,yi}和所述目标对象所占区域的{widthi,heighi},计算得到第i个目标对象所占区域的中心点坐标信息为faceRecti的中心点坐标信息为
第三,将计算得到的中心点坐标信息和存储的已定位特征信息的目标对象所占区域的中心点坐标信息进行欧氏距离计算,并将计算得到的距离值与设定的数值进行比较。
其中,所述存储的已定位特征的目标对象所占区域的中心点坐标信息是根据对相对于接收到的图像帧的前一帧图像帧进行目标对象的特征信息进行定位时得到的。
具体地,还以上述假设为例,存储的已定位特征的人脸所占区域的特征信息为feature=(x1,y1,x2,y2,...,xm,ym),计算得到已定位特征的目标对象所占区域的中心点坐标信息为(x′,y′),即
第四,根据比较结果,确定接收到的图像帧信息中划分出的目标对象区域是未定位特征信息的目标对象区域还是已定位特征信息的目标对象区域。
具体地,当计算得到的距离值大于设定的数值时,确定接收到的图像帧信息中划分出的目标对象区域是未定位特征信息的目标对象区域;
当计算得到的距离值不大于设定的数值时,确定接收到的图像帧信息中划分出的目标对象区域是已定位特征信息的目标对象区域。
步骤202:将确定的已定位特征信息的目标对象区域缩放至N*N大小,以及将存储的已定位特征信息的目标对象所占区域缩放至N*N大小。
步骤203:计算确定出的目标对象区域与存储的目标对象区域之间的相似度T。
具体地,通过以下方式计算确定出的目标对象区域与存储的目标对象区域之间的相似度T:
其中,p(x,y)和q(x,y)分别是存储的目标对象区域和确定出的目标对象区域,ε是常量,范围是[0,255],且ε值越大,两个区域的相似数目s越大。
步骤204:判断计算得到的相似度是否小于设定的相似度值,若是,则认定确定出的目标对象区域和存储的目标对象区域是同一目标对象区域;否则,认定确定出的目标对象区域是需要重新定位特征信息的目标对象区域,继续执行步骤206。
步骤205:利用已定位特征信息的相邻前一视频图像帧信息中定位的每一个特征信息的光流值,计算接收到的图像帧信息中已定位特征信息的目标对象区域内的每一个特征信息的光流值。
具体地,通过以下的LK光流算法计算得到:
令 则
其中,Ix1和Iy1表示在当前图像帧信息中目标对象区域内图像点(x1,y1)处x方向的梯度和y方向的梯度,It表示当前图像帧信息的时间方向的梯度,即前后图像点对应的位置之差,u和v是待求的每一个特征信息的光流值,u表示水平方向的光流速度,v表示垂直方向的光流速度。
较优地,在得到每一个特征信息的光流值后,利用投票的方式,对得到的特征信息的位置信息进行调整。
具体地,由于单点计算出的光流值存在精度误差、病态、稳定性等问题,通过计算该特征信息点的周围像素能够避免这些问题,计算出该特征信息点及周边像素点的光流值后,通过投票的方式选择票数最多的角度和长度作为该特征信息的位置信息。
步骤206:利用特征信息分类器对所述未定位特征信息的目标对象区域进行扫描,确定该目标对象区域内待定位特征信息所占区域的中心点位置信息。
步骤207:对确定的中心点位置信息进行仿射变换运算,得到该目标对象区域内待定位特征信息所占区域对应的初始位置信息。
步骤208:对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息。
步骤209:将得到的位置信息进行整合,得到该目标对象的特征信息。
实施例三:
如图5所示,为本发明实施例三的一种对目标对象的特征信息进行定位的设备的结构示意图,所述设备包括划分模块11、中心点位置信息确定模块12、区域位置信息确定模块13和特征信息整合模块14,其中:
划分模块11,用于对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域;
中心点位置信息确定模块12,用于利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息;
区域位置信息确定模块13,用于对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,并对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息;
特征信息整合模块14,用于将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息。
具体地,所述划分模块11,具体用于利用adaboost算法对接收到的图像帧进行计算,得到所述图像帧中每一个目标对象所占区域的区域信息,其中,所述区域信息中包括了位置信息和目标对象所占区域的大小信息;
利用所述目标对象所占区域的位置信息和所述目标对象所占区域的大小信息,计算所述目标对象所占区域的中心点坐标信息;
将计算得到的所述目标对象所占区域的中心点坐标信息和存储的已定位特征信息的目标对象所占区域的中心点坐标信息进行欧氏距离计算,并将计算得到的距离值与设定的数值进行比较,其中,所述存储的已定位特征的目标对象所占区域的中心点坐标信息是根据前一帧图像的特征信息定位结果得到的;
当计算得到的距离值大于设定的数值时,确定接收到的图像帧中确定的所述目标对象区域是未定位特征信息的目标对象区域;
当计算得到的距离值不大于设定的数值时,确定接收到的图像帧中确定的所述目标对象区域是已定位特征信息的目标对象区域。
具体地,所述特征信息整合模块14,具体用于根据得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息,确定所述目标对象区域的形状信息;
根据预设的特征信息的形状信息与形状大小信息之间的对应关系,得到确定的所述目标对象区域的形状信息对应的形状大小信息;
判断得到的所述目标对象区域的形状信息对应的形状大小信息是否满足设定的形状大小的条件,若得到的所述目标对象区域的形状信息对应的形状大小信息满足设定条件时,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,确定出所述目标对象的特征信息;
若得到的所述目标对象区域的形状信息对应的形状大小信息不满足设定的形状大小的条件时,对得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行调整,并继续执行根据调整后的位置信息确定所述目标对象区域的形状信息的操作。
所述特征信息整合模块14,具体用于通过以下方式建立特征信息的形状信息shape和形状大小信息S之间的对应关系:
其中,shape={(x1,y1),(x2,y2),......,xn(yn,{(x1,y1),(x2,y2),......,(xn,yn)}为得到的位置信息,
较优地,所述设定的形状大小的条件为:S∈[S0*θ,S0*(2-θ)],其中,约束因子θ=0.9;
所述特征信息整合模块14,具体用于当得到的S小于S0*θ时,将得到的每一个位置信息增加S0*θ/S;
当得到的S大于S0*(2-θ)时,将得到的每一个位置信息增加S0*(2-θ)/S。
较优地,所述设备还包括:区域匹配模块15,其中:
区域匹配模块15,用于在确定接收到的图像帧中确定的所述目标对象区域是已定位特征信息的目标对象区域之后,将确定的已定位特征信息的目标对象区域缩放至N*N大小,以及将存储的已定位特征信息的目标对象所占区域缩放至N*N大小;计算确定出的目标对象区域与存储的目标对象区域之间的相似度T;判断计算得到的相似度是否小于设定的相似度值,若是,则认定确定出的目标对象区域和存储的目标对象区域是同一目标对象区域;
否则,认定确定出的目标对象区域是需要重新定位特征信息的目标对象区域,其中,N为自然数。
本领域的技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (11)
1.一种对目标对象的特征信息进行定位的方法,其特征在于,包括:
对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域;
利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息;
对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,并对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息;
将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息。
2.如权利要求1所述的方法,其特征在于,对包含目标对象的图像帧进行划分,确定目标对象区域,具体包括:
利用adaboost算法对接收到的图像帧进行计算,得到所述图像帧中每一个目标对象所占区域的区域信息,其中,所述区域信息中包括了位置信息和目标对象所占区域的大小信息;
利用所述目标对象所占区域的位置信息和所述目标对象所占区域的大小信息,计算所述目标对象所占区域的中心点坐标信息;
将计算得到的所述目标对象所占区域的中心点坐标信息和存储的已定位特征信息的目标对象所占区域的中心点坐标信息进行欧氏距离计算,并将计算得到的距离值与设定的数值进行比较,其中,所述存储的已定位特征信息的目标对象所占区域的中心点坐标信息是根据前一帧图像的特征信息定位结果得到的;
当计算得到的距离值大于设定的数值时,确定接收到的图像帧中确定的所述目标对象区域是未定位特征信息的目标对象区域;
当计算得到的距离值不大于设定的数值时,确定接收到的图像帧中确定的 所述目标对象区域是已定位特征信息的目标对象区域。
3.如权利要求1所述的方法,其特征在于,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息之前,还包括:
根据得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息,确定所述目标对象区域的形状信息;
根据预设的目标对象区域的形状信息与形状大小信息之间的对应关系,得到确定的所述目标对象区域的形状信息对应的形状大小信息;
判断得到的所述目标对象区域的形状信息对应的形状大小信息是否满足设定的形状大小的条件,若得到的所述目标对象区域的形状信息对应的形状大小信息满足设定条件时,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,确定出所述目标对象的特征信息;
若得到的所述目标对象区域的形状信息对应的形状大小信息不满足设定的形状大小的条件时,对得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行调整,并继续执行根据调整后的位置信息确定所述目标对象区域的形状信息的操作。
4.如权利要求3所述的方法,其特征在于,预设的目标对象区域的形状信息与形状大小信息之间的对应关系,具体包括:
通过以下方式建立目标对象区域的形状信息shape和形状大小信息S之间的对应关系:
其中,shape= {(x1 , y1) , (x2 , y2) , ...... , (xn , yn )},{(x1,y1),(x2,y2),......,(xn,yn)}为得到的位置信息,
5.如权利要求4所述的方法,其特征在于,所述设定的形状大小的条件 为:S∈[S0*θ,S0*(2-θ)],其中,约束因子θ=0.9;S0表示初始形状大小信息;
若得到的所述目标对象区域的形状信息对应的形状大小信息不满足设定的形状大小的条件时,对得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行调整,具体包括:
当得到的S小于S0*θ时,将得到的每一个位置信息乘以S0*θ/S;
当得到的S大于S0*(2-θ)时,将得到的每一个位置信息乘以S0*(2-θ)/S。
6.如权利要求2所述的方法,其特征在于,在确定接收到的图像帧中确定的所述目标对象区域是已定位特征信息的目标对象区域之后,所述方法还包括:
将确定的已定位特征信息的目标对象区域缩放至N*N大小,以及将存储的已定位特征信息的目标对象所占区域缩放至N*N大小,其中,N为自然数;
计算确定出的目标对象区域与存储的目标对象区域之间的相似度T;
判断计算得到的相似度是否大于设定的相似度值,若是,则认定确定出的目标对象区域和存储的目标对象区域是同一目标对象区域;
否则,认定确定出的目标对象区域是需要重新定位特征信息的目标对象区域。
7.一种对目标对象的特征信息进行定位的设备,其特征在于,包括:
划分模块,用于对包含目标对象的图像帧进行划分,确定所述图像帧中的目标对象区域;
中心点位置信息确定模块,用于利用特征信息分类器对确定的目标对象区域进行扫描,确定所述目标对象区域内待定位特征信息所占区域的中心点位置信息;
区域位置信息确定模块,用于对确定的中心点位置信息进行仿射变换运算,得到所述目标对象区域内待定位特征信息所占区域对应的初始位置信息,并对得到的所述初始位置信息进行迭代处理,得到所述目标对象区域内待定位特征信息所占区域对应的位置信息;
特征信息整合模块,用于将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,得到所述目标对象的特征信息。
8.如权利要求7所述的设备,其特征在于,
所述划分模块,具体用于利用adaboost算法对接收到的图像帧进行计算,得到所述图像帧中每一个目标对象所占区域的区域信息,其中,所述区域信息中包括了位置信息和目标对象所占区域的大小信息;
利用所述目标对象所占区域的位置信息和所述目标对象所占区域的大小信息,计算所述目标对象所占区域的中心点坐标信息;
将计算得到的所述目标对象所占区域的中心点坐标信息和存储的已定位特征信息的目标对象所占区域的中心点坐标信息进行欧氏距离计算,并将计算得到的距离值与设定的数值进行比较,其中,所述存储的已定位特征信息的目标对象所占区域的中心点坐标信息是根据前一帧图像的特征信息定位结果得到的;
当计算得到的距离值大于设定的数值时,确定接收到的图像帧中确定的所述目标对象区域是未定位特征信息的目标对象区域;
当计算得到的距离值不大于设定的数值时,确定接收到的图像帧中确定的所述目标对象区域是已定位特征信息的目标对象区域。
9.如权利要求7所述的设备,其特征在于,
所述特征信息整合模块,具体用于根据得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息,确定所述目标对象区域的形状信息;
根据预设的目标对象区域的形状信息与形状大小信息之间的对应关系,得到确定的所述目标对象区域的形状信息对应的形状大小信息;
判断得到的所述目标对象区域的形状信息对应的形状大小信息是否满足设定的形状大小的条件,若得到的所述目标对象区域的形状信息对应的形状大小信息满足设定条件时,将得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行整合,确定出所述目标对象的特征信息;
若得到的所述目标对象区域的形状信息对应的形状大小信息不满足设定的形状大小的条件时,对得到的所述目标对象区域内待定位特征信息所占区域对应的位置信息进行调整,并继续执行根据调整后的位置信息确定所述目标对象区域的形状信息的操作。
10.如权利要求9所述的设备,其特征在于,
所述特征信息整合模块,具体用于通过以下方式建立目标对象区域的形状信息shape和形状大小信息S之间的对应关系:
其中, shape= {(x1 , y1) , (x2 , y2) , ...... , (xn , yn )},{(x1,y1),(x2,y2),......,(xn,yn)}为得到的位置信息,
11.如权利要求10所述的设备,其特征在于,所述设定的形状大小的条件为:S∈[S0*θ,S0*(2-θ)],其中,约束因子θ=0.9;S0表示初始形状大小信息;
所述特征信息整合模块,具体用于当得到的S小于S0*θ时,将得到的每一个位置信息乘以S0*θ/S;
当得到的S大于S0*(2-θ)时,将得到的每一个位置信息乘以S0*(2-θ)/S。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310177961.5A CN104156689B (zh) | 2013-05-13 | 2013-05-13 | 一种对目标对象的特征信息进行定位的方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310177961.5A CN104156689B (zh) | 2013-05-13 | 2013-05-13 | 一种对目标对象的特征信息进行定位的方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104156689A CN104156689A (zh) | 2014-11-19 |
CN104156689B true CN104156689B (zh) | 2017-03-22 |
Family
ID=51882186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310177961.5A Active CN104156689B (zh) | 2013-05-13 | 2013-05-13 | 一种对目标对象的特征信息进行定位的方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104156689B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105098651A (zh) * | 2014-12-26 | 2015-11-25 | 天津航天中为数据系统科技有限公司 | 输电线路绝缘子定位方法及系统 |
WO2016134916A1 (en) * | 2015-02-23 | 2016-09-01 | Siemens Aktiengesellschaft | Method and system for automated positioning of a medical diagnostic device |
KR102699826B1 (ko) * | 2016-11-16 | 2024-08-29 | 삼성전자주식회사 | 재질 인식 및 재질 트레이닝을 수행하는 방법 및 장치 |
CN110110110A (zh) * | 2018-02-02 | 2019-08-09 | 杭州海康威视数字技术股份有限公司 | 一种以图搜图方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101236599A (zh) * | 2007-12-29 | 2008-08-06 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
CN102298778A (zh) * | 2003-10-30 | 2011-12-28 | 日本电气株式会社 | 用于估计对象状态的估计系统、估计方法和估计程序 |
CN102855629A (zh) * | 2012-08-21 | 2013-01-02 | 西华大学 | 一种目标对象定位方法及装置 |
-
2013
- 2013-05-13 CN CN201310177961.5A patent/CN104156689B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102298778A (zh) * | 2003-10-30 | 2011-12-28 | 日本电气株式会社 | 用于估计对象状态的估计系统、估计方法和估计程序 |
CN101236599A (zh) * | 2007-12-29 | 2008-08-06 | 浙江工业大学 | 基于多摄像机信息融合的人脸识别检测装置 |
CN102855629A (zh) * | 2012-08-21 | 2013-01-02 | 西华大学 | 一种目标对象定位方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104156689A (zh) | 2014-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210209851A1 (en) | Face model creation | |
CN108230252B (zh) | 图像处理方法、装置以及电子设备 | |
EP3576017A1 (en) | Method, apparatus, and device for determining pose of object in image, and storage medium | |
EP3323249B1 (en) | Three dimensional content generating apparatus and three dimensional content generating method thereof | |
US9710698B2 (en) | Method, apparatus and computer program product for human-face features extraction | |
US8750573B2 (en) | Hand gesture detection | |
US8792722B2 (en) | Hand gesture detection | |
CN103914676B (zh) | 一种在人脸识别中使用的方法和装置 | |
EP3241151B1 (en) | An image face processing method and apparatus | |
CN103810490B (zh) | 一种确定人脸图像的属性的方法和设备 | |
CN105608448B (zh) | 一种基于脸部关键点的lbp特征提取方法和装置 | |
EP3168810A1 (en) | Image generating method and apparatus | |
WO2019061658A1 (zh) | 眼镜定位方法、装置及存储介质 | |
CN109684951A (zh) | 人脸识别方法、底库录入方法、装置及电子设备 | |
US7995807B2 (en) | Automatic trimming method, apparatus and program | |
KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
CN104050448B (zh) | 一种人眼定位、人眼区域定位方法及装置 | |
US20120269443A1 (en) | Method, apparatus, and program for detecting facial characteristic points | |
JP6351243B2 (ja) | 画像処理装置、画像処理方法 | |
KR20130084437A (ko) | 실시간 얼굴 인식 장치 | |
JP6071002B2 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
CN112434587B (zh) | 一种图像处理方法及装置、存储介质 | |
CN104156689B (zh) | 一种对目标对象的特征信息进行定位的方法和设备 | |
CN109410138B (zh) | 修饰双下巴的方法、装置和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |